在歷史上一眾東吳重臣中，潘濬無疑是經歷最奇特的一人。只因他並非孫策時代元從，亦非孫權舉拔的淮泗士人，更非江東大族出身，而是原屬劉備軍關羽部的一屆降臣，年屆四十才投效東吳。
後來的蜀漢大司馬、孔明繼位人蔣琬，則是他的表兄。如此敏感身份，卻能在東吳朝廷深得朝野信任，官居要職，不得不說是三國中的一個異數。
潘濬少年時得「建安七子」之一的名士王粲賞識，後被劉表闢為江夏從事，斬殺貪贓枉法的沙羨長，一郡震竦。後為湘鄉縣令，治理地方有名。劉備領荊州後，以潘濬為荊州治中，典理州務。治中本身是刺史最重要屬官之一，位卑而權重。其實際地位，並不在南郡太守糜芳這個執掌大郡的真二千石大員之下。
關羽北征襄樊時，呂蒙率東吳軍白衣渡江，留守大將南郡糜芳、公安傅士仁皆率部反水，江陵城落入東吳之手，城中將吏僚屬大都投降了。潘濬本是無兵無勇的一介文官，對此無力阻止，只能閉門不出。
孫權入江陵後面見潘濬，潘濬伏床不起，涕淚交橫，哀哭之情不能自禁。孫權以楚武王時著名將領丁父、楚文王時名相彭仲爽等俘虜出身的楚國名臣為例，將潘濬與他們相比，並讓左右親隨用手巾替潘濬擦去淚水，潘濬才下地拜謝，同樣被孫權委任為荊州治中，荊州各地的軍事部署皆親自向其咨詢。
潘濬投吳後如魚得水，孫權對他不但厚賞重用，而且言聽計從，信任程度更超過大多數的江東舊臣。
芮玄與其芮父祉，兄芮良父子三代追隨孫堅孫策，可說是東吳開國元勳，所謂「以德義文武顯名三世」。而芮玄死後，孫權讓潘濬領其部曲，對私兵制的東吳政權而言，此舉是極大加強了潘濬的地位和影響力。
潘濬長期和陸遜鎮守荊州，文武配合，共掌州事;曾督諸軍五萬討武陵蠻，信賞必行，斬獲萬計，平息了荊州地區的這一長期夷患;
僅用千餘武射吏便拿下交州的驃騎將軍步騭，是東吳貢獻最大、名勢最高的重臣之一，他的增兵要求，孫權不能訣斷，被潘濬一言否決;
中郎將徐宗曾與孔融交好，自詡天下名士，放縱部曲不法，被潘濬果斷誅殺;
潘濬表兄蔣琬執政蜀漢後，武陵太守衛旌道聽途說，以為潘濬與蔣琬私下勾結，向孫權密告，反倒是自己丟了官職;
孫權稱帝后，潘濬入朝為九卿，對孫權喜歡打獵的愛好，即使望重如張昭亦不能阻止，潘濬作為後來降臣卻敢言能言，切詞諫阻，請孫權為自己「故息置之」，孫權竟當真為他「不復射雉(野雞)」;
呂壹亂吳，操弄權柄，逼凌百官，(或說受孫權指示，打壓江東士族官員)，丞相顧雍、左將軍兼駙馬朱據皆被其整治，太子孫登屢次諫言無果，滿朝大臣皆不敢言。只有潘濬公然揚言要手刃之，而呂壹懼之而氣奪，因為害怕顧雍去後，潘濬代為丞相，才放鬆對顧雍的迫害。
呂壹事敗後，孫權下詔罪己，一面責怪諸葛瑾、步騭、朱然、呂岱等重臣不肯直言相諫，唯獨表彰陸遜和潘濬的憂心為國。
吳相步騭將潘濬與另外兩位丞相顧雍、陸遜同列，贊其「憂深責重，志在謁誠，夙夜兢兢」，「可謂心膂股肱，社稷之臣矣。」
陸機《辯亡論》則將潘濬與顧雍、呂范、呂岱同列為「以器任干職」的東吳名臣。
以潘濬一介降臣身份，能得到東吳上下包括孫權在內如此禮遇與優容，甚至長期名列丞相候選人之列，女兒更嫁與孫權寵愛的次子孫慮，與孫權結為兒女親家。
一方面當然因為他是荊州地區士族的代表人物，又被劉備重用，在孔明入蜀後，打理整個劉屬荊州的幕僚班子，所以東吳需要他的配合與合作，一如曹操任用崔琰，唐太宗信用魏征;
另一方面當然也是他的個人才具、品格操守為孫權所看重，所以哪怕在荊州統治鞏固之後，依舊將其如同元從功臣和江東士族一般的信重。
對比他的表兄蔣琬，劉備僅用其為百里之才，甚至一度因其不理政事欲殺之，稱王后方封其尚書郎。後得孔明栽培重用，最後竟能成為其繼位人。若當時隨行入蜀的是潘濬，其後在蜀漢政權成就，恐亦未必下於蔣、費。
陳壽在《三國誌本傳》對其評價，是「公清割斷、節概梗梗，有大丈夫格業」，將之與東吳後期名相陸凱兩人同傳。(《吳書十六·潘凱傳第十六》)
甚至極是推崇蜀漢、貶斥魏吳，參照《裴注》《通鑒》將三國誌改編為《續後漢書》 ，「正陳壽帝魏之謬、升《昭烈》為《本紀》，黜吳、魏為《列傳》」的郝經，亦讚揚潘濬是「方嚴疾惡，義形於色，梗梗有大節，有吳之棟石也。」
當然，吳占荊州後，武陵從事樊胄勾連諸夷，欲叛歸劉備，潘濬率吳軍將其平定之舉，亦有蘇轍認為忠於新主卻損於故主，不及樂毅仕宦於趙，卻不肯為其謀劃伐燕之策。
只因潘濬沒有為劉備死節，反而投效東吳，成為高官名臣，成書於明代的《三國演義》秉承「帝蜀寇魏輕吳」理念，才將其醜化為「平生多忌而好利，不可任用」的小人。
而三國類遊戲的數據設置，受演義影響一直遠大於正史，因此其遊戲數據平平，被很多人輕視了其能力和作用，而絕不是劉備沒有給關羽留下足以安定後方的人才。
至於潘濬在荊州失陷後投吳，亦無足以苛責其人品。漢末還沒有明清理學大興後的君臣觀念，諸侯亂世，君擇臣臣亦擇君。魏蜀吳三國大量重要文臣武將，都並非僅仕一主，許多更「拔於亡虜」。
就如劉備賬下收容的眾多劉璋舊部，除卻法正這種帶路黨不提，剩下那些即使積極抵抗過劉備的，這些深受劉璋舉拔之恩的人，最後替劉璋殉死了?哪怕是豪言「斷頭將軍」的嚴顏，亦難例外。蜀漢開國群臣裡這些人更佔了相當部分。
《三國誌·蜀書》中提及潘濬，「先主入蜀，以為荊州治中，典留州事，亦與關羽不穆」，其實也間接說明了原因。
潘濬是個性烈如火、嫉惡如仇的性子，這點即使在東吳也絲毫無改，完全沒有通常降臣那樣如履薄冰、憂讒畏譏的自覺;
而關羽在史書中的評價，是「剛而自矜」，「善待卒伍而驕於士大夫」，傲上而不忍下，出口則必傷人，如譏孫權為「犬」，黃忠為「老卒」，和新降之馬超比高下，要諸葛亮特地寫信安撫。
所以兩個人的性格作風恰好是針鋒相對，水火難容。
漢末士人一向秉承孟子「君之視臣如手足，則臣視君如腹心;君之視臣如犬馬，則臣視君如國人;君之視臣如土芥，則臣視君如寇仇」 之訓，
關羽和潘濬關係不睦，文武不和，上下有隙，潘濬沒有義務對關羽愚忠死節，也是情有可原。而劉備於潘濬本有舉拔之恩，潘濬在駐守武將先降，僚屬都率先投降的情況下，直到孫權親招，一番涕泣始歸，亦算不得相負。
畢竟荊州已失，潘濬一人的去向已難左右大局。他仕官於東吳，才會繼續是荊州本地士族的代表，否則不過一屆布衣，對劉備集團亦無關緊要。
不妨比照黃權，身居鎮北將軍高位，直接帶著約1/3東征軍主力和預備收復荊州後安置的僚屬三百餘人，投了「漢賊」曹魏，讓曹丕大喜過望封了四十二個侯(司馬昭滅蜀也才封了五十多侯)，令蜀漢的損失何止百倍千倍於潘濬?
——蜀漢不可調和生死大敵，之後諸葛亮屢次北伐對象，從來是曹魏，非東吳。
可即使如此，劉備依然會說「權不負朕」，寬免其家人，這便是漢末時代正常的君臣觀。君臣互擇司空見慣尋常事，只要不是糜芳、法正這種直接叛主、積極帶路之徒，本亦無可指責。
因此糜竺為糜芳叛變之事面縛請罪，雖得劉備寬容，不久慚恨病死;而潘濬歸吳，其表兄蔣琬仕途卻沒受任何影響，以後更成為孔明繼位人、蜀漢執政者，與潘濬同登盟國之高位，為一時佳話。這才是真正的秦漢士人風貌，豈是明清君主臣奴思維影響下的《三國演義》之論可比的?
和潘濬這個荊州留守士大夫代表、荊州僚屬首腦處不好關係，正是關羽的跋扈性格所致;
當孫權親至，懇切相召，潘濬也隨其餘將吏一起歸附時，不止是他自己，而正代表整個荊州本地士族集團都拋棄了關羽、和遠在成都的劉備。
通常所謂「得民心者得天下」，從來不是真的說升斗草民，而就是先秦貴族、漢之世家、魏晉門閥、宋明士大夫這些社會中間階層，
屠城盈野如滿清亦可坐穩幾百年天下，最根本原因就是因為他們比南明和農民軍更得官僚士大夫這些「民」之心。
當關羽被荊州士族拋棄時，其毀敗命運也就注定了，那些他平日善待的普通士卒對此根本無能為力，同樣只會為自家妻兒計將自己的主帥丟棄。
是以哪怕曹魏有意坐山觀虎鬥，不加追擊;關羽軍卻未經交鋒，直接潰散，終至敗亡。所謂「以短取敗，理數之常」。這也幾乎是古今興亡之至理了。