潘濬為人聰察，對問有機理。他二十一歲時師事於大儒宋忠，並受到「建安七子」之一的王粲賞識，因而知名。不到三十歲就被荊州牧劉表任命為江夏從事。當時沙羨縣長貪污腐敗，被潘濬審查處死，使得全郡震驚恐懼。後來擔任湘鄉縣令，治理湘鄉頗有名聲。
建安十四年(209年)，劉備領荊州牧，任命潘濬為治中從事。建安十六年(211年)，劉備入益州，將潘濬留下以管理荊州事務。
歸屬孫權
建安二十四年(219年)，孫權派軍襲殺關羽，佔領荊州，將領官員全都歸附，而潘濬卻稱疾不見。孫權親自登門拜訪，潘濬仍涕淚交橫，伏床不起，孫權以觀丁父、彭仲爽等俘虜出身的楚地先賢為例安慰潘濬，又派人以手巾幫他擦臉，潘濬才下地拜謝，並將荊州軍事部署詳細告訴孫權，被拜為輔軍中郎將，並領兵。
侏儒一節
當時，武陵從事樊胄企圖煽動五溪蠻夷將武陵獻給劉備，孫權詢問潘濬，潘濬認為派五千人前往就夠了，孫權問為何輕視他，潘濬回答：「樊胄頗能賣弄唇舌，實際上卻沒有辯論之才，先前曾為州中人士準備宴會，但是到了中午都還沒有東西吃，十幾個人就自行離開了，這就如同只看到侏儒的一部份，就可以得知全貌一樣。」孫權大笑，派遣潘濬統領五千人前往，果然斬殺平定樊胄。
為官正直
後陞遷為奮威將軍，封常遷亭侯。
黃武六年(226年)，奮武中郎將芮玄去世，潘濬統領他的部曲，屯駐於夏口。
當時，驃騎將軍步騭屯駐於漚口，請求向招募諸郡以增加兵力。孫權詢問潘濬的意見，潘濬說：「豪將在民間，耗亂為害，加上步騭有名有勢，是被身邊的人諂媚，因此不可同意。」孫權聽從潘濬的建議。
黃龍元年(229年)，孫權稱帝，任命潘濬為少府，進封劉陽侯。後遷任太常。
大破溪蠻
黃龍三年(231年)二月，孫權授予潘濬符節，命其與呂岱督軍五萬討伐五溪蠻夷。潘濬賞罰得當，在數年間，斬殺俘獲幾萬人。自此五溪蠻夷逐漸衰落，一方得以安寧無事。黃龍六年(234年)十一月，潘濬回到武昌。他長期與陸遜屯駐武昌，管理荊州事務。
嘉禾四年(235年)，潘濬的表哥蔣琬升任蜀漢大將軍，有間諜謠傳潘濬派遣密使聯絡蔣琬，打算投奔蜀漢。武陵太守衛旌上表告訴孫權，孫權說：「承明不會做這種事。」並免除衛旌的官位(《資治通鑒》將此事放在蔣琬任諸葛亮長史時)。
一心為國
孫權寵信校事呂壹，呂壹為人刻薄，用法嚴酷，又操弄權勢，潘濬與陸遜對於他的作為感到憂慮，說到傷心處還以淚洗面，甚至感到不安與恐懼。
公元236年(嘉禾五年)，呂壹彈劾丞相顧雍和左將軍朱據，二人下獄。黃門侍郎謝宏問呂壹：「顧公的事如何?」呂壹回答：「情況不太可能好。」謝宏又問：「那麼顧公被免職的話，誰會代替他?」呂壹沒有回答，謝宏說：「會不會是潘太常?」呂壹過了良久才說：「你說的很有可能。」謝宏說：「潘太常恨你切齒，只是路遠沒機會而已。今天他一但接替顧公，恐怕明天就打擊你。」呂壹大為害怕，於是顧雍的事便不了了之。
之後潘濬請求朝見孫權，想要極力勸諫，到了之後聽說太子孫登早就說過很多次但都不被接受，便大規模宴請百官，打算在宴會中親手殺死呂壹，可惜計劃洩露，呂壹借口生病不去。潘濬只好趁著每次近見孫權的時候，大力陳述呂壹的奸險，因此呂壹受到的寵幸逐漸衰微，最後被誅殺。孫權引咎責怪自己，因而向大臣致歉。在詔書中責備諸葛瑾、步騭、朱然、呂岱等人之前推脫責任，並稱讚了陸遜和潘濬憂心為國。
公元239年(赤烏二年)，潘濬去世，其子潘翥襲爵。