蔣濟年輕時與胡質及朱績在江淮一帶名聞遐邇，曾任楚國計吏，後轉任揚州別駕。
建安十三年(208年)，曹操大軍於赤壁之戰中受挫，兵力大耗。孫權圍合肥，曹操無力派大軍前去救援。只派張喜帶千騎，領汝南部隊來解圍。等候個多月後仍不見援軍至，蔣濟秘密告訴揚州刺史，詐稱得到張喜的書信，步騎四萬已經到達雩婁，應派遣主簿迎接張喜援軍。即寫書信遣三部使讓他們把這消息告訴城中守將，一部入城，另外兩部被敵軍捉去，孫權信以為真，急忙放火退走，合肥得以保全。
建安十四年(209年)，蔣濟出使譙縣面見曹操，曹操為了防範孫權攻擊，打算將淮南的民眾內遷，便問蔣濟：「昔日我於袁紹對峙於官渡，遷徙燕、白馬的百姓，大家都沒有逃跑，敵軍也未敢擄掠。現在，我想遷徙淮南百姓，你覺得怎麼樣?」蔣濟不同意徙民，說道：「當時我弱敵強，不遷徙必失。自從擊敗袁紹，北達柳城，南對江、漢，荊州臣服，威震天下，人民別無他志。但百姓懷念舊土，不樂於遷徙，若聞此事必懼怕不安。」曹操不聽，仍然決定強制遷移江淮民眾，結果江淮十餘萬百姓因為受驚嚇逃到東吳境內。曹操乃因蔣濟對徙民的見解而對其才能甚為欣賞，後來蔣濟被使臣傳到鄴城，曹操見到蔣濟後大笑自嘲道：「本來想讓百姓們避難，結果反倒把他們全都趕跑了。」於是拜蔣濟為丹陽太守。
後曹操以溫恢為揚州刺史，再次任命蔣濟揚州別駕，更下令：「雖然賢良的季子寧願捨棄國君之位而甘心為臣，但吳國總是必須要有君主來負責治理啊。現今你再次以別駕治理揚州，我還有什麼不放心的呢?」當時有人誣告蔣濟為叛變的主謀，曹操知道了指著以前的命令對左將軍於禁、沛國相封仁等說：「蔣濟怎麼可能會做此事!如果真有此事，那麼就是我看錯人了。這一定是愚民作亂，希望引發爭議罷了。」後任命蔣濟為丞相主簿兼西曹屬，與時任丞相主簿兼東曹屬的司馬懿共為丞相府的屬官。
聯吳制羽
建安二十四年(219年)，關羽擊敗前往援救曹仁的龐德和於禁，並圍困襄陽和樊城，一時銳不可擋。曹操見許昌與近荊州，有意讓漢獻帝劉協從許昌遷都。蔣濟和丞相軍司馬司馬懿卻勸阻：「於禁等為水所淹沒，並非戰敗，這點小損失並沒有對國家傷筋動骨。劉備、孫權，看似很親近，其實內心並非如此，關羽得志，這必不是孫權希望看到的。可以派人遊說孫權偷襲關羽後方，再把江南割讓給孫權，樊城之圍自解。」曹操最後接納，派人聯絡孫權。而孫權此時卻主動請戰，並命呂蒙襲取荊州，成功解襄樊之圍。
善審軍事
建安二十五年(220年)，曹操去世，曹丕繼任魏王，蔣濟任相國長史。同年曹丕稱帝，蔣濟出任東中郎將。蔣濟請求留於朝中，上表《萬機論》，曹丕稱善，改任蔣濟為散騎常侍。
當時征南將軍夏侯尚作為皇室近親，深得魏文帝曹丕信任，曹丕曾下詔曰：「卿腹心重將，特當任使。恩施足死，慧愛可懷。作威作福，殺人活人。」夏侯尚得到詔命有生殺予奪之權，十分得意，就把詔書給蔣濟看。後來蔣濟入宮覲見，曹丕問：「卿所見天下的風俗教化如何?」蔣濟答：「沒有什麼好的風俗，只是聽到亡國之語罷了。」曹丕聽了很生氣，問蔣濟原因。蔣濟說：「『作威作福』是《尚書》中明確告誡身為臣子不應該做的，『天子無戲言』，古時的天子下詔都十分謹慎，希望陛下明察!」於是曹丕怒意全消，急忙遣人到夏侯尚那裡取回之前的詔書。
黃初三年(222年)，曹丕兵分三路大舉攻吳，蔣濟與大將軍曹仁率步騎數萬負責向東線濡須口發起進攻，蔣濟受命領兵向東攻取羨溪用以分散吳軍，駐守濡須口的吳將朱桓中計，於是分兵馳援羨溪。曹仁隨即率大軍直撲濡須口。朱桓以城中僅餘的五千人堅守不戰。當時曹仁派其子曹泰督軍攻城，另一面打算攻取朱桓的兵士妻兒所在的江中的沙州島，蔣濟知道後表示反對，認為吳軍佔據西岸，將戰船列於上游，如果魏軍進攻位於下游的沙州島，無異於自取敗亡危險。但曹仁不聽，仍然命令部下進攻沙州島，最終果然被擊敗，魏軍臨陣被溺及被斬者多達千餘人。及後因有疫病而撤軍。曹仁戰後旋即逝世，蔣濟授命為東中郎將，代領曹仁的軍隊。後來又被徵召回朝，任為尚書。
黃初六年(225年)冬季，曹丕親自領水陸軍隊到廣陵，臨江閱兵，向東吳炫耀武力。身為揚州人的蔣濟認為水道會有阻塞，不利行軍，更作《三州論》勸諫。但曹丕不聽，最終戰船數千都因河道結冰而停滯不能前進。有人建議將軍隊留在當地屯田駐守，蔣濟又以當地東近大湖、北近淮河，當雨季水漲時容易被東吳軍隊掠奪屯田物資而反對。曹丕聽從了蔣濟的建議，因而撤離。這時，湖水有點枯竭，曹丕把所有的船都托付給了蔣濟。戰船本來排列在數百里中，蔣濟讓人鑿了四五條河道，把船聚在了一起，預先做好土墩截斷湖水，讓船前後相接，湖水沖刷，將船隻導入淮河中。
勤勞王室
黃初七年(226年)，曹丕駕崩，魏明帝曹叡繼位，蔣濟被賜爵關內侯。
太和二年(228年)，東吳鄱陽太守周魴派人送親筆信給曹休，謊稱受到吳王孫權責難，打算棄吳降魏，大司馬、揚州牧曹休被其所誘，率兵進攻皖城。蔣濟認為曹休這次深入東吳，與東吳精兵對抗，而且駐守上游的吳將朱然會從後襲擊，建議不要出兵;但曹休還是繼續前進。及後吳軍在安陸一帶頻繁出沒，蔣濟見吳軍雖然示形於西，實際上卻有東進圍殲曹休之勢，又建議快派援兵援救曹休。曹叡遂令豫州刺史賈逵率所部東進與曹休合軍一處。不久曹休在石亭被東吳大都督陸遜率九萬餘人伏擊，魏軍戰敗，丟棄大量軍需品後撤，並被吳軍追至夾石，在夾石遇到賈逵的援軍才阻住了吳軍的追擊，不至於全軍覆沒。事後，蔣濟被陞遷為中護軍。
中護軍一職雖位不比上卿，但職權頗重，除了在軍中總統諸將，執掌禁衛外，另有負責選任武官的權力。據《魏略》記載，蔣濟為護軍時，難以止住人們爭先恐後地行賂，於是利用此職權之便大肆謀取私利，故當時民間有歌謠說：「欲求牙門，當得千匹;五百人督，得五百匹。」意為軍官想要擔任牙門將這樣的軍職，必須送護軍蔣濟一千匹帛;就算是百人督的這種低級軍官，也需要五百匹帛。司馬懿素來與蔣濟關係融洽，有一次他與蔣濟閒談時便以此事相問，蔣濟一時之間不知該如何解釋，於是開玩笑說：「洛陽京城中的商品價格貴，少一錢也買不到啊。」遂相對歡笑。
當時，魏朝皇帝為了不大權旁落於朝臣，因此集權獨攬，設立中書省掌管機要，擔任中書監、中書令職位的中書省官員作為皇帝近臣，因為受到信任而大權在握，被稱為「專任」。蔣濟上疏魏明帝，大意為：古往今來大臣權力太重則國家就要危亡，帝王和身邊侍臣太過親近則容易受蒙蔽。前朝大臣專權，引發內外動亂。如今陛下親理朝政，大權不輕易授予朝臣，而讓中書近臣掌握國家機要。但左右近侍之臣未必賢於朝中大臣，而便辟逢迎卻是他們所長。陛下要光大武帝、文帝的基業，事事親為，然而即使身為人君也難以獨攬天下所有事務，始終還要賢臣的輔佐，所以應該挑選品行優秀的賢良為官，不應使聖明之朝有專權的近臣官吏挾制內外。」魏明帝下詔嘉獎，詔曰：「剛直的大臣，是君王所倚仗的。蔣濟文武全才，做事勤勉，盡心盡力，每有軍國大事，總有奏議，忠誠奮發，我十分看重他。」蔣濟遷為護軍將軍，加散騎常侍。
太和六年(232年)，曹叡遣殤夷將軍田豫循海路、幽州刺史王雄循陸路，一起進攻盤踞遼東的公孫淵，蔣濟卻認為：「但凡不是意欲吞併本朝的敵國，不是反叛本朝的臣子，都不宜隨便征伐。如果攻而不克，是逼其為反賊。所以說『虎狼當路，不治狐狸。先除大害，小害自已』。(虎狼擋住道路，不要急著去消滅狐狸。先除掉大害，小害自然就會停止)就算攻克其地，他的百姓不足以強國，他的財產不足以富國，若一旦失敗，卻又徒招公孫淵的怨恨。」曹叡不聽，還是派田豫等進攻，最後確實沒有太大的收穫。
景初元年(237年)，外戰頻繁，內修宮室，百姓抱怨的甚多，且糧食連年歉收。蔣濟上疏：「陛下應該光大基業，還沒到高枕無憂之時。現在雖然有十二州，但百姓的數量，也就是漢朝時的一個州郡而已。現今吳、蜀未除，士兵在邊疆，且耕且戰，積怨多年。今應停止空耗民力，讓他們不必那麼疲憊。想要成為大有作為的君主，必體恤下邊的百姓。勾踐鼓勵婦女多生胎兒以備國用，燕昭王體恤百姓的疾病才得以復仇，所以能以弱燕讓強齊臣服，羸弱的越國最終滅到強大的吳國。今二敵不滅，他們卻總來侵略我們，若不陛下不能除去吳、蜀，日後定會受到後人所指責。不過以陛下的雄略，放下其他的事，專心討賊，臣以為這必不是什麼難事。」又說：「沉浸於房事，對陛下的身體有害，那些還沒有冊封身份的宮女還是都分給大臣吧。」曹叡降詔：「若不是護軍，我聽不到這麼好的意見。」
景初二年(238年)，曹叡命太尉司馬懿率軍四萬征討遼東，公孫淵聽說魏軍來襲，又對孫權稱臣，求兵救援。曹叡問蔣濟：「孫權會出兵救遼東麼?」蔣濟說：「孫權知道此戰他得不到什麼好處，且深入救援是他力所不及的，只是在表面上進行援助則無濟於事。就算孫權的子侄在危急時刻，他都猶然不動，更何況是往日給過他恥辱的異域之人了!現在他往外聲張此事，乃其詭計。杳渚之間，距離公孫淵還遠，若前方大軍相持，不能迅速解決，以孫權程度不深的謀略，或許會以輕兵掩襲也說不定。」
慚恨去世
景初三年(239年)，曹叡駕崩，齊王曹芳即位，蔣濟轉為領軍將軍，進封昌陵亭侯。太尉司馬懿晉陞太傅後，蔣濟又陞遷為太尉。當時，曹爽專權，曹爽黨羽丁謐、鄧颺等人經常輕易更改法度，蔣濟上疏：「今吳、蜀未滅，將士征戰在外已數十年，男女皆怨，百姓貧苦。國家的法度，唯有濟世之才編改綱法流於後世，豈是平庸之輩可改之?最終不僅無益於治理國家，還損害百姓。希望文臣武將各盡其職，那樣國家才可以太平祥瑞。」但曹爽集團專行亂政如故，蔣濟於是與韜光養晦的司馬懿等暗中謀劃準備推翻曹爽。
正始十年(249年)，太傅司馬懿乘曹爽兄弟與曹芳到高平陵拜祭魏明帝，發動高平陵政變，以太后下詔的名義宣佈罷免大將軍曹爽等人的職務，蔣濟亦跟隨司馬懿駐屯洛水浮橋。其間大司農桓范出城投奔曹爽，蔣濟說:「智囊往矣。」司馬懿則認為曹爽必不會用桓范之計。
蔣濟又寫信給曹爽，稱司馬懿只是想將他們免官，勸告他盡早交出權力投降，可以保他們爵位富貴。最終曹爽自願交出權力，被軟禁於府邸，但隨後即被司馬懿指控謀反，曹爽被誅滅三族，司馬懿開始掌控朝中大權。蔣濟因功進封都鄉侯，食邑700戶。蔣濟上書拒絕封賞(《世說新語》認為蔣濟本來只是想罷免曹爽，且向曹爽保證過「惟免官而已」，但不料司馬懿卻趁機大開殺戒。因為覺得對曹爽失信，頗為自責，不願接受封賞)，但不被准許。同年四月丙子(十九)日(5月18日)發病去世，謚景侯。