諸葛亮在去世以前，曾經秘密上表給後主，說「臣若不幸，後事宜以付琬」。
後主依照諸葛亮的意思，就在他的死訊到達成都之時，任命蔣琬為「尚書令」，這時候蔣琬已經是「丞相留府長史、撫軍將軍」(撫軍將軍，是一種「加官」，沒有部隊供他指揮)。
後主叫蔣琬做尚書令，而沒有立即叫他兼「錄尚書事」，並非不肯讓他繼掌諸葛亮的職務，而是蔣琬本來只不過是一個「丞相留府長史、撫軍將軍」，地位太小，聲望不夠，所以，必須先升他為尚書令;然後，過了一個很短的時間，再升他為「行都護、假節、領益州刺史」。又過了若干天，才終於特任他為「大將軍、錄尚書事」;同時，封他為安陽事侯(不曾被封侯的人，不能作丞相或真宰相)。
蔣琬於過渡期間所做的「行都護」的官，也很不小。所謂「都護」，是「什麼部隊都能管」。我們所熟知的是班超擔任過的「西域都護」，那就比較小，因為宮名上有了「西域」二字，所管的限於在西域的部隊。周瑜在東吳做過「中都護」，那就很大。因為他的官名之上的「中」字，不是指的「中等」或「中部地域」，而是「中央」的意思(漢朝的所謂「中二千石」比普通的「二千石」大，也因為那九卿之官是中央的官。中字指的是中央，有時候指的是「宮中」)。
蔣琬所一度擔任的「都護」，官名上邊有一個「行」字。這行字是「代理」或「試用」，意思是說這個人資格稍嫌不夠，姑且讓他先試試，做得好再「實授」。
後來蔣琬一升再升，於建興十三年四月升成了「大將軍、錄尚書事」，他的實權就與當年諸葛亮做「丞相、錄尚書事」的時候，不相上下，所不同的，只是在名義上不是丞相而已(諸葛亮卻也沒有做「大將軍」，也沒有做過「都護」。都護的位置，劉備紿了李嚴。李嚴在建興九年因罪被廢，後主沒有把都護的位置另給別人)。
蔣琬是曾國藩的同鄉，湖南湘鄉人。湘鄉在漢朝也是一個縣，縣城就在今日的縣城所在，屬於荊州武陵郡。蔣琬於劉備在荊州抵抗曹操，只不過是劉表下面荊州「州政府」的一個「書佐」，地位很低。他不願留在劉琮那裡，隨劉琮投降曹操，卻選擇了劉備。跟隨劉備到了益州，被劉備任命為廣都縣的縣長(廣都在成都之西三十華里)。
蔣琬在廣都當縣長的時候，作風與龐統在耒【lei】陽當縣令的時候相同：把日常的行政事務擱在一邊，所喜歡做的只是喝酒與睡大覺。劉備以益州牧的身份來巡查、見到他如此地不盡縣長之責，勃然大怒，不僅免了他的縣長之職，還把他扣留，關在牢裡，說不定想要他的命。
都說千里馬常有，伯樂不常有。就此而論，蔣琬是比較幸運的。他很快受到了諸葛亮的注意。一次，劉備、諸葛亮等人出巡至廣都，發現蔣縣令政務不理，而且沉醉不醒。劉備勃然大怒，要把蔣琬就地處置。諸葛亮忙加攔阻，他另有考慮。他知道大才屈居小任，常醉酒誤事。當年劉備牧守荊州，滿腹經論的龐統開始也不受重視，居官耒陽令時也是不理公務，每日醉酒高臥，被免去官職。魯肅致信劉備說：「龐士元(龐統字士元)不是百里之才，使他處治中、別駕(州官的重要屬官)之任，才能讓他一展宏才。」諸葛亮也同樣勸說劉備，劉備便召見龐統，一見如故，方知此人滿腹經論，從此委之以大任。後來龐統獻計，劉備入蜀，立了大功，卻不幸為國捐軀。眼前之人與龐統當年所為十分相似，若是平庸之輩，哪敢在成都附近。
的屬縣荒廢政事，不盡職守?其中必有委曲。於是，他勸劉備說：「蔣琬是國家棟樑，而非百里之才，為政以安民為本，不以修飾為先，望主公明察。」因為諸葛亮的一席話，蔣琬得以免死，但被罷去官職，不久又被起用為什邡縣(今四川什邡縣)縣令。
建安二十四年(公元219年)，劉備進位漢中王，調蔣琬入中央任尚書郎。在諸葛亮的有意栽培下，蔣琬兢兢業業，恪盡職守，逐步熟悉國家大政、典章制度，積累了比較豐富的管理經驗。
蜀漢建興元年(公元223年)，後主劉禪即位，丞相諸葛亮躬親政事，日理萬機，蔣琬進入丞相府為東曹掾，主管二千石長吏的陞遷，地位十分重要。諸葛亮對他十分器重，又舉他為秀才，蔣琬謙遜不受，一再推薦劉邕、陰化、龐延、廖淳。諸葛亮再三勉勵，在給他的文告中說：「如果為了四避親故而捨棄了有德之人，就會使百姓遭受苦難，眾人既然於心不安，確實又使內外官員不明其中道理，你應當盡力施展才能，以此表明這種選舉是公正慎重的。」
蜀漢建興五年(公元227年)諸葛離開了成都，屯兵漢中以備北伐。此時，已提升為參軍的蔣琬與長史張裔主持丞相府的一切事務，對於一向謹慎、鞠躬盡瘁的諸葛亮來說，這是基於對蔣琬等人的充分信任而作出的決定。建興八年(公元230年)，蔣琬又代替張裔為長史，成為丞相府的最高副手。蔣琬沒有絲毫的驕矜和大意，他以丞相為榜樣，處繁理劇，盡心盡力，一方面為北伐籌集糧食，組織運輸，補充兵源，講武訓練，一方面謹慎地處理公文，使作為當時政治中心的丞相府保持良好的運作狀態，為嘔心瀝血的諸葛亮實在分憂不少。此時，諸葛亮身在北伐前線，對蔣琬的辦事能力和表現深感欣慰：他沒有看錯這個故意醉酒的縣令。他多次深有感觸地對家人說：「蔣公琰忠心耿耿，雅量寬和，實在是我復興漢室的好幫手。」不僅如此，經過對蔣琬多年的考察和培養，諸葛亮決定把蔣琬作為自己的繼位人，這才有了後來的諸葛亮上後主密表。