同年冬天，二次北伐開始，蜀軍圍陳倉，但是由於軍糧耗盡再次無功而返。
次年的建興七年(229)，三次北伐開始，諸葛亮遣大將陳式攻魏之武都、陰平。魏雍州刺史郭淮率軍迎戰，諸葛亮出建威，郭淮退軍，亮取二郡。至此，後主詔諸葛亮復丞相職。然而這數次北伐中，依舊不見李嚴等一干東州和益州集團骨幹人士的蹤影，相信李嚴他們對此肯定是會有意見的。
李嚴在諸葛亮北伐期間，也沒有閒著，他積極地策反原蜀漢降將、曹魏的上庸守將孟達，在其中的一封信中曾以這樣的語句來招降孟達：「吾與孔明俱受寄托，憂深責重，思得良伴。」從這裡可以知道，他一直以來對自己與諸葛亮並列為托孤大臣這一重要的政治地位，是時刻不忘的，也是時刻以此為己任的。但蜀漢前後三次北伐這樣重大的行動，諸葛亮都沒有一絲讓他參與的做法，也是肯定讓他十分不滿的，因此他除了發出前面所說的「求以五郡置巴州」等等表示不滿的信號外，還以另一種方式展開了對諸葛亮一直以來排擠他這一舉動的反擊。
他在一次給諸葛亮的信中「勸亮宜受九錫，進爵稱王」，這和孫權勸曹操稱帝相彷彿，但又很難說清楚他是想把諸葛亮擺上眾矢之的位置，還是在嘲諷諸葛亮。總之不管怎麼樣，諸葛亮很清楚李嚴這一舉動絕沒安什麼好心，因此明確表示自己不會上這個當：
吾本東方下士，誤用於先帝，位極人臣，祿賜百億，今討賊未效，知己未答，而方寵齊、晉，坐自貴大，非其義也。若滅魏斬叡，帝還故居，與諸子並升，雖十命可受，況於九邪!《三國誌·蜀書·李嚴傳》。
不過諸葛亮這話卻有點前後矛盾，前面他說「吾本東方下士，誤用於先帝，位極人臣，祿賜百億」，似乎對目前位極人臣的狀況已經心滿意足，但後來話鋒卻急轉直下，稱王受九錫，就成了有著自己封「國」的諸侯，乃是那個時代人臣所能達到的巔峰，諸葛亮在回絕了這一不知道是有著什麼居心的建議後，在結尾時又偏偏來上了一句「雖十命可受，況於九邪」，這話就與他前面表現的心滿意足的態度產生了矛盾。
這樣的話出自諸葛丞相之口，與他歷來被說成「謹慎謙恭」的風格是極不相稱的，但我卻以為這才是他個性和思想的真實寫照，他雖然拒絕了李嚴的建議，但卻不自覺地流露出了他自傲的乃至於漠視劉禪的態度。陳壽對他的評語，有幾句是相當中肯的：
亮之素志，進欲龍驤虎視，苞括四海，退欲跨陵邊疆，震盪宇內。又自以為無身之日，則未有能蹈涉中原、抗衡上國者。
——《三國誌·蜀書·諸葛亮傳》
這幾句，一說出了諸葛亮的生平抱負是「進欲龍驤虎視，苞括四海，退欲跨陵邊疆，震盪宇內」，二說出了諸葛亮對自己的評價，表現出他自視極高、當世不做第二人想的態度，實際上諸葛亮的一生，都是圍繞著這幾句話而展開的。
建興八年(230)，魏大將軍曹真三路攻蜀，諸葛亮拒之，隨即準備第二年出軍進行第四次北伐。這回他再次要求李嚴率軍北上漢中受他節度，諸葛亮在後來列舉李嚴罪狀的表章中，對李嚴當時的反應是這樣寫的：
去年臣欲西征，欲令平主督漢中，平說司馬懿等開府辟召。臣知平鄙情，欲因行之際逼臣取利也，是以表平子豐督主江州，隆崇其遇，以取一時之務。《三國誌·蜀書·李嚴傳》。
李嚴這個時候說「司馬懿等開府辟召」，顯然正如諸葛亮所言的那樣是「欲因行之際逼臣取利也」，而李嚴以司馬懿等開府辟召為借口向諸葛亮逼利，也並不是隨便拿來就用的借口，他對諸葛亮開府而他沒能享受同等待遇一直是耿耿於懷的，此刻他看似隨便地舉了這麼一件事情做例子來逼諸葛亮，事實上正是表達了他北上漢中的條件，是要得到他這個和諸葛亮並列的托孤重臣所應該享受的待遇，也就是要和諸葛亮一樣，可以開府選拔官吏。
諸葛亮當然是不可能答應也不會允許發生這樣的事情的，但他也明白，在面對曹魏勢力強大的壓力下，與李嚴這樣長期僵持下去並不是什麼好事。而李嚴和他二人，雖然在權力鬥爭中互不相讓，但在對維持蜀漢政權生存的這一根本點上，卻是絕對沒有分歧的。因此他做出了妥協，「表嚴子豐為江州都督督軍，典嚴後事」，繼續把江州一帶保留給李嚴;而相對他的妥協，李嚴也作出了對應的姿態——「將二萬人赴漢中」，同時接受諸葛亮的任命，擔任中都護署府事《三國誌·蜀書·李嚴傳》。，並將自己的名字由嚴改為平。按那時的解釋，平字含義大致為行事有序、平定亂事，這相當符合當時的形勢。
李嚴終於去了漢中，在劉備死後首次與諸葛亮共事，看上去似乎諸葛亮和李嚴二人就此握手言和了。
建興九年(231)春，蜀軍在諸葛亮的統帥下第四次北伐，兵出祁山與魏軍對峙。然而諸葛亮這次依然運氣不太好，在後來的一段時間內碰上了連續的暴雨天氣，導致漢中的糧運不繼。而後的整個事件就顯得比較富有戲劇性了：
平遣參軍狐忠、督軍成籓喻指，呼亮來還;亮承以退軍。平聞軍退，乃更陽驚，說「軍糧饒足，何以便歸」!欲以解己不辦之責，顯亮不進之愆也。又表後主，說「軍偽退，欲以誘賊與戰」。亮具出其前後手筆書疏本末，平違錯章灼。平辭窮情竭，首謝罪負。
之所以說這次的事件有戲劇性，是因為以李嚴這樣一個極富政治經驗和軍事能力的人物，居然犯了如此低級的錯誤，僅僅由於暴雨而導致糧運不繼，他就先讓參軍狐忠、督軍成籓等一群人去前線以朝廷名義召諸葛亮撤軍，然後上表後主說諸葛亮撤軍是誘敵之計，而當他在漢中聽說諸葛亮開始撤軍時，卻又假裝吃驚地說「軍糧饒足，何以便歸」，種種互相矛盾的漏洞前後非一，導致最後「辭窮情竭，首謝罪負」。
不過這件事情，雖然因為蜀國「國不置史」和各種原因造成資料不足，因此不足以讓我們有理由做出其他的解釋，但從邏輯上來講，以李嚴這樣的人物，犯下這樣的低級錯誤未免顯得過於愚蠢了些。如果說他設計這個圈套的目的是在於「解己不辦之責，顯亮不進之愆」的話，那麼他又焉能想不到他這一大堆公文全都捏在諸葛亮和後主的手中，「前後手筆書疏」都「違錯章灼」歷歷在目，他這個目的顯然是不可能得逞的。斷糧退軍在蜀漢北伐中並非首次出現，況且由於天降暴雨導致道路不暢的糧運不繼，也並不會對他政治生涯造成極其嚴重的後果，在如此小的問題上去冒如此大的風險，而且還明顯是把自己的把柄拱手送到對手和皇帝面前去讓他們來處理自己，這樣的錯誤和圈套也實在過於弱智了些。要是李嚴連這些都意識不到的話，那他這個跟頭栽得一點都不冤，因為這完全不像是他這樣一個擁有幾十年軍事、政治鬥爭經驗的人所應該犯的錯誤。
不過，不管事情的真相到底是什麼樣子，李嚴最終被貶為平民，在與諸葛亮的權力鬥爭中敗了下來，這標誌著蜀漢政權中再沒有可以威脅荊楚集團地位的勢力存在，而諸葛亮也再找不到一個有足夠份量和他分庭抗禮的對手，徹底地鞏固了他的地位。在蜀漢政權中，甚至將皇帝包括在內，他也都是唯一掌握著蜀漢最強實權的第一人。