208年，曹操為丞相以後，強征司馬懿為文學掾。219年，蜀吳聯盟破裂，孫權遭劉備征伐，為避免曹操趁火打劫，孫權向曹操稱臣，擁護曹代漢自立。曹操說：這娃娃想讓我坐在爐炭上燒烤嗎? 司馬懿卻說：「大漢氣數已盡，殿下以德服人。孫權稱臣，上天之意。」司馬懿在曹氏代漢這個問題上表態支持，因此曹操對他轉為信任。
曹操進封魏王后，司馬懿多出奇策。如蜀國大將關羽統兵進攻樊城，威震華夏。當時曹操為避關羽鋒芒，一度準備遷都河北。司馬懿勸阻：於禁等被水所淹，不是攻守失誤，對國家沒有大的損害。如果輕易遷都，不僅以弱示敵，還會造成人心浮動。我們派人說服孫權，令其抄襲關羽後路，樊城之圍自解。
曹操採納了司馬懿的計策，孫權果然派呂蒙襲取江陵，俘殺關羽。司馬懿之計利用了孫權與劉備爭奪荊州的矛盾，充分運用四兩撥千斤，挑動鷸蚌之爭，坐收漁利，不僅挫敗了關羽的攻勢，解除了樊城之圍，而且也使諸葛亮一路向宛洛、一路出秦川的兩面夾擊中原的計劃無法實現。
從魏文帝曹丕時期開始，司馬懿幾乎就成了曹魏的守護神，哪裡有強敵犯境，哪裡就會出現他的身影。他最重要的軍事成就有二：一是解除了諸葛亮的多次進攻。二是平定遼東太守公孫淵的反叛。這年司馬懿已經61歲。由於正統的道德觀，歷代帝王都渲染司馬懿的奸詐和篡位，片面地苛責他的不忠，而沒有反思曹魏對他的不信。
曹操猜忌司馬懿，也是符合曹操一貫的用人風格的。曹操主張唯才是舉，實際上有一個前提，那就是無論是什麼人才，必須保證為我所用和為我所控。否則，必欲除之而後快。曹操對司馬懿的雄才大略既暗自歎服，又深為忌憚，唯恐兒孫輩無人能夠駕馭。曹操曾提醒曹丕：司馬懿非人臣，一定會干預你的家事。但曹丕對司馬懿非常推重，自然也就沒把曹操的告誡當回事。魏文帝曹丕曾說：司馬懿會像蕭何效忠於劉邦一樣效忠於自己。
曹丕臨終時，對太子曹叡說：「有三個人，你千萬不要懷疑。」 這三位顧命大臣中，曹真是皇室成員，但才略平平;陳群主管政務;唯有司馬懿有超群的軍事才能。但皇室成員對司馬懿的猜忌此起彼伏，魏明帝陷入一種既離不開又信不過的糾結之中。司馬懿征伐公孫淵時，路經故鄉溫縣，他沒有光宗耀祖、衣錦榮歸的暢意，反而有了告老還鄉的蒼涼，因為他深知消滅公孫淵後，狡兔死走狗烹，能否終老封地，不得而知。
但命運再次讓司馬懿成為顧命大臣。司馬懿還在班師途中，魏明帝突發重病，其子齊王曹芳只有八歲。任命曹爽和司馬懿為顧命大臣。司馬懿晝夜兼行四百餘里，一宿而至。司馬懿流涕問疾，魏明帝緊抓著司馬懿的手目視齊王說：「我一直沒有死，就是為了等你，現在終於見到了，再也沒有什麼遺憾的了，我的兒子就托付給你了。」
但曹爽借助皇室成員的身份，對司馬懿進行擠對和排斥。司馬懿稱病辭朝，不問政事。曹爽擔心司馬懿裝病，派心腹李勝藉機去伺察司馬懿的身體狀況。司馬懿知其來意，假裝病重，騙過了李勝。李勝回去對曹爽說：「司馬懿就剩一口氣了，不值得擔心。」曹爽等從此便不再防備司馬懿。
249年春正月，乘著魏帝曹芳、大將軍曹爽離開洛陽去祭掃魏明帝的墳墓之機，司馬懿以雷霆手段一舉清除了曹爽勢力。從此，曹魏的軍政大權完全落入司馬懿的手中，為司馬氏取代曹魏奠定了基礎。但終其一生，司馬懿仍稱魏臣，也算報答了與魏武帝曹操、魏文帝曹丕、魏明帝曹三朝的君臣之誼。