時曹操正任司空，聽到他的名聲後，派人召他到府中任職。司馬懿時年22歲，正血氣方剛，滿懷正義，知曹操為一代奸雄，又嫌曹操出身低微，恥為曹操手下，便借口自己患有風痺病，不能起居，婉言謝絕徵召。曹操懷疑司馬懿有意推托，夜間派刺客去探聽虛實。來人把刀架在司馬懿的脖子上，作出要刺殺他的樣子，但司馬懿躺在那裡，瞪著兩眼，一動不動，像真的風痺病人一樣。
建安十三年（208年），曹操為漢丞相後，用強制手段，辟司馬懿為文學掾。使者臨行，曹操交代說：「若復盤桓，便收之」（《晉書宣帝紀》）。就是說司馬懿再裝病不來，就解決了他。司馬懿這才害怕了，只得就職。
此後，司馬懿「每與大謀，輒有奇策」。先後升任黃門侍郎、議郎、丞相東曹屬、丞相主簿等職。曹操為了恢復北方經濟，解決軍糧問題，曾苦思良策，司馬懿時任丞相軍司馬，向曹操建議推行包括民屯、軍屯兩類的屯田制度。曹操行之，結果曹操所統治區域，一時「務農積穀，國用豐贍」。以後成為曹魏制度，並設有專門的屯田官。這也是三國時期唯魏獨強的原因之一。
司馬懿是一名戰略家，自隨曹操出戰起，他在軍事上提出過許多重大的建議，這些建議均顯示了他戰略上的深謀遠慮，有些建議的實施甚至對當時的天下形勢發生了重大的影響。如，他曾提醒曹操，說，荊州刺史胡修為人粗暴，南鄉太守傅方為人驕奢，都不應該讓他們駐守邊防，但曹操未予重視。後來劉備襲取漢中，攻佔房陵、上庸後，關羽也北攻新野、襄陽，水淹於禁七軍，蜀漢一時「威震華夏」。胡、傅二人果然乘機獻城降蜀。許都危在旦夕，曹操為避關羽鋒芒，一度準備遷都河北。司馬懿和蔣濟及時勸阻，讓他利用孫、劉爭奪荊州的矛盾，聯絡孫權出兵攻取荊州，魏則出兵取漢中、秦川，使劉備首尾不能相顧。由於司馬懿的這一建議，於是才有呂蒙偷襲荊州、關羽敗走麥城、吳蜀彝陵之戰等後事。
司馬懿的這次伐蜀主張，不僅挫敗了關羽的強大攻勢，解除了樊城之圍，而且也使諸葛亮原定的一路向宛洛、一路出秦川的兩面鉗擊中原的計劃無法實現。更重要的是破壞了孫、劉聯盟，蜀國從此勢弱，徹底改變了當時的戰略格局，掌握了三國的主動權。顯示了他作為年輕將領的傑出才能和作為軍事戰略家的博大胸懷。
曹操用人的原則，具有「既重才，又忌才；既用人，又疑人」的雙重性。加之曹操有識人之明，認為司馬懿為人，「內忌而外寬，猜忌多權變」。而司馬懿的相貌，嚴整威嚴，長著一雙像鷹一樣犀利的眼睛，曹操知其「有雄豪志」（《晉書宣帝紀》）。因此，他對司馬懿的猜疑，始終不能釋懷。
當他聽說司馬懿有狼顧之相時，就把他召來，先讓他朝前走，然後讓他回頭。司馬懿居然能臉朝後旋轉90度而身不動。相書上說，有狼顧之相的人，不是奸臣就是國賊。曹操又曾做夢，夢見三馬同槽，很犯忌諱，心中始終有疙瘩鬱結。就對曹丕說：「司馬懿非人臣也，必預汝家事。」於是便想趁早把司馬懿解決掉，只是由於曹操太惜才了，遲疑不決，再加上曹丕跟司馬懿的關係很鐵，多有美言，司馬懿才得以倖免於難。
司馬懿為曹操所深忌，只能勤勤懇懇地工作，韜光養晦，明哲保身。「於是勤於吏職，夜以忘寢，至於芻牧之間，悉皆臨履，由是魏武意遂安」。
曹操進封魏王后，立曹丕為太子，司馬懿升任太子中庶子，與陳群、吳質、朱鑠同列為曹丕的「四友」。為曹丕所信任和倚重，是曹丕智囊團的關鍵人物。
建安二十五年（220年），曹操去世，朝野危懼，司馬懿管理喪葬諸事，內外肅然。不久，曹丕威逼漢獻帝劉協禪位，想急不可待地受詔時，司馬懿建議曹丕謙辭推脫，以示謙卑處下，使曹丕在很大程度上免除天下怨謗，爭取了人心，從而鞏固了魏國的社會根基。由於司馬懿為曹丕「篡漢」出了大力，所以曹丕代漢後，司馬懿受封河津亭侯，任丞相府長史，又轉為督軍御史中丞。參與軍事，為曹丕屢出奇謀。
黃初七年（226年）5月，曹丕去世。明帝曹叡繼位，遺詔司馬懿為顧命大臣，遷撫軍大將軍，統領禁軍，輔佐明帝。改封司馬懿為舞陽侯。孫權得知魏文帝去世，於8月出兵攻魏，被司馬懿擊敗，並斬殺吳將張霸。
其後，諸葛亮六出祁山（今甘肅東南部山地），興師伐魏，明帝對司馬懿說：「西方有事，非君莫可付者。」其信任如此。司馬懿為人機警而富於智謀，雄豪豁達，心機莫測，狡詐異常，「堅壁拒守，以逸待勞」。諸葛亮深知司馬懿的厲害，便派人給他送來「巾幗婦人之飾」羞辱他，激他出戰。但司馬懿寧可穿上對方送來的女人服裝，甘心受辱，也不輕易出戰。表面上是弱者所為，但正是司馬懿示弱於對方，使諸葛亮這個咄咄逼人的強者，始終處在無可奈何的焦慮中，始終佔不到上風，最後壯志未酬，病逝於五丈原。
強者最後反倒為弱者所敗。
司馬懿笑到了最後。
由此可見，司馬懿在帶兵作戰方面，遠比諸葛亮要厲害得多，是歷史上一個很有軍事才能的謀略家，城府很深，連曹操也看不透他。只是由於後人對諸葛亮的神化，司馬懿才成了反面人物。公正而言，三國英雄，唯曹操、司馬懿而已。
由於司馬懿長期帶兵在秦川跟蜀國打仗，魏國兵權大部分落在他手裡。明帝提升他為太尉後，他實際上就成了魏國的軍事統帥。
景初元年（237年），原魏遼東太守公孫淵叛魏自立為燕王，置列百官，定都襄平（今遼寧遼陽）。魏明帝召司馬懿回京，於238年正月，命他率兵討伐。
司馬懿軍至遼水，採用聲東擊西之計，先在南線多張旗幟，佯攻圍塹，吸引敵軍主力，而以主力隱蔽渡過遼水，逼近敵營。接著，不攻敵營，卻揮師直取公孫淵根據地襄平。公孫淵戰死，遼東國滅。粉碎了公孫淵的分裂勢力，維護了已經形成的統一局面。在原定的一年期限內，即勝利班師。
當時司馬懿軍中有的士兵衣單寒冷，向他乞要襦衣，司馬懿不給。對人說：「襦衣是國家的，我作臣子的，不能賞與別人，換取感激。」他十分注意避嫌，以至於寧願士兵受凍也不自作主張發放冬衣。
明帝派使者到薊去犒勞部隊，增司馬懿食邑昆陽等二縣。
本來朝廷讓他班師後直接到關中去，但當他走到白屋時，有詔書召他火速進京，三日之間，詔書五至。明帝手書說：「間側息望到，到便直排閣入，視吾面」。就是要他趕緊回京，直接入宮，面見明帝，有要事相托。
據野史記載，司馬懿攻破襄平後，曾夢見明帝枕在他的膝上，說：「視吾面。」他即抬頭，看見明帝面有異色，疑天子有疾。如今一見詔書有此語，大為驚訝。於是晝夜兼程，400多里，一夕而至。徑入嘉福殿內，流著眼淚，探問明帝病情。明帝拉著他的手，鄭重地把太子齊王托孤給他，說：「我將不久於人世，能見到你，我也沒有什麼遺憾了，現將後事托付於你。望你和曹爽共同輔佐太子。」當天，明帝即去世。
時為景初三年（239年）正月。太子齊王曹芳柩前繼位，是為魏少帝，司馬懿、曹爽同受托孤輔政。