曹操生於公元155年，司馬懿生於179年，曹操比司馬懿大24歲。220年，曹操去世，享年65歲，司馬懿時年41歲。
建安六年，也就是公元201年，荀彧舉薦了自己的同鄉司馬懿。這一年，司馬懿22歲了，但他並沒有出仕，而是選擇了拒絕。
建安十三年，也就是公元208年，赤壁大戰後，天下大局已定，司馬懿終於決定出仕曹操。這一年，司馬懿已經29歲了。這時候，比司馬懿小兩歲的諸葛亮時年27歲，已經出仕了，輔佐劉備，剛取得荊州的一部分作為根據地。而赤壁之戰的主角之一周瑜，雖然僅僅比司馬懿大四歲，卻已經快要走到生命的盡頭了。
也是在這一年，司馬懿的長子司馬師出生了。
曹操起家和平定北方，賴以成事的一般都被認為主要是兩個集團，一個是以荀彧為核心的汝穎文士集團，一個是曹操自己為核心的譙沛宗親，主要負責軍事。
司馬懿屬於汝穎文士集團。但到他出仕的時候，曹操已經基本平定北方，天下三分的格局大體上已經能看出來輪廓了。司馬懿受到荀彧舉薦，加入曹操集團，擔任文學掾，後來又受曹操之命，為曹丕賓客。在曹丕與曹植爭儲的過程中，司馬懿為曹丕出過不少主意，成為曹丕的心腹。
在這裡順便說，司馬孚實際上就比司馬懿小一歲，在司馬懿出仕不久後，司馬孚也出仕了，加入曹操集團，並且與司馬懿一樣，擔任丞相府文學掾。不過，司馬孚與司馬懿不同的地方在於，司馬孚受到了曹植的欣賞，並且他出仕就是司馬孚舉薦的。但在曹丕已經被確立為魏王太子之後，司馬孚就被任命為太子中庶子，成為曹丕的人了。
戰亂年代，要想快速晉陞，在競爭中勝出，其實只有一個出路，就是能夠通過在戰場上扎扎實實的軍功，才能獲得快速晉陞的機會。但終曹操之世，司馬懿都只是文士，沒有機會接近兵權，更無機會建立戰功。
從司馬懿出仕到曹操去世，這期間總共有12年的時間。這期間，司馬懿從一開始的文學侍從官員，逐步晉陞為主簿等有一定職權的事務性官員，地位是一直在上升的。曹丕被確立為魏王太子後，司馬懿被任命為太子中庶子。220年，曹操去世，司馬懿升任丞相府長史，已經是丞相府幕僚官員的最高級別。
司馬懿出仕的時候，曹魏的政治格局已經基本確立下來，司馬懿在汝穎文士集團中本來就已經屬於後進，而他這時候又被界定為文士，所以很難得到建立較大功勳的機會，也就不容易出頭。此外，曹操時期，曹魏的軍權始終由曹魏外圍宗親軍功集團把持，司馬懿更加難以得到表現的機會。
所以說，在曹操時期，司馬懿並不是沒有出人頭地，其實晉陞速度已經不算很慢了，而且很快就成為曹丕的心腹，得到比較大的信任，這已經非常難得了。只不過，與他後來在戰場上變現出來的獨擋方面的軍事能力相比，這時候他的履歷顯得比較單薄一些而已。
曹操死後，在曹丕時期，司馬懿雖然地位在逐漸升高，權位越來越高，但他扮演的仍然是文士角色，並沒有外放擔任州郡刺史或領兵的機會。
一直到明帝曹叡時代，曹魏的開國功勳們基本上凋零殆盡，司馬懿才開始得到領兵的機會，誅孟達，抗孫權，拒諸葛，平公孫，四方征戰，積累功勳。在明帝去世的時候，他和曹爽同時成為托孤大臣。高平陵之變後，才終於將曹魏政權整個納入自己的掌握之中。