東漢末曹操在平定中原後，開始準備代漢，這時中國的六大地區中，東南孫權、西南劉備都建立割據與曹操對抗，建安十八年曹操分天下為九州，自己擔任冀州牧，他恢復禹貢是因為要把并州、幽州併入自己的冀州統治區，同時任命司馬朗擔任列第二州的兗州刺史，這裡是他興起的地方，讓司馬朗率領勢力僅次於穎川豪強的兗州貴族，利用曹氏和司馬氏的親密關係，也有利於曹操的統治。
司馬氏在這時起就開始在中國政治舞台發揮重要作用，代表中小地主階級的士族利益。在建安二十一年曹操開始對士族進行打擊，與司馬朗關係密切的崔琰被殺，毛玠罷免，二十二年司馬朗去世，豪強與士族的矛盾加劇，也削弱了曹魏集團，在軍事上接連失利，漢中等地淪陷，司馬懿等士族在豪強都擁戴曹操，說漢室已盡時，持漢室垂終的立場，這固然是客觀實際，也體現了士族在豪強與漢室的對抗中，採取了中立態度。但是司馬懿等為代表的士族為了自身利益也提出了軍屯、防禦、愛民等計略，竭力維護曹魏的中原統治，曹操見司馬懿不反對代漢，也竭力拉攏士族，讓他們輔佐曹丕。
在曹丕繼位後，司馬懿當時在漢室的職務是丞相長史，他是魏國執掌兵權的重要官員，勸阻曹丕不要放棄襄樊。司馬懿在魏國的職位是督軍、御史中丞，在勸進時和鄭渾、羊祕、鮑勳等是第三批，他不是《晉書》記載的在曹丕稱帝后才任督軍，勸進時已是督軍，兩個月後的黃初二年，曹丕稱帝后不久就廢除了司馬懿督軍職務。
東漢開始有督軍御史，曹操時設立都督，只有司馬朗和夏侯惇、曹仁等極少數能督眾軍，司馬懿當時擔任的督軍是督全軍的要職，曹丕即位也排擠士族，殺掉楊俊、鮑勳等，解除士族的兵權，但提升司馬懿行政權力，改任侍中、尚書僕射。
曹丕親自指揮軍隊伐吳，五年中三次失敗，豪強武裝戰鬥力的低下使他再次起用士族統兵，黃初五年任命司馬懿兼任撫軍大將軍，領親兵五千，錄尚書事，負責留台。六年詔：吾東，撫軍當總西事，吾西，撫軍當總東事，把司馬懿比作蕭何。
司馬氏集團此時已經開始在中原發揮關鍵作用，在中國六大地區中，在西北的西域和東北的遼東有重要影響力。其中最早控制了被視為絕遠、荒涼的西北，不僅西域是司馬孚獻策恢復聯繫的，負責西域戎夷事務的大鴻臚也是由司馬氏集團的崔林負責，他制定了與西域交往的制度。
涼州的歷任刺史也都是與司馬氏集團關係密切的人擔任，司馬懿的撫軍軍師徐邈擔任刺史最長。在東北遼東統治的公孫恭被侄兒公孫淵奪權後關押，也是司馬懿平定遼東解救了他，而且司馬氏集團的高柔還竭力勸阻曹睿殺公孫晃，可見司馬氏集團是與遼東公孫恭、公孫晃這派關係密切。曹睿封公孫淵為大司馬，高於司馬懿職務時，在徐邈控制的涼州就發生了反曹輿論，徐邈沒有毀了預示司馬氏得天下的圖讖，是曹睿讓人把「討曹」的「討」字鑿去。
徐邈和遼東李胤等與公孫氏有仇，對曹魏壓制司馬懿不滿，縱容反曹輿論散佈。因此曹睿憂慮地問陳矯社稷，回答是司馬懿是朝廷眾望所歸，司馬懿聯合東北各民族平定遼東後，控制了東北和西域。