兒子眾多，而且二兒子秦王司馬柬一度人望很高，被很多人認為是更為合適的皇位繼承人，但是司馬炎仍然選擇了以司馬衷為繼承人，而拒絕了其他人的建議。這個事情確實看起來很奇怪，不太符合邏輯。
但是，如果從司馬炎的經歷來看，就會發現，這個選擇並不奇怪，而是合乎邏輯的結果。
司馬氏從司馬懿發動高平陵之變開始，基本上完全掌握了曹魏政權。但高平陵之變是一次政治逆襲，風險非常高。司馬懿之所以能夠取得成功，是因為他得到了曹魏政權的一大批功臣勳舊集團的支持，尤其是文官集團的支持，如蔣濟、高柔等人，都是司馬懿發動政變的支持者。
高平陵之變順利除去曹爽集團之後，又通過廢黜齊王芳、改立高貴鄉公髦，之後又弒殺曹髦，改立曹奐，這一系列廢立皇帝的舉措，逐步暴露並將仍然忠於曹魏政權的一批大臣邊緣化，而用忠於司馬氏的文武臣僚取代，才逐步完成權力轉移過程。而且，在這個過程中，出現了淮南三叛，都是以反對司馬氏專權為名義的。
而司馬氏在這一過程中，也是處於連續不斷的接力過程。司馬懿在鎮壓王凌之叛後不久就死去，其子司馬師繼承他的權力，掌握曹魏政權的最高權力。但司馬師平定淮南第二叛毋丘儉之叛，還沒來得及班師回朝，就死在回師的路上。司馬師本人無子，過繼的司馬昭的兒子司馬攸這時候還小，就由司馬昭繼承其權力。
相比之下，司馬師繼承司馬懿的權力是自然而然的過程，司馬懿一直是把司馬師當作自己的繼位人培養。甚至司馬師的幾次婚姻，也完全是服務於司馬氏家族的政治利益的。發動高平陵之變前，在進行秘密策劃的時候，司馬懿也只和司馬師商量過，連司馬昭都沒有在事前得到消息。
但是，司馬懿沒有料到的是司馬師繼承權力才七年就去世了，當時只有司馬昭是血統上更合適、而且政治經驗相對豐富的繼承人，所以只能由他來繼承。但司馬昭曾對人說，天下是景王也就是司馬師的天下，他只是臨時看管，以後是要還給司馬師家的。
司馬師沒有兒子，由司馬昭的二兒子司馬攸奉祀。所以，在當時不少人心目中，司馬昭將來是要把權力交給司馬攸的。所以，司馬昭在立嗣的問題上一直有些猶豫不決。但是，最終司馬昭還是選擇以長子司馬炎為嗣。
司馬昭死時，司馬炎三十歲。與司馬師、司馬昭早早就參與家族政治活動不同，司馬炎之前的表現一直是一個紈褲公子，和當時的名士夏侯玄、諸葛誕、何晏等人過從甚密，參與政治活動比較少，政治經驗也不是很豐富。所以，在司馬昭死後，曾有人提議由司馬懿的弟弟司馬孚繼承權力，充當司馬氏的政治核心。
當然，最後司馬氏集團仍然選擇了以司馬炎繼承權力，並且在之後不久就篡魏為晉，成為晉朝的開國皇帝。司馬炎能夠在家族內部的繼承權之爭中勝出，並不是因為他的人望特別高，能力比別人都強很多，其實就是因為一個最為簡單的物理性原因，他是司馬昭的長子，是立嗣以長不以賢原則的受惠者。如果按照立嗣立賢的原則，那麼繼承權更有可能落入齊王攸或者司馬孚的手裡，而不是司馬炎。所以，他在繼位之後，就按照這一原則，立司馬衷為嗣。
司馬氏從魏臣篡位為君，忠義自然是談不上了，所以只能以孝治國。那麼，對司馬炎而言，他選擇立司馬衷為嗣就意味著，他對外公開表明，他這是在貫徹司馬昭確立的立嗣原則，以此來彈壓當時朝臣中仍然存在的對司馬攸的期望。
在晉國開國之後封建諸王時，最大的受益者也並非司馬炎自己，而是司馬孚，司馬孚和他的兒子們總共得到了十一個王爵，而司馬炎自己的兒子只有四個人封王。這時候，宗室對他而言，壓力大於對他的支持。而且，這時候齊王攸還在，人望也很高，遠非司馬炎的兒子司馬衷可比。
公元272年，司馬炎突然生了一場重病，朝臣中有人開始私下商量，準備司馬炎的身後事。其中一個重要的選項就是立司馬攸為帝，而不是立司馬衷為帝。這件事對司馬炎造成了很大的衝擊。他之前的寵臣賈充在此時也參與了這個陰謀，所以他在病癒之後不再信任賈充。
也是通過這次事件，司馬炎也意識到，宗室和司馬氏賴以篡取曹魏政權的那些功臣勳戚家族正在威脅帝系皇權。所以，病癒之後，他開始加速提拔外戚家族，也就是他的皇后楊氏的父親楊駿等人，以此來制衡宗室、勳貴世家。此外，司馬炎還下詔強硬要求司馬攸之藩，不允許他再住在京城洛陽。司馬攸雖然一直拖著沒有去封地，但不久之後也死了。
司馬攸死後，司馬炎的二兒子司馬柬又被朝臣視為比司馬衷更為合適的繼承人。而且，司馬柬在洛陽所居住的府邸正好就是司馬攸之前的府邸，更加給了很多人強烈的心理暗示。
幾年後，司馬炎再次調整宗室諸王封地，原來的宗室被削弱，司馬炎的兒子、孫子們則成為最大的受益者。其中，司馬柬被封為秦王，食邑達到驚人的五萬戶，而之前一直被認為受到優厚待遇的安平王司馬孚的食邑才只有四萬戶。這意味著，司馬炎雖然已經決心放棄選擇司馬柬為嗣的選項，但他顯然覺得在心理上是有些愧疚和不安的，所以在食邑戶數上給以超高規格的優待。
在司馬炎臨死前，他自認為留下的是一個內外均衡的政治格局。朝廷內部由外戚楊駿輔政，外有宗室強藩夾輔王室，日常性的行政事務則由士族官僚們負責承擔，是可以避免其中任何一家獨攬大權的結構。
但他煞費苦心、經營多年才建立起來的這套政治權力結構並不穩固，作為其中最大變量的就是司馬衷的政治能力幾乎等於零，完全被皇后賈南風所操縱。賈皇后先召藩王入京誅殺掉楊駿，其他藩王也接踵而來，由此演成了八王之亂。八王之亂鬧完，五胡之亂接著就來了，西晉也就成了中國歷史上的一個短命王朝。
而被司馬炎視為真正繼位人的皇孫愍懷太子司馬遹則英年早逝，沒有等到接班就死了。今天人們常說，司馬懿能夠最後成為三國的大贏家，最主要的原因就是他壽命長，先後熬死了曹操、曹丕和曹叡三代曹魏政權的掌權者，之後繼位的都是政治經驗缺乏的少年皇帝，才給了司馬懿掌權的機會。但司馬氏從司馬懿之後，實際上也面臨這個問題，先是碰到一個弱智皇帝，被寄予厚望的繼位人又英年早逝，整個政治平衡結構也被打破。