據《三國誌》記載，劉備是一個命中克妻之人，所以當年在老家的時候「數喪嫡室」。等到劉備起兵之後，在沛城娶了一個姓甘的女子為妾，這個甘夫人就是劉禪的生母。至於阿斗的小名，也是因為甘夫人夜夢仰吞北斗而孕，所以才取了這樣一個小名。
據記載，劉禪童年的時候曾經被人拐賣到漢中，直到建安十六年(212)，有一個扶風人劉括因避亂來到漢中，劉禪又被賣到他家。劉括問他的身世，知道他是正經人家的孩子，就把他收為養子，並且給他娶了妻，生了孩子。後來，有一個姓簡的人是劉備麾下的將軍，他聽劉禪說自己的生父字玄德，便告訴了劉備。劉備這才派人前去驗證，發現果然是自己失散的孩子，才將他接到了益州(四川)，立為太子。
除此之外，《三國演義》中還有一個「截江救阿斗」的精彩故事，主角也是趙雲，不過這次還有張飛協助。當時劉備率兵入川，荊州政事暫由諸葛亮代為處理。
這時候，吳國的孫權貪圖荊州，便想趁劉備不在奪取荊州。
但是，孫權的妹妹孫尚香尚在荊州，他怕作戰時妹妹被扣做人質，便以老夫人病了為由將其先行騙回，並企圖將劉備唯一的骨肉劉禪也帶回去，將來可以做人質威脅劉備。不過，正待孫尚香登船之際，趙雲便追了上來，奪回了劉禪。當時情況危急，幸好有張飛趕來斷後，截住了東吳的船隻，才使得趙雲順利脫身。
這幾個故事的真偽現在也無從考證了，但都說明了劉禪的童年確實過得很不順利，經受了很多磨難。