劉備不是一個好色之徒，因此對他的情愛生活史書記載極少，但孟子還說「食、色，性也。」意思是食慾和性慾都是人體的本能，劉備也不例外，只有在情色上才可以見到劉備的另一面。
劉備的夫人沛國人甘氏是三國時代著名的美女之一。劉備起兵後在豫州小沛納甘氏為妾。劉備好幾個嫡妻先後喪生，甘夫人便以嫡妻的身份攝掌內事。後來隨劉備到了荊州依附劉表，生下兒子阿斗(即後來的蜀後主劉禪)。
曹操大軍在當陽長阪追到劉備一行，劉備丟下老婆孩子一個人跑了。全靠趙雲的保護，甘夫人才倖免於難。當初桃園結義的時候張飛與關羽都殺掉自己的妻子跟隨劉備，那句有名的「朋友如手足，妻子如衣服」的話就是劉備說的。可見在他眼裡妻子不過是隨時脫隨時換的衣服鞋子一類的東西，所以此時拋下甘夫人一個人逃命符合劉備的性格。
甘夫人生於微賤的家庭，幼小的時候鄉里會看相的說：「這個女孩子此後貴不可限，當位極宮掖。」等她長大後體貌與一般女子不同。十八歲的她玉質柔肌、態媚容冶，劉備將她召致白綃帳中，在戶外觀望，甘氏就如同月下凝聚的白雪一樣。河南有獻媚劉備的人送給劉備一支高三尺的玉人，劉備把這個玉人放在甘夫人的身邊，常常在夜晚叫甘夫人脫光衣服，與旁邊的玉人作比較。他白天與謀臣談論軍國大事，夜裡就抱著甘夫人玩弄那個玉人，自己還常說：「玉之所貴，比德君子。況且雕鑿為人形，而難道可以不玩麼?」
甘夫人與玉人潔白溫潤沒有二致，看見的人都分不清哪一個是甘夫人哪一個是玉人。嬖寵者不僅僅妒忌於甘後，也妒忌那個玉人。甘夫人常想將玉人毀去，她對劉備說：「以前子罕不以玉為寶，春秋上讚美他。現在吳魏未滅，怎麼能玩物喪志呢?凡是淫惑生疑的東西，不要再拿進來。」劉備聽從了甘夫人的話，撤下玉人再也不玩了，取嬖者見沒有機會可趁都退靠後了。當時的君子議論以為甘夫人是位神智清醒的夫人。