劉備的親人是沒有幾個的，小時候父親就死了，依靠會點手藝活的母親度日。劉備早年過得很清苦，儘管他喜歡漂亮的衣服，劉備很珍惜親情，所以他身邊不乏優秀的人才，比如關羽張飛。後來劉備在徐州的時候，與城中首富糜竺一見如故，糜竺把自己的妹妹送給劉備做夫人。糜夫人很賢惠，儘管她比劉備小了好多，她珍惜自己哥哥給自己找的這個男人，並且和另外一個姓甘的女子友好的相處。儘管她和劉備並沒有兒子，可是糜夫人打心眼裡敬仰劉備，把他當成頂天立地的大英雄。糜夫人家裡有錢，小時候過慣了有錢人的生活。可是結了婚，卻跟著劉備東躲西藏的。她很受用，畢竟當時自己的夫君的名聲是很大的。糜夫人很看重劉備，自然也號召家裡人也對劉備格外看重。其實她即使不說話，家裡人也像神一樣的敬著劉備。當時糜夫人有兩個哥哥，老大是糜竺，老二是糜芳，都是一表人才，而且都有才華。糜竺在徐州城裡說話很有力度，劉備的徐州牧糜竺是出過大力的。糜芳也不例外，在劉備跟前跑前跑後的，也很受到劉備的賞識。
劉備被曹操攻下徐州的時候，糜芳被曹操表奏為彭城相，官職相當於太守，兩千石的官職，可是糜芳二話不說，跟著劉備去過逃難一樣的日子，輾轉飄零到劉表那裡。劉備手下有個大將名叫關羽，平時很高傲，看不起自己的同僚，一開始還好一些，因為在苦日子，還能互相照應。後來一旦劉備漸漸能和曹操孫權成鼎足三分的時候，關羽的傲氣就更加凌人。劉備和張飛諸葛亮攻打益州的時候，關羽奉命佔據荊州，任命糜芳是南郡太守駐守江陵，同時將軍傅士人駐守公安。關羽總是認為二人的能力夠不上太守的資格，總是故意找他的茬。
公元219年，關羽在抗曹前線勢如破竹，製造了水淹七軍的神話，活捉了曹操大將於禁，斬了敵將龐德，聲名遠揚。此刻更加不可一世。要求糜芳等快速制備前線所用物資，如果時間延誤，一定要重重責罰。關羽是有脾氣的，而且脾氣很大，這一點糜竺很清楚。孫權是多厲害的人物，派諸葛瑾替兒子前來求親，照樣遭到責罵。自己平時就不受關羽的待見，糜芳很惶恐，可他還是沒有別的想法，指示加緊籌備糧餉。不過，孫權手下的呂蒙太厲害了，當時兵不血刃，白衣渡江拿下荊州，接著對待關羽手下的兵將猶如親人，知冷知熱、噓寒問暖，這一招著實厲害，關羽手下的荊州士兵紛紛投降，就連公安的傅士人也沒辦法控制，後來傅士人投了東吳。不久傅士人給糜芳寫一封書信，讓著名的演說家虞翻前來下書。
虞翻反覆陳述利害，說如今荊州危在旦夕，關羽這個人心高氣傲，你又沒有辦法為他準備糧餉，既然如此，不如歸降我東吳。我主孫權本來就善待人才，閣下又是漢中王的至親，主公自然不會虧待閣下。如果駐守此地，進不能守，退不能自保，如今荊州失守，關羽一定會惱恨閣下，即使關羽不怪罪，漢中王豈能善罷甘休。不如與江東互為一體，可保無虞。糜芳無奈，只得投降。糜芳投降以後，不僅遭到蜀漢的唾棄，也遭到東吳的輕視，就是當年勸降的虞翻也經常刁難。有一次糜芳乘船出行，恰好遇到虞翻的船，糜芳命人迴避，虞翻厲聲說：失忠與信，何以事君?傾人二城，而稱將軍，可乎?糜芳含羞而退，不過他仍然想在東吳建功立業，不久便和劉邵、鮮於丹等人平定了東吳的叛亂，俘虜當初背叛吳國的戲口守將晉宗。
如此可見，糜芳並非一無是處，他的背叛顯然有原因的：其一，關羽的輕視。關羽這個人對士兵很友善，不過與同僚關係並不友好，尤其是不喜歡那些咬文嚼字的文官。儘管關羽的書讀的並不多，可是很驕傲，總認為自己文武都是第一。其二，傅士人的投降，傅士人和糜芳本來互為依仗，傅士人的投降，讓緊張的糜芳不知所措，在敵人的強大攻勢下，最終選擇投降。其三，對方太優秀。無論是呂蒙還是陸遜，都是東吳有名的軍事統帥，不僅仗打得好，思想工作也做得好，尤其是優待俘虜，讓糜芳差一點成了光桿司令。其四，東吳的說客太厲害，虞翻能說，很有煽動性。傅士人的投降，糜芳的投降都與此人有關。不過演說家的嘴是靠不住的，用你的時候把你捧到天上，一旦惱怒，會把你罵得一佛出世，二佛升天。其五，劉備的手下並非只有糜芳一人叛降，黃權等著名將領也是如此，看來劉備待手下也是有需要檢討的地方。
總之，在三國那個時代，人們在哪裡做官，其實並沒有一定的框框，至於忠臣不保二主，那都是後來小說演義上的話，何況關將軍當年還保過曹操，孟達在魏國和蜀漢中間周旋，照樣受到諸葛亮的器重，因此對於糜芳實在沒有完全責備的必要。另外說一句糜芳的結局不是三國演義上寫的，被劉備綁在關羽的靈前，脫光了罰跪，用刀剮之，而是一直好好的呆在東吳。