陳壽在《三國誌》中寫得十分婉轉，他說劉備專愛結交豪俠，而實際情況並非如此。《三國誌》中所寫的「豪俠」實際上是一種尊稱，說白了，劉備專愛結交流氓、土匪、罪犯這樣的人。從劉備的家庭出身來看，他生在貧寒的家庭，父親早逝，僅能靠編織竹蓆、草鞋為生。面對這樣的家庭環境，劉備卻屢屢做出與本人身份不等的事情來。首先，家中一貧如洗的劉備母親竟然能供劉備讀書，並且投靠在前任九江市長盧植的門下，與當時擔任令支郡門下書佐、令支侯市長的女婿公孫瓚是同窗。公孫瓚因為娶到太守的女兒才有機會到盧植門下學經，而劉備寒門子弟卻也能就讀於大儒門下，這的確是值得思考的問題。
拋開上述話題不談，我們再看劉備讀書的學雜生活費是哪裡來的呢?原來宗族中的親戚劉元起全力資助他的。《三國誌·先主傳》中記載道：「德然父元起常資給先主，與德然等。」這句話作何解釋呢?筆者認為大意應該是劉元起對待劉備如同親子，以至於不顧妻子的反對，時常接濟劉備。因此，劉備得以順利的在盧植門下學習。可是當我們看劉備少年的生活時，用驕奢淫逸來形容一點也不為過。劉備不僅不刻苦學習，反而騎馬遛狗，攀比穿戴。可這些錢從何而來呢?我們暫且認為是劉元起給他的。就這樣，劉備開始了結交「豪俠」的生活。那麼，他又結交了哪些人呢?
史書中記載了三位有代表性的人物，他們就是簡雍、關羽、張飛。簡雍是劉備集團的肱股之臣，少年時就認識劉備，屬於「年少爭附之」中的一員。史書上對他的著墨不多，主要說他對禮法規矩不屑一顧，非常不注重個人形象。關羽本是河東解良人，因為殺人越貨潛逃到涿郡，因為劉備在當地頗有名望，便去投靠他。張飛是劉備的老鄉，與關羽一道去投靠劉備。從簡雍、關羽、張飛的情況我們完全可以看出，劉備結交的「豪俠」全是一群不遵守禮法規矩的「亡命之徒」。
因為劉備手底下聚集了一批人，中山的馬販子張世平、蘇雙覺得他是奇才，給他了一筆錢，劉備便正式建立了自己的武裝隊伍。可是，僅是這樣也讓筆者心生疑竇。《三國誌》中記載張、蘇二人贈送劉備錢財時，先是寫他們「貲累千金」，路過涿郡時給了劉備一筆錢財。按理說，劉備盡結交一些亡命之徒，張、蘇二人躲之不及，為何還要主動贈送錢財呢?有一種解釋說，劉備糾集亡命之徒對巨商張世平、蘇雙進行敲詐才獲得了這筆錢財。從劉備少年的經歷來看，僅僅依靠一句輕狂之言是很難引起別人注意的。他在獲得張、蘇二人「贈送」的一筆錢財時已經有很多「豪俠」依附於他，他能過上騎馬遛狗、攀比穿戴的生活很可能就是利用這些「豪俠」們巧取豪奪來的。
如果說劉備待人恭謙很有名望的話，我們會發現當他聚起第一支武裝時宗族中沒有一位親戚投靠他，甚至連誇讚他「非常人也」的親戚劉元起也沒讓兒子劉德然隨劉備左右，這讓劉備的名聲大打折扣。倘若劉元起真心認為劉備是「非常人也」，可又為何在劉備擁有一支部隊時不讓兒子去投靠他，以期謀求發展呢?劉備的父親劉弘實際上是有兄弟的，《三國誌》記載了劉備的叔叔叫劉子敬，可這位親叔叔並沒有對一貧如洗的劉備家提供絲毫的幫助，甚至覺得他會「滅吾門也」。難道僅僅是因為劉備少時的輕狂之言就讓叔叔有如此嚴重的看法嗎?孩童時代很多人都說過一些不著邊際的話，可《三國誌》將這事專門寫出來是否有名不副實的嫌疑呢?
實際上，我們可以想像劉備身處的時代屬於亂世，少年時他就已經暴露了「稱帝」的野心。依附他的那些少年很可能都是一群亡命之徒，因此家族裡的親戚對他都是避之不及。當他與這群亡命之徒謀得中山大商張世平、蘇雙的錢財後，我們可以看出劉備少年時就已經成為一名「豪俠」，並且還是一名「豪俠」首領。既然他做了「豪俠」首領、土匪頭子，自然而然就可以過上富裕的生活，並且利用朝廷要求地方自行組織武裝平定黃巾的機會將這群亡命之徒打造成「剿匪義軍」了。