在網友們的印象裡呂布似乎有很強悍的戰鬥力，很有點所向無敵的樣子。但事實上，呂布只會騎馬耍戟;至多能帶上幾百人或幾千人，作一個偏裨之將。自然他個人的武藝相當高強，然而戰術的知識有限，戰略的學問更是一點都沒有。至於政治，還是一個門外漢了。我們再說得淺一些，他有勇無謀;而他的勇，也不過是比起匹夫之勇略微高些而已。
他連李傕、郭汜之流都打不過，還談什麼到關東(函谷關以東)來逐鹿中原?他慌慌忙忙離開長安，把董卓的臭腐了的頭顱掛在他的赤菟馬的頸子上，帶了幾百名騎兵溜出武關，直奔南陽，投奔了袁術。
袁術起初對他相當禮遇，因為他畢竟是殺掉董卓、替袁家幾十口報了血海深仇的人。他這人似乎是不識抬舉，在南陽住了不久，便放任自己的部下胡鬧，搶劫老百姓的財物。他之如此，也可能是對袁術的一種抗議，袁術生平不甚慷慨，大概是「日久厭生」，不熱心供應呂布及其幾百名騎兵的糧餉。然而，話說回來，呂布論什麼也不該在南陽有騷擾，當強盜也得選個地方。合則留，不合則去，既然賓主之間弄得不甚愉快，那就另找出路好了，以客人的身份兼為小偷，總有點兒那個!
他終於不得不向袁術告辭，一口氣由南而北，渡過黃河，到并州(山西)河內郡投奔同鄉張楊。張楊這人對皇帝忠，對朋友義，待呂布比袁術待他好得多了。呂布卻又無法在河內郡久留。原因是，張楊自己雖然十分厚道，張楊的部下之中倒頗有人存心想把呂布殺掉，送他的頭去長安，向李傕、郭汜領賞。呂布見到情形不對，連張楊本人也懷疑起來，他向張楊說：「長安的朝廷懸賞捉拿我，捉到活的我，賞金大於捉到死的我，你與其殺掉我，送我的頭去;不如把我捆起來，送活的我去。」
張楊很幽默，不說「我沒有意思出賣你」，卻向呂布冷冷的說：「你的話很對。」
呂布被張楊這一句話，弄得坐立不安，想來想去，想出了「以走為妙」。於是，他帶了部下若干人向東走，投奔袁紹。袁紹這時候已經逼走了冀州牧韓馥，取而代之，作了冀州牧，住在冀州的鄴縣(河南臨漳西南)，正在為了「黑山賊」大傷腦筋。
所謂「黑山喊」，他們的領袖是常山人，姓張名燕，原名張飛燕;最初在河南朝歌縣的黑山起事，因此部眾被稱為「黑山賊」(常山是漢朝的一個郡，州治在元氏縣)。
袁紹費了很久時間，很大力氣，平不了張燕及其部眾。呂布一到，立刻就把逆勢變成優勢。呂布帶了幾十名猛將與勇士，騎著馬，衝入敵陣，橫衝直撞，每次都殺掉一些敵人才回來。而且，每天一次，甚至三次四次。
結果.他這種攻勢戰法和主動作風，收到了先聲奪人的效果，瓦解了「黑山賊」的士氣，把他們打得潰不成軍，迫使張燕接受招安。
呂布的功勞確是不小。他的威名，也建立了起來。人們看見他一馬當先，能奔上敵人的小城城牆，衝進敵人的堡壘，越過敵人的水壕土塹，由不得不佩服、不欣賞。他座下的那匹赤菟馬，也十分可愛。因此，大家流行了八個字的讚美之語：「馬中赤菟，人中呂布」(赤菟的菟字有草頭，不是小白兔的兔)。
呂布和袁紹也好不了多久。原因，仍舊是他自己與部下沒有紀律。
他被袁紹送走。送走的方式，是「承製」以呂布為「領司隸校尉」，派三千壯士陪伴他去洛陽上任(所謂「承製」，在字面上是「奉了皇帝的制書，皇帝的聖旨;但在事實上袁紹從來不曾收到過獻帝的這種制書。獻帝這個小孩子，當時處於李傕、郭汜的掌握之中，哪裡能夠頒發如此的制書給袁紹或任何其他軍閥，授權他們代為任命中央或地方的大官)。
呂布只得帶了他的幾十名部下，跟著囊紹所派遣的三千壯士。離開鄴縣。他在董卓死後，敗於李傕、郭汜，奔向南陽，依附袁術之時，尚有幾百名軍官與兵士。其後，轉往河內投張楊，又由河內轉往常山投袁紹，走了許多地方，部下的官與兵越走越少。現在又離開鄴縣往洛陽走，部下就只剩了幾十人而已。
這幾十人，顯然與袁紹的三千人不成比例。袁紹的三千人，與其稱為護送呂布的壯士，不如稱為押解呂布的獄卒。袁紹早已吩咐了這些壯士，在走出鄴縣不遠便將呂布殺害，呂布倒也相當警覺，看出了這些壯士來意不善。於是，他在某一天的夜晚，坐在帳篷裡彈箏，彈了一陣，把箏交給了一位親信繼續彈。他自己卻在箏聲之中，悄悄地由帳篷之後溜走。
袁紹的三千壯士之中的情報人員，躲藏在帳篷前門之外不遠的地方，偷聽呂布彈箏，一直聽到了箏聲停止，似乎呂布已經就寢，酣睡。這位情報人員，去向上峰報告;上峰率領了一大批人將帳篷包圍，一聲吆喝，刀斧齊下，把帳篷砍碎，把帳篷裡面的東西也砍碎，卻不曾砍到呂布，也不曾砍到那位代替呂布彈箏的親信。