當此之時，曹操、劉備、袁家兩兄弟、孫權等勢力正打得不可開交，曹操東征徐州牧陶謙無暇顧及大本營兗州，陳留太守支持呂布偷襲兗州，有一支強大的部隊加上有張遼這樣的著名將領，曹操居然栽在了這個小子手裡。至此，呂布盛極一時，張邈反成為他的附庸，陳宮也做了他的軍師，呂布改行當起了主公。結果，曹操回到大本營又把呂布這個臭小子收拾了一遍，將兗州各城全部收復，在鉅野擊敗了飢餓的呂布軍。呂布又過上了顛沛流離的生活，他這次出逃到了劉備的營下。
劉備雖然知道呂布這個人靠不住，但是自己實力也弱，就暫且把呂布放入自己的麾下，劉備雖然兵少將寡，卻名聲很好，廣受世人尊敬。他對呂布還很客氣，但是他的兄弟張飛可不就是這樣好說話的人，張飛不喜歡呂布經常直呼呂布「三姓家奴」，這事放誰身上，面子都掛不住，恰好，袁術也想籠絡呂布，以此來除掉劉備。與劉備交戰，呂布多少有些不好意思，但是與張飛交戰他卻問心無愧，萬般無奈之下劉備向呂布投降，呂布由此成為徐州之主。
袁術看劉備還活著，心裡實在是不舒服，他向呂布溝通，自己攻打劉備時他要保持中立，呂布覺得有點不好意思，於是就有了「轅門射箭」，呂布請來袁術手下第一大將紀靈，同時在場的還有劉備手下的張飛，問紀靈：你射一箭能射多遠?紀靈說：五十步內，百發百中。又問張飛，張飛說：爺能射八十步。
呂布笑而不語，讓人把方天畫戟立於一百二十步外的轅門，並說我要射中了，就此歇戰。說罷，抬手就射，一箭即中，紀靈啥話也沒說，就退兵了。
呂布，大多數人評價都是：匹夫之勇，無以為謀。其實，呂布並不是個有勇無謀的粗人，他的兩次機智都流傳千古，但是呂布跟劉備、曹操比起來，始終少了一些東西，劉備、曹操都是胸懷大志的人，此二人都有明確的目標，並且按計劃實行，再看呂布，他不知道該做著名將領還是當皇帝，是奪曹操兗州以取中原，還是占劉備徐州以行割據，這些年，因為他的徘徊和不清楚，導致雖然身經百戰，卻沒有做成什麼大事業。
說呂布目光短淺，三姓家奴，反覆無常也好，誇他「人中呂布，馬中赤兔」也好，是非成敗轉頭空，畢竟能拿得起，放得下的都是真英雄。從頭看，不見英雄氣，卻為英雄出，英雄何所覓?