按正史記載，作為浴血沙場能征善戰的將軍，張遼當為曹魏陣營的第一人。《三國誌》將張遼列為曹魏五大將之首。王歆更贊曰:「曹魏多著名將領，而張遼為第一。」
《三國誌·張遼傳》中曾提到張遼「本聶壹之後，以避怨變姓」。張遼的先祖聶壹，就是漢武帝時期著名的「馬邑之謀」的始作俑者。史載，在西漢元光元年(即公元前134年)，雁門馬邑一帶的豪商聶壹出於對匈奴的熟悉和對西漢王朝邊患不息的焦慮，通過人向漢武帝建議:和親之後漢朝已經取信於匈奴，只要誘之以利，必定能將之擊潰。於是聶壹奉命以自身作餌，親到匈奴陣營，向當時的軍臣單于詐降，更稱自己能斬殺馬邑縣令，迫使馬邑舉城投降，然後可盡得該城財物。單于信其言，又貪其利，便立刻策劃起兵。聶壹回漢後，以一名罪犯的首級訛稱為馬邑長吏之頭，以示時機已至，引誘匈奴軍深入重地。
漢武帝派出五位將軍連同車騎步共三十萬在馬邑設伏。這五位將軍是衛尉李廣驍騎將軍，太僕公孫賀輕車將軍，大行王恢將屯將軍，太中大夫李息材官將軍，御史大夫韓安國護軍將軍。各位領軍都隸屬韓安國，約定在單于進入馬邑時縱兵出擊。
計劃本來順利進行，詎料單于走到左雲一帶時，發現城野之間只見牲畜，不見一人，於是起了疑心。他派兵攻下一個碉堡，俘虜了一名尉史。該尉史揭穿了早已有三十多萬漢軍埋伏在馬邑附近的真相，悉破陰謀的單于大驚退軍，漢軍設伏全無用武之地。「馬邑之謀」亦以失敗告終。聶壹一片丹心付於荒草，不但無功，還成了漢、匈兩方都懷疑的人。為了避禍，他改姓為「張」。
三百年後，老張家有一個男娃出世了，他便是張遼。張遼年輕時，曾經做過郡吏。東漢末年，因其武力過人，被并州刺史丁原召為從事，並派他帶兵到京城。後來又被大將軍何進派去河北招兵買馬，張遼回來時，189年，何進的勢力已被消滅。於是又歸附董卓，後來董卓兵敗，張遼又帶著手下的將士們歸附呂布，擔任騎都尉。198年，呂布在下邳被曹操擊敗之後，張遼率部投降，被拜為中郎將、賜關內侯，並擔任魯相。後因戰功被晉陞為裨將軍。
張遼歸降曹操以後，跟從曹操轉戰南北，討袁紹，平河北，征荊州，戰孫權，屢立戰功，與曹仁、夏侯淵、張郃、徐晃被並稱為曹操的五大良將。曹操剿滅袁紹的勢力後，派遣張遼管轄魯國各縣，並跟隨夏侯淵剿滅東海的昌豨，成功勸降。後隨曹操去黎陽剿滅袁譚、袁尚聯軍，因戰功而升為中堅將軍。
曹操返許，命張遼和樂進攻下了陰安，再隨曹操再攻下鄴。更攻下了趙國、常山。205年，隨曹操成功剿滅了袁譚，攻下海濱，並擊敗遼東的賊兵。張遼引軍還鄴城時，曹操親自出迎張遼，更與張遼共載一車，並封張遼為蕩寇將軍。
接著張遼又率軍攻打荊州，平定了江夏各縣，在臨穎屯兵，受封為都亭侯。207年，隨同曹操進攻於柳城的袁尚，途中遇上烏桓軍。張遼壯氣奮發，勸曹操即時赴戰，曹操壯其行為，親自把所持的麾旗授予張遼。遼遂引軍突擊，大破敵兵，親斬單于蹋頓於陣前。
那時候荊州尚未安定，隨後張遼還駐荊州時，軍中忽有謀反者騷動起事，半夜驚亂起火，全軍亂作一團。此時張遼顧謂左右道︰「不可驚動。這一定不會是全營盡反，必定是引起叛變之人，想藉此惑亂他人而已。」於是傳令軍中，只要不是反亂者安坐勿動。而張遼則帶領親兵數十人，守立於陣中。很快騷亂就平息了，軍中隨即擒獲首謀者，並將其斬殺，徹底平息了事態。
其時盧江人陳蘭、梅成佔據氐等六縣作叛，曹操於是遣於禁、臧霸等討梅成，又命張遼督領張郃、牛蓋等討陳蘭。當時梅成詐降於禁，於禁引軍便還。不料梅成趁機率眾往投陳蘭，二人據險紮營於天柱山自守。張遼意欲進山，諸將皆說︰「此山道路險惡，很難深入用兵。」而張遼卻說:「這正是所謂'一與一，勇者得前耳 '(只有勇者可以前進)。」於是進至山下安營，起兵攻擊，終於斬下陳蘭、梅成首級，盡虜其眾。曹操論諸將功勞，說:「登天山，履峻險，以取蘭、成，蕩寇 (蕩寇將軍張遼)功也。」
張遼不僅長於征伐，而且頗有戰略眼光。建安十二年曹操遠征袁尚時，張遼勸諫說:「許昌，現在是天下的都會。天子(漢獻帝劉協)正居許昌，您千里北征，如果劉表派劉備偷襲，挾持了天子而號令四方，形勢就危險了!」果然，曹操北征之後，劉備即向劉表建議襲許，而劉表不能用其計。但就當時形勢而言，在劉表為失計，在曹操為僥倖，張遼的擔心是很有見識的。
張遼在其二十餘年的戎馬生涯中，攻無不克，守無不固，其為將之勇力和智略皆有可觀。張遼軍旅生涯最輝煌的巔峰是對孫權的合肥之戰。208年，曹操於赤壁之戰大敗，派張遼、李典、樂進率七千餘人駐合肥，並派護軍薛悌送函給張遼，函署「賊至乃發」。建安二十年(215)八月，吳主孫權親自率兵十萬圍困合肥。此間，駐守合肥的曹軍僅七千餘人。兩軍對陣，眾寡懸殊。偏偏在這危急關頭，曹操又親自率兵西征在外，一時無法派遣軍隊來援救合肥。遇此嚴峻形勢，對於駐守合肥的曹軍來說，實在是凶多吉少。守將樂進、李典相覷無奈，猛將張遼見此拍案而起曰:「曹公今遠征在外，若坐等曹公派援軍來救，即便援軍來到，那時吾等也早被吳軍擊敗。現在唯一的上策，是在吳軍尚立足未穩之時，主動出擊，挫其銳氣，方能安定眾心，鼓舞士氣，得以守住城池。成敗之機，在此一戰，諸君何疑?」
李典與張遼素有隔閡，然在此危急關頭，聞張遼之言，便慷慨陳詞曰:「此國家大事，既然將軍主意已定，奮不顧身，吾等能以小私而捨棄大義乎?」於是，張遼夜募敢從之士八百人，於破曉時突殺吳陣，直戰至日中乃休戰，使吳軍遭受重創。此戰中，「(張)遼披甲持戟，先登陷陳，殺數十人，斬二將。」孫權猝不及防，10萬大軍被逼迫退守到一片高地。後來見張遼兵少，「乃聚圍遼數重」。張遼軍左衝右突，勇不可當，一度與數十人殺出重圍，後見自己的大部人馬還在圍中，又折返回陣，救出自己的部下。孫權的軍隊「皆披靡，無敢當者」。一場大戰從清晨殺到中午，「吳人奪氣」，孫權只好撤退。
後孫權「守合肥十餘日，城不可拔，乃引退」。當孫權與諸將行至逍遙津北時，恰為張遼偵知。遼即率步騎突然而至，甘寧與呂蒙等吳將與遼力戰，凌統則率親兵護權出圍。當孫權退至逍遙津橋時，見橋南已拆、丈餘無板。在此危急關頭，孫權近監谷利急中生智，於孫權坐騎後猛著一鞭，使孫權借助奔馬之勢飛橋而過，倖免於難。此戰史稱張遼威震逍遙津，是三國時期魏吳相爭中創下的一次以少勝多的著名戰例。
此役後曹操大讚張遼，拜征東將軍。建安二十一年，曹操又征孫權。軍到合肥，曹操巡視昔日張遼作戰的地方，讚歎良久。後來繼位的曹丕曾評價說:「合肥之役，遼、典以步卒八百，破賊十萬，自古用兵，未之有也。」並贊其「此亦古之召虎也。」《三國誌魏書十七張遼傳》(召虎是與方叔、尹吉甫、秦仲等齊名的東周大將。)
此後，張遼以征東將軍之職屯兵居巢(今安徽桐城南)，防範孫權。曹丕接任王位後，改遷張遼為前將軍，也封其兄及子為列侯。孫權再叛，曹丕遣張遼還屯合肥，晉爵都鄉侯。曹丕准其母乘車及兵馬送其家人到他駐軍的地方，這在當時是至高榮譽。後曹丕稱帝，封張遼為晉陽侯，增食邑至兩千六百戶。黃初二年，曹丕還特別替張遼建造屋舍，替他母親興建殿室，又把跟隨張遼的步卒封為虎賁。
張遼不幸在此時得了疾病。曹丕便遣侍中劉曄帶太醫視疾，甚至親到其營執其手問候，賜其御衣，更派太官送御食。待張遼之疾稍愈，遼即還屯。正當其時，孫權復叛，黃初三年，曹丕遣張遼乘舟，與曹休到海陵臨江駐防。孫權知張遼至此，告誡部下說:「張遼雖病，不可當也，慎之!」其畏張遼如此。同年，張遼抱病與曹休伐吳，打敗吳將呂范。
不久張遼病篤，逝於江都，魏失棟樑，一代著名將領就此隕落。曹丕為之流涕，謚曰剛侯。其子張虎嗣其爵位。