張繡是涼州軍閥張濟的侄子，張濟當時又是董卓手下的大將。張繡年輕的時候便以膽略義氣聞名，成為了家鄉豪傑的首領。初平三年(192年)，董卓被呂布所殺，張繡便跟隨張濟、李傕、郭汜、樊稠等人一起反攻長安，成功地控制漢獻帝劉協。隨後張繡被封為建忠將軍，封宣威侯。
後來張濟被安排在戰略要道弘農郡駐守，獻帝東遷時，張濟護送之功，被官拜驃騎將軍。建安元年(196年)，軍中缺糧的張濟自關中引兵入荊州界，侵犯了荊州牧劉表的地盤，死在了進攻穰城時中流箭下。
張濟死後，張繡便繼承了家業。張濟的遺孀鄒夫人及家屬也暫時跟著張繡，接管張濟手下的軍隊後，張繡開始與劉表講和，雙方結成聯盟，之後劉表派人招誘張濟的餘部，劉表提供糧食和城池，張繡便駐守在宛城替他抵禦外敵。而當時已將獻帝遷至許都的曹操已經開始忌憚內有三國第一「毒士」賈詡和猛將牛金，外有劉表為援手的張繡。
建安二年(197年)，曹操南征，攻打張繡，長子曹昂、次子曹丕等人皆隨軍出征，張繡不戰而投降曹操。曹操佔據了宛城後不僅公然霸佔張繡的寡嬸鄒夫人，還加意策反張繡的幹將牛金，得知消息後的張繡羞憤交加，秘密準備殺掉曹操。這場出其不意的兵變令曹操死傷慘重，失去了長子曹昂、侄子曹安民、大將典韋，張繡開始引兵追擊，被曹操擊退，又再次與劉表聯盟。
建安三年(198年)三月，曹操再次南征張繡，後來收到袁紹將偷襲許都的消息，只能被迫撤兵，之後劉表與張繡開始夾擊曹軍，在回師途中敗於張繡的追兵。
建安四年(199年)，張繡向曹操投降。但是曹操面對張繡卻沒有再計較殺子之仇，反而對他刻意厚待，還為自己的兒子曹均娶了張繡的女兒，並封張繡為揚武將軍。在歸降的8年時間裡，張繡參加了官渡之戰，力戰有功，升為破羌將軍。又於建安十年(205年)，在南皮擊破袁譚後，增加食邑一共2000戶。當時天下久經戰亂，戶口劇減，在曹營將領中唯獨張繡得到2000戶，可以想像到張繡有多麼受重視。
建安十二年(207年)，張繡跟隨曹操去柳城征討烏桓時，在中途「離奇」病死。張繡死後張泉襲爵，封長樂衛尉。後來被捲進了魏諷的謀反事件，視為同黨誅戮。
張繡的離奇死亡在史書上記載著，是被曹丕逼死的。因為當年殺死曹昂一事，曹丕對張繡很不滿，而張繡心中不安，不久之後便自殺。