曹休是曹操的族子、曹洪的親侄。曹休的祖父曹鼎歷任河間相、吳郡太守、尚書令。 當時天下大亂，曹氏宗族各個散去，離開鄉里。曹休十餘歲時喪父，他獨自與一門客抬著其父靈柩，臨時租借了一塊墳地將其父安葬。然後攜帶著老母，渡江到吳地避難，被吳郡太守收留。曹休在太守官邸裡，見到壁上掛著昔日太守即其祖父曹鼎的畫像，遂下榻拜於地上涕泣不已，當時同坐的人都對曹休感到讚許和惋惜。 中平六年(189年)，曹操在兗州舉義兵討伐董卓，曹休於是變易姓名從千里之外的吳地途經荊州北歸中原，乃見到曹操。曹操當時對左右的人說：「這是我們家的千里馬啊(本意只是戲稱曹休能夠輾轉行走千里來歸如同能行走千里的馬駒)。」於是讓他與曹丕共同食住，待若親子。後來曹休經常跟隨曹操四處征伐，曾在「天下驍銳」的虎豹騎中擔任宿衛之職。
下辨揚威建安二十三年(218年)，劉備率領諸將起兵攻漢中，另派遣將軍吳蘭攻擊下辨。曹休遂被任命為騎都尉，與議郎辛毗一起擔任主帥曹洪的參軍，且和偏將軍曹真、雍州刺史張既等隨曹洪進軍征討。曹操在出征前對曹休說：「你雖名為參軍，但其實就是這支軍隊的主帥。」曹洪得知此令後，也把軍中事務委託給曹休負責。當時劉備見曹軍進至下辨，於是遣張飛屯駐於固山一帶，聲稱要切斷曹軍的後路。曹洪與諸將進行商議後都對是否繼續進軍猶豫不決，曹休說：「劉備的軍隊如果真的要切斷我軍後路，就應該隱蔽地行動，暗中設伏。如今卻先虛張聲勢，說明這只是劉備等人的疑兵之計。我軍應該趁敵人尚未在下辨集結大軍之時，盡快擊破吳蘭。一旦吳蘭被擊敗，張飛的疑兵就毫無意義了，必定會自行退走的。」曹洪聽從了他的建議，進兵擊破吳蘭，張飛其後果然退走。建安二十四年(219年)，劉備軍於定軍山斬殺曹軍統帥夏侯淵。曹操遂親征漢中，但劉備堅守險要，曹軍難以攻克，逃亡的士兵越來越多，不久後曹操只得命令各路軍隊陸續退出漢中，曹休隨軍退至長安後，被授予中領軍一職。
擊破孫權黃初元年(220年)，曹丕稱帝，曹休升任領軍將軍，追錄前後功勳，封東陽亭侯。大將軍夏侯惇薨後，曹丕任命曹休為鎮南將軍，假節都督諸軍事，接替夏侯惇屯駐汝南郡召陵縣，負責抵禦孫權。曹休赴任前，曹丕車駕親臨，還下了鑾輿與曹休執手送別。當時孫權派遣將領屯駐歷陽，曹休到任後，立即率軍將之擊破，又另遣兵渡江偷襲，燒掉了吳軍設在蕪湖的軍營數千家。於是遷為征東將軍，兼領揚州刺史，進封安陽鄉侯。 後曹休之母去世，曹休本是至孝之人，因此悲痛不已，守孝期間飲食不進。曹丕知道後命令侍中強行脫下他的喪服，詔令其飲食酒肉。曹休受詔後不得已進行飲食，但形體卻越發憔悴。之後向曹丕告假請求歸還故鄉譙縣葬母，曹丕又遣越騎校尉薛喬奉詔來勸慰其不要過度憂哀，於是讓曹休歸家治喪。曹休只一宿便完成了葬禮，然後馬上又歸還崗位。
名震江東黃初三年(222年)，曹丕親征，兵分三路討伐孫權，任命曹休為征東大將軍，假黃鉞，督前將軍張遼、鎮東將軍臧霸、豫州刺史賈逵等及諸州郡二十餘軍從西線出擊洞浦，另有上軍大將軍曹真進攻江陵、大將軍曹仁從東線出擊濡須口。東吳派遣建威將軍呂范指揮五路大軍，以水軍的優勢抗擊曹休。曹休當時壯志滿懷，盼望建立功勳，於是上表說：「臣願率領精銳之師即刻渡江，大軍虎步踏平江南，從敵人那裡奪取糧草補給，則一定可以取得勝利。如果臣殞命疆場，請陛下不要掛念。」但臧霸等人不願孤軍犯險，曹丕也沒有准許，因此計劃擱置。
不久後，暴風正好吹斷了呂范船隊的所有纜繩，被吹散的吳軍船隻紛紛漂到曹休等人的營壘前，曹休趁機下令出戰，斬殺吳軍數千，取得大捷。曹丕於是下令曹休的軍隊立即渡江，但東吳的救援船隊很快開至，收攏了散卒後退還江南。曹休命令臧霸率領萬餘人乘輕船五百追擊，攻襲徐陵，殺略吳軍數千人。隨後，吳將全琮、徐盛率軍反擊，攻破魏軍，追斬魏將尹盧，殺獲數百。由於當時三路大軍中除曹休取得大捷外，曹仁在濡須口失利，曹真則在江陵未取得實際戰果，因此曹丕下令撤軍。曹休被拜為揚州牧，屯駐東南邊境防止東吳進犯。黃初七年(226年)，曹丕駕崩，曹休與鎮軍大將軍陳群、中軍大將軍曹真、撫軍大將軍司馬懿四人受遺詔輔政。魏明帝曹叡即位後，曹休進封長平侯。當時吳將審德屯駐皖城，曹休將其擊破，斬殺掉審德，收降了吳將韓綜、翟丹等人。遂增邑四百，並前二千五百戶，遷大司馬，成為曹魏軍隊的最高統帥，都督揚州如故。
慚恨離世太和二年(228年)，東吳的鄱陽太守周魴按照吳王孫權的主意，佯稱得罪了吳王，要棄吳投魏。曹休於是率領騎兵、步兵共計十萬往皖縣(今安徽省潛山縣)去接應周魴。魏明帝另外派遣賈逵督前將軍滿寵等四支軍隊由西陽直攻東關，司馬懿領兵進攻江陵。尚書蔣濟向魏明帝表示駐守於上游的吳將朱然可能會從曹休後方襲擊，而吳軍亦可能隨時會東進切斷曹休退路，建議派兵救援曹休。魏明帝詔司馬懿停止進軍，讓賈逵東進與曹休合兵一處。琅邪太守孫禮也勸諫曹休不可孤軍深入，但此曹休立功心切，沒有聽從。遂進至石亭，在那裡遭遇到陸遜、朱桓、全琮共約九萬人的突然襲擊，曹休沒有防備，初一交戰不利後便慌忙退兵。曹休之前的行軍路線背靠湖泊、旁依大江，在退卻時行軍受阻而十分緩慢。吳軍在其後緊追不捨，魏軍無心應戰，被斬殺萬餘，丟棄軍械車馬無數。曹休突圍至夾石，但此處退路已被孫權阻斷。曹軍士卒前無無退路、後又追兵，惶恐之下陸續叛逃，曹休的人馬幾乎已經潰不成軍。此時，賈逵所部的援軍經過備道兼程的挺進後及時出現在夾石，吳軍以為魏國救援大軍已經來到，於是迅速撤離戰場。賈逵其後又拿出糧食和軍資供應曹休的軍隊，才使曹休免於全軍覆沒。其後，曹休上書謝罪，魏明帝遣屯騎校尉楊暨宣旨撫慰，禮節賞賜更加隆重。曹休慚狠不已，因此癰發與背，不久即薨，謚曰壯侯。子曹肇繼嗣。 正始四年(243年)七月，魏帝曹芳下詔祭祀已故大司馬曹休等二十位魏國功勳卓著的舊臣於太祖曹操的宗廟。