高柔的父親高靖，曾任蜀郡都尉，高柔卻留在陳留。當時曹操為兗州刺史，高柔對城中的人說陳留乃四戰之地，曹操又有進圖四方的願望，未會安守兗州，而且張邈起兵時是陳留太守，現跟隨曹操恐怕會叛變。勸人們盡快離開，以避開將會出現的戰爭，只是當時人人都認為張邈與曹操關係密切，而高柔又年少，都沒有重視。高柔的堂兄高幹是袁紹的外甥，當時高幹呼喚高柔到河北，高柔於是與宗族一起去依附高幹。適逢父親死去，高柔不畏兵劫路遠，冒險到蜀地治喪，嘗盡辛苦，三年後回到北方。
輔佐曹氏
建安九年(204年)，高幹與高柔歸降曹操，曹操任命高柔為菅縣縣長。縣中的人都對他有所聽聞，有數名奸吏因而自動辭官，但高柔卻挽留他們，包容他們過往的事，令他們都成為好官吏。高幹次年就以并州叛曹，高柔雖沒有參與，但曹操卻想因事而誅殺他，命他為刺奸令史，但高柔做得十分好，處法允當，獄中無滯留未判的犯人，每晚都看文書到深夜，抱著文書睡著了，曹操見此才對他改觀，辟他為丞相倉曹屬。
審事獻謀
建安十六年(211年)，曹操要派鍾繇等領兵討伐張魯，但高柔認為領兵入關必會驚動關中的馬超和韓遂，以為是要攻打自己，逼他們叛變，認為可先安定三輔，三輔安定後就可和平地招降張魯。但曹操不聽，鍾繇等入關後，馬超等果然叛變。
建安十八年(213年)，曹操稱魏公，建魏國，高柔任尚書郎，轉拜丞相理曹掾。當時軍人宋金等在合肥逃亡，有人建議盡殺他的母親、妻兒和弟弟，但高柔認為重刑不單無助於遏止士卒逃亡，更加因為自己無路可走而引發更多人逃亡，懷柔反更能觸起他們歸附之心。曹操聽從，很多無辜的逃兵家屬都得以倖存。
後來，高柔轉為穎川太守，任法曹掾。當時朝廷置校事，用以監察群下，高柔認為校事又不是在百官之上又非聽命於百官，而且校事趙達等人又多次以自己喜惡去處事，應作檢討;但曹操則信任趙達，認為他們才能做到檢百官的效能。後來趙達等人的奸惡之事被揭發，曹操殺掉他們作為對當日不聽高柔勸諫的道歉。
秉公執法
曹丕即位為帝后，任命高柔為治書侍御史，賜爵關內侯，轉加治書執法。當時因為誹謗言詞多，曹丕於是下令要處死說者而賞賜告發者，但令到很多人互相誣告，高柔於是建議聯消這項法令以免無辜人受害，但曹丕不立刻聽從，而下令要以誹謗之罪懲處誣告的人，而高柔則審查每一個告發案件，查明虛實，稍稍犯法也是輕判罰金了事。
公元223年(黃初四年)，遷任廷尉。魏朝初期，三公沒有什麼事務，又很少處理朝政。高柔上疏說：「天地因為四季而有收穫，國家元首因為有大臣輔助而振興政治;成湯倚仗伊尹的輔佐，周文王、周武王依靠周公、姜子牙的力量，到了漢初，蕭何、曹參兩人一起以國家元勳的身份相繼成為高祖、惠帝倚重的相國，這都是明王聖主在上任用賢臣，在下盡力輔助的事例。如今三公都是國家的棟樑，為民眾所仰慕，而今卻被置之一邊，不讓他們執掌國政，各自安閒地保養高尚的志節，很少有進言獻策的，這實在不是朝廷崇奉任用大臣的思想，也不是大臣輔佐人君，盡職盡責的辦法。古時候國家有疑難問題，官員們總是按一定秩序，在一處討論解決。今後，朝廷中有什麼疑難問題以及刑罰大事，應該經常咨詢探問三公。三公在每月的初一、十五上朝日子之外，還可以適時請進朝中，議論國家政事的得失，廣泛地講清事實，也許能夠有益於啟發帝王，弘揚國家的教化。」曹丕讚許並採納了他的建議。
黃初七年(226年)，曹丕因對御史中丞鮑勳有宿怨，借有小過失而要枉法誅殺他，高柔堅決不從，曹丕乾脆調離高柔，直接指令廷尉執行詔令，不顧群臣反對而處死鮑勳。
勸諫輔主
曹叡繼位後，封高柔為延壽亭侯。此時博士都從師受業，高柔上疏說：「我聽說遵循先王之道、重視學術，是聖人宏大的訓誨;褒揚禮樂典章、崇奉儒學，是帝王明曉的道理。漢末國家傾頹，禮樂典章被破壞，雄爭虎鬥，戰爭頻繁，致使文人學士不受重視。太祖剛興起時，憂患的就是這些事情，在治理亂世方面，讓各郡縣一起設立教學之官。高祖即位後，就進一步發展這一事業，恢復興建學校，每州都設有考核制度。於是天下學士，再次受到正規的學校教育，重新實行祭祀的各種禮儀。現在陛下執掌國政，能夠發揮您的聰明才智，推行偉大的計劃，將先帝的法度發揚光大，即使是夏啟、周成王的繼承前業，也實在是無法超過您。然而現在博士都通曉經術、修整品行，可國內精選人才、陞遷官員又限定不超過縣長一級，恐怕這不是用來崇奉顯揚儒術，鞭策激勵懈怠懶惰的方法。孔子說：『提拔好的有才能的來教誨，沒有才能的就加以勉勵。』所以楚國禮待申公，文人學士銳意進取;漢代尊重卓茂，士大夫競相仰慕。我認為所謂博士，是將道義集於自身，以儒家的六經為宗旨。應該根據他們學業和品行的優劣，分別對待，不拘常規來安排官職。尊崇倫理道德的教化，用以勉勵學者，使教化弘揚光大。」曹叡採納了他的建議。
後來，曹叡大建宮殿，百姓勞役繁重;又大選美女，填塞後宮;而後宮的皇子連連夭折，還沒有繼承人。高柔上疏說：「吳、蜀這兩個敵人奸詐狡猾，暗中偷偷地練兵習武，謀劃挑動戰事，毫無停止之意。我們應招集訓練將士，修繕整治兵器鎧甲，作好一切迎戰準備。而近來修造宮殿，上上下下不勝勞役之苦，如果讓吳、蜀瞭解了虛實，就會合謀，再次一同來拚死，實在不能忽視啊。過去漢文帝憫惜資財，不營造小小的台榭供自己娛樂;霍去病憂慮匈奴的禍害，沒有閒暇來考慮修建府第。何況如今所損失的並不只是百兩黃金這樣的小費用，所憂患的也並不只是北狄這樣的小禍害呀!可以簡單裝修好已建的宮殿，用來舉行朝會和宴會。讓修造者回去務農。等吳、蜀平定了，再逐漸地修繕。過去軒轅因為有二十五個兒子，帝位才能傳之久遠，周王室因為有四十個姬姓諸侯國，所以周朝的年代很長。陛下聰慧賢達，深究事物的義理和人的本性，而近來皇子接連夭折，又沒有感應生兒子的祥兆。百官們無不抑鬱悲傷。按照《周禮》上所說，作為天子，后妃以下有一百二十人，嬪嬙已經很多了。我聽說如今後宮后妃嬪嬙的數目，或許還超過這個數，皇上後嗣不昌盛，恐怕就是這個原因。我認為可以好好地選擇美女，以滿足妃嬪的數目，把其餘全部送回家。育精養神，專心靜氣地生養皇子。這樣的話，子孫眾多的徵兆就會來臨。」曹叡答覆說：「我知道你忠誠老實，內心牽掛著王室，常常能夠直言無隱，其他事也已知道了。」
當時禁止去天子苑囿中狩獵的法令非常嚴厲。宜陽縣典農劉龜私下在禁區內射兔，功曹張京將此事告訴了校事。曹叡隱匿了張京的名字，把劉龜抓來投在獄中。高柔上表請求曹叡說出告發者的名字，曹叡大怒說：「劉龜應該處死!他竟敢在我的禁區狩獵。將劉龜送到廷尉處，廷尉就應該拷問他，為什麼還要打聽告發者的名字，難道我是胡亂抓他的嗎?」高柔說：「廷尉，是天下最講求公平的官吏，怎麼能夠以陛下的喜怒來毀壞法律呢?」再一次上奏表，言辭深明懇切。曹叡醒悟了，告訴高柔張京的名字。高柔立即回去審訊，劉龜、張京兩人各當其罪。
當時的制度規定，官吏遇上喪事的，一百天後都要開始工作。有個司徒吏叫解弘的父親去世，遇上軍隊有行動，命令他前去，他卻以生病為由推辭不去。曹叡下詔書惱怒地說：「你又不是曾參和閔損，為何辯稱因過度哀痛而身體有病呢?」催促趕緊抓獲解弘，要將他拷打至死。高柔見解弘身體非常虛弱，確實有病，就上奏表陳述這件事，認為應該寬恕解弘。曹叡於是下詔說：「解弘果真是孝子，寬恕他吧。」
當初，公孫淵的哥哥公孫晃，為他的叔父公孫恭到京城做人質。起初公孫淵還沒反叛，公孫晃幾次向曹叡陳述了他想反叛的情況。等到公孫淵陰謀叛逆時，曹叡不忍心在街市斬殺公孫晃，想把他投在獄中殺死。高柔上疏說：「《尚書》中說：『用懲處來討伐他的罪行，用德行來表彰他的善舉。』這是帝王制度清明公正的法則。公孫晃及妻兒與叛逆者是手足親情，實在是應該斬首示眾，不讓遺下後患。而我私下聽說公孫晃先前幾次主動陳述公孫淵準備叛逆的情況，雖然是叛逆者的同族，而究其實質，還是可以寬恕的。說到孔子解脫司馬牛的憂愁，祁奚解脫叔向的過失，在過去是優美高尚的義節。我認為公孫晃如確實陳述過公孫淵的情況，就應該寬恕他的死罪;如沒有陳述過，應該在街市當眾斬首。現在進不發佈赦免他的命令，退又不公佈他的罪行，關押在監獄中，讓他自殺，周圍觀察此事的國家，有的就對這種舉動產生疑惑。」曹叡不聽，最終還是派人送給公孫晃以及妻兒黃金的粉末，讓他們吞飲自殺，賜給棺木、衣服，在自己家中入殮殯葬。
當時，在禁地宰殺鹿的人都要被處死，財產沒收充公，有能夠發覺並且告發的人，給予豐厚的賞賜。高柔上疏說：「聖明的帝王治理國家，無不發展農業，節儉用度，積蓄資財。農業發展了，則糧食屯積，用度節儉則資財蓄存，蓄存資財屯積糧食而依然憂患，這是從沒有的事情。在古代，一個農夫不耕作，就有人因此受饑;一個婦女不織布，就有人因為她而挨凍。最近以來，百姓要服眾多的徭役，種田的人已經減少，加上近來又有了狩獵的禁令，群鹿侵害作惡，殘食秧苗，處處為害，損失已無法估量。百姓雖然設障防備，但力量有限，無法抵擋。以至於滎陽周圍幾百里，年成不好顆粒無收，百姓的命運，實在令人同情。如今天下生財之道很少，而因為麋鹿受損失的又很多。一旦發生戰爭，或遇上凶年災禍，將無計可施。陛下應該察覽先代聖明君主所想、所惦記的是什麼，體恤耕種勞作的艱難，放寬百姓們耕種的範圍，讓他們得以抓捕麋鹿，這樣就消除了禁地，那麼百姓們得到長久的利益，也無不歡欣鼓舞。」
正始六年(245年)，升任司空。
正始九年(248年)，又遷任司徒。在曹爽與司馬懿的權力角力下，高柔支持司馬懿。次年(249年)，司馬懿發動高平陵之變，上奏請求免曹爽的大將軍職務，郭太后詔令徵召高柔假節行大將軍事，佔據曹爽的軍營。司馬懿對高柔說：「你成為周勃了。」曹爽被殺後，高柔晉封為萬歲鄉侯。
甘露元年(256年)，曹髦即位，進封安國侯，任太尉。曹奐即位後，增邑又封二子為亭侯。
景元四年(263年)，高柔去世，享年九十歲，謚元侯。由其孫高渾世襲侯爵。鹹熙(264年—265年)年間，建立五等制，改封其為昌陸子。
歷史評價
曹叡：知卿忠允，乃心王室，輒克昌言;他復以聞。
司馬懿：君為周勃矣。
陳壽：高柔明於法理柔保官二十年，元老終位;比之徐邈、常林，於茲為疚矣。
王夫之：孟德智有所窮，則荀彧、郭嘉、荀攸、高柔之徒左右之，以算無遺策。
趙構：高柔不以明帝喜怒而毀法，游肇不以宣武敕命而曲筆，況可觀望臣庶而容心者乎?