建興六年(228年)，諸葛亮出兵前往祁山北伐魏國。當時有久經戰場的老將魏延、吳壹等，議論者都說應該以這些人為先鋒，而諸葛亮違背眾人意見提拔馬謖，任命馬謖為先鋒，統領各軍前行。
由於馬謖違背諸葛亮的作戰部署，放棄水源將部隊駐紮在南山上，部隊分置調度混亂，馬謖的先鋒王平連續多次勸諫馬謖，馬謖不採納他的計謀。而且馬謖仗恃南山的地勢，不在山下據守城邑。張郃斷絕馬謖取水的道路，發動進攻並大敗馬謖，馬謖的士兵敗逃四散。當時街亭失守，整個蜀國就處在危險中，為了安撫朝野上下，不得不用馬謖的人頭來換取民心。這也就是著名的諸葛亮揮淚斬馬謖。
對於馬謖的結局，《三國誌》中卻有三種截然不同的記載。
《三國誌·蜀書·向朗傳》的記載是「謖逃亡，朗知情不舉，亮恨之，免官還成都」。此段意思十分明顯，就是街亭之戰後，馬謖並未投案自首，而是畏罪潛逃，而向朗知情不報，被諸葛亮免去官職。
《三國誌·蜀書·馬良傳》則記載，「謖下獄物故，亮為之流涕」。即馬謖在獄中病故。
《三國誌·蜀書·諸葛亮傳》的記載則和《三國演義》中的說法相同：「戮謖以謝眾」。即諸葛亮下令處斬了馬謖。
不過近年來有部分學者提出了能夠解釋這一疑雲的觀點。 而據《三國誌·蜀書·王平傳》中的記載，「丞相亮即誅馬謖及將軍張休、李盛」，可見諸葛亮確實曾下達處死馬謖的命令。
基於以上證據，可能出現這樣的情況：馬謖在街亭舉動違規，不遵諸葛亮的指示，以致最後慘敗而歸，無奈之下大軍退回漢中。馬謖是深知自己失敗後果的嚴重性的，因此便畏罪潛逃，而身為丞相長史的向朗礙於情面或出於愛才之心，知情不報，事洩後導致他也在家賦閒達二十年之久。馬謖最終被緝拿歸案，並被諸葛亮處以極刑，然而還未及行刑，馬謖便於獄中病故了。這種觀點可以將三種不同的說法統一起來。