薛靈芸十七歲那年，已是容顏絕世。閭中的少年，都暗慕薛靈芸，趁夜色悄悄潛來偷看她。但是一直沒有機會與她接觸。
薛靈芸是三國時常山人。其父薛業是亭長，母親陳氏隨丈夫住在亭旁。他們那裡十分貧窮，夜裡婦女們聚在一起紡紗，點燃麻稿以照亮。
鹹熙元年，谷習任常山郡守，他聽說亭長有美女而家境甚貧。當時魏文帝曹丕選良家女子以充入六宮。谷習以千金聘走了薛靈芸，然後將她獻給魏文帝。薛靈芸與父母告別時，淚水沾濕了衣襟。在登車上路時，淚水不可抑制，她以玉唾壺盛淚，淚水落在壺中成了紅色。
還未到京師，壺中的淚已凝如血色。文帝以雕刻著花紋的十輛車迎接薛靈芸。車皆鏤金為輪輞，丹青畫轂軛，前後綴滿了寶石;鈴鐺鏘鏘和鳴，清脆的聲音迴盪在林野;所駕的青色駢蹄牛，可以日行三百里。
這種牛是屍塗國進獻的，蹄子與馬蹄一樣。路邊燒石葉香。這種石頭層層疊疊，形狀如雲母，所發的香氣可以避惡疾，是腹題國進獻的。
薛靈芸去京師的一路上，數十里點起膏燭，久久不熄滅。車子走過的路，塵土遮蔽了星月，時人稱為「塵霄」。築赤土為台，台基三十丈，列膏燭於台下，名叫「燭台」，遠望如流星墜地。
大路兩旁，每隔一里鑄一銅表，高五尺，以標誌裡數。因此有路人歌曰：「青槐夾道多塵埃，龍樓鳳闕望崔嵬，清風細雨雜香來，土上出金火照台。」當時以銅表標誌裡數，是「土上出金」的意思。而「火照台」的意思是膏燭之火在土的下面，漢代是火德王、魏代是土德王，「火照台」即漢亡而魏興。「土上出金」則隱喻魏滅而晉興。
薛靈芸距離京師十里，文帝乘雕玉的車輦，遠遠看見，歎息說：「古人云：朝為行雲，暮為行雨。今非雲非雨，非朝非暮。」因此改薛靈芸的名字為「夜來」。後世花卉名「夜來香」即得自薛靈芸。
薛靈芸入宮後受到寵愛。外國進獻火珠龍鸞釵很重，文帝憐惜薛靈芸弱不禁風，於是說：「明珠翠羽都不勝其重，何況這麼重的龍鸞釵。」薛靈芸縫製衣服的那根針出神入化，雖然處於深幃內，夜裡不用點燈燭，她也可以縫製衣服。凡不是薛靈芸縫製的衣服，文帝一概不穿。宮中稱她為「針神」。魏文帝為之改名「夜來」。
黃初七年，魏文帝病逝，薛靈芸也不知下落。令人不解的是魏文帝的兩個有名的妃子都與「神仙」有關，甄妃是「洛神」，薛靈芸是「針神」。
薛靈芸的故事在正史裡沒有記載，許多野史筆記偶爾提及，如《拾遺記》、《太平廣記》、《艷異編》等。李商隱有「一夜芙蓉紅淚多」;賀鑄《石州引》有「畫樓芳酒，紅淚清歌，頓成輕別。已是經年，杳杳音塵多絕。欲知方寸，共有幾許清愁?」其中「紅淚」即是薛靈芸的典故。
《拾遺記》中說，薛靈芸離別父母登車上路之時，用玉唾壺承淚，壺呈紅色。及至京師，壺中淚凝如血。後世因而稱女子的眼淚為「紅淚」。後來成了一個通用的典故，如紅蠟燭垂的是「紅淚」，子規鳥哀啼泣血等。據說唐代楊玉環被召入宮前，「泣涕登車，時方寒，淚結為紅冰」。
清代冒鶴亭《太清遺事詩》云：「太平湖畔太平街，南谷春深葬夜來。人是傾城姓傾國，丁香花發一低徊。」其中「夜來」亦指薛靈芸。
紅樓夢》第六十四回敘眾人玩象牙籌：「黛玉寶釵取出幾根來看，一面刻的是古來美人，一面是詞句並各種飲例。大家都說有趣，當下說定由寶釵起令。寶釵抽了一根，刻的美人是薛靈芸，那面詞句是『問何因玉筋惹春紅』，注『善啼者飲，濃妝者飲』。笑道：『這善啼的，除了林妹妹還有誰?』」大概薛靈芸之善哭只有林黛玉可以比擬一二。
估計薛靈芸神秘莫測的事跡純屬歷史虛構，但作為一種精神的意象，她比真實的存在更加深入人心。