東漢末年，朝廷腐敗，群雄割據，大戰四起，百姓生活在水深火熱之中。一些名人學士為躲避戰亂，選擇隱居，從而形成了隱士群體，列如，水鏡先生司馬徽、龐統、諸葛亮。徐庶也屬於隱士群體，與司馬徽、諸葛亮等道友來往密切。
建安六年(公元201年)，徐庶以劉備是漢室皇親，而且信義又高，前往投奔，劉備見徐庶後，非常器重他，封其為軍師。後來，荀彧向曹操薦徐庶，說：徐庶之才勝吾數十倍。建安十三年(208年)，曹操率領大軍南下，徐庶帶家眷與諸葛亮一起隨劉備逃亡，在當陽長阪坡被曹操大軍追上，徐庶的母親被曹操軍所擄，徐庶為了保全母親，辭別劉備，前往曹營。來到曹營的徐庶竟沒有為曹操出過一條計策，於是，曹操無奈，只能賜予徐庶右中郎將、御史中丞這樣的小官，不重用徐庶。羅貫中的《三國演義》中「徐庶進曹營，一言不發」的典故完美地塑造了徐庶的忠義不二的品質。那麼，徐庶真的就想這樣平平淡淡地過完一生，要知道，他的好友諸葛亮可是混得風生水起啊。
其實啊，徐庶徐元直早已不想在為凡塵俗世而煩勞了。建安十三年(208年)，徐庶在跟隨劉備逃亡的過程，母親被曹操擄獲，徐庶向劉備辭行，劉備不忍，徐庶對劉備說道：「我本來想和將軍一起創造王霸之業，所憑恃的就是這顆心，但是現在我的母親被曹操抓去，我現在方寸已經亂掉了，對將軍也沒什麼幫助，所以我請求從此與你告別。」徐庶方寸大亂，又有一顆忠貞不二的心。自己無法選擇合適的主公，在漢賊手下做事，自然再無輔佐之心。
《胡氏世說》中提到了徐庶的下落。當時的東南大海中有一座海島名叫「鼓子洋」，氣候溫和物產豐饒，瑤草琪花八節長春，奇珍異果四時不謝。堪稱洞天福地。一個藥農跑到此地去摘一種白色的耐冬花，返回時見一老人責怪了藥農的行為，並讓藥農替他向即墨學士胡嶧陽問好，說完老人消失了，藥農很是驚奇。後來，藥農找到了胡嶧陽告訴他的所見所聞，胡嶧陽告訴他：「那個人是三國時的徐庶，在鼓子洋上隱居很久了。」原來徐庶一直在隱居，幾乎已達仙人之態。他的結局令人欣慰，來與山間，歸於山間。他的結局好過諸葛亮的鞠躬盡瘁死而後已。