「身在曹營心在漢」這個詞可以形容關羽，也可以形容徐庶，不過徐庶這個情節是在《三國演義》裡虛構出來的，小說中說道徐庶進入曹操陣營之後，不獻一計直到死，這是不符合歷史情況的，真正的歷史上徐庶跟劉備、曹操之間關係比小說中還要複雜得多。
在《三國演義》小說中，劉備得到徐庶後，曹操就把徐庶的母親抓過來，但徐母剛烈不屈，曹操便讓人模仿徐母的筆跡，給徐庶寫信招他過來，徐庶辭別劉備來到曹營，徐母為兒子不辨是非憤然自盡，從此徐庶在曹營裡不發一言，他的忠義在小說中成為千古佳話。
徐庶離別劉備之前，劉備十分捨不得，送了一程又一程，看到一片樹林擋住徐庶的背影，劉備便下令讓人砍了那片樹林，把徐庶感動得稀里嘩啦，他又倒回來向劉備推薦了諸葛亮，於是才有三顧茅廬的故事，劉備終於的到諸葛亮，但這一切都是小說虛構的，真實的歷史完全不是這樣的。
在正史中，的確是徐庶推薦了諸葛亮，後來諸葛亮出山在劉備賬下效力，跟徐庶是在一起的，直到後來劉表去世，他的兒子劉琮投降曹操，把荊州拱手相守，這時候劉備倉皇逃往江夏，在《三國演義》小說裡，這段故事有趙子龍在曹營七進七出救阿斗，有張飛當陽橋一聲大喝嚇死夏侯傑，但在正史中，徐庶就是這個時候離開劉備的。
劉備逃命的本事在三國是一流的，曹操大軍來襲之際，他就帶了身邊幾個親信，包括諸葛亮、張飛、徐庶等人逃了，連老婆孩子都不要了，當時有十萬百姓跟著劉備逃，其中包括徐庶的母親，但在亂軍之中，徐母不幸走丟了，當徐庶發現母親不見時，急得團團轉，他是一個孝子，必須要尋找母親，他不像劉備一樣可以丟下妻兒老小一溜煙跑得無影無蹤。
這時徐庶就對劉備說：「我的母親丟失了，現在心中方寸大亂，已經不能輔佐主公了。」這段話在《三國誌》中原文是「今已失老母，方寸亂矣。」徐庶的意思很明顯，他要去找自己的母親，他是向劉備辭行了，在當時的情況之下，劉備雖然捨不得徐庶離開，但人家要去找母親，自然無法強留，只好由他去了。
當時劉備身邊也有諸葛亮，諸葛亮跟徐庶早年就是至交好友，看到好友要離開去找母親，這一別不知何時再能相見，又或者徐庶會被曹操俘虜，想想前途生死未卜，不禁也非常感動，而徐庶離開劉備之時，也給我們後人留下個成語：方寸大亂，這話徐庶指著自己的胸口說，是說自己的心只有方寸大小，但心已經亂了，所以叫「方寸大亂」，臨別時還能發明個成語，可見徐庶也是很有才的。
在劉備的不捨和諸葛亮的感動中，徐庶離開了，後來徐庶被曹操俘虜，其母親到底找沒找到史料並未記載，不過徐庶到了曹營並不是「一言不發」的，他雖不再軍事上有建樹，但在農業、政治上很有作為，特別是到了曹丕時代，他被封為右中郎將、御史中丞，曹操和曹丕都是人精，他們自然不會養一個閒人的。