龐德公是東漢末年襄陽名士，論學識名望，當在許多幕僚之上，但他一生未入仕。不是他沒有做官的機遇，而是他不願做。劉表當時治荊州，治所就在襄陽。由於荊州沒有戰亂，加上土地豐饒，全國有十餘萬人遷入荊州，這中間也有一大批才華出眾的人，如諸葛亮、王粲、徐庶等，或求學、或求仕。這就使得襄陽成為全國人才最集中的地方，也是學術交流最為活躍的地方。但劉表不識人才，諸葛亮、徐庶等就在他眼鼻子底下當隱士，而王粲在他麾下當了個小官，則也發揮不了作用。
劉表統治的荊州，沃野千里，帶甲十餘萬，在全國是一支重要的政治和軍事力量。劉表雖無統一大志，但他也不願看到自己的勢力被削弱。劉表如荊州後，依靠的是蒯良、蒯越、蔡瑁等襄陽大士族。這些人可同享榮華富貴，但不能安邦定國。劉表採取的是雍容自保，坐觀時變的方針。但當時荊州已經成為各種政治勢力爭奪的焦點。曹操在北方基本平定的情況下，正準備揮師南下，而孫權則虎視江漢，早欲將荊襄據為己有。劉表正是看到了這一點，他深感無賢人輔佐，於是乎，他把希望寄托雜在名重天下的龐德公。
劉表多次登門求賢，但一次次的遭到謝絕。有一次劉表對龐德公說：「先生苦居畎畝而不肯官祿，後世何以遺子孫乎?」龐德公回答說：「世人皆遺之以危，今獨遺之以安，雖所遺不同，未為無所遺也。」意思是說，有人出來做官，參加混戰，這不是把危險留給子孫嗎!我不做官，卻把平安留給子孫，雖然遺留的內容不同，但並不是沒有遺留啊!對於龐德公的這種態度，劉表只好歎息而去。龐德公為了躲避劉表再來找他，乾脆把家搬到鹿門山，以採藥自樂。
龐德公為何拒絕當官呢?論理，古人讀書就是為了入仕。說大點可以濟世救國，說小點可以光宗耀祖。歷代聖賢莫不如此。儘管龐德公有「遺之以安」之說，那則是對付劉表的托辭。由此，我們只能設想，龐德公並非不想做官，而是未尋著明主。
他的學生諸葛亮、侄兒龐統被劉備請去，並沒有聽到他的反對意見，相反，他把諸葛亮稱為「臥龍」，龐統稱為「鳳雛」，為他們的出山造了大量輿論。所以，龐德公拒絕做官，僅僅是拒絕在劉表手下做官。
龐德公的這個選擇也許是對的。假設他答應了劉表，在劉表手下做個高級幕僚，且不論能否象荀彧那樣在曹操手下發揮作用，恐怕官位未穩，就已經成了劉表的繼承人劉琮降曹的陪伴人了。王粲不就是走的這條路麼?