王祥是東漢末年琅玡郡人，他的祖輩曾做過高官，父親王融沒有接受官府的徵聘，隱居在家。
王祥生性孝順。他生母早喪，繼母朱氏不喜歡他，多次在王融面前說他的壞話。漸漸地王融也不喜歡王祥了，打發他幹一些又髒又累的活計。但是王祥毫無怨言，越發恭敬謹慎。
父母生病，他衣不解帶地慇勤伺候，湯藥一定要親自嘗後再端上。一次朱氏想吃鮮魚，正趕上天寒地凍，河水已經結了厚厚的冰， 王祥脫掉衣服想要把冰鑿開，下去捕魚，冰忽然自己解凍，兩條大鯉魚躍上水面，王祥抓住鯉魚，回家孝敬繼母。
漢末，天下大亂，王祥帶著母親和弟弟王覽到廬江避難，隱局了三十多年。
後來，今州刺史呂虔知道了王祥是一個仁義君子，就請他做了別駕(官名)，處理州內事務。
呂虔有把好佩刀，工藝精美，鋒利無比，他常常以此為榮。有一次拿給技工相看，技工讚歎不已，對呂虔說：
「您這把佩刀是一把寶刀，只有有三公之福分的人才能佩帶。」
呂虔思忖良久，想到王祥仁愛孝義，有謀有略，處理政事井別有條，毫不懈怠，將來一定會發跡的。於是，呂虔找到王祥，對他說：
「我這裡有把佩刀，是稀世之寶。如果不是可佩的人佩帶，刀或許對他有害。閣下謙恭孝義，有經邦緯世之才，將來一定會位至公相，這把佩刀非您莫屬，就贈給您吧!」
王祥推辭再三，經不住呂虔誠心相贈，最後只能收下。
當時，徐州盜賊猖狂，王祥率領兵士，討伐寇盜，辛勤地治理徐州，這一帶政化大行，百姓安享太平，稱讚他的功績。後來，王祥的官職屢次陞遷，被封為關內侯、萬歲亭侯，果然位至三公。
王祥臨死時，將兄弟王覽叫到床前，把呂虔贈的那把佩刀鄭重地贈給了他，說：
「這把佩刀是當年呂公所贈，它激勵我勤政愛民，發奮圖強，位至三公。現在我把它轉贈給你，希望你好好保存。」
王覽點頭答應。他以兄長為榜樣，居官清廉，愛民如子，受到朝廷器重，人民愛戴，後來也位至高宮。
後來，「呂虔佩刀」這一典故，用來形容人官居高位或有高官之望。