初平三年(192年)，曹操在擔任代理兗州牧時，聽說呂虔有勇有謀，便任命他為從事，讓他帶領自己的家丁鎮守湖陸城。
當時，襄賁校尉杜松的部下炅母等人作亂，與昌豨勾結，曹操命呂虔接替杜松。呂虔到任後，招誘炅母和他的首領及黨羽數十人，賜他們酒飯，暗中派壯士埋伏在兩側。等看到炅母等人都喝醉後，呂虔便命兩側的伏兵把他們全部殺死，並安撫炅母的部下，這批叛賊於是都被掃平。
後來，曹操又任命呂虔為泰山郡太守。泰山郡依山連海，世道混亂，百姓大多躲藏起來或四處流竄。袁紹所任命的中郎將郭祖、公孫犢等數十人佔山為寇，百姓深受其害。呂虔率領家兵到泰山郡赴任，他施行恩惠、講求信用，郭祖等人都出來投降，躲藏在山裡的百姓都返回鄉里定居從事生產。呂虔挑選強壯的人補充到軍隊中，泰山郡從此便有了精兵，在各州郡中名列第一。
當時濟南的黃巾軍首領徐和等人，所到之處劫持縣令官吏，攻打城邑。呂虔率兵與夏侯淵一同前去攻打他們，前後數十仗，斬首俘虜數千人。曹操又派呂虔總督青州各郡的部隊討伐東萊地區的李條等各路賊寇，立有戰功。曹操發佈通令說：「有志向，必定要成就事業，這是英烈之士所獻身追求的目標。你在泰山郡以來，捕捉姦人討伐賊寇，百姓獲得安寧。你親自冒著矢石，每次出征必能取勝。過去寇恂在汝水、穎水之間揚名，耿弇在青州、兗州獻策，古今都是一樣的。」呂虔被推舉為茂才，加任騎都尉，仍然管轄泰山郡。呂虔在泰山郡十幾年，有許多威德恩惠。
治理徐州
黃初元年(220年)，曹操之子曹丕繼任魏王，加任呂虔為裨將軍，封益壽亭侯。後又升任徐州刺史，加任威虜將軍。呂虔請琅玡人王祥擔任徐州別駕，將民政之事全部委託給他，世人都讚揚他能夠任用賢人。後來，呂虔在征討利城叛賊的戰役中，斬首俘虜立下功勞。
去世
太和元年(227年)，魏明帝曹叡繼位，改封呂虔為萬年亭侯，增加食邑二百戶，連同以前的共計六百戶。呂虔去世後，由其子呂翻襲封萬年亭侯的爵位。