中國最早建立武廟是在唐玄宗時期(公元731年)，那個時候還叫「太公尚父廟」，主神是姜子牙，張良是副祀，之後是歷代十位名將，也稱為「武廟十哲」。他們分別是白起、韓信、諸葛亮、李靖、李勣、張良、田穰苴、孫武、吳起、樂毅。我們現在很熟知的三國人物裡面，只有諸葛亮入選了武廟1.0版，關羽、張飛等人都落選了，只能做吃瓜群眾，享受不到祭祀。
到了唐玄宗的兒子唐肅宗時期(公元760年)，唐肅宗尊姜太公為武成王，於是太公尚父廟改名為「武成王廟」，簡稱「武廟」。與「武廟」相對應的是拜祭孔子的「文宣王廟」，也就是「文廟」。
到了唐德宗時期的782年，在顏真卿的建議之下，古今名將的數量增加到了64人。在武廟擴招的大背景之下，關羽和張飛終於可以進入武廟享受香火。
一直到了明朝初年，武廟的主祀都是姜子牙。其中的武將，根據統治的需要有所變動。比如在北宋時，宋太祖趙匡胤視察武廟，把白起撤出了武廟，理由是他殺降太多，不武。到了宋徽宗時期，又把白起請回了武廟。
到了明朝朱元璋時期，朱元璋把姜子牙移到歷代帝王廟配享，於是停止了武廟的拜祭。官方的武廟沒有了，民間的武廟就開始興起。明朝民間以拜祭岳飛的岳廟為武廟，換言之，這個時期的武聖是岳飛。
轉眼就到了清朝，由於眾所周知的原因，武廟裡基本沒有了岳飛。清朝廷全力推崇關羽，關帝廟便成為了清朝時的武廟。有清一代，對於關羽都是極為推崇的。到了大清已亡的民國初年，暫住紫禁城的太妃們還時常拜祭關公，祈求關公保護她們。滿族人稱關公為「關瑪法」，即關爺爺的意思。當初，努爾哈赤等人熟讀《三國演義》，並把《三國演義》當兵書來看。受到這本書的影響，他們把關羽當作守護神來拜祭。後來，他們也一路勝利並取代了明朝。
在清朝廷強力推廣之下，加上原本民間對關羽的崇拜，到清朝中期時全國有30多萬座關帝廟。大清滅亡之後，民國元年，當時的政府發佈了「關岳合祀」命令，很多武廟、關廟重新請回岳飛，成了「關岳廟」。總的來說，經過這三百年，關羽已經成為了武廟的代表人物，岳飛失去了原來的地位。