回龍觀的地名和皇帝去十三陵祭祖有關。在明朝的“內亂”中，明英宗朱祁鎮不幸被俘。出於形勢的需要，兵部侍郎於謙封獻王朱祁鎮的弟弟朱祁鈺為帝。接著，發生了“奪門之變”，明英宗和朱祁鎮復辟成功，稱帝的弟弟被貶為王。它也限制了朱祁鈺不能活著祭祖或死後葬在昌平天壽山的明帝陵(明十三陵)。
朱祁鈺被貶後，孤獨而悲傷，思念父母，但連去上墳的權利都被剝奪了。無奈之下，他只好選擇回龍觀這個地方，遠眺天壽山，用心默默獻祭，然後帶著傷痛回家。後來，朱祁鈺經常呆的小廟被稱為回龍觀。現在回龍觀是指小廟所在地。
關於回龍觀還有壹個傳說。
相傳九條小龍惹惱了玉帝，玉帝派南極仙人來對付。南極仙女來到九頂山懲罰九兄弟。
九龍不服，雙方在深水區大打出手。南極仙人弱不禁風，九龍用他的水技展示了他的才華。南極神仙很快就被打敗了。
但他這樣回去無法和玉帝交差，就急中生智用南極魔法搬了東邊的壹座小山。深水裏的水立刻向東流，水幹涸了。沒有水，九龍自然不是南極仙女的對手，只能束手就擒。
南極仙翁打開寶葫蘆，放了九條龍在裏面，壓在壹塊藍色的大石板下，上面建了壹座宮殿，防止九龍逃走。這座宮殿叫“回龍觀”，意思是希望九龍回心轉意。後來，回龍觀成了驪山母親的宮殿。為了監督九龍，厲山的母親每年都會定期來這裏壹段時間。