據記載，唐代有吉安和香山兩處寺廟。1186年，兩座寺院統壹，金章宗被命名為“大愛安寺”。元代重修，改名為“坎羅吉”。明代重修，名曰“永安寺”。清乾隆年間，在原址上擴建，形成了獨特的錢潔、中寺、侯元三寺格局，被賜為靜宜園二十八景之壹的“大永安寺”。依山而建的香山寺，曾是西山所有寺廟之冠。香山寺分別於1860年和1900年被英法聯軍和八國聯軍焚毀，僅留下智樂豪、聽發松、汨羅樹禦碑、石屏等遺跡。