唐文宗太和六年(公元832年)，白居易將為摯友元稹寫墓誌銘的錢捐出來，捐修香山寺，並寫了《修香山寺錄》。名人與名寺相得益彰，使寺廟名聞遐邇。白居易還把他於12年在洛陽寫的800首詩編成十卷，取名《白氏羅鐘集》，放在香山寺藏經閣裏。白居易曾住在寺內，自稱“香山居士”，與胡果、吉焦、鄭智、劉真、魯夫、張混、李、如滿和尚成為“香山九夫”。唐會昌六年(公元0，846年)，白居易病逝於舊居，家人囑其葬於香山寺北，滿石塔側。
從盛唐到民國，香山寺遠近聞名。許多高僧，如唐代的張安大師、宋代的甄嬛大師、大和尚於婕、元代的中峰大師、明末的寒山大師、蓮池大師、清代的林玉大師、近代的弘毅大師、老和尚許雲等高僧，都先後入駐西香山寺弘法。其中，弘毅大師專門為香山寺題寫了“香山古寺”的稱號。
文化大革命期間，寺廟建築被拆除。