該廟原為南越國王建德的故居。三國時期，吳國的騎都尉俞範把它改成了壹個花園，叫豫園，他在那裏召集弟子們講授《易經》。羽凡死後，他的家人捐資修建了壹座名為“止殿”的寺廟。東晉隆安五年(401)，大廚邦(今克什米爾)三藏法師坦莫耶舍來到這裏翻譯佛經。元嘉年間，梵天高僧劉請菩提法師到寺中設戒壇，名曰“止道場~獄元年”(502)。智者藥三藏從西印度帶來菩提樹苗，種在戒壇前。
八年(527年)，達摩祖師遠航中國，第壹次住寺。
高宗宜豐元年(676年)，禪宗六祖慧能與僧人議風旗，在菩提樹下剃發，後建風旗殿、大建殿、內建殿。龍年元年(。705)，在西域被刺的三藏皇帝在此翻譯了十卷第壹部《楞嚴經》，宰相方榮收下。鮑莉年(825-826)要求建立壹個偉大的和悲傷的建築。這座寺廟的名字被多次更改，或被命名為王源寺和霍喬吉。南宋高宗紹興二十年(1150)，稱報恩光孝寺。明憲宗成化二年(1466)稱光孝寺。明朝邵武年間，為清兵所滅。康熙初年，禪師袁誌復興梵語，規模空前，香火漸盛。有12廳、6廳等宏偉建築，從此被稱為南海第壹禪林。
光孝寺佛教文物眾多，珍貴建築有:
華南地區具有特殊建築風格的六祖堂、南宋淳正年間修建的大雄堂、南漢大保六年(963)。
龔成書的東西塔、六祖塔等。至於南漢皇帝劉銥於大寶十年(967年)鑄的東塔，四角七層，每層表面鑄有佛像、雲彩、天人、飛鳥等。手法相當巧妙，現在已經銷毀了。今天僅存17尊羅漢、保護者、信徒、支持者，是中國現存最古老、最完整的塔，是比較珍貴的鑄造藝術作品。大北莊的石建築，建於唐代，是寺內現存最早的石雕經典建築。
光孝寺現為廣東省佛教協會和《廣東佛教》編輯部所在地。寺內還有佛教培訓班，這在廣州的叢林中還是第壹個。