靈隱寺的創始人是西印度僧慧理。在南朝，梁武帝授予土地，並擴大它。五代吳越國王錢镠下令永明延壽將其恢復，並命名為靈隱寺。在宋寧宗嘉定時期，靈隱寺被稱為禪宗江南“五嶽”之壹。
清朝順治年間，禪師靈隱方丈集資重建。建廟耗時18年，規模躍居“東南之冠”。清康熙二十八年(1689)，康熙皇帝南巡時賜名“雲林寺”。
靈隱寺傳說
相傳有壹天，靈隱寺的濟公和尚突發奇想，知道遠處來了壹座山峰。當時靈隱寺前有個村子，濟公怕飛來的山峰壓死人，就沖進村子勸大家趕緊離開。因為村裏的人看慣了濟公瘋狂作弄人，認為這壹次是為了大家好好玩，所以沒人聽他的。
眼看山峰就要飛起來了，姬宮急了，沖進壹戶新娘家，抱起正在拜堂的新娘就跑。村民們看到和尚搶新娘，都大叫著追了出去。人們正在追逐，突然聽到風聲呼呼作響，天空壹片漆黑，並傳來“隆隆”聲。壹座山峰在靈隱寺前飛落下來，壓倒了整個村莊。這時人們才明白，濟公搶新娘是為了救大家。
濟公成佛後，尊稱長達28個字:“大慈大悲大智紫金羅漢，尊者，勵精圖治廣益先人，三贊佛”，集佛、道、儒於壹身，被極度神化。靈隱寺有道濟禪師殿，香火鼎盛。