早於明清時期,當地鄉民就將此地視為風水寶地,建廟壘塔,祈求安康。相傳,清乾隆壬辰年間(公元1772年),永春知州張所受修築的文明塔毀於水患;永春知州姚任道重建的文峰塔,歷經180年後,於1961年毀於臺風。雙塔合稱留安塔。1984年春,港胞顏彬聲先生回鄉探親,慷慨解囊,捐資建塔,雙塔屹立於留安山上。
上世紀90年代,永春縣決定開發留安山,沿山麓建造壹座供市民休閑、鍛煉、賞景的山林公園。近兩年來,他們投入大量資金,規劃建設多種造型的亭閣50余處,錯落有致地分布於沿山通道各處;同時,種植大片柑園、茶園,開辟百畝苗圃供遊人觀賞