相傳古代有三座塔，是鋪壹層土修壹層塔。城樓修好後，壹層壹層地挖開泥土，使城樓顯現出來，於是有了“堆砌土木城樓”、“現在挖開城樓”的說法。當這座塔建成時，這座橋像小山壹樣高，長達10裏。
修塔時運能不足，用山羊運磚。現在大理的銀橋村，古稱“塔橋村”。古書記載，三塔建成，“雇工匠七百七十萬，耗資四萬余元，歷時八年建成”。三塔建成後，又修建了規模宏大的崇聖寺。
擴展數據:
崇聖寺和三塔建成後，寺廟保存完好。元武宗“頒令”時，授予方丈和尚稱號，保護寺院財產，免交糧食稅。又於元代修繕，使“寺內家具煥發新生，三塔挺立，金碧輝煌，山樓(大致相當)”的景象。
明代重修李元陽，也有“三亭七樓九廳百府”。當時寺內有五件寶物:三塔、巨鐘、玉通觀音、鄭碑和佛都匾。徐霞客到了大理，依然看到崇聖寺前的“三塔”，各塔高聳入雲。西邊，三塔對面有壹座鐘樓，極為雄偉。樓後是大雄寶殿，大雄寶殿後是“玉柱觀音殿，青銅鑄，立如雕像，高三尺”(《徐霞客雲南八遊遊記》)。
據說廟裏的鐘是始建於建安十二年(公元871)。它“直徑壹尺多，但厚達壹尺”，“其譽可達八十裏”。“千古雲上三塔影，終日風雨壹樓鐘”歷來膾炙人口。雨銅觀音，莊嚴肅穆，腰細形細，是南詔遺物。然而，滄桑巨變，巨鐘已毀於清朝，雨銅觀音毀於十年動亂，道觀牌匾和佛牌連同寺廟，如今已蕩然無存。
參考資料:
百度百科-大理崇聖寺三塔