“玉”意為“安泰”、“平安”，可見潘雲端建園的目的是讓父母在園中安度晚年。但由於久拖不決，潘雲端的父親潘恩在花園剛建成時就去世了，豫園實際上成了潘雲端隱居享樂的地方。
潘雲端經常在園中設宴演戲，請神仙算命，祝壽祭祖，寫歌書，打蛐蛐，放風箏，買賣古玩字畫等。後來潘氏家業衰敗，潘雲端死後，園子日漸荒蕪。
明末，潘氏豫園曾屬於張兆林，他也是潘雲端的女婿。
清初，豫園幾經易主，園址也以洋名劃分。康熙初年，上海壹些士紳將豫園的幾個殿堂改建為清河書院，供奉松江知府張生渠的奏折。學院還沒建成，因故停辦。園中亭臺樓閣錯落有致，草滿池塘，有的地方成了菜地，美麗的景色變得荒涼。
1709年，上海士紳在豫園東部買下壹座寺廟園林，用於公共活動，即陵園，又稱東園。1760年，壹些富紳富商集資在廟堂北面和西北面的豫園買下壹大片舊地，恢復當年的園林風格。持續了20多年。因現存“東園”，因西有復園，故稱“西園”。
這期間修建了德悅樓、七竈堂、三穗堂、翠秀堂等建築。
德悅樓建於1760，位於雨花塘和玉玲瓏西，兩面臨水。因“近水樓臺先得月”之意而得名。德悅樓為二層小樓，建築精美，畫梁彩樓，回廊曲柱，華麗靜謐。
德月樓前有“千裏明月”的匾額。明月當空，在湖中央的亭子和九曲橋上俯瞰月色，很有意思。清代有壹幅描寫德月樓的對聯，“鄉土風光，舊月光”，耐人尋味。
奇藻堂位於德月樓下，因“水波如奇，藻彩繽紛”而得名。大廳裏的裝飾漂亮而獨特。教堂屋檐下有100件不同字體的木雕，被稱為“百日”，充滿民族特色。大殿前的井像壹個方茶壺，上面有匾“人居壺天”。左側墻上，有清代廣寒宮磚雕。
翠秀堂位於大假山東北崖下。1760開工，1770竣工。1813由西園寺轉入餅豆業辦公，經過大面積修繕，建築結構精致，安靜幹凈。四周高墻，堂前峰巒眾多，花木雕零。
修復後的西園、東園，本質上並不是私家園林，而是成為了城市中士紳、士紳們高雅聚會、嬉戲的廟堂園林。但規模布局仍是按照潘氏豫園，文人家花園的風格是明凈中透著清麗淡雅。原本在荷花池附近的樂壽堂已經年久失修。西園重建時，在原址上修建了高大華麗寬敞的三穗殿。
三穗堂，位於豫園正門，原名樂壽堂。清初被征用為上海縣政府辦公場所，西園重建時改建為三穗堂。它的意思是“谷物中的三個耳朵是豐收的標誌”。有五個大廳和寬敞的房子。三穗堂大殿正中，有“市山林”和“靈臺史靜”的匾額。
牌匾下是豫園主人潘雲端題寫的《豫園書》。扇子上雕刻著稻穗、谷子、麥苗和水果。三穗堂南臨大湖，堂前種有刺柏。景觀頗廣，湖中央有亭臺樓閣，浮於水面，東、西建石梁，九轉抵岸。
清中葉，三穗廳是豆米業廳討論制定標準的會議場所，又稱“交戶廳”。也是政府召集鄉紳商賈宣講皇帝聖旨的地方，是當時上海士紳富商的政治經濟活動場所。三穗堂南荷塘、福娃閣、綠波廊、好樂坊、和仙閣、清芬堂、寧惠閣。
點春堂是清道光初年福建花糖商為辦公用而建，共五間。殿內雕梁畫棟，富麗堂皇，精美絕倫，門窗扇上雕有戲曲人物，栩栩如生。這個名字取了蘇軾的詞“翠殿春燕”的意思。
點春堂面向小舞臺，金碧輝煌，格調精致。叫“鳳舞鸞音”，俗稱唱戲臺。是花糖業處20歲設宴祭祀的地方。
唱臺東南有壹座小假山。水從假山下的石竇流出，匯成壹個小水池。舞臺的壹半放在水池裏，很優雅。點春殿後有壹水檻，可從中觀魚。有匾額“飛躍”，字體飄逸灑脫。
後來，豫園的香雪堂、點春堂、桂花堂、德月樓、花神閣、蓮花堂等都因火災受損。清代嘉慶、道光年間，上海商業發展迅速，壹些商業行會在豫園設立同業處，作為同業間祭祀、議事、宴請、觀光的場所。1868年，西園分設各貿易處，各集資修繕。
陽山堂就是在這個時候建成的。陽善堂位於三穗殿後，面對水池對面的大假山，建於1866。底層叫陽山堂，上層是滾雨樓。陽山殿有五棵樹，後面有回廊，彎門檻，對著水池，可以小憩。看著大假山，可以看到水池裏的倒影。
卷雨樓是壹個蜿蜒的陽臺，取唐詩“雨帶珠簾黃昏西山”之意。它在雨中攀樓，雲霧繚繞，山光幽幽，仿佛置身於雨山的水谷，這是豫園獨特的風景。
此後，園中茶館、酒館如雨後春筍般相繼出現，攤販成群。在荷花池西南的壹片空地上，壹些江湖藝人如相面、賣梨糊糖、拉丁片等在這裏擺攤，逐漸成為固定的廟會市場，後來演變成商場。
1894年，布業所為紀念古代織女黃道婆而建織亭。織布亭位於七竈殿與蓮花樓之間的西廊中間，面對湖中亭和九曲橋，面對五老峰、樂府的磚雕。亭子與樓道用扇子隔開，扇裙上刻著“耕織圖”。
圖書館也是在這個時期建成的。圖書館大樓又稱書畫樓，位於德悅樓對面，曾是著名的書畫市場。
20世紀初，豫園被壹條東西走向的小路分割成南北，古建築殘破不堪，面目全非。幸運的是，花園的壹些重要部分，如點春堂，三穗堂，假山，亭臺樓閣，古樹名木，仍然被保留下來。