梁芳的母親在老家,於是梁芳向憲宗請求允許讓他的弟弟金逸瑋鎮傅良德經常往返於首都和新會之間,以祭拜年邁的母親。梁德趁機在廣東各地采集花木鳥獸,以個人身份向皇帝進貢。他所使用的船只、車輛、搬運工、食品包裝等壹切費用都由政府供應,這成了地方官民的禍害。因此,廣東左使邵鵬指責梁芳的疏忽。梁芳大怒,誹謗鹹宗晉,將邵鵬移送貴州。刑部尚書林俊也因彈劾梁芳和和尚姬曉而被投入監獄。
梁芳經常揮霍宮中的錢財。過了壹段時間,憲宗去內庫視察,發現幾個朝代積攢的七庫黃金都用光了。他對梁芳和另壹個太監魏星說:“這都是因為妳們兩個。”魏興不敢回答,梁芳卻辯解道:“建造頓悟宮和各種廟宇,只是為了祈求陛下永遠幸福。”憲宗不高興地說:“我不找妳的茬,以後人家跟妳算賬。”梁芳非常害怕,所以她遊說說服皇帝廢除太子,改王為太子。就在這時泰山反復搖晃,占蔔師說這個天象應該在太子身上。憲宗害怕,所以沒有發生。
成化二十壹年(1485),有壹顆流星,聲如雷鳴。憲宗害怕了,於是他寫了壹封信告了實情,並讓道上的官員上書彈劾梁芳等。雖然憲宗沒有責備他的大臣,但他仍然沒有懲罰梁芳。
成化二十三年(1487),憲宗駕崩,孝宗稱帝。梁芳在南京被降為低級主管,並以擾亂國家事務的罪名退休回家。梁芳趕緊把原本給他的河源觀殿和永慶莊田還了回去。後來,梁芳壹直沒有被激活。