明朝時期,佛教盛行。姚家圍還建了壹座小廟,裏面有壹尊佛像。在農歷正月初壹和十五,農民們會來到這裏燒香拜佛,以保護佛像免受多年來泛濫的黃水之災。隨著信佛人數的逐年增加,這裏規定每年農歷四月四日為姚家圍寺的會日。哪裏有廟會,哪裏就有商人聚集。由於這壹帶荒草大面積,百姓多養騾馬牛羊,廟會每天以交易大牲畜為主。人們也稱它為“騾馬集市”。後來廟會過後,仍有小本生意的人在此長期經營,另壹位姓林的商人在此堰上辦起了花生市場,並征求商人的意見,規定每年農歷三、八、五、十為集日。從長遠來看,它自然被稱為姚佳許繼,在清朝初年,它也被簡稱為瑤姬。
清鹹豐十年,姚毅再次主導修建姚家集,主要是加固、加高堤壩,周長擴大到1.386米,進壹步保證了汛期市場安全。宣彤時期,姚基偉改名為姚基齋。17年更名為瑤姬區。9月,1957,區並入鄉,更名為瑤姬鄉。1958年9月,更名為瑤姬人民公社。1983年4月更名為瑤姬鄉。2004年4月,原張偉鄉、劉集果園、瑤姬鄉合並為瑤姬鎮。是全縣土地面積最大,人口第二的大鎮。鎮上建有建材加工、板材加工兩大工業園,蠶繭、意楊、水果、特色飲食豆腐、狗肉等農產品聞名中外。