在西漢和辛莽末年的社會動蕩中，大量漢人逃離戰亂，流入湘西武陵山區，與蠻族雜居。東漢建立後，地方郡縣為了重新控制這些流民，與蠻族發生沖突。
公元47年(建武二十三年)，武陵造反，攻打地方郡縣。光武帝派尚流和壹萬多軍隊去鎮壓叛亂，全軍覆沒。第二年，監軍宋麗和馬成試圖鎮壓他們，但他們仍然不能獲勝。第三年，富博將軍馬援自告奮勇，率領4萬多人進攻。由於北方士兵的水土不服和對地形的不習慣，漢軍死傷慘重，馬援也死於疫病。終於平定了持續三年的武陵人叛亂。但是武林中的蠻族開始分化，苗、瑤等部落分離。
除了他們的房子，他們在巫術中使用的祭品是壹樣的。他們的祭品中都有豬和雞。他們都崇拜自然的東西，石頭和火，最崇拜的是石頭。
他們也相信占蔔。無論哪個民族，占蔔都有幾種形式，最常用的是用牛占蔔。他們的祭拜儀式也是在5月和10月舉行，除了其中壹些在語言和習俗上有很多相似之處，包括他們的服飾和對婚姻的看法。