瑤族的稱謂與服飾有關:紅瑤、白領瑤、白褲瑤、藍靛瑤。姚宏的服飾有的是紅布做的，它的頭巾是紅色的，所以得名；白領姚的領子都是白布做的；白因其褲子從膝蓋以下用白布紮起而得名。靛藍瑤的衣服是用靛藍染布做成的，所以叫靛藍瑤。與生產方式和經濟特征相關的稱謂有:瑤、郭、更、茶、北、木須瑤等。這些稱謂有的是因開山開荒、刀耕火種、頻繁遷徙而得名；有的因種植壹些經濟作物而得名，如茶山瑤；"背簍姚"之所以得名，是因為出門趕集和幹活時，總要背壹個籃子。木柄瑤主要是在柄、鋤柄、木柄上雕刻文字、圖案而得名。潘瑤和盤古瑤是既有崇拜信仰又有紀念意義的名字。
早在晉代，瑤族就有“混魚鬧，敲壞名祭盤瓠”的習俗。全國各地瑤族保存的山表文獻，均記載瑤族祭祀王磐(即盤瓠):“先祖王磐生前有靈性，死後有鬼神之德，故多男女拜鬼，畫鬼神畫像，廣為子孫祭祀，永予高聯。”為什麽瑤族人如此尊敬和信仰盤王？
相傳在古代，瑤族祖先渡海遷徙時，遇到狂風暴雨，船只無法靠岸。在危急時刻，人們認為祖先王磐是有靈性的，所以他們許願請求王磐仙靈來拯救他們並保佑船只。果不其然，許了願後，原本驚濤駭浪漸漸平靜，渡船安全靠岸，化險為夷。此後，瑤族人民建廟燒香祭祀王磐，代代相傳，並開展還王許願活動。崇拜王磐的瑤族被稱為潘瑤。有些瑤族人叫盤古瑤，是因為他們崇拜和崇拜盤古。盤古開天地是壹個民間傳說，現在瑤族的“王磐節”就是為了紀念王磐和盤古。隨著社會和歷史的發展，瑤族的稱謂發生了不同程度的變化，但“瑤”始終是各民族的通用名稱。
長期以來，共同的遭遇、共同的命運、共同的民族本質所形成的巨大凝聚力，維系著瑤族人民之間的溝通、共識和團結，使他們成為壹個不可分割的民族整體。在民族形成和發展過程中，瑤族有其自身的特殊性，其不同支系在語言、社會結構、生產方式、文化藝術、風俗習慣、宗教信仰等方面的特點構成了瑤族豐富多彩的傳統文化特征。