明朝萬歷年間，大理寺掌門周光浩在霞山建“明農山房”隱居。但見山青翠如玉，便在石頭上刻了“玉峽”二字，於是峽山又叫“玉峽”。
金代隆安元年(公元399年)，設朝陽縣，縣治置於林坤鼓山腳下，霞山屬朝陽管轄。
唐永徽元年(公元665年)，朝陽入海陽，先天元年(公元712年)，海陽被拆，設朝陽。
元和十四年(公元819年)，韓愈攻潮州，縣治由林坤遷至新興鄉(今綿城)。
當時朝陽已經設置了新興、興仁、豐根、鳳凰四個鄉，霞山屬於興仁鄉。
宋紹興二年(公元l132)，朝陽並入海陽，十年(公元1140)，海陽被拆，設立朝陽。
元十七年(公元1357年)，建縣大路花赤熊依攤築土城為城廊，轄縣內14團。元末被土人占領，隋晨占領城池，謝軍占領岐山都城(今和平)，路虎被景隆(黃龍渡地區)占領。
明朝洪武十四年(公元1381)，知縣楊誌在境內丈量土地，記錄人數，制作了役地圖。14團為16鄉首府，霞山為黃龍首府，鄉位於霞山。嘉靖年間，朝陽地區變更，設置10都城，霞山仍屬黃龍都城。
清雍正十二年，吉安巡檢司遷至霞山(公元1735)。
民國初年，朝陽撤都，縣設9個行政區。霞山屬於朝陽五區，區部設在霞山市場。