紫金山經歷了巨大的變化。早在13億年前的三疊紀晚期，這裏曾經是壹片海，海水退去後，首次出現了陸相盆地。當時氣候幹燥炎熱，氧化充分，沈積物中所含的鐵生銹變紅，所以北坡的三疊紀巖石呈紫色。三疊紀末，地殼再次移動，盆地周圍的起伏增加，出現湍急的溪流。後來劇烈的地殼運動使紫金山地區的巖層受到壓力擠壓，產生強烈的隆升和斷裂。從此，它從地面上直立起來，形成了南來北往的危險局面。南坡平緩，泉水多，樹木多；由於多年的風化剝蝕，表土逐漸脫落，露出堅硬的礫石，看起來雄偉陡峭。
戰國時紫金山稱“金陵山”，漢代稱“中山”。東漢末年，秣陵縣令姜追賊受傷，死於紫金山，葬於此，建廟。孫權封姜為侯，改中山為，以避其祖父之隱姓埋名。相傳三國時諸葛亮為了聯合吳抗魏，途經秣陵(今南靖)，到石山(今)觀察金陵的山河情況。當他看到以紫金山為首的山脈像黑龍壹樣蜿蜒在東南方向，而西部的山脈像老虎壹樣棲息在河邊的石山時，他脫口而出:“鐘潘，石虎棲息。”它生動地概括了南京的危險地形。
東晉初，元帝渡河時，發現紫金山的山峰經常被紫色和金色的雲朵所環繞，因此簡稱“紫金山”。這種自然現象在當時已被人們神化，這可能與東晉初需要穩定人心有關。事實上，這種紫金色的雲是由廣泛暴露在山體北坡的紅紫色頁巖在陽光照射下發出的紫金色光造成的。南朝時，因中山在建康都城東北，故又稱“北山”。明朝嘉靖年間，開國皇帝朱元璋葬於中山南麓的獨龍府，於是中山改名為“神烈山”，嘉靖十年所刻的“神烈山碑”至今猶存。
紫金山是兵家的戰略要塞，是皇帝和將軍選擇墳墓的地方，也曾是佛教聖地。因此，山上有許多景點，如頭陀嶺公園、桃花塢、靈谷寺、孫陵崗、明陵和中山陵。紫金山現在是南京的主要景點。