北魏時,在五老(即虎牢關)設立北豫州部,設立滎陽郡。北周滅北齊後,由滎陽及其附近地區組成的北豫州改為滎州,州郡設在高程(即五老關、虎牢關)。581年,隋文帝建立隋朝後,北周的邢州改稱鄭州,轄滎陽、、糜、內牟(即中牟)、沅陵(今新鄭東北)等縣,鄭州州府仍設在(即虎牢)。唐朝時,鄭州的行政建制發生了變化,管轄範圍變成了密縣、泗水縣、滎陽縣、迎澤縣和高程縣。直到唐太宗貞觀七年(633年),鄭州州政府才從高程遷到管城(今鄭州市管城區)。