春秋时期为百越地，战国时期属楚国。
秦属南海郡。
两汉为南野县，属豫章郡。
东汉顺帝建康时属桂阳郡之曲江县。
吴景帝永安六年（263），分南野置始兴县，南雄地属之。
晋代废斜阶复南野，改属庐陵郡。
隋大业三年（607），属南海郡。
唐武德四年（621），属番州，不久更名为东衡州。
贞观元年（627），改为韶州。
南汉乾亨四年（920），在浈昌县置雄州，辖浈昌、始兴两县。
宋开宝四年（971），改雄州为南雄州，与河北雄州别，属广南东路。
元至元十五年（1278），改南雄州为南雄路，领保昌、始兴两县。
明洪武元年（1368），改路为府，辖保昌、始兴两县，属广东道。
清嘉庆十二年（1807），改府为直隶南雄州。
民国时期，改南雄州为南雄县，隶属广东省。
1958年12月，南雄县与始兴县合并称南雄县，1960年10月复分为南雄县、始兴县，隶属广东省韶关专署。
1982年6月实行市管县体制后，隶属韶关市。
1996年6月，撤县设市（县级），由韶关市代管。