始于春秋战国，兴于明清，秦称上郡，明永乐六年(1408)，在今红山(雄石峡)建榆林寨，榆林之名始见于史。
正统初年（1438）改设榆林堡，明成化七年（1472）扩建榆林堡为榆林卫城，明成化九年（1474）迁延绥镇镇署于榆林卫，延绥镇因此又称榆林镇，是明朝九边重镇之一。
清雍正二年(1724)撤榆林镇、卫改设延绥道，道治榆林，八年（1730）设榆林府，九年（1731）撤延绥道、设榆林县。
1913年撤榆林府设榆林道，辖陕北23县，1930年撤榆林道，各县由省直辖。
1949年6月，榆林和平解放设榆林市，1950年4月，榆林市、榆林县合并榆林县。
1959年1月，榆林、横山两县合并仍名榆林县。
1988年9月，榆林县改为县级榆林市。
2000年7月，榆林地区行政公署撤销、设立地级榆林市，沿用至今。