唐武德四年（621）析信安县之南川置须江县，隶属越州总管府衢州，为江山建县之始；五代吴越王宝正六年（931）钱镠因县南有江郎山，改须江县为江山县，属衢州。
南宋咸淳三年（1267）迁治礼贤，改名礼贤县，属衢州。
元至元十三年（1276）迁旧治，复为江山县，属衢州路。
1949年5月6日，江山县解放，7月1日建浙江省第三专区，属第三专区；同年第三专区改称衢州专区，江山县属衢州专区。
1954年11月15日国务院批准，撤销衢州专区，江山县改属金华专区。
1985年5月15日，根据《国务院关于同意浙江省撤销金华地区实行市管县给浙江省人民政府的批复》〔（85）国函字68号〕文件，衢州市升为地级市，江山县划归衢州市管辖。
1987年11月27日，根据《国务院关于浙江省撤销江山县设立江山市的批复》（国函〔1987〕187号）文件，撤销江山县，设立江山市（县级），以原江山县的行政区域为江山市的行政区域，隶属衢州市。
名称沿用至今。