战国时期属楚地，晋初属南康县地。
后梁乾化元年（911）析南康县西南地置上犹场。
南唐保大十年（952）改场置县，沿用场名。
宋太宗太平天国元年（976），上犹县属江南西路虔州。
淳化元年（990）于大余县置南安军，上犹县属之。
宁宗嘉定四年（1211）改为南安县。
元改南安军为南安路总管府，辖大余、南康、上犹。
至元十六年（1279）改为永清县。
翌年，复名上犹县，属南安路。
明太祖洪武元年（1368）改南安路为南安府，上犹属南安府，隶江西中书行省。
清承明制，上犹仍属南安府，隶江西布政使司。
1912年，直隶江西省。
第二次国内革命战争时期，上犹县属湘赣省苏维埃政府。
1949年8月16日，成立上犹县人民政府，隶属赣州分区督察专员公署，1971年1月隶属赣州地区，1999年7月，隶属地级赣州市。