西汉为匈奴右部地。
唐属北庭都护府所辖阴山都督府。
宋属西州回鹘与西辽。
元为察合台后王封地，至元十九年(1282)，置塔儿八合你驿。
明至清初为卫拉特蒙古诸部游牧地。
清乾隆三十年(1765)，设塔尔巴哈台参赞大臣，驻雅尔(今哈萨克斯坦乌尔扎尔)，筑肇丰城，隶伊犁将军。
乾隆三十一年(1766)，参赞大臣治所东迁楚呼楚，筑绥靖城，即今塔城市所在地。
光绪十四年(1888)，置塔城直隶厅，隶属伊塔道。
1913年，废直隶厅改设塔城县。
1915年，分伊塔道，置塔城道。
1929年，塔城道改塔城行政区，辖塔城、乌苏、沙湾、额敏4县与和什托洛盖设治局。
1943年，改为塔城督察专区。
1950年，设塔城专区，下辖塔城、沙湾、额敏、乌苏、和丰、裕民6县与托里中心区。
1954年，塔城专区隶属伊犁哈萨克自治州。
1970年，改为塔城地区，辖塔城、沙湾、裕民、额敏、乌苏、托里6县与和布克赛尔蒙古自治县。
1984年，塔城县撤县建市。
1996年，乌苏撤县建市。
2021年，沙湾撤县设市，沿用至今。