商代及西周属畿内地，分属雍、邗、温三国。
春秋时期属晋。
战国时期属魏。
秦代归三川郡。
汉代设河内郡。
元至元六年(1269)，称焦家作，后简称焦作，属修武县。
清宣统二年(1910)，为焦作镇。
1945年，置焦作市。
1948年，改焦作县。
1949年，改设焦作矿区，归平原省管辖。
1952年，属河南省新乡专区。
1956年，改置焦作市。
1960年，修武、博爱2县并入。
1961年，恢复修武、博爱建制，复归新乡专区。
1974年，升为省辖市。
1983年，修武、博爱2县并入。
1986年，武陟、温县、孟县、济源、沁阳5县划入。
1988年，济源县改市。
1989年，沁阳县改市。
1997年，孟县改市。
济源由省直辖。
2002年，市政府由山阳区迁驻解放区。