国内史籍最早记载介休历史为周代鲁隐公五年（前718），曲沃庄伯伐翼，晋翼侯奔随（在今介休城东），当时为晋大夫士会食邑。
公元前636年，晋文公返国赏随臣，介子推不言禄，与母隐居绵山。
晋文公焚林求贤，子推不出，竟与母抱树而死。
后，介休即依介子推死于此而得名。
春秋时期，晋顷公12年（前514）始置邬县（在城东10千米今邬城店一带）。
战国时期属魏国。
秦灭六国时，于魏赵边界休整，之后攻赵，秦代因此置界休县，与邬县同属太原郡。
西汉属并州刺史部太原郡。
新莽改界休为界美，东汉复名界休。
西晋，杜预臆说界休当为介休，晋武帝司马炎遂改界休为介休，属西河国。
北齐天保年间（550），介休县并入永安县（即今孝义）。
北周富政元年（578）置介休郡，介休县属介休郡。
北周大成元年（579）改介休县为平昌县。
隋开皇18年（598）平昌县复名介休县，属西河郡。
唐武德元年（618）介休郡改名介州县，属介州，兼领平遥县。
五代时介休县属太原府汾州。
元代属河东山西道宣慰司冀宁路汾州。
明代属山西布政使司汾州。
清代属山西省汾州府。
1937年介休县成立抗日县政府，属山西省第四行政区。
1941年属太岳专署。
1948年介休解放后，属晋中区三专属。
1949年2月属太原市三专属，同年9月，属榆次区行政督察专员公署。
1950年8月属榆次专区。
1958年属晋中专区。
1992年2月10日，国务院批准介休县撤县设市，更名为介休市。