早在原始社会末期和奴隶社会，淮夷部族就生活在淮河流域，后被夏、商征服。
西周时建立州来诸侯国，都邑在凤台县古城。
春秋末期，改州来为下蔡。
区境在西汉时属淮南国和九江郡，东汉时属九江郡，汉末及魏、晋、隋时属淮南郡，唐时属淮南道，宋时属淮南路，元时属下蔡县，明、清初时属寿州，清雍正十一年（1733年）后及民国时期属凤台县。
1949年5月前，区境属凤台县芦孔乡。
1949年1月12日，凤台县解放，县政府在淮河南设置八公山区和蔡家岗区。
5月，八公山区和蔡家岗区划入淮南矿区，两区合并成立淮南区，隶属淮南矿区人民政府，驻地蔡家岗。
是时，区城东至姚湾，南到寿县北门，西、北以淮河为界和凤台县相望，辖孔集、山王、蔡岗、连岗、安城、鸭铺、八公7个乡（其中八公乡于11月24日划归寿县）。
1949年11月，设置八公山镇，管理市政工作，隶属淮南矿区行政办事处，后隶属淮南市人民政府，驻地土坝孜。
1953年5月22日，撤销八公山镇，建立八公山区（科级），管理淮南西部的城镇工作，驻地土坝孜。
区政府设秘书、工商、文教、民政、财政、卫生、农林等7个股。
1955年2月，撤销八公山、蔡家岗两个科级区，建立县级建制的八公山区，领导西部矿区的城市工作，新建的八公山区辖新庄孜、新市场（土坝孜）、蔡家岗、夏郢孜、李郢孜等地，驻地蔡家岗。
1960年秋，建立八公山城市人民公社，但未设立实体机构，由区政府工作机构代行职责。
1961年10月，八公山区划分为八公山和谢家集两个区。
新建立的八公山区驻地新庄孜，谢家集区则在原址办公。
八公山区辖城市人民公社和山王人民公社，区政府设秘书室、税务局、蔬菜产销办公室及工业、劳动、民政、文教、卫生、农林、财政科。
1966年9月，八公山区改称红旗区。
1968年5月，成立红旗区革命委员会，统一行使党政领导权力。
1972年9月，红旗区革命委员会改称为八公山区革命委员会。
1980年10月，恢复八公山区人民政府名称。