秦属象郡地。
汉初属南越国地，元鼎六年（前111）属郁林郡雍鸡县地。
三国吴属郁林郡临尘县地。
晋属晋兴郡地。
隋改属郁林郡宣化县地。
唐开元二年（714）置羁縻石西州，治今上石镇。
宋皇祐五年（1053）置凭祥峒，属邕州都督府左江道永平寨，此为凭祥有名之始。
嘉祐年间（1056-1063）石西羁縻州改为上石西羁縻州，并析置下石西羁縻州治今夏石南旧州，属邕州。
元代凭祥峒迁至今屏山村旧州屯。
至元二十四年（1287）上石西、下石西2土州改属思明路。
明洪武元年（1368）凭祥峒迁治今凭祥中学处。
永乐二年（1404）改为凭祥土县，属思明府。
成化十八年（1482）升为凭祥土州，直隶广西等处承宣布政使司。
万历三十八年（1610）上石西土州属太平府。
清顺治十一年（1654）凭祥直隶州降改为凭祥土州，属太平府。
清雍正十一年（1733）下石西土州改属太平府。
光绪三十四年（1908）上石西土州并入凭祥土州。
宣统二年（1910）凭祥土州改流置凭祥厅。
1912年凭祥厅改为凭祥县。
1928年下石西土州改流并入。
1930年属龙州民团区。
1934年属龙州行政监督区。
1940年属第十二行政督察区。
1949年中华人民共和国成立后，仍称凭祥县，属龙州专区。
1951年并入镇南县。
1952年属宁明县。
1955年以宁明县第一区置县级凭祥镇，属桂西僮族自治州。
1956年改县级市。
1957年属邕宁专区。
1958年12月，凭祥市与宁明、龙津两县撤销，合并置睦南县，治凭祥镇。
1959年5月，睦南县撤销，复置宁明、龙津两县，今市域属宁明县，称睦南公社，属南宁专区。
1961年复置县级凭祥市。
1966年龙州县下冻公社平而大队划入。
1971年属南宁地区。
1981年原宁明县夏石公社划入。
2002年改为广西壮族自治区直辖市，由崇左市代管。