吕梁的建置，最早可追溯到春秋时代。
当时吕梁有屈邑、平陵邑、中阳邑及瓜衍县等。
公元前376年，韩、赵、魏“三家分晋”以后，吕梁为赵国境域，境内设有中阳、兹氏、大陵等。
秦庄襄王四年（前246）设太原郡后，吕梁遂为太原郡境域，设有大陵、兹氏等县。
汉初，吕梁仍为太原郡境域。
汉武帝元朔四年（前125）分设西河郡后，吕梁分属西河、太原、平阳三郡。
大陵、平陶、兹氏为太原郡辖县；蔺、皋狼、中阳、离石、土军、隰成、临水为西河郡辖县；蒲子县为平阳郡辖县。
王莽代汉后，兹氏县改兹同，大陵县改大宁，平陶县改多穰，临水县改监水。
东汉始立后各县遂复旧名。
东汉初，吕梁属于西河、太原、河东三郡。
离石、蔺、皋狼、临水、中阳、平周为西河郡辖县；大陵、平陶、兹氏为太原郡辖县；蒲子县属河东郡。
永和五年（140）九月“因匈奴寇掠，西河郡治南徙五百九十里”迁至离石县，为吕梁境内最早的郡级建置。
同年，临水县并入离石。
中平年间美稷县“南徒于兹氏县界，寻废”。
建安二十一年（218）“南匈奴内附”，左部居于兹氏，中部居于大陵。
三国初分，吕梁为魏国境域。
黄初二年（221）设置西河郡，治兹氏县，辖离石、中阳等县；大陵、平陶二县仍属太原郡，蒲子县仍为平阳郡辖县。
西晋，吕梁境内各县分属于西河国和太原国，属县未变，仅兹氏县改隰城。
东晋十六国时期，吕梁境内较为混乱。
后赵石勒元年（319）“以离石县境荒废”设置永石郡，寻改西河，后燕置离石护军。
永兴后西河郡并入太原郡。
北魏初立，吕梁为太原郡境域，设置有大陵、平陶、兹氏等县。
天兴初增设离石镇，延和三年（434）设吐京镇，太平真君九年（448），吐京镇下设岭东、岭西二县，平陶县移出区境，大陵县改受阳。
太和八年（484）复置西河郡，太和十年（486）吐京镇改吐京郡，同年，废蒲子县，设汾州，吐京、西河等五郡为其辖郡。
太和十七年（493）设永安县，太和二十一年（497）岭东县改新城，岭西县改吐京。
东魏，吕梁仍为汾州和太原郡境域，汾州辖西河、吐京等郡，隰城、永安二县属西河郡；吐京、新城二县属吐京郡；受阳县仍属太原郡，离石境域仍设离石镇。
北齐、北周之际，吕梁当两政权纷争之地，北齐斛律金所筑长城的起点——金锁关即在区内黄芦岭上，今遗址尚存。
当时吕梁境内设有西汾州怀政郡、南朔州西河郡、吐京郡神武郡和并州太原都。
南朔州系由汾州改称，治所仍设隰城，西河郡隶属之。
离石镇改怀政郡，辖县有昌化、良泉等县，蔚汾县属神武郡，受阳县属太原郡，吐京、新城二县属吐京郡，后因裁郡改属怀政郡。
北周建德年间，西汾州改称石州；大象年间，南朔州改称介州；并增设定胡、窟胡、乌突三县及同名郡。
隋，吕梁分属于离石郡、西河郡、太原郡、楼烦郡、龙泉郡。
离石、修化（窟胡县改）、太和（乌突县改）、平夷、定胡、宁乡等县属离石郡，西河郡辖县有隰城、永安二县，受阳县仍属太原郡，岚城县属楼烦郡，石楼县属龙泉郡。
唐代，吕梁分属于石州、汾州、隰州、岚州、并州（后改太原府）。
西河（隰城县改）、孝义（永安县改）二县属汾州，离石、平夷、定胡、临泉、方山属石州，宜芳、合河二县属岚州；石楼、温泉二县属隰州，交城、文水二县属并州（太原府）。
五代时期，吕梁境域内所属未变。
宋代，吕梁分属于石州、汾州、岚卅、隰州，晋宁军、太原府。
离石、平夷、方山为石州辖县。
西河、孝义为汾州辖县；宜芳、合河为岚州辖县；石楼、温泉为隰州辖县；定胡、临泉为晋宁军辖县；交城、文水二县为太原府辖县。
金代，仅因晋宁军被撤销，辖县改属石州，其它州县的隶属未变。
元代，吕梁大部属于太原路（后改冀宁路）管辖，境内设置有交城县、文水县、兴州、岚州、临州、石州（辖离石县、宁乡县）、汾州（辖县有西河县、孝义县）。
石楼为晋宁路辖县。
明初，吕梁除石楼县属隰州外，境内州县均属太原府。
县有兴县、岚县、临县、交城、文水，州有石州（辖宁乡县）、汾州（辖孝义县）。
万历二十三年（1595）五月，汾州升为府，并倚郭设汾阳县，原太原府所辖州县、临县、永宁州及辖县宁乡县和原汾州辖县改属汾州府，府治设汾阳县城。
万历四十年（1612）石楼县改属汾州府，清代沿用明制，建置未变。
1912年取消汾州府建置，永宁州废州改县。
1914年1月，永宁县改离石，宁乡县改中阳。
1918年，增设方山县。
抗日战争和解放战争期间，吕梁各县均属晋绥边区（先称晋西北）行政公署。
1949年9月，山西省人民政府成立以后，吕梁境内设兴县专区和汾阳专区，兴县专区辖有兴县、临县、离石、方山、岚县等11县，汾阳专区辖县有汾阳、孝义、交城、文水、中阳、石楼等9县。
1951年3月27日汾阳专区撤销，交城、文水、汾阳、孝义等县划归榆次专区，中阳县划归兴县专区；石楼县划归晋南专区。
1952年7月1日，兴县专区撤销，兴县、岚县划归雁北专区；临县、方山、离石、中阳划归榆次专区。
1954年7月1日，离石、方山二县合并为离山县。
1958年11月10日，文水、交城二县并入汾阳县，中阳县与离山县合并为离石县，孝义县并入介休县，岚县分别划入静乐和兴县，石楼县并入吕梁县。
1959年9月19日除孝义县以外其它各县恢复建置，1961年5月恢复孝义县建置。
1971年5月，吕梁地区组建，同时恢复方山县，新增设娄烦、交口二县；1972年4月，娄烦县划归太原市；1971年10月5日，新增设柳林县。
1992年孝义撤县设市；1996年离石撤县建市；1996年汾阳撤县建市；2003年，离石市改为离石区。
2003年，吕梁撤地设市至今。