西汉初设舒县。
武帝元狩二年（前121）,舒县属庐江郡；南朝·宋秦始二年（466）九月，今县境改设潜县。
梁武帝天监年末（519），改潜县为庐江县；隋开皇元年（581），罢庐江郡置庐州。
大业三年（607），复改庐州为庐江郡；清康熙六年（1667），庐江县属安庐滁和道庐州府。
1912年庐江县直属安徽省；1914年至1928年，隶安徽省安庆道；1932年隶安徽省第二行政督察区专员公署；1938年7月，改属五区；1938年10月改属三区；1940年属一区；1947年改属九区。
1949年7月，湖西县并入庐江县，属皖北行署巢湖专区。
1952年，属安徽省芜湖专区；1958年7月，划归六安专区。
1965年7月，划归巢湖专区。
1971年8月，庐江县属巢湖地区。
2000年1月，隶属巢湖市。
2011年7月，划归合肥市管辖。