旧称墨尔根。
两汉及南北朝时期属北夫余。
隋唐为室韦地。
辽属东京道。
金属上京蒲峪路。
元属辽阳行省开元路。
明属奴尔干都司。
清为黑龙江将军辖地。
清康熙二十四年（1685），于此地设北路驿站第六站，称“墨尔根站”。
清康熙四十九年（1710），隶属黑龙江将军管辖。
清光绪三十三年（1907），裁将军改设行省，隶属黑龙江行省管辖。
清光绪三十四年（1908），裁撤墨尔根副都统，设嫩江府，驻墨尔根城。
1913年，嫩江府改为嫩江县，县署驻墨尔根城，隶属黑龙江省。
1914年6月，改隶龙江道。
1929年2月，复由省直辖。
1931年后，隶属黑龙江省。
1934年，将嫩江以西的行政区域划归巴彦旗。
同年12月，改隶龙江省管辖。
1939年6月，改隶北安省。
1943年10月，划归黑河省管辖。
1945年，划归嫩江省管辖。
1947年2月至9月，隶属黑龙江嫩江联合省第二专区。
1949年5月，黑龙江、嫩江两省合并后，隶属黑龙江省管辖。
1954年8月，划归新设嫩江专区。
1970年3月，改属黑龙江省黑河地区。
1993年3月，属黑河市。
2019年7月撤销嫩江县，设立县级嫩江市，由黑龙江省直辖黑河市代管。
名称沿用至今。