元代时期，境域属沙门社。
清道光年间（1821年—1850年），长岛设13社，大黑山岛设北庄社和南庄社，小黑山岛设小黑山岛社，时北庄社辖北庄、土岛2村，南庄社辖南庄、船旺、西濠、大濠、小濠5村，小黑山社辖小黑山村。
民国二十三年（1934年），改设北庄乡和南庄乡。
民国三十四年（1945年），隶属庙岛区。
民国三十五年（1946年），设黑山区。
民国三十七年（1948年），改设黑山乡，区划不变。
1949年后，仍设黑山乡。
1958年11月，长岛县并入蓬莱县，为长岛公社黑山大队。
1963年6月，复置长岛县，改设黑山公社。
1984年，撤销黑山公社，设立黑山乡。
1985年，撤销黑山乡，分别设立大黑山乡和小黑山乡。
2000年12月，小黑山乡并入大黑山乡，设立黑山区公所。
2003年2月，撤黑山区公所，设立黑山乡。