600多年前的关山荒山野岭，杳无人烟，真是“地如其名”。
根据《明史》、《明太祖实录》以及部分家谱记载考证，直至明朝洪武年间，由官方组织从江西向湖广强制性移民，这里才有了稀少的人烟。
解放前，关山周围九十多个村庄，共五百余户人家，千余口人，绝大多数以种田为生，由于交通不便，走出家园的路漫长而又充满艰辛。
1946年，辖区属武昌县第八区区公所管辖。
设新安乡（今鲁巷）、永丰乡（今王家庙）等。
解放后1949—1950年，辖区属武昌县。
1951年，长山乡和湖口乡从武昌县划出，隶属洪山区公所。
1952年，武汉市成立东湖区和南湖区，原长山乡和湖口乡划属武昌县管辖，磨山乡和鲁巷乡划属东湖区管辖。
1955年2月，东湖区更名为洪山区，原划属武昌县的长山乡和湖口乡再次划入。
1956年6月，南湖区并入洪山区。
1956年下半年，成立南望山街道办事处，1957年南望山街道划属武昌区，南望山街道办事处易名喻家山街道办事处。
1958年，成立关山区，除辖原喻家山街道办事处辖区外，增设关山街道办事处。
1959年，关山区改为关山人民公社，关山街道和喻家山街道办事处分别为关山人民公社一、二分社。
1960—1961年，撤销公社，划归洪山区，恢复关山街道办事处和喻家山街道办事处。
1964年，重新划入武昌区。
1966年下半年，改关山街道办事处为跃进街道办事处，改喻家山街道办事处为学工街道办事处。
1972年，两街合并为关山街革命委员会。
1979年，关山街革命委员会改用现名，即关山街道。
1986年，关山街道由武昌区划属洪山区。
2012年，关山街辖区27个社区居民委员会至今。