白玉山街境域原是武昌县第九区的余家土库乡。
1975年初，武钢开始在此筹建第二职工生活区。
1981年7月，成立白玉山街办事处，设4个居民委员会。
1984年7月，为便于管理，对户数较多的居委会进行重新调整，增设3个居委会，街辖居委会总数增至7个。
1987年，武钢在街境内新建2个街坊和武钢第二职工医院，街辖居委会总数增至12个。
1990年，增设1个居委会。
1991年-1992年，武钢第二生活区部分住宅竣工，先后有1100户、6317名职工家属迁入白玉山街。
街道根据人口增加情况，增设4个居委会，居委会总数达到17个。
1994年，增设2个居委会，街辖居委会总数达到19个。
2000年7月，城市基层管理体制改革，原辖的19个居委会调整为10个社区居委会。
2009年，武汉市江南三区插花地调整，社区居委会增至12个，同时接收由洪山区建设乡划归的8个行政村。