1955年始建；1955-1960年，属于陈家湾街道管辖；1960-1962年，属于冶钢人民公社管辖；1962-1972年，属于陈家湾人民公社管辖；1962-1979年，属于陈家湾区管辖；1979-2001年，属于石灰窑区石料山街道管辖；2001-2012年，属于西塞山区澄月街道管辖；2012年，西塞山区落实大部制改革，撤销澄月街道办事处，石料山社区居民委员会重新整合，由原来的龚家巷社区居民委员会整体和石料山社区居民委员会整体合并组建；2012年，石料山社区直接归西塞山区管辖。
2015年10月，设置牧羊湖片区，石料山社区居民委员会属于牧羊湖片区；2019年1月，撤销片区，设置牧羊湖街道办事处，属于牧羊湖街道至今。