关门山村、清朝康熙年间属杨溪店村，清同治五年（1866）属东乡杨溪保。
民国11年（1922）属一区，民国36年（1947）属杨武乡杨溪保。
1948年属杨溪村，1952年土改时为清凉乡，1956年为清凉农业合作社，属杨溪区管辖。
1958年撤区改社为清凉大队，属卫星人民公社管辖。
1975年3月，撤区并社；1981年更名为关门山大队，属杨溪公社管辖。
1984年6月，县域行政区划调整，改名为关门山村，属杨溪区杨溪铺镇管辖。
1987年9月，撤区建镇，属杨溪铺镇管辖至今。