清朝康熙年间属杨溪店村。
清同治年间属东乡岔河保。
民国十一年属二区。
民国三十六年属杨武乡莫烈保。
1948年归莫烈村，1951年推行土改，归莫烈乡，1955年推行合作化，为红关农业合作社，属杨溪区管辖。
1958年人民公社化，为红关大队，属卫星人民公社管辖。
1975年撤区并社，为红关大队，属桂花公社管辖。
1981年更名为香炉山大队，属桂花公社管辖。
1984年撤社并区，撤队改村，为香炉山村，属杨溪区谭家乡管辖。
1987年撤区建乡镇，属杨溪铺镇管辖。
2002年全县村组合并，阎家沟村（清朝康熙年间属杨溪店村。
清同治年间属东乡岔河保。
民国11年属二区。
民国36年属杨武乡高家沟保。
1948年归高家沟村，1951年推行土改，归高家沟乡，1955年推行合作化，为高家沟农业合作社，属杨溪区管辖。
1958年人民公社化，为高潮大队，属卫星人民公社管辖。
1975年撤区并社，为高潮大队，属桂花公社管辖。
1981年更名为阎家沟大队，属桂花公社管辖。
1984年撤社并区，撤队改村，为阎家沟村，属杨溪区谭家乡管辖。
1987年撤区建乡镇，属杨溪铺镇管辖。
）并入香炉山村，属杨溪铺管辖。
2009年撤销原种场建制，设立谭家湾镇，香炉山村划归谭家湾镇管辖至今。