汉、唐时，望族虞氏居此，形成聚落。
清时属于余姚龙泉乡。
民国17年（1928）属浒山乡。
23年属浒山区乌山乡。
1950年4月为乌山乡三村。
1956年2月并属横河乡。
1959年2月属横河管理区。
1961年11月为横河公社山前大队。
1970年7月并属龙南公社，1972年3月复属横河公社。
1979年9月随龙南区划归慈溪县，1981年7月更名为乌山大队。
1983年9月改制为横河乡乌山村，1984年6月改属横河镇，至今未变。