清代，属宁古塔副都统辖区。
清光绪二十八年（1902），在呢吗口（今虎头镇）设招垦分局。
清宣统元年七月（1909），设置呢吗厅。
同年5月，将呢吗厅改为虎林厅，隶属吉林行省东北路道。
中华民国成立后，1913年3月，改为虎林县，仍驻呢吗口（称虎林县城）。
1914年6月，隶属依兰道。
1929年2月，撤销道区，由吉林省直辖。
东北沦陷后，初隶吉林省，1934年12月划归滨江省管辖。
1937年7月，改归新设之牡丹江省。
1938年8月5日，伪虎林县公署移驻安乐镇，并将安乐镇改为“虎林”（今虎林镇），原县公署驻地改为“虎头”。
1939年6月，划归新设之东安省管辖。
1943年10月，隶属东满总省，1945年5月改隶东满省。
1945年，划归合江省管辖。
1946年6月，划归东安专区管辖。
1947年10月，改隶牡丹江省。
1948年7月，复由合江省直辖。
1949年5月，改隶松江省管辖。
1954年8月，松、黑两省合并，由黑龙江省直辖。
1956年3月，划归牡丹江专区管辖。
1960年1月，将虎林、饶河两县合并为虎饶县，县人民委员会驻虎林镇，隶属牡丹江专区。
1962年11月，改隶合江专区。
1964年6月，撤销虎饶县，恢复虎林县和饶河县。
虎林县址设于虎林镇，仍隶于合江专区。
1970年4月，划归牡丹江地区管辖。
1983年9月，撤销牡丹江地区，改由牡丹江市领导。
1993年8月，划归鸡西市。
1996年，撤销虎林县，设立虎林市。