宋时甘霖镇属桃源乡。
清康熙时称两头门镇。
宣统三年（1911）实行地方自治制，甘霖与苍岩合称为霖苍镇。
民国元年，霖苍镇下辖桃源、白鹤、方升、平义四区，甘霖属桃源乡。
1946年甘霖从桃源乡分出为甘霖镇。
1956年以甘霖吴家田村建制甘霖镇，1958年为甘霖人民公社桃源管理区；1961年为桃源人民公社；1981年1月经省人民政府批准设建制镇，1992年撤区扩镇并乡，原剡北普义，蛟镇乡并入甘霖镇。
2001年12月原博济、苍岩与甘霖合并为甘霖镇。