泰山街道前身为泰山镇和浦口街道，明代以前同属六合县孝义乡。
明洪武四年（1371），建浦口城，洪武九年（1376）划入江浦县。
1927年，南门镇(即古浦口城)从江浦县划出，改称南京市浦口商埠管理处；1937年，复属江浦县。
1950年，南门镇和北镇合并，成立浦口镇。
1989年，东门镇和三河乡合并，命名泰山镇；浦口镇改称浦口街道。
2002年11月，撤销泰山镇、浦口街道建制，以原两镇街所辖区域，成立南京市浦口区泰山街道，地名沿用至今。