地处滨海，地形险要，古时为防御海寇入侵，于村落南面筑建城堡，因其势雄伟，虎踞海疆，故称“大堡”，名载道光《晋江县志·铺递志》。现城堡已圮，难觅踪迹。
大堡刘姓系南宋抗金名将刘錡之后。清代《温陵刘氏大宗世牒》记载，刘錡之孙刘逊，号寓泉，“始入晋江，娶苌萁（即祥芝）杨氏，遂家焉。是时洪荒初辟，俗尚朴略。公偕杨妣胥宇兹土，教民习诗书，敦礼节，风大丕变，遂为海滨邹鲁云。”相传，南宋嘉定五年（1212年），刘逊之孙刘文聚出生，“灵芝俱生，故更名长箕曰祥芝”，称大堡为“芝山”。
刘氏为当地望族，富甲一方，又以乐善好施闻名于后世。故后人将大堡与前山合称为“银宝钱山”。（蔡仁树）