此地先秦时期就有游牧民族活动；西汉时并入中原王朝版图，属敦煌郡；后战事不断，归属屡易，地方政权、游牧民族势力范围犬牙交错，中央政权控制力较弱。
公元前265年间，肃北始名昌蒲县。
东晋时期改名为子亭。
到了西晋变动为新乡，后来又叫氐置水；雨后夕照呈紫色，城东大山象个亭，所以又取名叫紫亭；清代起属甘肃省，肃北之名，源于1938年在古肃州（酒泉）之北设立的“肃北设治局”。
因境内蒙古族人口较多，1956年成立肃北蒙古族自治县。
1950年7月解放，1955年肃北蒙古族自治县成立。