境内拉乙亥古代文化遗址是以细石器为代表的重视起时代文化遗址，距今约有七千年，是青海省已知具有地层根据的人类互动最早的遗存之一。
秦汉时期，贵南为烧当等羌人牧地。
约在公元三世纪末期，原居于我国北方地区的鲜卑慕容吐谷浑部徙居包括今青海黄南、海南州在内的黄河以南广大地区，今贵南县地羌人各部归附吐谷浑王国。
东晋十六国时期，称今贵南县地为沙洲。
南朝元嘉十六年（439），刘宋皇帝义隆改封为吐谷浑王幕利延为河南王。
此后，南宋朝、齐、梁朝则正式称吐谷浑为“河南王国”。
贵南地区作为“河南王国”中期的政治、经济、文化中心凡百余年。
隋大业五年（609），隋军击败吐谷浑后，贵南地区为赤水县辖地。
唐代，今贵南地区又归属吐蕃王国。
龙朔三年（663）前后，吐蕃军队侵占河南地区，今贵南县地属吐蕃王国。
五代至宋朝，今贵南县地为河湟吐蕃唃厮啰地方政权辖地。
元朝属宣政院吐蕃等处宣慰司下设的必里万户府管辖。
明代，属陕西行都司临洮府河州卫归德所。
清乾隆三年（1738），归德所改属西宁府，贵南属西宁府归德所管辖。
清乾隆三十六年（1771），改归德所为贵德所。
清道光二年（1822）贵德所改为贵德厅，贵南仍属贵德厅管辖。
1913年，改贵德厅为贵德县，今贵南地区属贵德县管辖。
1935年，鲁仓、汪什科部落和拜佛领地茫巴夏松三沟（今茫拉、巴水、沙沟）划归新成立的同德县管辖。
1953年7月，成立贵南县，划原贵德县南部牧区及同德县鲁仓、汪什科部落及茫巴夏松三沟地区为贵南县辖区。
同年，青海省海南藏族自治州成立，贵南为州属县之一，并沿用至今。