位于呼和浩特市东郊保合少镇的大窑遗址,是目前内蒙古地区发现最早的旧石器时代遗址,距今约70万年,历经旧石器时代中、晚期,延续至新石器时代,属于原始的狩猎、采集文化。
华夏历史中的仰韶文化大约在公元前4800年进入敕勒川地区,繁衍生息,存在了1300多年之后,渐而消失。在黄河沿岸的大青山、乌拉山南麓一带逐步形成的阿善文化,特点是聚落增多,规模扩大,陶器种类增多,器形多样,出现了石城和祭坛,显示出对外交流的拓展。
大约在公元前2500至前1900年之间,进入了龙山时代。敕勒川地区由于气温回升,降水增多,因此原始农业经济以及人类活动比较频繁,相继出现了老虎山文化、朱开沟文化以及西岔文化。之后,随着北方地区的气候进入干冷低谷期,敕勒川地区的人类活动处于衰弱状态。
到东周时期,沿着北方长城一线,形成一个以青铜器为主要特征的半农半牧文化带,鄂尔多斯青铜器成为这个文化带的重要组成部分。到战国晚期,北方地区戎狄诸族势力与中原“战国七雄”的冲突日渐加剧。燕、赵、秦三国趁势北进,燕国破东胡,赵国破林胡、楼烦,秦国破义渠之戎,将北方地区纳入各自的统治范围,逐步形成了中原与胡人对立的二元体系。赵武灵王主导的“胡服骑射”变革,沿阴山山脉大青山段至乌拉特前旗山南麓地带修筑了东起今乌兰察布市兴和县、西至今巴彦淖尔市乌拉特前旗的长城,将敕勒川地区纳入其统统治之下。
从秦到汉,匈奴一直是中原王朝在北方草原上的劲敌。为了防御匈奴南下,中原王朝在敇勒川地区设立了云中郡、九原郡。之后,又设朔方、五原、云中、定襄和雁门等五郡管辖,并在郡治建立城池。(《漫话敕勒川》伏来旺著)