敕勒川，阴山下。天似穹庐，笼盖四野。
天苍苍，野茫茫。风吹草低见牛羊。
《敕勒歌》的诞生时代，正是我国历史上南北朝时的北朝时期。此时，今黄河流域以北基本在我国少数游牧民族鲜卑族的统治之下。 敕勒，在汉代时称为丁零，魏晋南北朝时称狄历、敕勒，到隋朝时称作铁勒。因所用车轮高大，亦称高车。 《隋书》记载铁勒各部分布于东至独洛河（今图拉河）以北、西至里海（今里海）的广大地区，分属东、西突厥。其漠北十五部，以薛延陀与回纥为最著。唐贞观末，于东部铁勒分设都督府、州，隶燕然都护府。”
在秦汉时期，敕勒的祖先丁零居住在北海（今贝加尔湖一带），它的南边是匈奴，西南是乌孙。匈奴在冒顿单于统治时期，先后征服了很多部族，当时丁零也和其它周边的部落 一样，遭受匈奴的奴役。不少丁零人被匈奴掳去作了匈奴的奴隶。在公元前三世纪末至公元后一世纪间，丁零不断和匈奴进行武装斗争。据《汉书.匈奴传》中记载，公元前71年，匈奴单于领兵攻打游牧与伊犁河上游流域的乌孙族，在返回途中遭遇大雪，平时被匈奴奴役的乌桓、乌孙和丁零乘机对匈奴进行袭击，结果杀死了数万匈奴骑兵。从此匈奴国势大衰，被匈奴奴役的各族都摆脱了匈奴的控制。
公元一世纪中叶以后，匈奴由于统治阶级内部斗争，分裂为南、北两部。公元87年，丁零联合南匈奴、鲜卑及西域各族共同夹击北匈奴，北匈奴大败，被迫西迁。东汉时，除大部分丁零人仍游牧于贝加尔湖一带外（这部分丁零人被称作北丁零），一部分向西迁徙游牧于伊犁河流域和阿尔泰山一带（这部分丁零人被称作西丁零），还有一部分丁零人南移，在今山西和河北境内有定州丁零、中山丁零、北地丁零等。“五胡十六国”时期，丁零人在中原一带先后参加了各族统治者的混战。后来，这部分丁零人后渐与其他民族融合。
汉末魏晋时，又有很多的丁零族人南迁，这样，富饶的漠南地区成为敕勒人游牧的地区。当然大部分敕勒人还留在原来的牧地。当时敕勒人的游牧地域东到贝加尔湖，西到土拉河、阿尔泰山一带。当时，由于敕勒人造车业很出名，他们造的车车轮直径最长者达1.4左右，超过了当地牛身的高度，与马的身高相差无几。这种高轮大车，可以在草茂而高，积雪深厚，且多沼泽的地区顺利通行。所以当时南方人称他们为高车。据记载，当时的铁勒部落分布广在大漠南北的9个地区，共有四十个不同名称的部落。比较著名的部落有副伏罗部、斛律部、吐突邻部、袁纥部、敕力犍部、幡豆建部等。 由于游牧在北方的敕勒各部落日益强大起来，对当时的柔然和北魏统治阶级构成了威胁。北魏统治阶级曾多次攻打敕勒各部，这样很多敕勒部落相继归附北魏。五世纪初，北魏王朝曾把贝加尔湖东部敕勒人数十万落都迁徙到漠南一带。使漠南一带畜牧业发展很快。由于受汉族文化的影响，逐渐懂得了农耕。据记载，北魏文成帝时期，“五部高车合聚祭天，众至数万，大会走马杀牲，游绕歌声忻忻，其俗称自前世以来无盛于此。”这样空前的盛会，敕勒人乘着高车，唱着优美的牧歌，行进在草原，就是在今天看来，也是很壮观之事。由于漠南地区当时主要是敕勒人聚居的地方，他们把漠南一带成为“敕勒川”。著名的《敕勒歌》，是北齐时敕勒人的鲜卑语的牧歌，后被翻译成汉语。