西晋灭亡之后，匈奴的势力看似很利害了。然而刘渊本不是什么有大略的人，看他自立之后，一无作为可知。刘聪就更荒淫。当时匈奴所有。实在不过雍州和河东斤土而已。于是石勒起于东方。
石勒，羯人。初名，其先匈奴别部羌渠之胄，祖父并为部落小帅。汲桑始命以石为姓，勒为名。大安中，惠帝年号。三○二、三○三两年。并州刺史东嬴公腾，执卖诸胡于山东，以充军实，勒亦在其中。后与魏郡汲桑，同从成都王颖故将公师藩为盗。藩和汲桑，都给青州刺史苟晞所击斩。石勒降汉。于是借其兵力，纵横东方。这时候，北方已经糜烂得不堪。其稍能自立的只有：
青州刺史苟晞
幽州都督王浚
并州刺史刘琨
都给石勒灭掉。群盗中最强盛的，是王弥、扰乱青徐一带。曹嶷也在青州。广固城（在如今山东益都县西边，后来南燕所都）便是曹嶷所筑。也给石勒所并。幽、并、青、冀、司、豫、兖、徐，差不多都是石勒的势力范围。然而他起初也不过是个流寇的样子，后来得赵人张宾，用他的计策，三一二年，北据襄国，如今直隶的邢台县。明年，又南定邺，就据了这两处做根据地，于是渐渐的成了一个规模。
三一七年，刘聪卒，子粲立。刘聪当生时，娶靳準的女儿为后，就委政于準。粲立，为準所杀。于是石勒从襄国，刘曜从长安，都发兵攻準。勒攻破平阳，準奔刘曜，为曜所杀。于是刘曜自立于长安，改国号为赵。明年，石勒也自称赵王。历史上称刘曜为前赵，石勒为后赵。
三二八年，刘曜伐后赵，围金墉。石勒往救，战于洛西，曜大败，被执。子熙奔上邦。如今陕西的南郑县。明年，为石虎所追杀。于是前赵灭亡。后赵又并有雍秦二州。
三四二年，石勒卒，子弘立。石勒的从子虎，是向来执掌兵权的，弑弘而自立。虎残暴无人理，参看第四章。后赵就不能支持，而鲜卑、氏、羌继起。
三四九年，石虎卒。石虎的太子邃以谋弑虎，为虎所杀。立其弟宣。宣的弟韬，有宠于虎，宣忌而杀之。虎大怒，又杀掉宣，而立小儿子世做太子。世的母亲是刘曜的女儿。谪东宫的卫士名为“高力”的于梁州，“遇赦不原”。高力军反，攻破长安，出潼关，向洛阳。虎大惧，叫养子冉闵和羌酋姚弋仲去打他，总算把高力打平。等到收军回来，石虎已经死了。冉闵走到李城，如今河南的温县。遇见石虎第三个儿子石遵，就劝他去攻石世。石遵听了他，就用冉闵做先锋，打破邺城，杀掉石世母子。石遵本来许以冉闵为太子的，即位之后，却背了约。于是冉闵攻杀石遵，立了他的兄弟石鉴。石鉴想杀掉冉闵，又给冉闵所杀。于是冉闵自做皇帝，复姓冉氏，改国号为魏，这是三五○年的事。
冉闵做皇帝虽不过一年，却和当时时局很有关系，便是他杀石鉴时的“大诛胡羯”。《晋书·载记》上记这件事道：
……宣令内外六夷，敢称兵杖者斩之。胡人或斩关或逾城而出者，不可胜数。……令城内曰：与官同心者住；不同心者，各任所之。勅城门不复相禁。于是赵人百里内悉入城，胡羯去者填门。闵知胡之不为己用也；班令内外：赵人斩一胡首送凤阳门者，文官进位三等，武职悉拜牙门。一日之中，斩首数万。闵躬率赵人。诛诸胡羯；无贵贱男女少长，皆斩之，死者二十余万。……屯据四方者，所在承闵书诛之。于是高鼻多须，滥死者半。有人据这一句，疑心当时的胡羯形状颇像白种人。案羯是匈别奴种。匈奴自是土耳其族。但是当时的所谓“胡”，范围是很广的。譬如鲜卑在匈奴之东，就叫东胡，西域诸国，有时也称为西胡。又如说北走胡，南走越。葱岭以东，原有属于白种的塞种（见第二篇第四章第二节）。这种人，自然也有迁居中国的；又有本来和匈奴混合，随着匈奴迁徙入中国的。所以大诛胡羯的时候，其中有高鼻多须的人。
经这一次杀戮之后，胡羯的势力就大衰。冉闵虽然败亡，胡羯却不能再起了。