杨坚称帝建隋统一北方后,便开始作南下灭陈的准备了。杨坚首先任命韩擒虎为庐州总管,贺若弼为吴州总管,陈兵于隋陈边界。又命杨素督造战船,修成五牙大楼船、黄龙战船、大量平乘、舴等轻便小船,以备渡江。587年,文帝又采纳谋士之策,在江南收获之际,派兵骚扰,废弃农时,并派人焚烧陈人粮仓,令陈国力更衰。588年,在巩固了内部、缓解了与突厥的矛盾后,杨坚命杨广出六合、杨俊出襄阳、杨素出永安、刘仁恩出江陵、王世积出蕲春、韩擒虎出庐江、贺若弼出广陵、燕荣出东海,兵分八路,计有五十二万人,在东临沧海、西接巴蜀的长江沿线,向陈发动了全线进攻。而陈后主沉溺酒色之中,不加防备。589年,韩擒虎领五百精兵夜渡长江,并攻克姑孰,控制了长江上游的咽喉要道。贺若弼横渡天堑,克京口,掌握长江下游门户,两路夹击之下,陈兵首尾不能顾,望风溃败。贺若弼、韩擒虎趁势分别攻入建康,俘虏了陈后主及文武百官。晋王杨广入建康后,命陈后主诏上游诸位陈将投降,陈水军都督周罗高等全部投降,陈亡。至此,自西晋灭亡以来二百多年的南北分裂局面至此结束。