公元311年，刘聪大军攻陷西晋都城洛阳，俘虏了晋怀帝，中原大乱，西晋的皇室和世族纷纷迁往江南，政治中心也向南方转移。西晋军队在长安拥立愍帝，以延续西晋政权。晋愍帝登基之后，有收复国土的志向，所以派当时的左丞相司马睿率兵二十万准备北伐。
祖逖是河北范阳人，年轻时就有鸿鹄之志，曾和西晋名将刘琨一同担任司州主簿，二人关系很好，常常同榻而眠。祖逖每每夜半时听到鸡鸣，便叫刘琨起床一起拔剑练武，为投身报国做准备。他一心想要为国收复失地，听到愍帝准备北伐的消息后就投到司马睿帐下做了军咨祭酒，并进言：“晋朝的叛乱并非因为君王无道而令臣子心生怨恨，而是皇亲宗室之间争权夺势，互相倾轧，这才使得戎狄乘虚而入，祸害中原。如今晋朝遗民遭受入侵者的摧残，群情激奋，如果这时您能挥军北上，收复失地，一定有很多英雄好汉响应！”
但司马睿只想偏安一隅，开拓江南地区，根本就没有北伐的志向，听到祖逖的话后，只是任命祖逖为奋威将军、豫州刺史，拨了一千人的口粮以及三千匹布给他，并没有提供任何铠甲兵器，也没有派给他一兵一卒，而是让祖逖自己想办法。祖逖愤然带着自己麾下的一百多户人家渡过长江北上，望着茫茫的江水立下誓言：“我祖逖如果不能收复失地，重整河山，就让我像这大江一样有去无回！”渡过长江后，祖逖在淮阴驻扎，开炉冶铁，锻造兵器，还招募了两千多兵士，为北伐做准备。
公元316年，晋愍帝被匈奴俘虏，长安失陷，西晋灭亡，司马睿不得不将精力放在北伐上。但北伐的形势相当严峻，不仅有后赵王石勒盘踞，还有大大小小的众多地方武装割据势力，祖逖在芦洲屯兵时便遭到占据太丘的张平和占据谯城的樊雅的阻截，不得不派兵强攻。后来，祖逖见久攻不下，便用离间计诱使张平的部下谢浮杀了张平，这才得到太丘。但谯城仍在樊雅的掌控之中，祖逖便向南中郎将王含请求援兵，王含欣然同意。樊雅见形势对自己不妙，便很识时务地投降了祖逖。至此，祖逖终于在豫州巩固了自己的势力，迈出了北伐的重要一步。
其实，在祖逖攻打樊雅时，地方割据势力头目陈川曾派兵助战，领兵的将领叫李头，英勇善战，很受祖逖赏识，他也常常感叹：“要是祖逖能做我的主公，我就死无遗憾了。”陈川知道后大怒，派人杀了李头，而李头的部下竟然率众投降了祖逖。陈川怒不可遏，为报复祖逖而大肆抢掠豫州各郡。祖逖派兵将他打败，陈川走投无路便投降了后赵王石勒，受其庇护。在祖逖攻打陈川时，石勒派麾下大将石虎率五万大军支援陈川，两军交战，祖逖战败，只得退守淮南。石虎将陈川的旧部迁走，留下自己的部下桃豹驻守陈川老城。
当时，祖逖的部将韩潜和后赵的将军桃豹分别占据陈川老城，桃豹占西边，韩潜占东边，双方就这样相持了四十多天。祖逖决定用计占领整个老城，便命人将布袋装满土，看起来就像装满了米粮的样子，然后派一千多人将土袋运到台上，又让一些人担着真米，在路边休息。桃豹的士兵追来，祖逖的部下故意丢下担子逃走。桃豹的士兵得了米粮，又见台上堆着好些米袋，以为祖逖的部众粮草充沛，想到自己已经饿了好几天，心中恐惧，一时间军心大乱。祖逖又派部下抢了桃豹的军粮，桃豹只得连夜遁逃，祖逖乘胜追击，终于占领陈川的老城，并命部下冯铁守城，自己则驻守雍丘，并时常派兵截击后赵军队。后赵戍边的兵士有不少因此归降祖逖，后赵的国土也日渐缩小。
祖逖为人严于律己，宽以待人，又能与将士们同甘共苦，同时不断鼓励农业生产，安抚投奔自己的流民，所以很得民心。就连不少地方割据势力也与祖逖交好，一旦后赵有什么举动，便会秘密告诉他。再加上祖逖日夜练兵，总能在战场上获胜，以致威名远播。
后赵王石勒深知祖逖的厉害，见他勤于练兵、积草屯粮，心中担忧。为了和祖逖搞好关系，石勒遣专人到幽州替祖逖整修祖坟，还杀了背叛祖逖投降自己的童建，并把首级送给祖逖，附信道：“叛臣逃吏，是我最为厌恶的。将军憎恶的人，就是我憎恶的人。”祖逖很感激石勒，此后只要是后赵叛降归附的人，他都不接纳，并约束将士，禁止骚扰后赵百姓。就这样，两国边境短暂安定下来，得以休养生息。
但好景不长，豫州收复不久，朝廷就派戴渊来做征西将军，位在祖逖之上。祖逖见戴渊全无北伐之心，又听说朝中各派势力钩心斗角，知道国家将有内乱，而自己的北伐大业也无法完成，心中郁悒，一病不起，最终怀着“壮志未酬身先死”的遗憾在雍丘去世。
豫州百姓得知祖逖的死讯，都像失去了亲人一样悲痛，不少百姓还自发地为祖逖修建了祠堂，以纪念这位为国家鞠躬尽瘁的英雄。