荡平四川，刘裕功不可没。晋安帝封他为太傅、扬州牧，刘裕推辞了一番。晋安帝于是另封他的二儿子刘义真为桂阳县公。当时，司马休之的儿子司马文思已入继谯王。司马文思性情暴虐，滥结党徒，刘裕十分厌恶他。不久，又传来司马文思打死京都小官吏的消息，有官员上奏弹劾他。晋廷下诏诛杀司马文思的党羽，却赦免了他的死罪。司马休之在江陵获悉后，立即上奏谢罪。刘裕将司马文思押送到江陵，令司马休之自行处治。司马休之于是上奏表示愿意废了司马文思，并满含讥讽地向刘裕道谢。刘裕很是不悦，便令江州刺史孟怀玉兼督豫州六郡，监督并制约司马休之。
第二年，刘裕赐死了司马休之的二儿子和侄子，让弟弟刘道怜掌管太尉府事，令刘穆之辅助，然后亲自率领荆州刺史讨伐司马休之。
司马休之联合雍州刺史鲁宗之、鲁宗之的儿子竟陵太守鲁轨，共同抵御刘裕。刘裕想招降司马休之的书记官韩延之，但遭到拒绝。刘裕当即令参军檀道济、朱超石率兵驻守襄阳，又檄令江夏太守刘虔之聚粮以待。檀道济等人还没筹集粮草，刘虔之却已被鲁轨击毙。刘裕又令女婿徐逵之率领参军蒯恩、王允之、沈渊子等人出江夏口，与鲁轨对垒。鲁轨计歼徐逵之、王允之、沈渊子三人。蒯恩持重不动，全军退还。
收到消息，刘裕勃然大怒，亲自率将士渡江。鲁轨与司马文思率领四万名士兵在岸边列阵以待。江岸高达数丈，各将士都不敢贸然登岸，面面相觑。刘裕怒不可遏，披上甲冑就往岸上跳，将军们一番苦谏，他就是不听。主簿谢晦一把扯住他的胳膊，气得刘裕头筋暴涨，怒目扬须，拔剑指着谢晦说：“你要再拦我，我就杀了你！”谢晦从容答道：“天下可以没有我谢晦，但不能没有将军呀！”刘裕要登岸，将军胡藩急忙用刀尖凿穿岸土，然后攀上陡峭的河岸。众士兵也奋勇登上岸，杀向敌军，鲁轨的部众稍稍后撤。刘裕麾军登陆，大刀阔斧地冲杀过去，鲁轨与司马文思军立即溃败。一逃一追，直抵江陵城下。司马休之与鲁宗之、韩延之弃城而逃，鲁轨退守石城。刘裕令阆中侯赵伦之、参军沈林子攻打鲁轨，另派内史王镇恶率水军追杀司马休之等人。司马休之听说石城被围攻，忙与鲁宗之赶去支援。哪知途中，却遇到狼狈奔来的鲁轨，说石城已被攻陷，三人于是相偕奔往襄阳。可是，襄阳参军紧闭城门，拒绝迎纳，司马休之无可奈何，只得向西投奔后秦。
当时司马休之的亲戚司马道赐也与将军王猛子，密谋刺杀青、冀二州刺史刘敬宣，以响应司马休之，结果却被刘敬宣府中的部将砍成肉泥。青、冀二州仍然安定如常。
刘裕凯旋班师，晋安帝再次加封他为太傅、扬州牧，并允准他带剑上殿，朝见时不用跪拜。但刘裕仍不肯接受。晋安帝便加封他为平北将军，令他督管南秦的二十二个州郡。不久，又晋封他为中外大都督，封他的长子刘义符为兖州刺史兼豫章公，三儿子刘义隆为北彭城县公，弟弟刘道怜为荆州刺史。
刘裕因为后秦屡次收纳逃犯，决意声讨后秦。后秦国君姚兴即位后，灭前秦、降后凉，在位二十二年，国势颇为强盛。姚兴死后，骨肉相争，关中大乱。刘裕决定趁机西征，晋安帝随即任命他为征西将军，兼任司、豫二州刺史；封他的长子刘义符为中军将军，令他监管太尉府；封刘穆之为左仆射，任命他为监军中军二府军司，令他入居东府，掌管内外朝政，司马徐羡之为副手；令左将军朱龄石守卫宫禁，徐州刺史刘怀慎守卫京师。
起程时，刘裕将大军分为数路：龙骧将军王镇恶、冠军将军檀道济自淮淝进军许洛；新野太守朱超石与宁朔将军胡藩趋往阳城；振武将军沈田子率同建威将军傅弘之趋往武关；建武将军沈林子、彭城内史刘遵考率水军出石门，自汴州趋往黄河。刘裕又任命冀州刺史王仲德为征虏将军，令他督领前锋，从巨野进入黄河。刘穆之对王镇恶说：“刘公将伐秦的重任交付你们，你们一定要奋力而行，不要让刘公失望！”王镇恶回答道：“不攻克关中，誓不回都！”当下兵马出都，陆续西进，大军浩浩荡荡抵达彭城。
王镇恶、檀道济进入秦境，所向披靡。秦将王苟生将漆邱城献给王镇恶，刺史姚掌将项城献给檀道济。各处守军都望风归附，唯独新蔡太守董遵固守城池，拒不投降。檀道济一举攻入城中，将董遵斩首。大军接着攻克许昌，擒获秦颍川太守姚垣及大将杨业。
沈林子自汴州驶入黄河。襄邑人董神虎赶来投降，引着沈林子攻占仓垣，降服刺史韦华。后来，董神虎因擅自回襄邑，被沈林子杀死。
王仲德率水军渡过黄河，经过滑台。北魏昏庸懦弱的守吏尉建，以为晋军是来攻城的，当即弃城北逃。王仲德随即入城抚慰百姓说：“我军已备好七万匹布帛，用来向北魏借道，不料北魏守将却弃城而逃。因此我特意入城向你们解释，请你们不要惊慌，我军待几天就走。”魏主接到军报后，立即令部将叔孙建、公孙表等人自河内前往枋头，率兵渡河。途中遇到奔逃的尉建，叔孙建将他捆回滑台，投尸河中，然后质问城上的晋兵：“你们为什么突然侵犯我朝领土？”王仲德派人回答说：“刘太尉令我家征虏将军前往洛阳，清扫山陵，我们只是借道而行，并不敢侵掠魏境。没想到北魏守将弃城而去，丢下一座空城，我家将军便借城息兵。我军入城后，秋毫无犯，打算休整几天，立即西去。我军始终坚守晋魏和好的约定，请你们不要误会。”叔孙建无词可驳，忙派人报告北魏主。北魏主又令叔孙建致信刘裕，刘裕婉辞回复说：“洛阳是我朝的旧都所在，如今却被西羌占据，陵寝都变成了废墟，并且羌人总是收留我朝的罪犯，所以我朝发兵西征。我朝只想向贵国借道，相信贵国定会坚守和好的约定，绝对不会违约。滑台的军队将立即西去，贵国不要多虑！”北魏主于是让叔孙建按兵不动，等晋军退去，再收复滑台。
晋将军檀道济率兵一连攻下秦阳、荥阳二城，直抵成皋。秦征南将军陈留公姚洸驻军洛阳，急忙向关中求救。秦主姚泓令武卫将军姚益男、越骑校尉阎生率领一万多名士兵去支援洛阳；又令并州牧姚懿屯驻陕津，遥作声援。然而，不等姚益男等人赶来救援，洛阳已经支撑不住，向晋军投降了。檀道济俘获了四千多名秦兵，有人劝他将秦兵全部活埋，檀道济却说：“讨伐暴君，招抚百姓，就在今天。我为什么还要多杀呢？”随即释放所有俘虏，秦人大悦，相继依附。
秦将军姚益男、阎生等人听说洛阳已经失陷，不敢进军，退到关中。秦廷惶恐得很，可是，并州牧姚懿到陕津后，听信司马孙畅的计策，反而攻打长安。秦主姚泓急忙令东平公姚绍攻打姚懿，姚懿战败被擒，司马孙畅也被诛杀。不久，征北将军齐公姚恢又自称大都督，借口保护君主，向关西进军。秦主飞召姚绍率军攻打姚恢，姚恢战败而死。姚懿、姚恢都是秦主姚泓的亲族，国难当头，却倒戈相向，姚氏至此还能保全国家吗？虽然叛贼已经除掉，但秦兵已伤亡过半。
晋太尉刘裕令三子彭城公刘义隆据守彭城，兼管徐、兖、青、冀四州军事，然后亲自率水师西进。
王镇恶攻入渑池，趋往潼关；檀道济、沈林子自陕北渡过黄河，进攻蒲阪。此时，秦东平公姚绍已经升任鲁公，官居太宰，他带着武卫将军姚鸾等人，率领五万士兵支援潼关，并派副将姚驴援救蒲阪。沈林子见一时难以攻克蒲阪城，便对檀道济说：“蒲阪城坚兵多，恐怕难以攻陷，我们不如先去会合王镇恶，再合力进攻潼关。潼关一得手，蒲阪就唾手可得了。”檀道济依计而行，与王镇恶会师，合攻潼关。姚绍出城迎战，被檀道济等人杀得退守定城。
秦兵屡战屡败，秦主姚泓急得不知所措，忙派人向北魏主求援，并请妹妹西平公主即北魏夫人代为恳请。北魏主拓跋嗣正想发兵，碰巧刘裕逆流而上，向西进军，发来借道的信函。北魏主左右为难，不得不召集众臣商议。朝臣齐声说：“潼关号称天险，刘裕用水师攻打潼关，肯定很难得胜，如果他们登岸北犯，却容易得多。况且刘裕虽然声明是讨伐后秦，但谁也无法预料，他明天会不会来攻打我们。我朝又与后秦是姻亲关系，更应相救，还请陛下立即发兵驻守上游，阻止刘裕军西进。”只有崔浩不赞成，朗声说：“不行！不行！刘裕早就想攻打后秦，如今姚兴已死，他的儿子姚泓又懦弱无能，国家多灾多难，势已危蹙，刘裕大举入秦，志在必得。我朝如果阻遏了他的去路，刘裕必定记恨我朝，上岸北侵，到那时局势一变，我朝竟代后秦受敌！不如放刘裕军过去，听凭刘裕军西上，然后发兵塞住东路。刘裕如果取胜，必定感谢我朝，决不会与我朝为敌；如果他战败，我朝也有救秦的美名，这才是一举两得的上策。况且南北风俗迥异，就算我朝放弃恒山以南的地方，任由刘裕占据，他也不能驱散吴越士卒，与我朝争夺河北的地方，刘裕军不足为患。”
北魏主十分犹疑，见朝臣大多坚持阻遏刘裕军，夫人拓跋氏也不断恳请，他便令司徒长孙嵩督率山东士兵，与将军娥清、刺史阿薄干屯驻河北岸。只要有晋军的船只由南岸漂到北岸，不管是什么原因，魏军一概杀掠。刘裕大怒，立即派人去北岸痛击魏军，狠狠地给了魏军一个教训。魏主得知，万分后悔。
那时，潼关的驻兵因为没有粮草越来越喧嚣。王镇恶想率军撤退，沈林子拔剑击案道：“如今洛阳已经平定，关右也即将荡平，将军怎么能自挫锐气，前功尽弃？况且将军率领的前锋是全军的耳目，前锋一退，后军必乱，那时就别想取胜！”王镇恶于是派使者赶往后军，请求刘裕接济粮草。刘裕曾经叮嘱王镇恶等人静待洛阳，等大军到了，再齐头并进。哪知王镇恶贪利邀功，竟然不听军令，径直趋往潼关。对此，刘裕已十分不满，再加上当时他正与魏军交战，无暇顾及，于是就令使者回去告诉王镇恶无粮可济。王镇恶只得亲自到弘农劝谕百姓，让他们输送粮草。部队得到百姓输送的粮草后，逐渐安定下来。沈林子又击败河北的秦军，阵斩秦将姚洽、姚墨蠡、唐小方，派人向刘裕报捷说：“姚绍气盖关中，如今却一蹶不振，性命垂危，我军不动一兵一卒就能取胜了。姚绍一死，关中就没有几个挑大梁的人了，那时我军攻取长安易如反掌！”果然不到几天，姚绍愤懑成疾，呕血而亡。临死前，姚绍把军事托付给东平公姚赞，姚赞轻率出兵偷袭沈林子，结果被沈林子打得落荒而逃。
不久，沈田子、傅弘之攻入武关，进驻青泥。秦主姚泓亲自率数万大军去攻打沈田子，却禁不起沈田子麾下一千多名骑兵轻轻一扫。秦主姚泓从来没有遇到过劲敌，突然见到这么勇悍的晋军，不由得魂飞魄散，掉头就逃。主子一逃，全军立即溃散，沈田子一阵追杀，削掉一万多颗脑袋。
刘裕到了潼关，正担心沈田子兵少，急忙命令沈林子率领数千精兵赶去支援。到了青泥，秦主已经败退，二沈一同追击而去。关中郡县多望风迎降。捷报陆续传来，刘裕大喜。
将军王镇恶也在刘裕的应允下，率水军进逼长安。秦主姚泓屯兵逍遥园，令姚赞屯驻灞东，胡翼度屯驻石积，姚丕屯驻渭桥。王镇恶逆流直上，所乘坐的战舰都是蒙冲小舰，水手都在舰内。秦军见晋船行驶如飞，却没有一个水手，都吃惊地以为晋军有天神相助。到了渭桥，王镇恶等士兵吃完饭，便传令军中：“各将士带上武器立即登岸，落后者立斩！”众将士得令后，火速登岸，战舰都随水漂去，不知所向。王镇恶对众将士说：“我们世代居住江南，如今来到离家万里的长安，舟楫、衣粮都已随水漂没，如果这一仗得胜，功名利禄全不在话下；否则就死在他乡，骸骨都不能够回归故里。我愿与你们齐头并进，生死与共！”众人齐声应命，声震如雷。王镇恶身先士卒，冲向敌军，部众也竞相上前，奋击姚丕。姚丕军大败，向西奔逃。
冒冒失失的秦主姚泓率兵前来支援，却遇到败退的姚丕军，两军自相践踏，不战即溃。王镇恶追杀过去，乱杀乱剁，就像割草一样。秦镇西将军姚谌、前军将军姚烈、左卫将军姚宝安等人都死在战场，只有秦主姚泓一人逃回京都。王镇恶追入平朔门，姚泓带着妻儿逃往石桥。姚赞率部众赶去救驾，不料部众都溃散而去，胡翼度也向晋军投降。晋军在石桥将姚泓团团围住，姚泓束手无策，只好送款求降。姚泓十二岁的儿子姚佛念哭着对父亲说：“陛下想要向晋军投降，但晋军必定不会就此罢休，陛下终究难免一死，还是请自裁吧！”姚泓不愿。姚佛念当即从宫墙上面一跃而下，脑裂身亡。姚泓率妻儿及群臣来到王镇恶军营前请降，王镇恶将他们一群人监禁起来，等候刘裕处置。
几天后，刘裕率领大军进入长安城，王镇恶赶到灞上迎接刘裕军。刘裕当面慰劳他说：“我的霸业得以成就，你立了首功！”王镇恶拜谢说：“这全仗您的威灵和各将士的齐心努力，我王镇恶何功之有啊？”刘裕笑着说：“你这样谦虚，是要学汉朝的冯异吗？”随即与王镇恶一起入城。后来，王镇恶盗取府库里的钱财，违反军纪，刘裕也置若罔闻。秦镇东将军平原公姚璞与并州刺史尹昭在蒲阪投降，抚军将军东平公姚赞率姚氏子弟，共计一百多人，也向晋军投降。刘裕不肯赦免，将他们一律处斩，并将姚泓押入都城，斩首示众。