余怒未息的宋主又夺去彭城王刘义康的官爵，将他贬为平民，令他迁居安成郡。并任命宁朔将军沈邵为安成相，让他率兵监管刘义康。刘义康到了安成，这才想起离京时慧琳对他说的话，于是他开箱看书。当读到汉朝淮南厉王刘长的故事时，刘义康合上书卷叹息道：“古时候早已经出过这类事，我竟然不知晓，怪不得会受到重罚！”
衡阳王刘义季得知刘义康被废后，不禁心灰意冷，终日饮酒麻痹自己。两三年之后，刘义季病死，年仅二十三岁。宋主追封他为侍中司空，又调任三子武陵王刘骏为徐州刺史，令他护卫京畿，遏制入侵的北虏。
宋、魏之前已经修好，怎么又会开战呢？
原来，氐王杨难当向北魏投诚前派侄子杨保宗镇守薰亭，杨保宗竟悄悄投奔北魏。魏主拓跋焘封杨保宗为征西大将军，令他督管陇西军事，兼任秦州牧、武都王，镇守上邽，并将公主嫁给他；并封杨难当为征南大将军，让他任秦、凉二州牧，兼南秦王。杨难当于是觊觎起刘宋的四川，竟派兵偷袭益州等地。宋龙骧将军裴方明与梁、秦二州刺史刘真道会师，大破杨难当，捣入仇池，擒住他的儿子杨虎和侄子杨保炽，杨难当逃入上邽。宋军令杨保炽留守仇池，将杨虎押到京都，杀死了事。宋主任命辅国司马胡崇之为北秦州刺史，令他监管杨保炽，助守仇池。魏主却派人将杨难当接到平城，并任命古弼为统帅，令他与杨保宗一起出兵祁山，向仇池进军。胡崇之督军作战，战败被擒，杨保炽逃走，仇池被北魏夺去。魏主派河间公拓跋齐与杨保宗一起镇守骆谷。弟弟杨文德劝杨保宗趁机背叛北魏，收复故国，杨保宗怕妻子不答应，所以一直不敢行动。哪知妻子魏公主窥透隐情，竟说出“出嫁从夫”四字，愿与杨保宗一起背叛北魏。有人劝公主不要忘本，公主却说：“事成之后，我就成为国母，不再是一个小小的公主了。”于是，杨保宗下定决心背叛北魏。拓跋齐听到风声，计擒杨保宗，把他送往平城。
杨文德立即占据白崖山，进军仇池。魏将军古弼率军击败杨文德。杨文德忙向宋廷乞援，宋主封他为武都王，并派将军姜道盛去援助他。魏将拓跋齐击毙姜道盛，将杨文德逼入汉中。杨文德的妻儿、部吏全部被斩，甚至连杨保宗的妻子魏公主也被押到平城，被赐自尽。宋主刘义隆因杨文德失守故土，将他削爵罢官。自此，刘宋和北魏又成为仇敌。
偏偏一波未平，一波又起。原先向北魏称臣的卢水胡盖吴纠众叛魏。战败后，胡盖吴又向刘宋称臣乞援。宋主也忘了杨文德的事情，竟又封胡盖吴为北地公，并调发雍、梁的兵力屯驻境上，声援胡盖吴。没过多久，北魏击毙胡盖吴，魏主拓跋焘亲自督率十万大军渡河南来。
南顿太守郑琨、颍川太守郑道隐望风而逃。豫州刺史南平王刘铄正镇守寿阳，急忙派参军陈宪前去驻守悬瓠城。悬瓠城中的士兵不满一千，面对北魏大军，却丝毫没有惧色。魏主几次督令猛攻，都以失败告终。眼看着悬瓠还没攻陷，全军人数却在锐减，魏主只得下令暂时撤退。
魏永昌王拓跋仁沿途掳掠，驻扎汝阳。徐州刺史刘骏奉宋主之命，派参军垣谦之、左常侍杜幼文、殿中将程天祚等人率兵袭击拓跋仁。结果五千人马之中，只有杜幼文带着九百人逃脱。宋主收到兵败的消息，把杜幼文打入大牢，将武陵王刘骏贬黜为镇军将军，又令南平内史臧质、司马刘康祖率一万多名士兵前去援救悬瓠城。
那时，魏主已在悬瓠城下待了四十二天，正在忧虑不知道什么时候才能夺得城池。突然又接到败报，说是派去的魏军不敌刘宋援军。魏主叹了口气，下令撤围北归。陈宪因守城有功，被提拔为龙骧将军，兼任汝南、新蔡两郡太守。
宋主因与北魏失和，便想一统中原。彭城太守王玄谟向来自大，屡次请求北伐，丹阳尹徐湛之、吏部尚书江湛更是从旁怂恿。新任步兵校尉沈庆之却入朝谏阻道：“我朝惯用步兵，北魏惯用骑兵，两军势不相敌。昔日檀道济两次出军无功而返，到彦之也失利而还，现在我朝不过有王玄谟等几员大将而已，兵力也不强盛。所以，不如休养生息，等到合适的机会再大举出兵！”宋主刘义隆愤怒地说：“檀道济是因为纵容敌寇，到彦之是因病而中途折返，所以才没有成功。朕想北虏所倚仗的就是他们的马匹，现在是盛夏天气，河水盛涨，河道畅通，如果我军泛舟北进，必定能拿下碻磝、滑台、虎牢、洛阳。等到了冬天，他们再纵马过河，这一片已经是我们的了。那时，就算他们的骑兵过河，也无能为力，说不定还会被我们擒获。朕怎么能轻易放过这个机会呢？”沈庆之仍坚持说不可行，宋主授意徐湛之、江湛当面和他辩驳。沈庆之说：“治国如治家，耕地就该问奴隶，织布就该问婢女。陛下现在想讨伐北魏，反倒与白面书生商议，怎么能商量出个结果？”江、徐二人面有惭色，宋主大笑作罢。
太子刘劭及护军将军萧思话也奏称不宜出师，宋主始终不听。随后，魏主拓跋焘一封充满讥讽的来信，让宋主更加恼怒。没过多久，有消息说，北魏有名的谋士崔浩被杀。宋主当即觉得有隙可乘，于是毅然下诏北征。王玄谟被封为宁朔将军，与步兵校尉沈庆之、咨议参军申坦率水军北渡黄河，归青、冀二州刺史萧斌调度。新任太子左卫率臧质、骁骑将军王方回，出兵许洛。徐州刺史武陵王刘骏、豫州刺史南平王刘铄各率部众出发，东西并进。梁、秦二州刺史刘秀之迅速出兵汧陇。江夏王刘义恭出驻彭城，调度各军。
建武司马申元吉率兵赶到碻磝，魏刺史王买德弃城北逃；将军崔猛率兵赶到安乐，魏刺史张淮之也弃城逃去。随后萧斌与沈庆之留守碻磝，王玄谟率领大军进攻滑台。魏主听说宋军大举出击，便对亲信说：“现在战马还不够健壮，天气也很炎热，我军如果迅速出击，未必能成功。如果敌兵还要继续前进，我们就退避阴山，等到了冬天，我们再大举出兵。”滑台被围时，已是暮秋，魏主令太子拓跋晃屯兵漠南，防御柔然，又令庶子南安王拓跋余留守平城，然后亲自率兵南救滑台。
宋将王玄谟不会用兵，他令钟离太守垣护之率一百艘战舰作为前锋，去攻占石济。石济在滑台西南一百二十里的地方，王玄谟打算扼截援军，作为掎角。垣护之离开后，王玄谟率领各军驻扎滑台城下，四面环攻。由于城中的房屋大多都是茅屋，将领们提议将火箭射入城中，引发城中内乱。王玄谟却摇头说：“城中的一草一木都很值钱，而且将来都会属于我，我怎能眼睁睁地看着它们烧毁？”一天后，城中的居民都带着家产转移到地穴，而城上的官兵也昼夜防备。王玄谟又贴出告示，招募士兵。河洛壮丁络绎赶来，投入军营，王玄谟却只发给他们每户一匹布，还要求他们每人上供八百枚大梨。众人大为失望，军心逐渐涣解。
营寨一扎就是几个月，军中士气日益衰竭。一天，王玄谟忽然接到垣护之的来信，上面写着：“魏兵即将杀来，请将军立即督兵攻城，越快越好！”但是王玄谟却没有放在心上，将时间蹉跎过去。又过了十多天，探子仓皇奔入营帐说：“魏主已经率百万人马杀到枋头了！”王玄谟听了这话，吓得面如土色，急忙召部将商议对策。众人提议立即摆车阵，做好迎战准备，王玄谟仍迟疑不决。到了夜间，鼓声隐隐自远处传来，王玄谟更加惊慌失措。三更已过，突然有铁骑冲破营阵，径直驰入城中，王玄谟不敢下令截击，一任来骑入城。这位将领名叫陆真，他奉魏主拓跋焘之命，先来抚慰城中兵民，带给他们援军即将到来的消息。陆真只不过率领几名骁骑突围，王玄谟都不敢截击，更何况魏主带来的百万大军？
第二天晚上，北魏大军杀来，鼓声大作，比昨晚还要震耳。王玄谟出营一望，只见月光下敌军密集，迎面而来，王玄谟慌忙入帐，传令撤军。将士们早已没了斗志，一听撤军，争先恐后地逃跑。王玄谟也上马疾奔，只恨爹娘少生了两个翅膀，不能马上飞回江东。魏兵从后面赶来，趁势乱砍，把宋军后队的将士一股脑儿杀了个精光。就是宋军前队的人马也大多逃散。沿途被丢弃的军械几乎堆积成山，眼看着是送给北魏了。
垣护之当时还在石济，得知魏军渡河，他正打算致信王玄谟，约王玄谟一道夹攻魏军。不料王玄谟未战先溃，魏军夺去王玄谟的战舰，反过来截住垣护之的归路。垣护之又惊又怒，把百艘战舰列成一排，横驶杀向中游的敌舰。魏军见他来势凶猛，却也不敢拦阻，由他冲过去。垣护之随即率军南下。
驻守碻磝的萧斌听说魏主率大军支援滑台，忙令沈庆之率五千名士兵去援救王玄谟。沈庆之不肯去，还振振有词地说：“王玄谟的将士都懈怠得没有丝毫锐气了，哪还能打仗？况且敌寇已经逼近，五千人根本无济于事，不如不去！”萧斌强令他前去，沈庆之只好率兵出城。刚走了不到几里路，就看见王玄谟狼狈逃奔回来，沈庆之料知无法挽回局势，只好中途折回，与王玄谟一同回去见萧斌。萧斌将王玄谟痛骂一顿，要将他处斩，沈庆之忙谏阻道：“魏主拓跋焘威震天下，率领的千军万马哪是王玄谟所能抵挡的？况且杀掉战将，只能示弱，还请您慎重！”萧斌于是作罢，想固守碻磝。沈庆之不同意，说：“现在青、冀势力薄弱，如果胡虏东趋，我们就是想守，也是守不住的。”萧斌便打算回军。偏偏诏书下来，令萧斌守住碻磝，再图进取。沈庆之便劝萧斌说：“将在外，君命有所不受。陛下远在京城，不明局势，所以下达这个命令。但我们身在战场，应该更明白局势，更能做出正确的决策！”萧斌叹道：“还是先召集众将商议，再决定去留吧。”沈庆之一脸的不悦，说：“眼下有个范增就在将军眼皮底下，你却不用，非要召集众将来商议，空议又有什么用？”萧斌笑着对身边的人说：“没想到沈公这么有学问。”沈庆之更加生气，厉声道：“众人肚子里的古今，都不如下官用耳朵听来的东西实用。”萧斌于是令王玄谟留守碻磝，申坦、垣护之据守清口，然后率余军退回历城。
宋主刘义隆出师时，除了令徐州、豫州两亲王分道发兵外，又命六皇子随王刘诞为雍州刺史，令他镇守襄阳。并暂时停办江州军府事务，将所有文武官吏移到雍州，归刘诞调拨。刘诞派中兵参军柳元景、振威将军尹显祖、奋武将曾方平、建武将军薛安都、略阳太守庞法起等人从西北进军。大军攻入卢氏县，攻陷弘农，捷报连连。宋主晋封柳元景为弘农太守。柳元景在弘农督办粮饷，然后派庞法起、薛安都、尹显祖继续向西进军。庞法起等人又攻陷陕城，攻入潼关。宋军军威大振。关中的豪杰以及附近的羌胡都将粮草输送到军前，情愿投效。柳元景正想继续深入，不料宋廷下诏，让他还军。柳元景只好奉诏班师，回到襄阳。