太平天国的元气因经历此次内乱而大伤。太平天国上上下下对于洪秀全的个人崇拜遭遇到了信任危机，人们开始怀疑洪秀全的神话。这让太平天国政权阶层感受到了重大的打击。这个新成立的“政教合一”的组织不得不收敛起锋利的进攻态势，开始坚壁清野、固守城池。此时的太平天国没有丝毫力量再进行攻城略地之举了。几个月后，在苏南战场的清军江南大营死灰复燃。1857年，清军张国梁部攻克镇江，威逼天京。在江西，石达开回天京之后，曾国藩开始全面反攻。江西太平军力量几乎全部瓦解，仅存湖口、九江等地，成为孤立的据点。在湖北方面，太平军守卫武昌城的是韦昌辉的弟弟韦俊。韦昌辉被杀后，他方寸大乱，斗志全无，弃城而逃后投诚了湘军。胡林翼重新占领了武昌。武昌的失守让战局立即得到改变。1856年底，湘军水陆两路再次顺江东下，连陷黄州、蕲州、大冶、兴国等。1857年1月，又攻下黄梅。在湖北，太平天国丢失了大量地盘，基本丧失了战斗力。紧接着，李续宾统率湘、楚军一万多人，直抵九江城下。很快，九江城被攻陷，太平军一万多人阵亡。
洪秀全面对太平天国兵败如山倒的颓势，在用人方面做了调整。1857年，洪秀全从香港招回了洪仁玕，又让李秀成、陈玉成、李世贤等青年将领挑起了大梁。李秀成、陈玉成等执掌军权之后，混乱的局面得到控制。双方的军事形势又呈对峙平稳局面。这段时间，双方就像互相搏击的野兽一样，一边舔着自己的伤口，一边绞尽脑汁寻找对方的破绽，谋划着给对手致命一击。曾国藩就像一条阴险的眼镜蛇一样，全力对自己的部队进行整编改进，补充了大量先进的枪支弹药。
曾国藩一直是一个战略高手。虽然就具体战术的制定和执行而言，不是他的强项，但他有高屋建瓴的视野，能凭借敏锐的观察力和智慧，从大势上看到太平军的薄弱之处。在曾国藩看来，太平天国的本质还是“流寇”。对于这样的对手，一定要避其锋芒，消耗其锐气。如果湘军能得到有效的坚持，太平天国肯定会不战自乱。因为它的实力和倚仗的信仰，无法支撑它去打持久战。也因如此，曾国藩在整个战略思想上，更接近于稳扎稳打、步步为营；更热衷于拼消耗、拼实力、拼时间。自此以后，湘军一直贯彻着曾国藩的战略思想：不轻易打仗，一旦扎下营寨之后，先把自己的防守立于不败之地，把营寨布置得固若金汤。曾国藩甚至对湘军营盘围墙建设都作了硬性要求。要求营盘的围墙一般要有八尺高、三尺厚；墙外面必须有深沟，深沟八尺宽、六尺深，墙外两道，墙内两道等等。这样的营寨扎在哪里都是一道坚固的堡垒。应该说，曾国藩的战略思想对于太平天国的打击是致命的。一支离开了本土，在组织路线和指导思想上都支离破碎的军队，是很难长久维持的。
战争就这样在僵持中陷入了死局。这种死局对每一个人都是严峻的考验。久而久之，湘军和太平军双方都对这种情况感到厌倦了。不知道这样的战争什么时候结束？为什么要打这一场战争？……这样的局面，离曾国藩所预计的相差很远。
借丁忧脱困
这样的日子让曾国藩感到极度的困难和苦恼。但是，他本人也不知何时才能结束。正当他为此而苦恼之时，一个意外的消息让他摆脱了困境——其父曾麟书于咸丰七年二月四日（1857年2月27日）逝世。闻此噩耗，曾国藩立即向咸丰帝陈报丁忧，并要求开缺守制。他不等谕旨允准，便与弟弟曾国华自江西奔丧返乡。在陈情奏折中，除以孝道为由，坚决要求开缺外，还说此时返乡守制并不影响大局。
只准三个月假，不允开缺。这是曾国藩到家多日后才收到的从江西转来的皇帝的批复。但是，三个月假期未满，咸丰帝就下旨命他立即返回江西军营。曾国藩只得再次上奏，要求给假三年。在这个奏折中，他向咸丰帝表白了不愿再回军营的理由，说自己领兵打仗却没有军权，“虽居兵部堂官之位，而事权反不如提镇”。明确向咸丰帝提出要兵权的要求。可咸丰帝看了曾国藩的奏折，认为太平军的势力一天天衰落下去，已经没有往日的威风，就算没有曾国藩，别人照样能打赢太平军。但如果此时让曾国藩又有军权，又有督抚大权，是非常危险的事情。所以，咸丰帝就顺水推舟，批准了曾国藩在籍守制三年的请求。就这样，曾国藩便离开了湘军，开始了乡居的生活。但事实上，他并没有守制三年，仅仅是一年半的时间。曾国藩自咸丰七年二月二十九日奔丧至家，至咸丰八年六月初七日再度出山由湘乡动身赴浙江，前后总共一年半。这一年半时间，名曰“乡居”，实则是曾国藩一生思想、为人处世巨大转折的时刻，就像练武功的“坐关”、佛道的“坐禅”一样。曾国藩经乡居之后，为人处世简直判若两人。
曾国藩回湘乡为父守丧以来，不断地回忆这些年带兵打仗的往事，每一次回忆，都只能多给他增加一分痛苦。一年多里，他一直是在痛苦中度过的。在这痛苦的过程中，他不断地反醒自己在修身养性方面的种种弱点，思考自己处处碰壁的原因。经过这一番痛苦的自省过程，曾国藩终于认识到了自己以前在为人处世上的错误。以前，他对于官场的欺诈、虚伪、无所作为、贪污腐败等作风极为反感，做事丝毫不讲情面。因此处处与人发生矛盾，受到舆论的讥讽。经过这次深思之后，曾国藩认识到，仅凭匹夫之勇，意气行事是不行的。官场多年来形成的恶习已几乎牢不可破，以自己一人之力完全改变这种风气，无异于痴人说梦。所以，一年以后曾国藩再次出山时，就完全改变了以前的处世方式，变得圆滑世故起来。相对而言，他比以前更善于做官了。
自省本来就是一件痛苦的自我解剖过程。认识到自身的弱点，对一个人来说并不是快乐的事。因此。虽然曾国藩这时对自己以前的做法已然悔悟，但他依旧很压抑。
这一年多的乡居生活，与其说是曾国藩想要在家守制倒不如说是出于无奈。虽然说是他自己请求的，而事实上，这并非他的本意。后来，湘军没有他的领导竟然捷报频传，更让他难以忍受。由他一手提拔上来的湘军将领都纷纷升官加衔：胡林翼官至巡抚加太子少保衔；李续宾赏加巡抚衔，甚至连杨载福都官至提督并封赏黄马褂。而原来那个湘军的创始人和最高统率，似乎被所有人都遗忘了。曾国藩醒悟：看来，对付太平军的能人多的是，皇上并不需要自己。
眼看着自己辛辛苦苦建起来的军队让别人驱使着，成为别人显身扬名，建功立业的工具，曾国藩不仅有被冷落的感觉，更有被别人利用、愚弄的感觉。然而，在籍守制是自己的请求，自己这是哑巴吃黄连——有口说不出。这样一想，曾国藩的心情愈发烦闷。
与此同时，社会舆论对他的攻击也随之而来。曾国藩以前与人相处，每遇到意见与人不同时，对人家总是连加讥讽、嘲笑不已。这一次他却是委军奔丧在前，伸手要权于后，权未到继而坚卧不起。这就与他自许理学家的身份很不相称，更与往日忠君报国的言词大相径庭。因此，他的行为招来了社会上不同人士的责难与报复，成为众矢之的。其中，最让他难以忍受的，就是老朋友左宗棠的攻击。左宗棠听说曾国藩不待皇上批准，就匆匆回籍奔丧的事后，毫不掩饰地肆意谩骂曾国藩自私无能，临阵脱逃，说他以前自我标榜的忠敬诚信，全是虚伪的谎言。左宗棠带头如此攻击简直成了批判曾国藩的催化剂。一时间，长沙官场哗然和之。这消息传到蛰居在家的曾国藩耳中时，他因为自知心亏理短而无词可辩。这给他本就憔悴不堪的身心又一次沉重的打击。从此以后，遂得不寐之疾。夜夜失眠，噩梦不断，让曾国藩痛苦不堪。正因为如此，曾国藩对左宗棠一直耿耿于怀。曾国藩与左宗棠虽然在镇压太平天国运动的问题上能够同舟共济，相互配合，但个人感情上却嫌隙甚深，无法泯灭。
自入仕途，他以孔孟入世救世，对自身的修养严厉酷冷，一丝不苟；对社会抱有“以天下为己任”的坚定胸怀。持身严谨，奋发向上，关心国事，留心民情，因而赢得君王信任和同僚的尊崇，十年京官春风得意。正是抱有这种信念，以一文官而白手建军、治军，五年来一身正气，两袖清风，出生入死。但是，为什么皇上反而不信任自己？为什么上至枢垣，下至府县，都那么忌恨自己？
为了解决这些问题，他日夜苦读，甚至想过要遁入空门，直到他认真阅读了以前看过但并不相信的《道德经》、《南华经》等老庄的著述，才找到了想要的答案。这些书虽讲得是出世之学，但曾国藩重读，却为他的立身处世指点了迷津。同样的处世之学，孔孟主张直率、诚实；而申韩（申不害、韩非）等法家却主张以强碰强，硬对硬；老庄则主张以柔克刚、以弱胜强，“天下之至柔，驰骋天下之至坚”，“江河所以为百谷之王者，以其善下”。下反而是王，弱反而能强，柔则是至刚。把老子的言论对比自己过去的行事，曾国藩发觉自己处处直截了当，用的是儒家的至诚和法家的强权，表面上痛快干脆，似乎是强者，结果处处碰壁，实质上是失败者，是弱者。到头来弄得上上下下处处是敌人，前前后后处处是障碍。过去也知道“大方无隅”、“大象无形”、“大巧若拙”，但一直没有真懂，所以自己的行事恰好似有隅之方，有形之象，似巧实拙。真正的大方、大象、大巧是无形无象、鬼斧神凿的。“大柔非柔，至刚无刚”太妙了！读到这里、想到这里，曾国藩如同从黑夜里一下子走进了光明世界，豁然开朗。
自此之后，曾国藩行动做事，由前时的方正，变为后来的圆通。他自己承认，“昔年自负本领甚大，可屈可伸，可行可藏，又每见人家不是。自从丁已、戊午大悔大悟之后，乃知自己全无本领，凡事都见得人家几分是处，故自戊午至今九年，与四十岁前迥不相同”。曾国藩这里把家居的两年自称为“大悔大悟”之年，他自认为前后行事“迥然不同”了。
曾国藩大彻大悟后的巨大改变，使他的朋友都有所感觉。胡林翼就说他“无复刚方之气”。出山之前，他对清廷上下的官场习气很是反感，“与官场落落不合，几至到处荆榛。”而再次出山之后“改弦易辙，稍觉相安。”其中原因人多不知，只在他的至亲密友中私下告知他自己学问思想方面的变迁，行为处世方面的变化。曾国藩个人对自己的“大彻大悟”既是痛苦的，又是满得意的。苦在被迫放弃了自己前半生的信仰与行为，得意在毕竟发现了做人处世的“真正”秘诀——“大柔非柔，至刚无刚”。