就在曾国藩苦思焦虑不得善策的时候，李鸿章悄悄地走进了曾国藩的房内。首先，他告诉曾国藩，此时入京勤王已属空话，对皇上实际上并没有一点好处。洋人进逼北京，并非是想对皇上不利，他们只不过是想通过战争取得在华的更大利益，只要许给他们好处，肯定自行退兵。接着又献计曾国藩，让他假意请奏鲍超为一介武夫，不能担此重任。入京勤王之事，必须曾国藩、胡林翼两人中的一个带兵前去。而这样的事，自己又不敢确定，因此上折请皇上定夺。这样，从祁门到北京奏折最快也要半个月。一来一回，恭亲王早已和洋人达成协议，到那时勤王一事肯定无人再提。
李鸿章短短数语，一个小小的按兵请旨的妙策，就把困惑了曾国藩几天的难题轻而易举地解决了。是的，一个月之内，恭亲王奕必能和洋人谈妥退兵的条件。到那时，入京勤王一事早已成为过丘之水，曾国藩一阵轻松。李鸿章如此轻松地提出了这个万全之策，从此更受曾国藩器重。
事情果如李鸿章预料的那样，曾国藩于10月18日上书咸丰，请求降旨任命由谁带兵入京。11月16日，曾国藩接到皇上圣谕说：“和议已成，鲍超、胡林翼、曾国藩均毋庸北援。”
祁门遇险
曾国藩选定祁门作为驻节之地，主要是看中它东连休宁、徽州；南达江西景德镇，既有天然大山可以屏蔽老营，又可与浙江、江西互通声息。然而等他到了祁门，只见四周山势陡峭，与外界相连的仅有那条连接休宁、景德镇的东西官马大道。除此之外，有一条小路勾通北面的两个小镇大赤岭、大洪岭。另外有一条小河，河面狭窄，只能浮起坐两三个人的小船，大船不能进来。这里人烟稀少，土地贫瘠。倘若东西方向的那条大道被堵，祁门与外面的联系即断，县城则陷于绝境。看到这些曾国藩有些后悔了。但驻守祁门的事已上报朝廷，所以只得暂时驻下。
跟随曾国藩驻扎祁门的众幕僚一见祁门地形，纷纷劝他离开祁门，另觅合适之地。曾国藩拒绝不听。李鸿章也跟着到了祁门，他在祁门四周勘察了一番，也劝曾国藩，说祁门地势形同釜底，是兵家绝地，要他迁居别处，以免将来受困。曾国藩执意不听，一意孤行，还大骂要走的人贪生怕死。从此，再也无人敢提离开祁门的话。
1860年12月1日，当曾国藩还在为北援问题惴惴难安的时候，李秀成忽然率领二次西征军的主力部队进入皖南。太平军攻破羊栈岭进克黟县，距离曾国藩的祁门大营仅八十里路，中间没有任何遮阻。这时曾国藩身边只有三千防兵，情形十分危急。曾国藩大惊之下，急忙调鲍超前来援救。
几天之后，援军未见踪迹，曾国藩自料难逃活命。这才后悔没听李鸿章等人的话，以至铸成今日大错。于是写好遗书，交待了一些后事，祁门大营的纸上谈兵的军机参赞们，舞文弄墨的书记文案们，以及计账算数的小吏们，此刻也都惊慌失措，乱成一团。有些胆小怕死的人瞒着曾国藩，偷偷从外面买来几条小舟，将自己的行李物品都收拾好，一包一包地都放在船上，单等着曾国藩兵败以后逃命。曾国藩见状，恨不得将那些蛊惑军心的人都抓来杀死，然而他冷静地一思考，觉得那样做只能使人心更散。于是心生一计，欲擒故纵，贴出一份告示。告示上说对愿意离开祁门的人，可以发给工资和路费，决不强留。等祁门之险过后，愿意回来的仍可回来，曾国藩将以诚相待，不计前嫌。这一招果然奏效。那些准备走的幕僚反而不好意思走了，又偷偷地把船上的东西搬回。就这样，曾国藩表面装作很平静的样子，与众幕僚提心吊胆地苦苦支撑。
不久，鲍超率部来援，将李秀成击败。李秀成一战失利之后，随即撤兵南下，曾国藩又一次死里逃生。
这一场惊险过后，曾国藩稍微稳定下来，便找导致这场祁门之灾的罪魁祸首——李元度算账。
李元度是曾国藩最早的幕僚之一，在曾国藩几次处于最困难的时期，甚至一些老朋友都要离开他的时候，李元度始终不渝与曾国藩同甘共苦地过了六七年的艰苦岁月。对这些，曾国藩曾经很感激李元度，甚至有“三不忘”之说：即靖港惨败后对曾国藩细心慰护；九江惨败后率领平江勇护卫水师保护大营；樟树镇惨败后，独立支撑到援军赶到。因此，李元度无论对曾国藩还是对湘军，都起过巨大作用。
但李元度擅长文学却不擅带兵，对部下更是任人唯亲，一味放纵，他所领军队的战斗力并不强。只是，由于曾国藩对他心存感激，徇情袒护，所以李元度才一再得以重用。
这次曾国藩进军皖中，仍保奏他为徽宁池太广道。让其带兵驻守徽州，为自己把守祁门的门户，从中足见曾国藩对他的重用。但曾国藩也深知他不会带兵打仗的底细。因此，驻守徽州之前曾一再告诫他，遇到太平军攻城，只可固守，绝不可出城迎战。但李元度却将曾国藩的告诫视如儿戏，根本不放在心上。当李世贤率太平军进攻徽州城时，他轻率出城迎战，后来见湘军情势不妙，又率先逃跑，至使全军奔溃，徽州失守，危及祁门。李元度逃走之后，又不及时返回大营，而在浙江、江西边境犹豫徘徊，数月不归。最后其回到大营之后，也不束身待罪，反而理直气壮地向粮台索要欠饷。等到饷银拿到手，李元度一言不发，径自率兵回湖南去了。
李元度这种目无军纪的行为使曾国藩大为恼怒，同时又无比失望，决心参劾李元度。谁知参劾李元度的折子还没拟好，知情的幕僚和文武参佐们纷纷进来为他说情，说曾国藩这样做太绝情绝义，不顾前情了，其中李鸿章的反对尤为激烈指责曾国藩忘恩负义。如果一意孤行参了李元度，会让湘军全军将士寒心，但曾国藩为了表现自己不徇私情、赏罚严明，对众人的求情一律不允，坚持不让步。李鸿章见自己求情不下，又遭曾国藩训斥，随即告辞，离开曾国藩的幕府扬长而去。
其实李鸿章早就不想在祁门呆下去了，他是个机敏异常的人，从刚到祁门的那时候起，他就知道驻扎此地是一个绝大的军事错误。这次太平军围困祁门就是个很好的证明。另外他也清楚地看到，太平军绝不会甘心这次的失败，倘若再来一次包围堵截，祁门一定会被连锅端。李鸿章有自己的一番远大抱负。他只能依靠老师同上青云，而不愿与老师共存亡。现在正给了他一个离开祁门的绝好时机。因此，李鸿章趁机溜掉。
果然，没过多久，太平军又分三路向祁门攻来。曾国藩四面楚歌，再一次陷于惊恐之中。可惜这次太平军主将黄文金在与鲍超、左宗棠军激战时不幸负伤，只得退回皖南。然而，渡过这次危机不久，又发生了更为严重的情况。先是李世贤从江西婺源向左宗棠部展开进攻，1861年3月又击败王开琳部，迫使湘军退回景德镇。与此同时，刘官芳等人又进攻出入祁门的交通孔道历口，距曾国藩大营仅二十里路。曾国藩又一次惊慌失措，急忙派兵增援。刘官芳退军，曾国藩刚想出一口气。江西方面又传来噩耗，李世贤攻破景德镇，兵锋直指祁门。曾国藩文报不通，饷道中断，内外隔绝，又一次濒临绝境。此时他只得移驻休宁，并派兵攻打徽州城，企图从这里打开一条能往浙江的粮道，以求死里逃生。然而此时湘军已乱，不听指挥，根本无法组织起攻势。接着，太平军又跟踪而至追到休宁。曾国藩无奈，只得又退回祁门。此时，曾国藩再一次到了绝望的顶点，再次写好遗书安排后事，准备应付最坏的情况发生。他在给儿子曾纪泽的信中称这次境遇与几年前湖口惨败的情形相仿。
恰在此时，李世贤在乐平与左宗棠交战失利，于是放弃景德镇，东走浙江。湘军的粮道恢复，曾国藩再一次逃了活命。这一次对曾国藩的打击很大。从此之后，无论多么重要的战事，曾国藩再也不肯亲临战场督战指挥了。
自兵驻祁门以来，曾国藩没过上一天安稳日子，时时感到危机四伏，无日不在惊涛骇浪中度过。因此，自进攻徽州溃败之后，他再也不敢逞英雄，硬充好汉在祁门待下去了，乘左宗棠乐门取胜，军情稍有好转之机，立刻顺坡下驴，赶紧离开祁门这一险地。后来移驻东流，把大营设在靠江岸停泊的大船上，由水师护卫，曾国藩才放下心来喘口粗气，再不用过那种担惊受怕的日子了。