在朝将领吴长庆曾提出调部分兵力回烟台。李鸿章于九月初三回信分析当前形势，说法越新约签订表明，虽然越南国王号还在，但是越南已经投降了法国，朝廷里主张一旦出现危急情况将调回驻朝之兵，但我认为不应慌乱，再过两月冬季到来，北方的各港口都封冻，自然就阻挡了在越南的法国海军北进的步伐。而且日本加紧侵朝，朝鲜的王公大臣们对中国的态度有所动摇，正在观望越南局势，想以此决定下一步的决定，这样，中国驻朝大军更不应轻易回撤，而应留驻，起到强大的威慑作用。
这些情况都说明，李鸿章认为朝鲜的战略地位远比越南重要，这也是他为什么不想在广东和上海停留，而极力要回到天津的真正原因。一般人们都指责李鸿章此举是要保护自己在北洋地区的势力，然而实际上此时朝鲜的局势也是极为动荡不安的，而且其问题的确远比越南严重得多。客观地说，正是因为李鸿章及时返回天津，而且力主保持中国在朝鲜的驻军数量，才确保了北方的稳定。
总署也准备向各国通报法国对越南的侵略情况，同时命令边防部队迎击进犯的法军。九月二十六日，李鸿章向总署提出自己的意见，说中国一直对藩国实行的政策都是只注重虚文，光是进行一些册封和朝贡的虚务，没有采取实际有效的举措，而且也没有对法越《西贡条约》进行严厉的驳斥，以致让法国钻了空子。当前中国还不具备推翻本年七月的法越《顺化条约》的力量，建议朝廷暂时不要将中法争端照会各国，而应尽快以和谈的方式解决问题。但总署不予理睬，仍照会各国：中国坚决保护越南藩属。
这时清议派核心人物李鸿藻实际左右着总署，他“竟欲东讨日本，西击法兰西”，他们根本看不到实际的情势，一味盲目要求排斥外国。这样，在八月的时候，广东沙面洋人聚居区里就发生了中国人焚烧洋人房屋的事件。而地方官也听之任之。朝廷派彭玉麟赴粤办理防务，他也不对此事进行追究。此外，彭玉麟对来访的外国人是概不接待。这样一来，20多天洋人都不敢来访。
近20年的和平局面眼看就要保不住了，李鸿章很担心，于是在十月十五日写信告知彭玉麟：“沙面毁洋房之案，尚未办结，各国纷纷猜疑，日有谣诼。目前必须镇压民心，勿令妄动，免致因风生火。”二十八日，又向总督报告，说现在中法还没有正式开战，而彭玉麟却已在广东发出告示煽动人民仇外情绪；而且禁止各国商船进口会引起国际公愤，故请求朝廷让彭取消告示，要不然就把他调离广东。三十日，朝廷批准了这个建议，下令彭玉麟不许张贴告示，不让他挑起仇外事端。
十一月十二日，法军海军中将孤拔指挥法国陆、海军由河内向越南北圻的山西省进攻。由于有越南官民做内应，法军于十七日拿下山西，驻守的黑旗军刘永福部退守兴化，中法战争正式爆发，清军溃不成军。于是，朝廷内部又爆发了一场主战和主和的大争论。主战派表示，当前的局势都由一味求和酿成，必须给法国以严厉的打击；主和派则表示，现在中国战败就说明了万万不能和法国开战，开战必败已经成为不可逆转的经验和事实。
李鸿章一贯主和，现在一下子变得强硬了。光绪十年（1884年）十二月十二日，李鸿章写信向翁同龢解释这次变化中的原委说：“越事之兴，尚冀迎刃而解，息事宁人。今则局势屡更，彼此皆骑虎难下。自不得不坚持，以待机会。然岑（毓英）、徐（延旭）皆非能了事者，仍在枢轴之相时操纵耳。若仅在越地鏖兵，利钝无甚关系，波及内地，则各省强弱不齐，民穷财匮，实大可虞……我公忧国如家，知必长虑却顾也。”在十五日给军机大臣李鸿藻的信中又说：“鸿章于事初不敢力主进取，实见得各省戒备，未尽精整，或至一发难收。今山西挫退，敌焰正张，我军已扎北宁。洵如遵旨，只有增军缮备，一意坚持，以待事机之转。”战事未开，自然要尽力争取和平，现在既然已经诉诸武力，又吃了败仗，求和这条路已经彻底堵塞，那就只能加强战备了。很快他又请求朝廷派宋庆添募4营人马在营口驻防，派曹克忠选勤奋6营在烟台和威海一带驻防，以加强北洋的防务。
1884年二月，越南北宁、太原相继落入法军手中，驻越清军败回国内。朝廷震怒，下令将负责前敌指挥的广西巡抚徐延旭和云南巡抚唐炯革职查办，另调潘鼎新和张凯嵩分别署理。同时，清议派也借此大肆攻击主持中枢的军机大臣们。慈禧太后于是改用礼亲王世铎为首的新人，全部裁撤了原班军机大臣，总理衙门也都改为庆亲王为首的人控制。这样一来，军机处和总署两处大权都为奕劻把持，而慈禧在幕后操纵奕劻，把一切大权都牢牢地握在手里。
二十六日，都察院左副都御史张佩纶被任命为总理衙门行走，奉旨前往天津和李鸿章就越南战事进行商讨，十二月初一日回京。李鸿章根据两人所议奏上了《妥筹边计折》和《妥筹前敌军事片》，认为虽然清军在越南吃了败仗，但是用不着立即将其调回，而应当向越南增兵，提高武器装备，在相持中寻找最佳战机。应由岑毓英统一指挥黄桂兰部和刘永福部、赵沃部，由天津拨给桂军10尊山炮，4500支后膛枪。末尾他表示了坚决抗击法军的决心，说国家养兵千日，现在正是用以解决国家危急的时候了。
1884年5月，李鸿章和福禄诺签订《李福协定》，规定：中国承认法国和越南订立的条约，法国不索赔款，中国同意在中越边境开埠通商，中国军队自北越撤回边境。条约签订之后，清朝大臣们纷纷反对，认为此条约过于辱国。李鸿章遭到主战派的联名奏劾，御史与翰林也联名上书弹劾。清政府不得已下令让左宗棠重新回到军机处。6月23日发生了“北黎事件”。法军向谅山前进，谅山清军表示没有接到撤防的命令而加以阻止。法军在北黎打死清军代表，炮击清军阵地，清军打退法军。法国政府故意用“北黎事件”向中国方面挑衅，诬蔑中国破坏《李福条约》，借以索要军费2.5亿法郎，并派出军舰前往福建和基隆。
清政府内部慌乱不已，大臣们一时间都没了主意。左宗棠说中国不能总是示弱，不如拿赔款作为战费。李鸿章则还是主张议和。8月23日，法国舰队突袭福建水师，清政府不得已下了宣战书。10月，法军对台湾和北越发动进攻，中国又开始新一轮的议和。
1885年3月，清军在老将冯子材的带领下收复镇南关，使中国占据了战争的主动权。于是，中国和法国于4月4日在巴黎签订《中法停战条件》。中国在胜利的情况下，竟在条约里作出妥协和让步，这让法国当局都感到十分惊讶。而前线清军将士听到这个消息之后，一个个忍不住仰天长叹。6月9日，李鸿章和法国代表签订《中法新约》。条约的主要内容是：
1．清政府承认法国对越南的保护权，并在条约签字后六个月内，中法两国派员到中越边界“会同勘定界限”；
2．法军退出台湾、澎湖；
3．中越陆路交界开放贸易，中国边界内开辟两个通商口岸，一在保胜以上，一在谅山以北，允许法国商人在此居住并设领事；
4．降低中国云南、广西同越南边界的进出口税率；
5．以后中国如修筑铁路，“自向法国业此之人商办”。
《中法新约》是晚清政府有史以来在对外战争中唯一一个没有割地和赔款的条约。李鸿章采取的是见好就收的策略。在他看来，冯子材等在越北的局部性胜利没有改变敌强我弱的全局。中国海军刚刚建立，实力很薄弱，如果继续打下去，后果还是难免打输了就赔款的结局。此外，台湾一直被困，澎湖已被法军侵占，如果派军到台湾，法国必会增派军力封锁台湾，中国水师无法解救。当时，日本正着手侵略朝鲜。李鸿章认为朝鲜的地理位置比越南重要，应弃越南而保朝鲜。李鸿章把原定增援台湾的军舰调去保护朝鲜，以对付日本。如果一味地和法国作战，不仅胜负难料，日本人还会借机侵略朝鲜，那就更不妙了。
被“骂”丢的乌纱帽
甲午战争之后，李鸿章被解除了担任长达25年之久的直隶总督兼北洋大臣的职务。1895年8月，清政府命令他留京入阁办事。此后，李鸿章的权力虽然被削弱了，但他仍是清政府倚以同列强各国进行对外交涉的中心人物。
甲午战争之败与《马关条约》的签订，使李鸿章遭到全国上下的强烈抨击和痛垢，一时间，骂声四起，不绝于耳。当朝理政的慈禧太后虽然深知他的苦衷，却无奈于各方舆论压力，只好让他从仕途的顶峰上跌落下来：先后失去了直隶总督、北洋大臣的要职，只为他保留了文华殿大学士的头衔。
李鸿章在北京没有房产，他闲居在北京东安门外冰盏胡同的贤良寺内。贤良寺是由雍正时怡贤亲王的房子改建而成，这里环境优雅，安静宜人。
这时的李鸿章，忽然脱离了数十载繁巨忙乱的政治生活，虽然有些不太习惯，但心态还是很好的。李鸿章觉得，自己竟一下子落得一个自在，虽然身后有势如潮涌滚滚而来的骂名，那又如何？又能如何？
李鸿章每天的生活很有规律，保持着在军营时的习惯。早晨六七点起床，早点之后看看文件，写写字。要知道，很久以来，他都没有时间能够安下心来练练书法了，写字就得心静。他最喜欢的是王羲之的书法，这段时间李鸿章主要书写怀仁所集的碑帖。午饭之后，李鸿章就在走廊里散步。散步时他从来都是穿着短衣，特别冷的时候才穿长衫。散步后午睡一两个小时，然后召开幕僚会议。晚餐之后，让幕僚随意，自己再看看书写写字，然后就睡觉了。李鸿章生活如此有规律，得益于他的老师曾国藩。这一点，我们在前面的章节里已经有所表述，这里就不再赘述了。
在这段悠闲的时间里，李鸿章想了很多问题。一次，他对曾国藩的一位孙女婿吴永说：
“我办了一辈子的事，练兵也，海军也，都是纸糊的老虎，何尝能实在放手办理？不过勉强涂饰，虚有其表，不揭破犹可敷衍一时，如一间破屋，由裱糊匠东补西贴，居然成一静室，虽明知为纸片裱糊，然究竟决不定里面是何等材料，即有小小风雨，打成几个窟窿，随时补葺，亦可支吾对付。仍必欲爽手扯破，又未预备何种修葺材料，何种改造方式，自然真相破露，不可收拾，但裱糊匠又何术能负其责？”
李鸿章这番意味深长的话，让吴永听后感慨良多。
被洋人“忽悠”得晕头转向
甲午之战和《马关条约》之后，清政府对日本的政策主流认识慢慢变成了“联俄抗日”。因为沙俄在大清帝国最艰难的时候跳出来帮忙要回了辽东半岛。另外，清政府也想利用沙俄牵制日本。其中以两江总督刘坤一说得最为明确：“威胁大清国的国家以日本为最，日本企图占领东北的野心积蓄已久，而俄国因与大清帝国东北接壤必最不愿意。所以‘我若乘此时与之深相结纳，互为声援，并稍予便宜，俄必乐从我’。”
日本通过《马关条约》割取了辽东半岛，触犯了沙皇俄国准备要抢占的地方，沙俄便联合法国、德国出面干涉。当时，日本虽然称霸东方，但它不敢与西方三列强相抗，只好同意让出辽东半岛，不过中国必须为此付出一笔巨额赎金。1895年10月14日，清政府以李鸿章为“归还辽旅议约全权大臣”，与日本驻北京全权大臣林权助谈判。11月8日，最后议定签字，由中国付银3000万两“赎回”了辽东半岛。这样，在清政府眼中，沙皇俄国简直成了“救星”，被当做“恩人”来看待。
19世纪90年代初，俄国开始修筑横贯欧亚两大洲、西起莫斯科、东达海参崴的西伯利亚大铁路，企图借此在远东取得比其他欧洲国家更大的优势，控制太平洋水域的一切国际商业活动。1894年，西伯利亚铁路修到外贝加尔地区，关于铁路走向问题，沙皇批准了财政大臣维特提出的横穿中国东北的方案，因为这不仅可以缩短路程，节省经费，加快进度；而且便于对中国和远东地区进行军事、政治、经济扩张。方案既定，便开始设法实施。1895年六七月间，俄国未经清政府同意便擅自派员赴中国东北勘测路线。11月，维特向中国驻俄大使许景澄提出“俄人集立一公司，承造此路，与中国订立合同”的主张，企图以所谓中俄合办、“无碍主国事权”为幌子，诱骗清政府上钩。不久俄国外交部电令其驻华公使喀西尼与总理衙门商办“公司之议”。维特还奏准拨出“一笔适当的款子”，供驻华公使用以贿赂“清帝亲信近臣”。但后来俄国考虑到北京众目睽睽，不利于秘密谈判，又恰值沙皇尼古拉二世将要举行加冕典礼，于是便选定彼得堡作为谈判地点。沙皇尼古拉二世加冕礼定于1896年5月举行，各国均派特使致贺，慈禧太后和奕都认为，只有派李鸿章去最为妥当。一是因为洋人们说，对于19世纪的中国，他们只知有李鸿章而不知有皇帝；二是与沙俄的密谈，也只有李鸿章才能胜任。
1896年2月，清政府决定派李鸿章出使俄国。另外，考虑到李鸿章赋闲在家，慈禧决定借机让他出游欧美，联络和列强的感情。