1882年4月，法军在越南攻陷河内，企图向北越过红河，进犯云南，黑旗军将领刘永福率部抗击法军。8月，法军把侵略的矛头指向中国。一面封锁东京湾，一面要挟清政府撤回刘永福的黑旗军。是战是和，在清政府内部出现了两派势力。李鸿章、奕欣等人是主和派；左宗棠、曾国荃等人是主战派。“清流”们理所当然积极主战，陈宝琛、张佩纶联合上《陈越南兵事折》，极力保荐云南巡抚唐炯、广西布政使徐延旭率军进入越南，支援越南军队抗击法军。他们的一番慷慨陈词，坚定了朝廷出兵援越的决心，依二人所奏，派唐炯、徐延旭带兵进入越南。后来，因为唐徐指挥无能，在北宁、太原被法军打得溃不成军。朝廷震怒，将这两位大臣，革职查办，定为“斩监候”。军机大臣奕新被慈禧太后说成是因循守旧、贻误战机，然后把他赶出军机处，接替奕新是慈禧一派的奕譞。
唐徐二人的越南兵败深深刺痛了陈宝琛。其中固然有指挥、士气等各方面的原因，但是主要的还是法国军队素质较高，使用的武器先进，以及完善的后勤保障等方面的因素。想罢多时，觉得必须把自己的想法上奏朝廷，就写了一封奏折。奏折分析了唐徐二人越南兵败的原因，建议清军也要参照西方的军队进行训练，并对如何筹集军费、如何选用军官、如何练兵、如何制造使用武器提出了自己的想法。主张建设军队要根据日时代的变化而变化，任用的大臣要有务实的精神，筹集军费要有长期持久的机制。朝廷研究了陈宝琛的奏折，认为挽救时局就得依靠这些有见识的“清流”们，于是把这些人派到地方上担任军职。陈宝琛被派为南洋会办大臣，吴大澄被派为北洋会办大臣，张佩纶被派为福建会办大臣。
慈禧这样处理以后，继续谋求对法国议和，奕譞入主军机处以后，派李鸿章向法国寻求妥协。李鸿章通过德国出面调停，最后终于促成了与法国的谈判，于1884年5月11日在天津签订了《中法简明条约》。哪知条约签订以后，还不到期限，法国就要接管越南北部的清军防地，并于6月下旬进攻谅山，炮击清军阵地，打死清军代表。清军被迫还击，将法军击退。这次事件本来是法国首先违约，但它通过外交途径向清政府提出抗议，要求中国立刻从越南北部撤军，赔偿军费2．5亿法郎。清政府于是派曾国荃为全权代表、陈宝琛为会办，与法国人进行谈判。曾国荃在谈判之前，曾接到上谕，告诉他清政府的底线：赔偿费用万万不能答应；越南须照旧向清政府进贡；刘永福的军队，如果法国人提到，必须由清政府安排处理；中越分界线应在关外的无人地带划分；中法在云南通商，地点应选在保胜，法国人抽取的税金不能超过百分之五等等。让曾国荃可以在上述条件以内灵活掌握，全权负责。于是，曾国荃、陈宝琛在上海与法国代表谈判。可是在谈判中，曾国荃利用手中的权利，擅自许诺赔偿法军抚恤费50万两白银。陈宝琛气得当时就离席而去。回到住所，陈宝琛余怒未消，对曾国荃说：“这次本来是法国人的责任，我们丝毫不能退让，况且朝廷有旨在先，‘赔偿军费，万万不可答应。’在明天的谈判中，你要立刻收回你所说的话。不然的话，我立刻上奏朝廷。”曾国荃也有满肚子的委屈，就没有好气地说：“你不当家不知道柴米贵，完全按照朝廷的意思，能谈得下来吗？谈判破裂以后，法国人接着进兵就有了借口，再发生战争，谁负这个责任？将在外君命有所不受，既然朝廷让我做全权代表，我就应该当机立断。以少量的赔款换取罢兵休战，这不很好吗？”陈宝琛一听这话，更上火了：“国家没有尊严，全是你们这样的苟且求全之辈，一味屈服于外国的势力。如果无理的战争就能得到赔款，我们的国家就会更多的被歧视。今天是法国，明天是英国，后天是美国，这样，我们大清不就完了吗？”就这样，你说我苟且求全，我说你危言耸听，你一言我一语的就争吵起来了。到了晚上，陈宝琛觉也没睡，就连夜写起了上奏的折子。大意是说曾国荃苟且求全，擅改圣意，有损我大清国威，要求撤职查办、另派代表。不久，上谕就下来了。要求陈宝琛对曾国荃奉旨申斥。曾国荃受到申斥以后，心中很难受，也很不服气，朝廷不知谈判之艰难，现在是真的谈不下来呀。维护朝廷尊严，我已经尽了力了。于是也连夜写了奏折，大意是：陈宝琛在上海时，不顾谈判的艰难，经常说一些不切实际的高论，每一件事都与我发生抵触。我担心他的建议难以实行，恐怕与法国人在上海决裂，贻误了国家的大局，请求撤换陈宝琛。奏折很快送到朝廷，光绪皇帝一看，深为不满，想再次下旨申斥。慈禧太后则认为曾国荃言之有理，但她也不想答应法国人的无理要求，于是两个人的奏折就这样不了了之。这一下，曾国荃可犯了难了，赔款也不是，不赔也不是，就这样谈谈停停，久而未决。终于法国人坐不住了，首先派兵进攻台湾的基隆和福建的马尾军港。督办台湾事务大臣刘铭传率军奋力抵抗，敌军久攻不下。在福建马尾，会办大臣正是清流主将张佩纶，面对法军频频调动，战争马上就要爆发，他却没有了昔日的豪情，命令军队原地待命。甚至下令，不准首先开炮，如有违犯的，即使是打胜了也要处斩。这样，在法军的进攻下，很多战舰还没有来得及起锚就被炸沉了。虽有士兵奋力抵抗，也没有逃脱全军覆灭的命运，张佩纶仓皇逃窜。
清政府打了败仗，就要追究责任，那些妨碍和谈的人自然成了攻击的对象，曾国荃借机上疏，奏陈宝琛好高骛远，不切实际，致使贻误和谈大局。另外，1882年的唐炯、徐延旭在越南兵败，陈宝琛有荐人失察之过。朝廷认为所奏有理，于是将陈宝琛降五级任用。陈宝琛自感无所作为，恰逢母亲刚刚病逝，就以此为由，回家“丁母忧”。谁知道，这一去就是二十四年，直到1909年才奉诏再次进京。
辞官回乡的岁月
1885年2月，陈宝琛看到时局动荡，自己的宏图大志在现实面前击得粉碎。面对法国的坚船大炮，空有杀敌之心，而没有回天之力。在朝中，那些曾受到“清流”攻击的守旧派，一时间拍手称快，此时群起而攻之。有一幅对联，讽刺了“清流”们的好高骛远、不切实际。上联是：三洋会办，且看侯官革职，丰润充军。下联是：八表经营，也不过山西禁烟，广州开赌。“三洋会办”指的是南洋会办陈宝琛、北洋会办吴大澄、福建会办张佩纶。陈宝琛是福建侯官人，张佩纶是直隶丰润人，联中用地名喻指陈张二人。“八表经营”影射张之洞。张之洞曾在奏折中写过：“敢忘八表经营。”“山西禁烟”指代劳而无功的事情。自鸦片传人中国以后，清政府一直在禁烟，可是屡禁不止，尤其是山西太原，简直成了鸦片的暗中集散地。所以，他们用“山西禁烟”来嘲笑“清流”们的失败。“广州开赌”，指为筹军饷，广州曾在乡试之年，以人闱举子的姓氏当作赌注。对联讽刺朝廷用这些无用的书生参与军国大事就像“广州开赌”一样。那些守旧派的得意之态在这里可以看出一二。
陈宝琛被降五级任用，再加上战争的失败，令他对朝政时局心灰意冷。他是个孝子，母亲病逝，对他也是一个不小的打击。真是“屋漏又遭连阴雨，行船偏遇打头风。”他干脆上疏，辞去所有的职务，回家为母亲“丁忧”，以尽孝道。
陈宝琛回家之后，闲居了一阵子，每天的生活只是读书教子。后来，他每天去赐书楼读书，见这里已经很破旧，就想把它重修一下。赐书楼是陈宝琛的曾祖父陈若霖所建。陈若霖在朝廷任职的时候，道光皇帝屡屡赐书给他，他感激涕零，于是就修建赐书楼，专门收藏御赐书，以表示不敢忘记皇恩。陈宝琛看到赐书楼经过了这么多年的风风雨雨，感慨万千，祖上在过去曾经多么的辉煌，自己却落得一败涂地，但愿重修此楼能为自己的前途带来好运。经过一年的时间，赐书楼修葺一新，又恢复了往日的风采。但他只能每天到这里看书、怀旧，觉得自己已经不可能有这样的荣耀。时光荏苒，岁月悠悠。现在，他虽然在家闲居，心中却时刻关心着外面的世界。此时，中、日战争已经结束，丧权辱国的《马关条约》已经签订。条约的主要内容是：“割让辽东半岛、台湾全岛以及所有附属岛屿和澎湖列岛给日本；赔偿军费二亿两白银；增开沙市、重庆、苏州、杭州四个通商口岸；允许日本臣民在中国通商口岸设立工厂；日军暂时占领威海卫等等。”他听说以后先是震惊，继而愤怒，后来就干脆大骂起来。他先骂日本人贪得无厌，再骂李鸿章懦弱无能。孩子们知道父亲的脾气，也不敢上前劝阻。还是妻子最后劝了劝他：“朝廷也是没有办法呀，好好的谁愿意割地赔款啊，你再生气也不顶用，这气坏了身子可是你自己遭罪呀。”陈宝琛余怒未消：“把土地割让给日本，就是死也不能答应！李鸿章，你是大清的罪人呀！你这个卖国贼！”就这样，陈宝琛每天在家里又是骂又是叹息。后来，坏消息不断传来，什么德国租借胶州湾，俄国强占旅顺、大连，法国强占云南边地，义和团运动等等，他听到这些消息，惊愕了，这还像个国家嘛。从那以后，他反而不再骂了。每当看到红日西坠，他就叹息大清王朝气数已尽。自己既然不能挽救时局，就干脆在家里吟诗作赋，不问世事。后来又修建了“还读楼”、“沧趣楼”，或闭门读书，或交友唱和。
还书楼意思是还我读书，他把御赐以外的书收入此楼。陈宝琛酷爱读书，收集了大量的珍本、善本，数量远远超过赐书楼。当他心情烦闷的时候，总是到这里散心。国家大事、功名利禄已经不能成为他心灵的寄托，他只好到书中安抚自己颓丧的灵魂。不久以后，他又修建了“沧趣楼”。“沧趣”，取意于《庄子·渔父》，“沧浪之水清兮，可以濯我缨；沧浪之水浊兮，可以濯我足。”意思是说：时局好了，我可以大显身手；时局动荡，我就应该退隐。此时，读孔孟之书，走科举之路的陈宝琛也萌生了退隐之心。在家闲居的日子里，他每天以写字、读书、赋诗打发时光。当然，作为当地名流，时常有人来拜访，如：林纾、严复等人，也因此结交了不少朋友。他们经常在一起，吟诗作赋。陈宝琛的《沧趣楼文集》中的作品，主要写于这一时期。
1895年，陈宝琛去上海办事。他知道好友张佩纶在上海闲居，第一件事就是去拜访他。经历了世事的沧桑，两位好朋友见面之后感慨万千，想起当初在朝中弹劾大臣、抨击朝政，意气风发，是何等的气概，如今，两位的头发已是花白，抚今追昔，怎能不生感慨。陈宝琛当场赋诗一首：“相看短发未全斑，十五年来一瞬间。可似东坡遇莘老，安排浮白对青山。”抒发了人生易老、盛年不在的感慨，也寄寓了政治上失意的情怀。吟罢之后，相视垂泪。回家以后，更是不问政事，只是埋头整理书稿，借此忘记心中的烦恼。
1898年，正当他沉湎于这种情绪的的时候，京城传来了一个消息让他精神为之一振，光绪皇帝实行新政了。他听到以后兴奋地说：“大清国有希望了，我又有用武之地了。”他把这一消息告诉给家人，告诉给朋友。朋友们来了以后，也不再谈论诗词歌赋了，主要谈论新政和他们自己的打算。他们谈论最多的还是文化教育。新政中对文教方面的改革让他们充满了对未来的憧憬。新政规定：改革科举制度，废除八股考试，改试策论；设立学校，开办京师大学堂等等。这时候，福建各地纷纷筹划兴建中小学堂。可当时具有新思想的教育人才、老师特别缺乏，闽浙总督久闻陈宝琛的大名，就亲自到家里拜访，商议兴办新式学堂的各种事情。他想把东文学堂扩充为闽浙师范学堂，全力培养师资力量，以适应今后教育事业的发展。总督提出要让他出任学堂监督，陈宝琛慨然应允。