1959年6月中旬张闻天刚动了一个手术，中央7月2日开庐山会议，他本可不去，但看到议题是：总结经验，纠正错误，他决定去。这时彭德怀刚出访八国回来，很累，不准备上山，张力劝彭去，说当此总结经验，纠正错误之时，不可不去，哪怕听一听也好。不想这一劝竟给他们俩惹下终身大祸。
庐山会议本是要纠“左”的，但是船大难调头。思想这个东西像浮尘一样，一旦飘起来，就是日落风停，也得等到明天早晨才能尘埃落定。何况这又不是一个人的一时之念，而是一个大党的指导思想。这时总路线、大跃进、人民公社在人们心中鼓起的狂热，已是尘嚣难停。大跃进出现了问题，不得不纠“左”，自揭其短，毛泽东本来就不大情愿，而这时干部中的狂热者还不在少数。有一拨儿高干围在毛的身边，说再纠“左”就要把气泄光了，鼓动他赶快反右倾。田家英在小组会上只如实说了一点在四川看到的问题，西南局书记李井泉就立即打断，不容揭短，对这个天子身边的人也敢不敬。1959年，新中国刚建立十年啊，共产党的干部还保留着不少战争思维，勇往直前，不计代价，不许泄气，不许动摇军心。还有一些人则是投毛所好，摇旗呐喊，如上海的柯庆施、张春桥等。这时正好彭德怀有一封信，认为错误检讨得还不够彻底，毛就借题发挥，小题大作，抓住彭德怀这个典型，上纲上线，转而大批右倾了。这种轻率的转向反映了当时全党对经济建设的规律还不熟悉，而在政治上一言堂、个人崇拜已经露头了。
张闻天早就有话要说，不吐不快，眼见会议就要收场，他加紧准备发言提纲，32开的白纸，用圆珠笔写了四五张，又用红笔圈圈点点。田家英听说他要发言，忙电话告之，“大炼钢铁”的事千万不要再说，上面不悦。他放下电话沉吟片刻，对秘书说：“不去管它！”胡乔木也感到山雨欲来，21日晨打来电话，劝他这个时候还是不说为好，一定要说也少讲缺点。张表示：吾意已决。21日下午，张带着这几天熬夜写就的发言提纲，带着秘书，吩咐仔细记录，便从177别墅向华东组的会场走去。又一颗炸弹将在庐山爆炸。
与彭德怀的信不同，张的发言除讲事实外，更注重找原因，并从经济学和哲学的高度析事说理。如果说彭的信是摸了几颗瓜给人看，张的发言就是把瓜藤提起来，细讲这瓜是怎么长出来的。针对会上不让说缺点，怕泄气，他说缺点要讲透，才能接受教训；泄掉虚气，实气才能上升。总结教训不能只说缺乏经验就算完，这样下一次还会犯错误，而是要从观点、方法、作风上找原因。如“刮共产风”，就要从所有制和按劳分配上找原因。他说好大喜功也可以，但主客观一定要一致；政治挂帅也行，但一定要按经济规律办事。坏事可以变好事，是指接受教训，坏事本身并不是好事，我们要尽量不办坏事。他特别讲到党风，说不要听不得不同意见，不要怕没有人歌功颂德。毛主席说要敢提意见，不要怕杀头，但人总是怕杀头的，被国民党杀不要紧，被共产党杀要遗臭万年的。领导上要造成一种空气，使下面敢于发表不同意见。最后，他提到最敏感的彭总的信。明知这时毛已表态，彭正处在墙倒众人推的境地，但他还是泰然支持，并为之辩护、澄清。说到信中最敏感的一句话“小资产阶级狂热性”，他为之辩道：这话不说可能好一点，说了也可以。共产风不就是小资产阶级狂热性？
他发言的华东组，组长是柯庆施。柯最善看毛的眼色，跟风点火。连毛都说“大跃进”的发明权要归于柯庆施。1958年1月南宁会议，毛批周恩来，嫌他保守，曾一度动了以柯取代周恩来当总理的念头。柯在“文革”前病逝，有人说柯要不死，文革一起就不是“四人帮”而是“五人帮”。张在柯主持的小组发言，可谓虎穴掏子，引来四围怒目相向。柯等频频插话，他的发言不断被打断，会场气氛如箭在弦。在一旁记录的秘书直捏一把汗。张却泰然处之，紧扣主旨，娓娓道来。他没有大声强辩，也没有像给毛写信时那样违心地掩饰，他知道这是力挽狂澜的最后一搏了，就像当年在扭转危局的遵义会议上一样，一切都置之度外。遇有干扰，他如若不闻，再重复一下自己的观点，继续讲下去，条分缕析，一字一顿，像一个远行者一步一步执着地走向既定的目标。他知道这也许是飞蛾扑火，但自燃的一亮也能引起人们的一点关注。正像谭嗣同所说：“变法总得有人流血，就让我来做流血第一人吧！”20年来，他官愈当愈小，问题却看得愈来愈透。那些热闹的大跃进场面，那些空想的理论，在他看来是一件皇帝的新衣，是百姓和国家的灾难，总得有人来捅破。迟捅不如早捅，就让他来做这个捅破皇帝新衣的第一人。
他足足讲了三个小时，整个下午就他一人发言。稿子整理出来有8000多字。这个讲话戳到了毛的两个痛处。一是不尊重经济规律，搞大跃进；二是作风不民主，听不得不同意见。当年马克思讲，有一个共产主义的幽灵在欧洲游荡。现在又有一个“幽灵”，一个清醒的反“左”的声音在庐山上回荡。
毛泽东大为震怒。两天后的7月23日，毛作了一个疾言厉色的发言，全场为之一惊，鸦雀无声，整个庐山都在发抖。散会时人人低头看路，默无一言，只闻挪步出门之声。8月2日毛又召所有的中央委员上山（林彪说是搬来救兵），工作会议变成了中央全会（八届八中全会）。这天毛在会上点了张闻天的名，说他旧病复发。这还不够，当天又给张写成一信并印发全会，批评、质问、讽刺、挖苦、戏谑，洋洋洒洒，玩弄于股掌，溢于纸表：
怎么搞的？你陷入那个军事俱乐部里去了，真是物以类聚，人以群分。你这次安的是什么主意？那样四面八方，勤劳辛苦，找出那些漆黑一团的材料。真是好宝贝！你是不是跑到东海龙王敖广那里取来的？不然，何其多也！然而一展览，净是假的。讲完没两天，你就心烦意乱，十五个吊桶打水，七上八下，被人们缠住，脱不得身。自作自受，怨得谁人？我以为你是旧病复发，你的老而又老的疟疾原虫还未去掉，现在又发寒热症了。昔人咏疟疾词云：“冷来时冷得冰激凌上卧，热来时热得蒸笼里坐，疼时节疼得天灵破，颤时节颤得牙关挫。只被你害杀人也么哥，只被你害杀人也么哥，真是个寒来暑往人难过。”同志，是不是？如果是，那就好了。你这个人很需要大病一场。昭明文选第34卷枚乘《七发》末云：此亦天下之要言妙道也，太子岂欲闻之乎？于是太子据几而起曰：“涣乎，若一听圣人辩士之言”。然汗出，霍然病矣。你害的病与楚太子相似，如有兴趣，可读枚乘的《七发》，真是一篇妙文。你把马克思主义的要言妙道统统忘了，于是乎跑进军事俱乐部，真是文武合璧，相得益彰。现在有什么办法呢？愿借你同志之箸，为你同志筹之。两个字曰：“痛改。”承你看得起，打来几次电话，想到我处一谈，我愿意谈，近日有些忙，请待来日。也用此信，达我困忧。
7月23日和8月2日的讲话，还有这封信让张大为震惊。他本是拼将忠心来直谏，又据实说理论短长的，想当此上下头脑发热之际，掏尽脏腑，倾平生所学，平时所研，为党开一个药方。事前田家英、胡乔木曾劝他不要说话时，他也不是没有考虑过，在再三思量后，曾手抚讲稿对秘书说：“比较成熟，估计要能驳倒这个讲话也难。”他天真了，何必依理来驳呢，只须一根棍子打来就是！毛的讲话和信给张定了调子：“军事俱乐部”、“文武合璧，相得益彰”、“反党集团”，会议立即一呼百应，展开对他的批判，并又翻起他的老账，说什么历史上忽左忽右，一贯摇摆。就这样他成了“彭黄张周”反党集团的副帅。
张闻天知道，根据过去党内斗争的经验，如果他不检查，庐山上的这个会是无法收场的。为了党的团结，他顾全大局再一次违心地检查，并交了一份一万字的检查稿。但是毛还是不依不饶，又怀疑他里通外国，大会小会穷追猛打，非得逼出一个具体的反党组织和反党计划。9日那天他从会场出来，一言不发，要了一辆车子，直开到山顶的望江亭，西望山下江汉茫茫，四野苍苍，乱云飞渡，残阳如血。他心急如焚，欲哭无泪。正是：
“明君”虽明不再君，屈为“大帅”帐下臣。延水叮咚犹在耳，庐山雾深深几重。
望江亭，望江亭，江山如画，他却心乱如麻。他抚亭向晚，痛拍栏杆。天将降大任于斯党也，必先苦其历程，炼其思想，正其路线，外能审时度势，内能精诚团结，行弗乱其所为，才能执政、治国、安邦、富民啊！
他几次求见毛，拒而不见。会议结束，8月18日张闻天下山，回到北京。家人和朋友说你管外交，不干经济，何苦上山发言闯此大祸？他却冷静地以哲学相对：不上山，就没有这个发言，是偶然性；肚子里有意见总是要讲，这是必然性。但这一讲，他的名字从此就在报纸上消失了。接着召开的全国外事会议开始追查他的“里通外国”和历史问题，而这些与在庐山会议上的发言毫无关系，是欲加之罪再索事实。他只好任污水一盆盆地泼来。
留得光辉在人间
庐山一别，张与毛竟成永诀。