原任组织部部长谭平山，秘书杨匏安，都是共党分子。在这个时期，本党与共党已经开始斗争，我能顺利接收，要追溯到过去两年的情形。十三年（1924年）本党改组以后，已呈分裂现象，那时我对党务，未加闻问。后来奉蒋先生之命，在沪担任招募及黄埔后方勤务工作，因为职务上需要与各方面接触，纯粹本党同志与跨党分子双方均来问我对党务的意见。我除了答复党内不能有党的主张外，其他什么也没有表示。同时双方都要我登记，我都没有参加，因此，对各方面均无恶感而能达成在上海的重要任务。等到发展组织部秘书以后，多数共产党以为我没有直接办过党务，所以不甚注意。其知我者，也认为我没有参加过任何反共组织，是比较超然的人物。所以到中央党部组织部任秘书职务，毫无阻碍。
这时陈果夫以貌似“中性”的角色进入国民党中央组织部后，发现党务已经到了严重失控的地步，情势比预想的还要严峻。他说：“我们的党务，好久无人理问了”，在中央，“秘书处由三个共产党员”把持，可以说，“已经为共产党完全篡夺”。在各省市方面党务“大半为共产党主持”，下层“已无基础可言”，至此，才觉得肩上的担子沉重起来。
万事开头难。
他上任烧的第一把火是，决定先从本部机关着手清退共产党。当时，中央组织部共有29人组成，真正属于纯粹的国民党分子的只有三人，其余的要么是共产党员，要么是受共产党影响的人，在这种情况下，工作根本无法进入预设的轨道。陈果夫请示了蒋介石提出用掺沙子的办法，增加精明强干的本党同志。蒋介石点头赞成，并让陈找丁惟汾、顾孟余商量人选问题。经过商议，大家一致赞成由段锡朋、王乐平来中组部工作。为了不打草惊蛇，陈果夫事先辞去共产党部员和国民党部员各一人，以完成新旧交替。看上去好像一碗水端得很平，其实，无论于质量，还是数量，国民党右派都有大的进账。
段、王入阁附翼后，陈果夫开始整肃内部，用他自己的话来讲，即“自段、王两人入部相助后，开始办理党员重新登记及调查工作，对部内同志厉行考核”。在进行的过程中，陈果夫巧妙地掌握了两个度：一是不做扎眼的事，不硬性使用反共色彩浓厚的人；二是“自动”辞职留下的空缺，绝不用跨党分子。比如有一次，陈果夫对部内考核优秀的两位同志予以晋级提拔，中央党部秘书处秘书、共产党员杨匏安怀疑陈别有用心，出面干预，把这两位同志调往他处，陈马上将本党的郑异、萧铮填上。又如，一位姓谭的共产党部员，因为外厢兼职过多，不能集中精力从事本部工作，陈果夫通过纪律警告的方式对谭施加压力，弄得谭看见陈果夫就十分紧张。有一天，陈通知谭参加一个重要会议，正巧与共产党组织的活动发生冲突，谭没有按时与会，陈就故意把事情弄大，让部里的同志满世界找谭。一个星期后，谭回到机关，顶不住四面八方的呵斥，只好提交了辞职报告，陈果夫立即照准，同样又以本党人员填上。如此一而再、再而三地反复演试，调离的调离，辞职的辞职，不出半年，原先差不多接近“赤化”的中央组织部，“仅留有共产党员三个，其余的都是纯正的”国民党分子了。
陈果夫用软刀子杀人，完成了组织部的大换血，这一手，连蒋介石也认为干得漂亮、老到，禁不住将谭延恺的评语搬来，连声夸“果夫有办法”。1926年7月，中国国民党发表《北伐宣言》，蒋介石率领国民革命军北上。临行前，经他提议，由陈果夫接替国民党中央组织部部长一职。这一方面，可以看做是蒋对陈工作的奖赏。
新官上任三把火。陈果夫不知不觉中已烧了一把火，将共产党从中组部里赶走。紧接着的第二把火，就是对下属各级党部进行清理整顿了。陈果夫最先注意到广州市党部和广东省党部，一个“内容腐败”，一个两党明争暗斗十分激烈，他通过“视察及指导”的办法插手干预，很快把问题解决了。随后又将广东的经验逐步推广到面上，由国民党中央组织部陆续派出“部内富于工作经验的同志”，赴下级各党部“担任指导工作”。陈果夫把这一经验概括为“穿线”，成功的前提：“第一要能够避开共党的视线，第二要老同志认为他们不偏不倚，而且必须具有忠于国家民族、忠于本党主义、认识共党阴谋，信仰领袖的真诚才行。”
当时具体的分布如下：段锡朋、郑异去江西；萧铮、王宇春、葛武肇奔浙江；郭春涛往西北；陈希豪到上海；贵州有张道藩；北京有吴铸人、董冠贤；甘肃有田昆山；福建有丁超武等等。陈果夫解释这样做的理由是：“上述各地，本党党务均受共党的把持，我们必须派人去，宣传中央意志，使各地同志明了重新登记之必要。”掌握“同志间联络与组织，及和共党斗争的方法”。实际做成的效果，后来被证明是成功的。陈果夫自称：“到清党时期，除派到浙江的王宇春被共党利用叛变处死，郭春涛随着冯玉祥不返，可说是用人失当之一憾事外，其他都能达成任务。”也就是说，经过国民党中央组织部的指导以后，各省党部、特别市党部根据《整理党务案》，已把执行委员会中的共产党员有效地控制在三分之一以内了。对此，周恩来心情沉重地说：“这样，右派在组织上占了极大的优势，我们在党务方面已毫无地位。陈果夫、陈立夫便利用他们的地位，在各省发展右派”，形势开始朝着不利于共产党的方面恶化了。
陈果夫整理党务的第三把火是办党政训练所，负责培养“合格的”干部人才。此前，国民党的训练机构大多由共产党掌握，培养了一大批忠诚于无产阶级的革命同志。清理整顿党务之后，共产党虽然被逐出了教育领地，但干部匮乏的矛盾并没有解决。陈果夫与当时负责国民党中央工作的张静江等人商议后，决定拟办党政训练所，以解燃眉之急。报告呈递上去未久，国民党中央就批复同意，任命陈果夫为党政训练所所长。经过严格的筛选，陈果夫招收了第一期100名学员，制定了相关的纪律、规章制度以及教学计划，包括蒋介石训话，学习国民党党史、国民党章程等等。然而事与愿违，学生中出现了严重的亲共倾向。陈果夫当机立断，以“思想行为不端”的名义，开除了12个激进的学生，以儆效尤。谁知，反而激起更大的波澜，进而转变为风潮。陈果夫意识到问题的严重性，连忙去广州公安局，请老同学李章达局长帮忙派军警前往压制。李章达不满陈的做法，碍于情面敷衍了事。第二次陈再去求助，李便不予理睬了。陈果夫气急败坏地跑到张静江那里告状，张下令免掉了李章达的局长头衔，才平息了风潮。事后，被开除的学生差不多超过一半，训练所眼看办不下去，只好草草收场。余下的学生分别被派往甘肃、福建、广东、北京、南京等地，其中不少人后来成为反共的中坚力量。
相比前面的“功绩”，这第三把火似乎烧得不够炽亮，好在把住了宁缺毋滥的原则，总算没捅大的娄子。陈果夫总结了经验教训，又重新拟定扩大党政训练所的计划，并先后与国民党的理论专家戴季陶和党务专家丁惟汾共同磋商后，把方案提交中常会讨论。后来，这一计划获得通过，党政训练所改称为中央党务学校，后又改称为中央政治学校，最后再改为国立政治大学。想不到最初不显眼的那把火，竟烧出一片偌大的天地，造就了以党务相对军事、与黄埔互为犄角的干部摇篮。从这里毕业的学生，后来大多成为“陈家党”的基层干部力量。因此，无论从国民党组织建设的角度看，还是从派系发展的角度看，陈果夫烧的这把火都具有重大而深远的意义。参见李海生、张敏著：《陈果夫与陈立夫》，上海人民出版社2001年版，第80—83页。
从“欢迎”到“打倒”
从1926年7月9日起，国民革命军开始北伐，三路大军从广州分别向北挺进，攻无不克，战无不胜，如秋风扫落叶一般，取得节节胜利。且说第一路军击溃吴佩孚的主力，于是10月10日占领武昌；第二路军歼灭了孙传芳的主力，解放江西，占领南昌；第三路军主攻福建，于是12月底，解放全省，攻占福州。接着三路大军，稍作休整，于1927年初，乘胜追击，又陆续占领了浙、皖、苏的大部分地区，形成了攻取杭州、上海，会师南京的局面。这样一下子把革命的风暴前推到长江流域，强烈地震撼了帝国主义和封建军阀在中国的统治，各种矛盾都暴露了出来，而且非常尖锐。