在内部关于迁都之争也达到了白炽化。国民党政府迁都武汉，并分两批人员先后迁移。第一批先头于1926年12月中旬到达武汉，并于1927年1月1日宣布办公。第二批人员也开始迁移，路过南昌时被蒋介石扣留，声明不把迁都改在南昌，誓不罢休。蒋介石便带着自己的心腹陈果夫，于1927年1月9日来到武汉，来做说服工作。
这时的武汉政府的政治领军人物是鲍罗廷，主要组成人员像宋庆龄、邓演达、陈友仁、徐谦等都属于国民党左派，掌握军权的是唐生智和张发奎，他们支持着汪精卫。
这是蒋介石第一次来武汉。武汉政府各界举行了有30万人参加的盛大的欢迎会。
会议在辛亥革命的旧址广场举行。蒋介石带陈果夫出席了大会，并在会上发表了即兴演说：“我第一次踏上这块辛亥革命的红土地的时候，我就被这里的人们革命的情绪感染了，这块神奇的土地也吸引了我”，说到这里，他笑了笑，对身边的陈果夫道：“你是不是也有同感？”
陈果夫道：“不光有同感，还有共鸣呢！”
蒋介石正要往下说，台下就有人站起来责问：“蒋总司令既然对武汉这么看重，为什么还违抗中央迁都武汉的决定？”
陈果夫看主子蒋介石难于回答，便主动站出来说：“今天会议不是这个议题，我愿意下去和同志们一块儿讨论。届时欢迎大家提更多的问题来。”
“陈部长，你来回答你们为什么要扣留第二批来武汉的中央委员？”有人又把矛头指向了陈果夫。
陈果夫还是重复那句老话：“会议没有这个议题，咱们下去讨论。”
会议主持者马上说：“下面请苏联顾问鲍罗廷讲话，大家欢迎！”
鲍罗廷说：革命要依靠人民，没有人民便没有革命，发扬民主，反对独裁，提高党权，简直是不给蒋介石一点儿面子。尤其是那“独裁”的字眼儿，虽然话音不高，却字字刺在他的心里。
会下，尽管蒋介石做了不少工作，仍遭到了国民党左派的坚决抵制，蒋介石和陈果夫弄了个无功而返。他没做通人家的工作，人家倒做通了他的工作。他表面上承认武汉为迁都之地，拥护迁都武汉，但他与鲍罗廷的矛盾却恶化了。他又拿出当年对付季山嘉的手段，在回到南昌以后，于1月19日给武汉联席会议主席徐谦打电话，声称鲍罗廷在武汉当众侮辱了他，要求撤销鲍罗廷的总顾问职务。为了进一步为最后和苏联摊牌做准备，蒋介石开始攻击苏联，他在南昌总部第十三次总理纪念会上说：“无论哪一国，如其放弃帝国主义政策，能以平等待我中国的时候，那么我们对待他们，如同对苏俄一个样子。……若苏俄一旦不以平等待我，像别的帝国主义一样压迫我们的时候，我们也像反对帝国主义一样反对他们。”
接着武汉政府针对蒋介石的独裁分裂行为，在国民党内开展了反对独裁、提高党权的运动。陈果夫与蒋介石互相呼应反对这场斗争，2月就辞去了中央组织部部长的职务，并声称拒绝参加国民党在武汉的二届三中全会。
1927年3月10日，国民党二届三中全会按时在武汉开幕。武汉街头举行了声势浩大的游行。那场面一点儿也不比1月份欢迎蒋总司令的场面小。这次他们不再是欢迎了，而是声讨蒋介石了。人们喊出了心中的口号是：
“打倒蒋介石！”
“打倒昏庸老朽的张静江！”
“驱逐陈果夫、陈立夫！”
“欢迎汪精卫复职！”
……
局面一下子使蒋介石为代表的国民党右派处于十分不利的地位。
四一二大屠杀前后
武汉政府从欢迎到打倒，这令蒋介石恼羞成怒。这一夜，蒋介石彻夜难眠，他心想，你不仁我也不义，于是就在国民党二届三中全会在武汉召开的过程中，蒋介石指挥他的下属频频向革命阵营发难：
——3月9日北伐军进占江西的时候，蒋介石唆使爪牙，残杀了江西省总工会副委员长陈赞贤，并把人头悬挂在赣州城头。
——3月16日，蒋介石命令段锡朋等强行解散了拥护三大政策的南昌市党部。
——3月17日，蒋介石率部东进九江的第二天，把“九江市党部、总工会、农协、国民新闻社一一捣毁”，杀害四名共产党人。工人自卫队奋勇自卫，被蒋介石的卫队镇压。
——3月23日，安庆市召开欢迎蒋介石总司令的大会，蒋介石以每名大洋四元的价钱，收买流氓组成敢死队，捣毁了安徽省党部、安庆市党部和革命团体。
——3月26日，蒋介石随北伐军占领上海，就密令将“打倒帝国主义”的口号，改成“和平奋斗救国”。向帝国主义表示：“国民革命军是列强各国的好朋友，绝不用武力来改变租界的现状。”对于蒋介石的态度，帝国主义列强表示满意，并答应以驻扎在上海的2万兵力帮助蒋发动反革命政变。同时还奉送3000万作为经费。
——4月5日，蒋介石又将上海的“左倾”部队调离上海，改派反正的北洋军阀周凤岐二十六军接防。为欺骗共产党人，蒋介石还下令封闭了反共的西山会议派设在上海的国民党中央党部。
——4月12日凌晨，上海还在沉睡的时候，枪声划破了夜空。
荷枪实弹、全副武装的帮会流氓，身着蓝色短裤，臂缠“工”字符号，冒充工人，自法租界地出发，向闸北、南市、沪西、虹口等区开进，向那里的工人武装纠察队开枪袭击。工人纠察队猝不及防，仓促应战。事先已在周围埋伏好了的蒋介石反动军队，乘机冲出，以调解“工人内讧”为名，缴获了双方的枪支。上海2700名工人武装纠察队就这样被缴了武装。
当天下午，蒋介石的反动军占领了上海总工会，并把上海帮会流氓组成的“上海工界联合会”改名为“上海工人组织统一委员会”，盘踞总工会会所，并配合反动军队破坏总工会下属的各分会，逮捕共产党员和工人领袖。
与此同时，帝国主义列强也在租界和华界内，疯狂搜捕共产党人和革命群众千余人，送交蒋介石。
面对敌人的疯狂逮杀，上海总工会发出全市总罢工的命令，中午，数万名工人在闸北青云召开大会，控诉蒋介石反革命军队的罪行。会后，工人群众冲向总工会，并夺回了上海总工会会址。南市区的广大群众也举行市民大会，并列队前往龙华北伐军总司令部请愿。当这数十万人的请愿队伍行至宝山路三德里附近时，已接到蒋介石屠杀命令的反动军队立即向手无寸铁的工人群众开枪扫射，当场死伤无数。时值天降大雨，宝山路顿时血流成河……
自4月12日至15日，在这次反革命政变中，上海工人300多人被杀，500多人被捕，5000多人失踪。一批优秀的工人领袖、共产党员惨遭杀害，如赵世炎、陈延年、汪寿华等。
在蒋介石发动四一二反革命政变的同时，广州的反革命军队也在4月15日向共产党人和革命群众举起了屠刀。除此之外，蒋介石还在南京、无锡、杭州、宁波、福州、厦门、汕头等地屠杀共产党人和革命群众。
4月15日，蒋介石把几名中央执、监委召集在一起开会，并非法作出了只有中央全会才能作出的决议：一、以南京为国都；二、取消武汉不合法之中央党部；三、取消武汉国民政府等八项决议。4月17日，蒋介石在南京成立国民党中央。次日上午，蒋介石又在旧江苏省议会举行典礼，成立南京国民政府，胡汉民任主席。
蒋介石发动的四一二反革命政变，激起了革命人民的无比愤慨，武汉政府和共产党人对蒋介石的大屠杀表示强烈的抗议。4月18日，武汉国民党中央和国民政府发表声明，表示继续拥护孙中山的三大政策，推进国民革命，怒斥蒋介石等人的反革命罪行，并发布了“免蒋介石本兼各职令”，委任冯玉祥接替蒋介石总司令职务，并任命唐生智为副总司令。命令指出：“蒋中正屠杀民众，摧残党部，甘心反动，罪恶昭彰。已经中央执行委员会议决，开除党籍，免去本兼各职。着全体将士及革命民众拿解中央，按反革命罪条例惩治。”命令宣布，蒋介石所统辖的第一集团军之第一、第二、第三、第四各方面军及总预备队，统归军事委员会指挥。武汉国民党中央同时宣布开除陈果夫、张静江等人的党籍。
南京政府成立，为使他的政府能披上合法的外衣，蒋介石也需要有人为他摇旗呐喊，这时他想起了陈果夫。在南昌的时候，陈果夫就向蒋介石建议召开中央监察委员会全体会议，建议以国民党党纪制裁共产党。在陈果夫看来，“中央执行委员中多数同情共党，而监察委员则多数为本党忠实同志”。于是，在北伐军进入上海的第二天，陈果夫就被蒋介石派去上海，在上海之外的国民党中央监察委员会委员也接到了蒋介石发来的赴沪开会的电报。
如今事变结束，他更需要陈果夫的出谋划策。
不久，陈果夫、吴稚晖炮制出来的一篇呈文使蒋介石如获至宝，遂名正言顺地对外宣布：中国国民党中央委员会，举发共产党连同党内跨党之共产党员等有谋叛之证据……本总司令职司讨伐，以维护地方秩序为要，如有借端扰动，有碍治安者，定当法治。
蒋介石对陈果夫说：“我们都被武汉政府开除了，如今我们是一条绳上的蚂蚱了。”陈果夫笑笑说：“三叔往哪儿指，我就往哪儿打！”