蒋介石一贯善于“以退为进”的策略。蒋、桂、冯、阎四派打下北京、天津后，即于六月九日宣布辞去国民革命军总司令及军事委员会主席的职务。他的辞职通电称：“作战目的完成之时，即总司令职权当然解除之日。中正本年二月（按：实是一月九日）复职之电亦经剀切陈明，一俟北伐完成，即当正式辞职，以谢去年弃职引过之罪。息壤在彼，尤蒙殷鉴。”蒋介石想师当年赵匡胤杯酒息兵权的故智，要冯、阎、李学他模样，一律功成身退。故不惜登高一呼，自为首倡。
蒋氏的辞职自然引起一片挽留之声：首先是阎锡山、白崇禧从北京发出挽留的通电；其次是李宗仁从武汉吁请蒋介石留职；再次是何应钦从南京向广州发电报，请李济深出面挽留蒋介石，李济深立刻响应。在一片挽留声中，蒋介石卒于六月十七日声言打消辞意，表示仍将对军事负责到底。
蒋介石次一步骤，就是玩祭灵的把戏，其目的是要在孙中山灵前举行裁兵会议。杨永泰（1880—1936，国民党高级官员，蒋介石首席智囊，政学系巨擘。1912年任中华民国临时众议院议员并加入国民党。1931年任军委会秘书长。1936年10月25日在汉口码头被CC派暗杀。蒋介石称其为“当代卧龙”。）之能够认识蒋介石，是蒋氏的把兄弟黄郛介绍的。杨永泰在蒋介石前阿谀逢迎，唯恐不至，而推测蒋氏的意图，深透入微。杨永泰引用唐顺宗时王叔文、柳宗元主张“削藩”的典故，对蒋介石提出了一项重要建议——《削藩策》，其要点是“军事上化整为零”、“财经上则化零为整”。蒋介石看后十分欣赏，部队“化整为零”，这多么好啊！以后蒋氏主张裁撤总司令、总指挥，部队以师为单位，就是以杨永泰“化整为零”的观点为依据的。
计划既定，蒋介石就授意国民党中央常会于六月十四日作出决议，派蒋介石赴北京祭告并视察一切。六月十九日，蒋氏又示意国民政府决议，加推冯玉祥、阎锡山会同蒋介石前往北京孙中山灵前省视。四个集团军总司令，而今唯李宗仁不与焉，蒋氏鄙薄李宗仁的心情，冯玉祥看得一清二楚了。因此，冯玉祥决定开蒋介石一次玩笑，于是在六月二十五日打电报给李宗仁，邀其一同前往北京参加祭灵仪式。这一来就使蒋介石变得十分被动了。
蒋介石怎么办呢？他为了表示对李宗仁更加亲热，特于六月二十六日带着吴稚晖、陈布雷、邵力子、陈立夫、程天放（1899—1967，五四运动知名领导人，后担任国民政府的官员。1949年任国民党中央宣传部长，曾经担任联合国教科文组织代表。1950年，前往台湾。1950—1954年为国民党逃台后首任“教育部部长”。）、周佛海（1897—1948，中国共产党早期领导人，为建党的一大代表之一，后成为国民党政府要员，再后沦为汪精卫成立的南京国民政府的领导人之一，成为汉奸。1948年2月28日因心脏病死于南京老虎桥狱中。）、吴思豫（1884—1958，早年加入同盟会员，1928年任南京国民革命军总司令部办公厅中将主任、国民党参军处参军兼总务局局长，并暂代参军长。1937年7月卢沟桥事变后，任军委会铨叙厅中将厅长。1947年末，目睹蒋介石一意孤行发动内战，遂产生脱离蒋氏政权的决心。1952年7月在天津定居，后加入民革。）等人，从南京乘军舰逆流而上，邀李宗仁同赴北京。与此同时，政学系要员张群、杨永泰则乘火车沿津浦线北上前往部署一切。七月一日，蒋介石、李宗仁抵郑州，冯玉祥自新乡来晤，蒋氏邀他一同北上，冯玉祥却推托有事，稍迟前往。七月三日，蒋介石、李宗仁到达北京。蒋介石偕宋美龄住香山碧云寺，李宗仁则住在集灵囿。七月六日，冯玉祥也到了北京。
七月六日，各集团军总司令、总指挥在香山碧云寺孙中山先生灵前举行祭告大典，由蒋介石主祭，冯玉祥、阎锡山、李宗仁与祭，白崇禧、吴稚晖等陪祭。天津《大公报》故意突出白崇禧，在是日该报发表的社评《今日碧云寺的祭告大典》中，以崇敬孙中山的辞藻来颂扬“蒋、冯、阎、李、白诸公”。白崇禧看了，心中更为得意。回顾三年前广西统一时，白崇禧不过是李宗仁的参谋长，随而升任蒋介石的参谋长，而今在新闻界心目中，他已能与冯玉祥、阎锡山平起平坐了。蹿起之速，世所罕见者。
七月六日下午，北平临时政治分会宣告成立（是时北京已改称北平）。该会成员是六月二十五日由中央政治会议临时会议决定的，以李石曾、冯玉祥、阎锡山、张继、鹿钟麟（1884—1966，1922年任冯部第八混成旅旅长，后升任师长兼北京卫戍总司令。1924年参加北京政变，指挥驱逐清废帝出宫。1926年五原誓师时任国民军联军总司令部参谋长。之后奉命赴苏考察。抗日战争期间，曾任国民党政府兵役部部长、河北省政府主席等职务。）、赵戴文（1866—1943，同盟会员，国民党员，坚定的爱国者。阎锡山的军师、宰相。官至山西省政府主席，国民政府内政部长、监察院长。民国以后的山西军政两届出身的人物无不是他的学生。赵戴文一生著述颇丰。）、蒋作宾（1884—1941，著名国民革命军陆军上将。蒋作宾满怀忧虑，两袖清风，是公认的“清官”。他无一不良嗜好，不抽烟，不喝酒（宴会时喝少量啤酒），不打牌，不进戏院看戏（政府及集团活动除外），只喜欢散步，故曾有“散步大使”的绰号。1941年病逝于重庆，1943年追赠为一级陆军上将军衔，国民政府明令褒扬。1983年重庆市人民政府曾修葺其墓。）、白崇禧、马福祥（1876—1936，回族。1928年春，国民党二中全会上被选为中央执行候补委员和国民政府委员，后历任国民政府青岛市市长，安徽省主席，蒙藏委员会委员长等职。）为委员。今日委员阎锡山、白崇禧、马福祥、鹿钟麟、蒋作宾宣誓就职，冯玉祥辞之不就，表明蒋、冯之间的关系很不愉快。
七月六日晚，蒋介石在碧云寺旁李石曾宅开座谈会，冯玉祥、阎锡山、李宗仁、白崇禧、吴稚晖等参加。会上各人面前发了蒋介石七月五日给各总司令、总指挥发的通电，电文有云：“今日非裁兵无以救国，非厉行军政、财政之统一无以裁兵。我同志必当以真正之觉悟与全国人民切实合作，以完成此重大的职责。中正尤当竭其绵薄，与我同志共勉之。”
此外，会上还散发了蒋介石提出的《军事善后案》，它主要是说，军政告终，训政开始，养兵太多，开支太大，有碍经济建设。现在全国有三百个师，准备裁汰二百五十个师，留下五十个师，每师一万五千人，全国共留八十万人。保留的五十个，准备每集团军留八师至十师，中央另建宪兵十师。总而言之，这是强干弱枝的裁兵方案。按照这一方案，蒋介石至少可以控制二十个师。他的动机如何，已经明若观火。
白崇禧看了《军事善后案》，觉得蒋介石急于求成，必致严重后果。他自恃做过蒋介石的参谋长，应本知无不言，言无不尽之义，勇于发表所见，以备参考。于是白崇禧即席发言说：“第一，我不反对裁兵。但自古以来，‘裁兵不难裁将难’，如果处置不当，纠纷立起。历史教训，值得重视。第二，我们国家幅员辽阔，边疆资源尚待开发。当前与其倡议裁兵，何如实施总理之兵工政策，使之实边。第三，如果在我国边疆成立若干军区，让各部队去从事开发工作，不但可减轻国家财政的负担，且可安置北伐有功的将领，使他们负起国家建设的重任。”最后，白崇禧说，他是一个回族后裔，对西北地区有地利人和的方便条件。如果中央有实边这样一个宏伟计划，他自愿带广西子弟三五万人前往新疆，为开发边区作出贡献。白崇禧的话，蒋介石根本听不进去，因而未能起任何作用。
到七月十一日，又开始两天的汤山会议。七月十三日，李济深、戴季陶到达北平，蒋介石更进一步地提出了他精心炮制的《军事整理案》，该案归纳起来有下面基本内容：一、取消各集团军总司令部，成立全军编遣委员会，作为最高机关；二、选各集团军精锐编成五十至六十师；三、全国军队统一编制，打破原建制，轮换训练。蒋介石说，本案吸收了在座各位的一些意见，实际上是指混编、轮训的办法，是冯玉祥提出来的。而冯氏所提保留总司令、总指挥的名义以资安置有功的将领，因为不合蒋介石的胃口，蒋氏就不予理睬了。
后来蒋介石推说先返南京筹备召集五中全会，就留李济深代行总司令职权，继续与各总司令就裁兵问题继续进行磋商。七月二十八日，李济深离北平南下到南京参加五中全会。白崇禧还写一封信托李济深交给蒋介石，重申裁兵不如实边更能适合国家实际情况的意见。他在函中建议划分全国为中央、东北、华北、西北、西南、华中六大军区，各军区之编制、人事任免、政治训练及军事教育方针，一概受命于中央，如此先建立各军区间之互信，然后树立共信，则军队一定可以国家化，盖可断言。此函去后，如石沉大海。李济深是否转给蒋介石，迄未可知，因白崇禧自“武汉事变”后，即匆匆离平南下，以后见过李济深，因时过境迁，也没有提起此事。
八月三十日，蒋介石从南京电白崇禧，要他出兵冀东，彻底解决踞滦河的张宗昌直鲁军残部。此时沈阳与南京之间，正信使往还，洽商东北易帜问题。而张宗昌发出通电，声言引兵出关，阻止统一大业。白崇禧以解决张宗昌部，亟须与东北军通力合作，特先后派何千里、叶琪赴沈晤张学良，商合力解决张宗昌残部问题，结果得到张学良的首肯，派兵入关协助，九月下旬滦河一战，直鲁残部全被解决，张宗昌仓皇出走，仅以身免。后白崇禧电告李宗仁，请建议中央确定一九二八年九月二十三日为北伐完成纪念日。但此议卒为蒋介石所否决。
蒋介石在八月八日至十五日召开的五中全会中，悍然通过了取消各集团军的决议，并极力坚持取消政治分会。冯玉祥、李济深据理力争，以为四中全会曾经做出决定，地方政治分会应保存到第三次全国代表大会召开之时。现在取消，正违反了四中全会决议。蒋介石自知理屈，只好同意保留到“三全大会”召开之时，但是他提出：政治分会权力要加以限制，规定政治分会无权任免境内地方官员。这是蒋介石积极推行其“削藩策”的体现。
白崇禧此时唯望蒋介石能接纳他的忠言，把裁兵改为实边政策。他认为边疆实大有可为，当他在保定军校三期学习时，侧重阅读边疆问题的书刊，与同学交换意见，亦以边疆问题为中心问题。人以“边疆问题专家”呼之，不以为谑。白崇禧常说，一九二八年打下北京、天津以后，为国民党盛衰存亡的关键时刻，如果蒋介石听他的话，此时不谈裁兵问题，而且注重开发建设边疆，则一九二九年以后的连年内战无从发生，既没有一九三〇年的中原大战，而“九一八”事变亦可以幸免，是知内忧外患，相继而来，完全是裁兵有以致之，语云：“祸福无门，唯人自招。”看到蒋介石自招其祸，足资借鉴。