白崇禧解南宁之围后，即派他旧日的参谋长张定璠去上海观察南京政府动态。张定璠在北伐时做过总司令部参谋处长，并且曾任上海市长。他与宁府军政界人缘很好，而观察力又极为锐敏，所以他在上海，成为白崇禧的耳目。
据张定璠给白崇禧先后发出的情况分析，冯玉祥、阎锡山于中原大战失败以后，蒋介石和胡汉民的矛盾就突出地表现出来了：蒋介石拉胡汉民原来全为倒桂，桂系一倒，胡氏就失却利用价值。此外，胡汉民对蒋介石的一些人事安排和作风也有抵触情绪。主要的如：
一九三〇年秋，张学良帮蒋介石率兵入关，使冯、阎前后受敌，不战而败，扩大会议散伙。十一月中，张学良到南京见蒋介石。蒋氏封张学良为陆海空军副总司令，并任东北一些大员当国民政府委员，事前征求胡汉民的意见，因为那是蒋、胡合作时代。
戴季陶、吴稚晖对胡汉民说：“介石示意，现在要与汉卿合作，非这样办不可。”
胡汉民说：“政府不应该用这种拉拢的卑鄙手段，自己做郑庄公，把别人当公叔段。过去把这种手段用于冯、阎，我已经反对，现在又用来对汉卿，我也当然反对。主要是国家名器不能这么滥给人。”
过了几天，王龙惠去看胡汉民，王氏说：“为了胡先生反对把几个委员和部长给汉卿，介石发愤要辞职了。这是石曾、稚晖说的，他们要我转告你。”
胡汉民说：“我们爱惜国家名器，行政治军用不得这种卑劣手段。”谈话卒无结果，蒋、胡矛盾就是从此发展起来的。
张定璠告诉白崇禧，好戏还在后头，要他静候其发展。因为胡汉民的基础在广东，蒋、胡关系恶化，广东一定会出现一个新的局面。
后来，蒋介石在一九三〇年十一月召开的国民党三届四中全会中通过一项决议：定民国二十年（一九三一年）五月五日召开国民会议。胡汉民知道蒋介石欲利用国民会议来制订约法，又借约法来做总统。胡汉民在一九二七年“四一二”清党以后，原任国民政府主席兼军事委员会主席，以为总统非他莫属，这样胡氏因反对蒋介石做总统从而反对约法。
蒋介石为了说服胡汉民，一九三一年二月二十四日在他的官邸召开一次会议，仅蒋与胡汉民、戴季陶、吴稚晖、张群参加。会上，胡氏以为当时军权高于一切，法律不能发挥其效用，不主张马上有约法或宪法，并在发言中暗指蒋介石是“目无法纪的军阀”。是可忍，孰不可忍。四天以后，即二月二十八日，蒋介石就以请客为名，邀胡汉民到他的总司令部晚餐，待胡氏到达后即予扣留，解往汤山监禁。
胡汉民一被监禁，宁粤之间就掀起一场政治大风暴。李宗仁、白崇禧局促南宁，一筹莫展的困境又出现了新的转机。
胡汉民的军师古应芬，看到蒋、胡分歧日深，迟早要出事。二月，他乞假去沪，就在那里待下来。及听到胡汉民被扣，他即派亲信邓召荫在安乐酒店设立机关，策动粤籍南下广州反蒋，随乘外轮离沪赴港转粤，与陈济棠研讨反蒋大计。
古勷勤（古应芬）原与陈伯南是拜把兄弟，一向私交甚笃，在政治上，陈伯南唯古应芬马首是瞻，言听计从。蒋介石联胡倒桂，也是看在古、陈两人的关系上，明眼人都看得一清两楚。蒋介石没有及时地把古应芬抓起来，是他最大的失策。
古应芬说服陈济棠反蒋，毫不费力，问题在如何把广东省政府主席陈铭枢争取过来，陈真如（陈铭枢）对蒋介石尽忠，毋庸怀疑，故劝他反蒋，实非易事。后来，古应芬去找陈真如的老友黄居素问计。黄氏也主张慎重，不如先造就既成事实，然后再逼他加盟。后来事机不密，却让陈铭枢跑掉了。
古应芬、陈济棠决定把争取陈铭枢的问题暂时搁下，首先派人去广西联系。四月二十二日，广东派马晓军、吴锡祺来到南宁，要求释嫌修好，共同反蒋。广东派这两个人做代表是经过缜密考虑的，马晓军是白崇禧在模范营时代的长官，而吴锡祺则是第四军的老干部。旧友重逢，一谈就拢。
四月二十五日，广西派总政训处长王公度、第四军第十二师师长吴奇伟为代表到广州报聘，表示愿意合作反蒋，提出必须制造舆论，以期扩大政治声势。对此，古应芬、陈济棠均表赞同。
四月三十日，广州发出国民党中央监委邓泽如、林森、萧佛成（1862—1940，国民党政要。生于旅居暹罗（今泰国）的华侨家庭。1908年建立同盟会暹罗分会，当选为会长。抗日战争爆发后，返回暹罗侨居。）、古应芬四人弹劾蒋介石的通电。电文指出：“泽如等回溯蒋氏平日之行事，乃至最近之措施，无一不以个人地位为前提，而置党国大计于不顾。其广植党徒，利用小丑，则预为一己选举地也；其把持财权，任意挥霍，则以巩固一己的武力也；其倾害同侪，排斥先进，则使一己之势力更张也。总之，观蒋氏之罪，至今已暴露无余，同志等夙昔之休容，冀其翻然悔悟，戮力国事者，至今亦成绝望。循此以往，则总理艰难缔造之事业，人民为革命无数之牺牲，以及我武装同志积年之奋斗，其结果只造成蒋氏个人之地位，而以阴贼险伪之人，然民上，中国数千年固有之道德，总理所方图恢复者，已供其断丧无余，腾笑万邦，见讥后世，天下痛心之事，孰有甚于此者！观察今日中央已为蒋氏所支配，忠实同志，已被其武力劫持，政府被其一系所割据，政治日益窳败，为人民所厌恶。泽如等诚不忍党国与之偕亡，职责所在，更难缄默，古人有言，心所谓危，不敢不告，用亟列其罪端，提出弹劾，以俟公决。唯爱护党国同志，急起图之。”
这是广东反蒋的第一声。第八路总指挥陈济棠和广东陆海空军将领从五月三日陆续通电响应，反对蒋介石。
陈济棠为了表示联合广西反蒋的诚意，将驻在贵县、桂平、梧州一带的粤军撤回广东。李宗仁、白崇禧派黄鹤龄的第四十三师前往接防。
蒋介石主持的国民会议仍依期于五月五日召集。蒋氏还以国民会议的名义指桑骂槐地把陈济棠、香翰屏、余汉谋、李扬敬讥评一通，如国民会议删电云：“自来军阀倡乱，动托兵谏之名，卒之不接踵而亡。自李（宗仁）白（崇禧）张（发奎）以迄阎（锡山）冯（玉祥），往事不远，可为洞鉴。幸懔悬崖之危，勿贻噬脐之悔，何去何择，唯执事自首。”陈济棠当然不予理睬。
不久，陈济棠派李济深的亲信、原广东财政厅长冯祝万来南宁晤李、白，商广州组府的人事布置问题。李宗仁、白崇禧、张发奎协商结果，以汪精卫自北平扩大会议失败以后，在香港息影多时，这一次应请他出来参加领导，以广号召。当决定推白崇禧、张发奎赴粤提出此项意见。
白崇禧、张发奎五月二十日到广州，与古应芬、陈济棠商争取汪精卫合作问题。古、陈同意争取汪精卫，唯不吸收汪派，盖一九二七年十一月十七日粤变所造成的惨祸，粤人记忆犹新也。
白崇禧和张发奎五月二十二日到香港访汪精卫，请其赴穗参加组府反蒋。回顾一九二九年冬护党救国军的组成，完全得自汪精卫的倡导，有了这一段历史渊源，所以旧调重弹毫不费力。汪精卫对白崇禧说，孙科派梁寒操来晤，说他不日可到，我们等他来一同发动。
胡汉民被蒋介石扣留后，血压一会儿高到一百九十度，后经孙科向蒋介石说情，才准胡于三月八日从汤山搬回南京双龙巷私宅休养，唯仍等于软禁。后孙科去上海，特电蒋介石云：“粤籍中委纷纷离京南下，诚为胡展公抱不平而起，科意今日第一要务为完全恢复展公自由，则此后各事自易解决。”蒋氏不复，唯派吴稚晖、蔡元培到沪晤孙科，请其赴粤调停，劝勿扩大事态。孙佯允之。
五月二十四日，孙科偕陈友仁、许崇智自上海抵港，一到即去汪精卫寓所访汪。时适白崇禧、张发奎正在汪宅，遂相与会商在广州组府的程序问题，他们的思想早有准备，所以一谈就拢。当天中午，汪精卫、孙科、白崇禧、陈友仁、许崇智、张发奎一行六人乘快车去广州，四时到达，即往陈济棠的总部开会，决定另组中央，与南京对抗。二十五日，由广州发出唐绍仪、汪精卫、孙科等人的通电，要求蒋介石在四十八小时内下野。二十七日，中国国民党中央执监委员非常会议在广州召集，决定成立国民政府，以唐绍仪、汪兆铭、萧佛成、林森、古应芬、孙科、李宗仁、蒋尊簋、陈济棠、邹鲁、许崇智、邓泽如、唐生智、李烈钧、陈友仁等十五人为国民政府委员。三十日，国民政府委员通电就职，揭示“以建设谋统一，以均权谋共治”两义宣告国人。白崇禧赴粤的任务至是完成。