抗战进入一九四四年，是国民党当局最不好过的一年。
这一年，日寇为了打通大陆交通线，于四月间开始对平汉线南段发动攻势，蒋介石的嫡系部队蒋鼎文、汤恩伯、胡宗南等主力四十万人，不战而溃，郑州、洛阳等三十八县市相继沦陷。这样，日军以打通平汉路南段为目标的中原会战，到一九四四年五月上旬已经基本结束。
五月二十七日，日寇又在湘北发动大规模的攻势。那时国民党正在重庆召开五届十二中全会。黄绍竑、黄旭初都来渝出席。一天，白崇禧约我和他们两人到嘉陵新村李子坝八号他的家里商讨时局。大家关心桑梓，缜密研议，认为敌人为了支援南太平洋军事行动，必然要打通粤汉路，桂林、柳州也可能成为他们的进攻目标，广西必须预谋应付。白崇禧劝黄旭初早日返桂。因此六月四日，黄旭初便由重庆飞返桂林。
六月七日，黄旭初电白崇禧云：
“桂林市面人心浮动。由于中原会战我军不战而溃，对于此次湘北会战也不敢过于乐观。省府召集有关机关会商两次，决定：如敌情紧急，省府必须迁移时，应以百色为宜。”
六月十五日，第四战区司令长官张发奎在柳州召集广西党政军负责人开会，决定桂林、柳州都应及早疏散。当时长官部所得的情报，敌在湘江右岸有六个半师团，湘江左岸也有两个师团。六月十六日，白崇禧打电话给黄旭初，主张桂林及早疏散。
六月十八日，长沙失守了。六月二十日，蒋介石召见白崇禧，要他飞返桂林，指挥第四、第九两个战区。白总结他当桂林行营主任时的历史经验，认识到第四战区张发奎可与他合作无间，但第九战区薛岳却非他所能调度，因表示辞谢，但愿负奔走传达最高统帅意旨的任务。
六月二十二日，白崇禧从重庆飞返桂林。二十三日，指定人员研究发动民众协助军事的办法。二十四日，白与张发奎召集广西党政军负责人讨论备战事宜。二十五日，第四战区司令长官派第十六集团军副总司令韦云淞为桂林防守司令。但当时广西部队只有两个军的兵力，即：贺维珍第三十一军，辖阚维雍第一三一师，颜僧武第一三五师，海兢强第一八八师；黎行恕第四十六军，辖罗活第十九师，许高阳第一七〇师，甘成城第一七五师。白、张决定，以第三十一军守桂林，第四十六军守柳州。这样分散兵力使用，所谓防守桂林，只能是象征性的了。因此六月二十六日敌军占领衡阳机场以后，桂林就开始疏散。
当时桂林疏散的方向，要么南下漓江，要么西向柳州。漓江民船很小，船只也不多；至于去柳州却有火车和公路可通，并且到柳州以后还可以转乘黔桂路火车前往贵阳、重庆或昆明。由于有这种方便，于是疏散的人群便像百川汇海一般涌向火车站。万头攒动，黑漆一团，争先恐后，蜂拥向前，秩序混乱极了。
白崇禧离渝飞桂以前，我曾向他建议，为使桂林疏散工作顺利进行，应在桂林成立一个水陆交通总指挥部，统一管理车船运输和安排机关、市民疏散事宜。但白不采纳。
广西情报是不灵通的，省政府的行动也是举棋不定的。七月三日，黄旭初已令省府委员孙仁林率领第一批省府工作人员从桂林乘火车撤退到宜山。七月七日，广西绥署忽得情报，说在湖南境内日军已开始后撤。因此，已经撤到宜山的省府人员，又在七月九日晚乘火车返桂林。
实际情况并不是这样。七月十四日，白崇禧由桂林去湖南前线晤第九战区司令长官薛岳，他的意图是要薛岳在将来衡阳万一失守时，第九战区的主力部队应部署在湘桂铁路两侧，以利于随时侧击敌军，切断敌人的交通，使其不敢深入我西南后方。但薛岳坚持把他的部队撤往湘东一带，即粤汉铁路以东地区，以利于就地给养。七月十七日，白崇禧以劝薛任务失败，怀着抑郁的心情回到桂林。他还告诉广西军政人员一个不好的消息：敌军仅调走了第三十四师团，其余的都在湖南境内，且正以重炮、野炮猛攻衡阳，于是桂林又紧张起来了。
在此时期，蒋介石在重庆也很不好过。八月十二日，我忽然接到国府总务局交际科通知，要我于当天下午三时到“林园”官邸一叙。我以为又要举行官邸党政会报，商量什么军团大事。等我到达以后，发现到来的党政军大员很多，是一个前所罕见的盛会。移时那个身材高大的总务局长陈希曾邀我们入座。在“T”字形长方桌上，设有茶点招待。我们方坐定，蒋介石夫妇入来了。蒋介石点头对我们招呼，嗫嚅着说：“好！好！”宋美龄板着面孔，好似刚才同人吵过架似的。下面是蒋在茶会中的发言（大意）：
各位同志：
最近社会上流传着一种谣言，说我瞒着蒋夫人，同一位所谓陈女士在这里秘密同居。
实际上并没有这一桩事，那完全是国内敌人对我个人的造谣污蔑，目的在破坏我们国民党的威信，使抗战受到不利的影响。如果我们听信这种谣言，那就为亲者所痛，仇者所快！
须知我与蒋夫人是神圣的结合，革命的伴侣，十七年来，我们为着革命大业，为着北伐与抗战，并肩战斗，艰苦备尝，屡经险阻，矢志不移。我们的亲密合作是经得起严峻考验的，久而弥笃，天日可表。
当前局面非常严重，今年是抗战最险恶的一年，我与蒋夫人临危不惧，必将淬砺奋起，更紧密地团结在一起，努力奋斗，争取最后的胜利。
我听了这一席话，深觉莫名其妙！即使蒋同陈女士有这种暧昧关系，用得着在这种场合公开坦白吗？看来举行此次集会，是出于宋美龄的要求，因为第二天她就赴美求援去了。