一九四二年二月十九日，我在李宗仁召集的广西党政军高级干部会议上，针对桂南会战中广西政局表现得非常不好的情况，狠狠地批评广西地方当局一顿。黄旭初虽然容忍下来，但他对我不高兴。刚巧在这个时候，黄同仇从重庆返抵桂林，他将辞去广西省政府驻渝代表，前往安徽工作，他离渝前见到新任军委会政治部长兼三民主义青年团书记长张治中，张托他向我致意，希望我去重庆一谈。因此，我于二月二十五日从桂林飞渝，不料自此一去，就在雾都待下来了。
我到重庆以后，住在枣子岚包华国的家里，还没有去看张治中，不料先见到蒋介石。
一天，我要到上清寺去看第五战区驻渝办事处处长杨忆祖，刚从国府路转入上清寺，就看到侍从室秘书萧自诚从中四路漫步走来。他问我：“几时到的？”我答大前天。他又问：“要不要去见委员长？”我说：“还没有这个打算。”他说：“还是去看他吧，我给你安排时间。”
这样，一九四二年三月一日下午三时，我便按照侍从室交际科通知，去上清寺中四路一〇四号官邸见蒋介石。蒋走进客厅时后面跟着李惟果和萧自诚。蒋看到我似乎显得很高兴，他一见面就开门见山地说：“你来得正好，现在我们编组远征军进入缅甸，协助英军作战，已由罗卓英担任远征军司令长官。我要派你当远征军政治部主任。”
我不经考虑就答复说：“我不认识罗卓英，这个工作我恐怕难以胜任。”
“这个，这个，你干得了，我要张部长给你安排一切。”他不让我有考虑余地，于是我只好走出来。
过了两天，张治中要我去看他，他给我看蒋给他的一张“手令”（实际上是红铅笔写的一张条子，由侍从室编号转给他）：
“派程思远为远征军政治部主任中正。”
张治中接着对我说：“罗卓英对你挡驾，远征军去不成了。我在电话中答复了委员长，后来他又给我一张手令。”同时递给我另一张条子：
“改派程思远为中央团部常务干事，并约其参加官邸党政会报中正。”
张治中又说：“照我看来，常务干事对你不恰当，你还年轻嘛，应当干一些实际工作。现在我以书记长兼着督导室主任，我要向团长报告，让这个督导室主任给你来当。你照样参加官邸党政会报。室主任较处长地位高一些，刘建群那样老资格，还不过是编审室主任。如果你同意，我就这样签上去了。”
我说：“文白先生，我从来不挑选工作的。”事情就这样决定下来了。
自此以后，我就开始参加蒋介石的官邸党政会报。这个所谓党政会报，参加的有：张群、陈立夫、朱家骅、张治中、王世杰、吴铁城、蒋廷黻（1895—1965，湖南邵阳人。1923年获哥伦比亚大学哲学博士学位。1929年，任清华大学历史系主任。1935年后，一度出任驻苏大使。1945年，任中国善后救济总署署长。1947年后，任国民党政府驻联合国代表、驻美大使。1965年10月在纽约病逝。）、陈布雷、张厉生、何浩若、黄少谷、倪文亚、袁守谦、郑彦芬等等。举行时由蒋亲自主持，通常总是一两周召集一次，有时蒋令各部门简略报告工作，有时只是问：“各方面有什么特别情况？”有一次，戴笠（1896—1946，浙江江山人，字雨农。黄埔军校毕业。军统一号特务头子。曾任蒋介石侍从副官，后任复兴社所属特务处处长、军事委员会调查统计局副局长、中美特种技术合作所主任。1946年8月，从北平飞往南京途中，因飞机失事毙命。）来了，我看到他剑眉突眼，脸色黝黑，一副杀人王的面相，但只有这一次，以后他就不再来了。
四月初一次党政会报上，国民党中宣部长王世杰说：太平洋战争爆发以后，从香港回到桂林的文化界人士很多。军委会桂林办公厅主任李济深同广西省政府主席黄旭初建议，对于这些自海外归来的文化人，应设法收容在一个组织中，使他们就当前国际形势和经济问题随时研讨，提出献议。他们既有机会发挥所见，自可与政府和衷共济，彼此相安。中央常会对此也没有作出任何决定，请总裁指示。蒋沉吟一下，然后断然说：“这些人如果在桂林随便说话，可使他们到重庆来。”但没有人吭声，蒋就宣布散会。
过了两天，蒋介石忽然召见我。我到后同李惟果谈了一会儿，蒋就同陈布雷走进来，蒋说：
“我要你去桂林一趟，代表中央邀请桂林文化界人士到重庆来。”
“可是我同桂林文化界人士并没有什么来往，他们都是由李重毅先生招呼的。”我说时面有难色。
“你的任务很简单，只要把我的这封信交给李重毅先生就行了。”蒋说时从陈布雷手里拿一封信交给我。看来他早有了准备。
这封信是陈布雷的笔迹，但后面有蒋的签名。内容只是说：“中央对在桂林文化界人士，深表关怀，深盼他们来渝安居，到时自予以适当照顾。希代致拳拳之意。”云云。
我到桂林以后，把蒋函交给了李任仁先生。此行没有任何结果。
五月十一日，CC分子许伯闵又以延揽桂林文化界人士为名到了桂林。五月二十五日下午三时，由李济深、黄旭初出面邀请桂林文化界人士六十余人到乐群社举行集会，席上李、黄介绍刘伯闵与文化界人士见面。刘即席发言，代表国民党中央宣达慰问之意，并希望他们到重庆去工作。可是也没有引起热烈的响应。
八月初，国民党中央组织部长朱家骅由湖南经桂林返渝，在党政会报中对蒋介石说：七月二十九日，得到黄旭初的安排，他在广西建设研究会与桂林文化界人士五十多人举行茶会，彼此开诚相见，谈得很好，就他个人理解，桂林文化界人士的言论行动并没有什么不妥之处。自此之后，据我所知，就再没有人在公开场合提起这个问题了。