五月三日上午，李宗仁偕同白崇禧、李品仙、李任仁、黄旭初同广州来客居正、阎锡山、李文范进行会谈，将预拟的备忘录内容提出征求意见，后者对此，一致表示同意，但主张不要用“备忘录”这个名称，请改为“李代总统同居正、阎锡山、李文范三委员谈话记录”。李宗仁答应照改。当日下午，将此谈话记录分抄三份，一份交李文范转国民党中央常会；一份交居正、阎锡山转何应钦；一份请居、阎转张发奎。居、阎、李问李宗仁赴粤日期，李说俟得到蒋答复后再做决定。下午四时，居正、阎锡山、李文范三人飞返广州。
五月四日上午，张发奎打电话到桂林给白崇禧说：“谈话记录已由何应钦备函交给中央秘书处派专人飞往上海交蒋介石。”白崇禧此行已有初步结果，当天下午二时由桂林飞返汉口。
蒋介石在“杭州会谈”后的次日回溪口。二十四日南京解放，二十五日，他从溪口乘车到方门附近海边，再步行至象山口岸乘“太康”舰去上海。二十六日下午一时，到达黄浦江上的复兴岛。二十七日，蒋介石以国民党总裁名义发表文告称：“当此国家民族存亡生死之交，中正愿以在野之身，追随我爱国军民同胞之后，拥护李代总统暨何院长领导作战，奋斗到底。”并即日迁居上海市区金神父路的励志社，在那里先后接见徐永昌、顾祝同、周至柔、桂永清、郭忏（1893—1950，1936年，任陆军第四十六军少将副军长。抗日战争胜利后，任武汉警备总司令、武汉行营副主任兼参谋长、国防部参谋次长。1950年去台湾。）、汤恩伯、毛人凤、陈大庆（1905—1973，黄埔军校一期学员。曾参加东征、北伐等战役，并参加对江西中央红军的五次“围剿”。 从1944年起一直担任中国国民党中央委员、中央常务委员。1949年到台湾后，任“国家安全局”局长。并被授予陆军一级上将军衔。）、石觉（1908—1986，陆军上将。黄埔军校第三期。1933年参加对中央苏区的第五次“围剿”。抗日战争爆发后，任第4师第10旅少将旅长，率部开赴华北对日作战。1950年5月，率部12万余人撤退台湾。）、谷正纲、陈良（1896—1971，国民党党员。黄埔军校经理处上校处长。后任交通部中将部长。）等人，以及地方士绅和黄埔学生。他说：“要死守上海”，“成败在此一举”。其实他的所谓“死守上海”，不过是使汤获有充分时间，把存沪黄金白银运到台湾。汤恩伯为了执行这一命令，就顾不得浙赣大门了。
五月四日，蒋介石看到李宗仁那一份从广州转送来沪的“谈话记录”，十分恼火，下面是蒋经国对于此事的描述：
当此风雨飘摇，人心浮动，而忠贞之士正力挽危局之时，李宗仁突由桂林致函父亲，谈人事、军权、财政等“条件”。他要索取已经运到台湾的库存黄金，并且要父亲不要再过问国事，建议最好“早日出国”。父亲内心痛楚之余，因李代总统之误会与猜疑，如此其深，乃函复何院长，请转达李代总统及中央诸同志。函中首请李代总统立即莅临广州，领导政府，次说明其本人无复职之意。最后对于李氏六项要求之前五项，作如下之答复：
一、总统职权既由李氏行使，则关于军政人事，代总统依据宪法有自由调整之权，任何人不能违反。
二、前在职时，为使国家财富免于共党之劫持，曾下令将国库所存金银转移安全地点；引退之后，未尝再行与闻。一切出纳收支皆依常规进行，财政部及中央银行部册具在，尽可稽考。任何人亦不能无理干涉，妄支分文。
三、美援军械之存储及分配，为国防部之职责。引退之后，无权过问，部册罗列，亦可查核。至于枪械由台运回，此乃政府之权限，应由政府自行处理。
四、国家军队由国防部指挥调遣，凡违反命令者应受国法之惩处，皆为当然之事。
五、非常委员会之设立，为四月二十二日杭州会谈所决定。当时李代总统曾经参与，且共同商讨其大纲，迄未表示反对之意。今李既欲打消原议，彼自可请中常会复议。唯民主政治为政党政治，党员对党负有遵守决议之责任；党对党员之政治主张有约束之权利，此乃政党政治之常轨，与训政时期以党御政者，自不可混为一谈。
最后，父亲对李代总统请其出国一事，答复如下：
若谓中不复职即应出国，殊有重加商榷之必要。中许身革命四十余年，只要中国尚有一片自由之领土，不信中竟无立足之地。
在溪口时，曾对礼卿兄言：“前次他们要我下野，我自可下野，现在若复迫我出国亡命，我不能忍受此悲惨之境遇。”今日所怀，仍复如此。
且在过去，彼等主和，乃指我妨碍和平，要求下野。今日和谈失败，又贾我以牵制政府之罪，强我出国，并赋我以对外求援之责。如果将来外援不至，中又将负妨害外交，牵制政府之咎。国内既不许立足，国外亦无法容身。中为一自由国民，不意国尚未亡，而置身无所，至于此极！
中自引退以来，政治责任已告解除，而对革命责任仍自觉其无可逃避；故德邻兄凡有垂询，无不竭诚以答。但决不敢有任何逾越分际干涉政治之行动。
今日国难益急，而德邻兄对中隔膜至此，诚非始料之所及。而过去之协助政府者，已被认为牵制政府，故中唯有遁世远引，对于政治一切不复闻问。