何应钦于三月二十三日就职后，二十四日，召集行政院政务会议，重新指定张治中、邵力子、黄绍竑、章士钊、李蒸（1895—1975，是中国近代教育史上有影响的教育家之一。早年留美获哥伦比亚大学哲学博士学位。自30年代起先后出任北平师范大学校长和西北师范学院院长十余年。1949年后为全国政协委员会文教组副组长、国民党革命委员会中央委员、团结委员等职。）等为和谈代表（后又加入刘斐），并推张治中为首席代表，成立代表团。
三月二十五日，中共中央和人民解放军总部由河北省平山县西柏坡迁往北平。二十六日，中共中央决定派周恩来、林伯渠、叶剑英、李维汉、聂荣臻为和谈代表，周恩来为首席代表，以毛泽东主席一月十四日对时局的声明及所提八项和平条件为基础，自四月一日起在北平与南京政府举行谈判。并由广播电台通知南京，依照上述时间、地点派遣代表团携带为八项条件准备的必要材料，前往举行谈判。
张治中被推定为南京政府首席代表后，初欲以李俊龙为代表团秘书长，但因李是时尚未应邀到京，后来立法院的主和派童冠贤、范予遂、黄宇人、甘家馨等又力荐立法委员卢郁文担任秘书长，未便拒绝，乃延揽屈武、李俊龙为顾问，张丰胄、潘伯鹰为秘书。李宗仁派前北平行辕参议刘仲华随行，担任交通联络工作。
南京政府对于如何进行和谈，曾由何应钦召集过四次会议加以研讨。出席的除张治中、邵力子、章士钊、刘斐、李蒸外，翁文灏、彭昭贤、贺耀组（1889—1961，北伐名将，起义将领，国民革命军中将加上将衔。1916年于日本毕业回国后在湘军任职。1934年调任中国驻土耳其公使。1939年底任驻苏联特使。中华人民共和国成立后，任中南军政委员会委员兼交通部部长，全国政协地方政协工作委员会副主任，民革中央常委。）亦参加，黄少谷也以行政院秘书长资格参加。代表黄绍竑于三月一日由南京去香港，直到三月二十八日方由港回京。经过几次会议，做出了下列几项决定：
（一）为会商和谈的便利，建议请国民党中央常务委员会，中央政治委员会联席会议，改在南京开会（当时该会仍在广州）。
（二）为指导和谈事宜，请李代总统、何院长，并由国民党中央常务委员会、中央政治委员会联席会议公推委员三人，共同组织指导委员会。
（三）和谈不另订方案，只就中共所提八项条件作基础，加以研究，酌定原则性限度，由和谈代表负责进行。
最后，又把四次会议研究所得的“原则性限度”，写成了一个腹案，作为到北平商谈的依据。其全文如下：
预定与中共商谈之腹案
一、双方既确认以和平商谈解决国是为全国人民之要求，则双方所拟商谈者，端在国家元气之如何保存，人民痛苦之如何解除，国家政策之如何拟订，及政治制度之如何建立，以谋长治久安，是以关于战争责任问题，不应再提。
二、同意重订新宪法，此新宪法之起草，我方应有相当比例之人数参加。
三、关于法统问题，与前项有连带关系，可合并商讨。
四、双方军队应分期分年，各就驻在区域自行整编，并应树立健全的军事制度，俾达成军队国家化之目的。至分期整编时双方应保留之军队数字，另作商讨。
五、“没收官僚资本”一节，原则同意，但须另行商订施行条例办理。
六、“改革土地制度”一节，原则同意，但须另行商订施行条例办理。
七、关于“废除卖国条约”一事，将来由政府根据国家独立自主的精神，平等互惠之原则，就过去签订之条约加以审查，如有损害国家领土主权者，应予修改或废止。
八、同意召开政治协商会议，并由该会产生联合政府，唯在该会议与联合政府中，我方与共方应以同等名额参加，其属于第三方面之名额，亦于双方区域中各占其半。
九、代表团抵平后，即向中共提出：双方应于正式商谈开始之前，就地停战，并参酌国防部所拟停战意见进行商谈。
以上九项，系商谈之腹案，其内容亦仅为我方可能让步之原则性限度，商谈时仍应逐条力争。如共方要求超过各项限度，应由代表团随时电报中央请示核夺。
国防部所拟对于国共停战协定最低限度之要求
一、青岛及长江流域连接鄂西、陕西、绥远地区双方第一线部队，应即停止一切战斗行动，各守原防，停止前进，并不得向空隙发展。
二、共军立即解除对新乡、安阳、太原、大同、榆林之包围封锁，准许国军采购粮食及生活必需品。
三、国军海空军立即停止海上与空中之攻击行动，但空军之侦察及空中之输送补给，海军之江海巡逻及对各海港之输送补给，不受限制。又国军为防卫长江及海上袭击，如发现共军集结渡江材料及运兵船队时，得采取自卫行动。
四、双方立即停止一切敌意宣传。
五、双方对于间谍之防范及维持后方秩序之一切行动，不受限制。
六、为免除误会与冲突，除另有协议者外，双方第一线交通之恢复，应俟另行协议，在停战期间暂不开放。
七、关于双方俘虏之交换，另行协议。
南京政府的和谈“腹案”以及国防部的“最低要求”，在当时国共双方强弱异势、主客换位的情况下，绝不可能为中共方面所接受。可是蒋介石操纵下的顽固派，在和谈代表团出发前夕，还从四方八面连续发出一片叫嚣之声，例如：
国大代表上海联谊会以“寅艳”电致李宗仁、何应钦云：“此次和谈，政府应在合情、合理、合法范围内，力求平等的和平。而且必须坚持者，应为政治民主、经济平等、社会安全、生活自由四大原则。至于一切军队之必须国有，基本人权之必须维护，尤为天经地义，毫无假借迁就之余地。同人等更以为宪法与政制之任何修改，绝对为国民大会之职权，不容任何人可以越俎代庖。”
留在广州的立法委员联谊会也以“寅世”电致李宗仁、何应钦：“一、宪法之尊严必须维护，如须修改，应于合法程序行之；二、中华民国国体不能更易；三、有关人民之基本权利的自由生活方式，均应予以切实保障；四、自和谈开始之日起，政府与中共应即无条件停止一切战斗行动；五、政府代表之和谈结果，必须依法定程序核准。”
与此同时，在广州的国民党中央秘书处以“寅州议穗午”电李宗仁、何应钦，告以国民党中央执监常委及中央政治委员会谈话会关于和谈应遵循下列决定：“一、和平代表抵平后，应先提出双方立刻无条件停战；二、和谈一切报道公开；三、和谈进行详情，应随时报告党的中央，谈判结果，并应对党完成法律程序；四、和谈内容，应坚持下列原则：甲、团体不容变更；乙、人民之自由生活方式必须保障；丙、宪法之修改必须依法定程序；丁、土地改革应首先实行，但反对以暴力实施；戊、战争责任问题应无庸议。”
上述这些“高见”，一句话，不过是那位蒋总裁元旦《求和声明》的再版。而蒋的那篇“杰作”，已早被中共方面批得一无是处了。
南京政府首席和谈代表张治中商得李宗仁的同意，于三月二十八日电溪口蒋介石，定二十九日去溪口，当面报告政府所定的和谈腹案。但蒋接电后对蒋经国说：“他来不来无所谓。”二十九日，张到溪口，蒋介石对他态度很冷淡，只邀他游览溪口附近的风景，而闭口不谈和谈问题。当晚，蒋经国把他的父亲料定和谈不会成功的理由告诉了张治中，张说他愿意到北平去试一试。
蒋介石当时所以对张治中不悦，据蒋经国分析，是因为张前在南京曾托人向蒋介石建议，仍希望蒋早日出洋。张的理由是：一、可避免攻讦目标。二、卸去和谈失败的责任。三、使一般将领减少依赖心。四、可以增长见闻。对此，蒋经国竟武断地说：“张之此种建议，好像是为共党借箸代筹，同时也是李宗仁及其左右所乐意的。”此种观点，真是强加于人，因为中共方面对蒋之是否出洋，全不措意。
张治中于三月三十日回到南京，李宗仁特于三月三十一日下午四时在总统府“子超楼”举行茶会招待留京国民党中央常务委员，听取张治中溪口之行的报告，并商谈成立“和谈指导委员会”以及其他有关问题。参加的有于右任、居正、何应钦、吴铁城、吴忠信、阎锡山、白崇禧、张群、张治中、范予遂、程思远、倪文亚、王启江、黄宇人、朱家骅、李世军等。先由张治中报告说：“代总统以和谈代表团不日北上，特派我去溪口见本党总裁，请示有关和谈的方针。但总裁指示，他已经下野，和谈完全由李代总统和何院长主持。他个人没有什么意见。”阎锡山、白崇禧相继发言，坚持“腹案”中所提“和谈开始之前，双方就地停战”的主张，最好先签订停战协定，然后再商谈和平条件。最后李宗仁提议，成立“和谈指导委员会”，以李宗仁、何应钦、于右任、居正、张群、吴铁城、孙科、吴忠信、童冠贤、朱家骅、徐永昌为委员，并指定李宗仁为召集人。上项名单推何应钦赴粤向中央常会、中央政治委员会联席会议提出报告，请求批准。
南京政府代表团决定分两批起程。该团向“中国”、“中央”两航空公司分包了飞机，又向中央银行领到银元一万元，供代表团在北平应用。
三十一日上午十时，南京代表团秘书处部分人员，由秘书长卢郁文率领，乘中央航空公司专机北飞，同机还有通邮代表团团长梅贻璠等五人，通航代表团雷仲仁等六人。当天下午一时半到达北平，由北平军管会秘书长薛子正等接往六国饭店。当晚，中共代表团秘书长齐燕铭设宴招待。
四月一日，南京代表团全部代表及顾问、秘书、随员等共十九人，乘中国航空公司的“天王”号专机离京。起飞之前，由顾问李俊龙宣读书面谈话称：
我们此次奉政府之命到北平和中共进行和平商谈，深感责任重大，实有如临深渊、如履薄冰的心情。我们也知道在和谈进程中，当不免遭遇若干困难，但我们相信双方商谈，似无不可克服的难题。我们当谨慎地秉承政府意旨，以最大的诚意和中共方面进行商谈。希望能够获得协议，使真正的永久的和平得以早日实现，以慰全国同胞殷切的期望。甚望爱好和平的各界人士们，随时给我们指导、督促和支持。
张治中并在登机的扶梯上用沉重而激动的声音对送行者说：“各位尊敬的先生们、长官们，及立委先生们！各位这样盛情欢送代表团，我们非常感激！我们知道，这是给我们的鼓励。我们一定要尽最大的努力，以副各位先生们对和平的热烈期望，希望能够得到成功。”
“天王”号机于当日下午三时飞抵北平。中共和谈代表团秘书长齐燕铭、东北野战军参谋长刘亚楼等多人在机场迎接。中共方面原先想把代表团接到颐和园去住，后来考虑到交通上的不便，仍接待于六国饭店。当天晚上，中共中央副主席、和谈代表团首席代表周恩来设宴招待。
南京和谈代表团抵平之后，一面与李济深、沈钧儒、黄炎培、谭平山、傅作义、邓宝珊等接触；一面与林伯渠、叶剑英、聂荣臻、李维汉等联系及访谈，主要是先就战犯问题及渡江问题，一再交换意见。当时李宗仁的主观愿望，还是解放军不渡江，让南京政府再盘踞半壁江山，徐图后叶，据此谈判，自然是很难谈得拢的。因此，原拟自四月五日开始的正式和谈，不得不因而延缓了几天。
四月四日晚上，刘仲华由北平打来长途电话给程思远，请于次日派飞机到北平接人。李宗仁满怀希望，以为代表团要派人南归报告情况了。可是五日下午四时，程思远到明故宫机场去接人，接到的却是“民革”的中委李民欣、朱蕴山（1887—1981，中国政治活动家。早年参加光复会，后加入同盟会。四一二反革命政变后，通电反蒋。同年参加南昌起义。1944年参加中国民主同盟。1948年参与发起组织中国国民党革命委员会，任第一届中央常委、组织部部长。建国后，历任全国人大常委、全国政协常委。）和一个不明其身份的刘子衡（1905―1981，著名爱国民主人士。抗日战争期间，他为宣传抗日，广交社会著名学者。他宣传团结抗日，揭露反动势力的投降阴谋，在社会上产生了一定的震动和影响。），他们由刘仲容陪同南来，一下专机，就避见新闻记者，所以被上海、南京报纸称他们为“神秘客”。他们并没有给李宗仁带来什么好消息，而是代表李济深以第三者资格劝告李宗仁、白崇禧完全接受八项条件的。刘仲容是白崇禧派他于三月下旬经平汉路北上去试探和平的。他在北平见到了毛主席和周恩来副主席，现在他带来的讯息是：无论和战，人民解放军都要渡江。这样，李宗仁原来企望划江而治的迷梦完全破灭。
四月七日下午七时，李宗仁在傅厚岗官邸设宴招待朱蕴山、李民欣等，饭后谈到战犯问题，李宗仁说，他可以一身受之而不辞，而要求豁免蒋介石等发动“戡乱”战争的责任，以免和谈受到溪口方面的破坏。刘子衡建议可由李去电毛泽东主席提出此项意见，当晚十一时，李宗仁为此致电毛主席：
北京张长官文白兄转润之先生有道：自宗仁主政以来，排除万难，决定谋和，悱恻之忱，谅贵党及各位民主人士所共亮詧。今届和谈伊始，政府代表既已遵邀莅平，协议问题，亦已采纳贵方所提八条件为基础。宗仁懔于战祸之残酷，苍生之憔悴，更鉴于人类历史演成之错误，因以虑及和谈困难之焦点，愿秉已饥已溺之怀，更作进一步之表示：凡所谓历史错误足以妨碍和平如所谓战犯也者，纵有汤镬之刑，宗仁一身欣然受之而不辞。至立国大计，决遵孙总理之不朽遗嘱，与贵党携手，并与各民主人士共负努力建设新中国之使命。况复世界风云，日益诡谲，国共合作，尤为迫切。如彼此同守此义，其他问题便可迎刃而解。宗仁何求，今日所冀，唯化干戈为玉帛，登斯民于衽席，耿耿此心，有如白水，特电布悃，诸希亮詧。弟李宗仁卯阳印。
次日，李宗仁即接到了北平的复电，电称：
中国共产党对时局主张，具见本年一月十四日声明。贵方既然同意以八项条件为谈判基础，则根据此八项原则以求具体实现，自不难获得正确之解决。战犯问题，亦是如此，总以是否有利于中国人民解放事业之推进，是否有利于用和平方法解决问题为标准。……为着中国人民的解放和中华民族的独立，为着早日结束战争，恢复和平，以利在全国范围内开始生产建设的伟大工作，使国家和人民稳步地进入富强康乐之境，贵我双方亟宜早日成立和平协定。中国共产党甚愿与国内一切爱国分子携手合作，为此项伟大目标而奋斗。
读了这封复电，可以推知，战犯问题是有商量余地的。但关键问题不在这里。
由于“神秘客”的南来，李宗仁获悉人民解放军无论在任何情况之下必须渡江。他深感南京政府在蒋介石控制之下，势难接纳和议，因此特于四月九日晚上召集白崇禧、李品仙、夏威（1893—1975，中将加上将衔，兵团司令。保定陆军军官学校第三期步兵科。1949年12月去海南岛。次年定居于香港。1975年在香港亡于车祸。）、程思远、邱昌渭等会谈，检讨时局。一致认为，蒋在幕后控制南京政府，和战都无希望。衡量当前局势，蒋、李只能有一人主政，如果蒋不出国，李就应当辞去代总统。
十二日，李宗仁请居正、阎锡山赴溪口，带去李宗仁给蒋介石的一封信，函内表明：如蒋不采取适当步骤以终止其自身所造成的混乱形势，则他自己唯有急流勇退，以谢国人，未尽之意统请觉生、百川两兄代达。四月十三日，居、阎两人从溪口返京，所得蒋的答复，完全不着边际。十四日，蒋又派张群传话，要李、白于十七日赴杭州会晤，白崇禧愤然对程思远说：“我不去，但德公应当去。”李以正候北平和谈消息，对杭州之行也不感兴趣。
北平和谈的进行，从四月八日开始，除了双方代表在谈之外，毛泽东主席又分日邀南京和谈代表晤谈，一天是张治中，一天是邵力子、章士钊，一天是黄绍竑、刘斐，一天是李蒸、卢郁文。
和谈第一次正式会议，十三日晚九时在中南海勤政殿举行，张治中电李宗仁云：中共首席代表周恩来先生今日提出《国内和平协定》一件，内分八条二十四款，我方代表对协定草案提出修改意见四十余处，半数以上已被采纳，但对于“就地停战”和“划江而治”两点，卒被拒绝。
到了四月十五日第二次会议举行时，中共代表团提出最后修正案，并谓谈判以四月二十日为期限，南京代表团是否愿意在协定上签字，须于二十日以前表示态度，并定四月二十日为签字日期。
南京代表团以兹事体大，乃于当晚决定，推代表黄绍竑偕顾问屈武，携带《国内和平协定》最后修正案，专机飞返南京请示。他们乃于十六日上午十时飞返南京。
当刘仲容由北平返南京时，白崇禧便作了“只要中共坚持渡江便不能接纳和议”的决定，当时白崇禧低估了人民解放军的渡江兵力，高估了国民党残余部队的力量；并且幻想江南蒋介石的嫡系部队可能同广西部队合作，以保卫长江。所有这些估计，都是不切实际的，但对李宗仁却起了制约作用。李当时不仅受制于蒋介石，且不能不受白崇禧的影响，在这种情况下，他怎么可能批准代表团在“协定”上签字呢？即使他同意了，也不能保证贯彻实行。
李宗仁同意何应钦的建议，把这个“协定”立刻派人送到溪口给蒋介石过目（十七日蒋介石便看到了“协定”全文。），黄绍竑对此十分恼火。回顾一年以来，李宗仁所以能当选副总统，以及能迫使孙科把行政院从广州迁回南京，完全是得自国民党和立法院内主和分子的大力支持。今和议已到了转折关头，后者竟未受到咨询，反而听命于溪口，不智孰甚。黄绍竑返京的次日，邱昌渭、程思远应童冠贤之约，邀范予遂、王启江、甘家馨、黄宇人、尹述贤、汤如炎等到华侨招待所聚餐，他们意欲试探政府对和议态度，而邱、程对此噤若寒蝉。
十八日下午八时，李宗仁召集黄绍竑、白崇禧、李品仙、黄旭初、夏威、程思远、邱昌渭、韦永成在傅厚岗官邸举行会谈商讨和议问题。黄绍竑说：有人认为《国内和平协定》是无条件投降的条件，这就看我们从什么角度来对待它。当前在军事上既不能保持均势，从而在政治上也不可能取得绝对的平等地位。吾人迫于形势，绝不能同蒋介石共呼吸、同命运，蒋介石还可以退守台湾，苟延残喘，我们形格势禁，没有别的道路可走，只有和局才足以自保。
黄绍竑又说：如果德公同意签字这一“协定”，则将来可选为联合政府的副主席，即广西部队亦因此得到安全的保障，共方已同意健生所率领的部队可以继续留住武汉，也可以开到两广去，两广在一年内将不实行军事管制和土地改革。这些条件对我们是十分有利的，也是非常宽大的。
李宗仁听到这里就插口说：“我对个人问题无所谓，而唯有为绝大多数人的利益着想，我是为和平而上台的，如果求和不成，那就应该去职，以谢国人。所以我们现在要谈的应以大局为重，以国家前途为重。”
白崇禧最后作了总结发言，他说：和谈代表团北上时，政府是有“腹案”的，代表团没有坚持我们的基本立场，实有负付托之重。至于所谓两广在近期内不至于有大变动，那也不过时间迟早问题。这种和局，好像吃鸡一样，好的部分先吃，其后鸡头鸡脚也要吃光。
黄绍竑又引用了一些在北平的国民党起义将领对国家前途看法的话来加强他的观点，白崇禧不耐卒听就走了。会谈终无结果，时已深夜一时。
十九日上午九时，李宗仁召集了和谈指导委员会成员开会，讨论应否接纳和约问题。经讨论后，下午作出决议：电请中共延长签字期限，使双方仍可就若干基本问题继续进行商谈，这是一种拖的手法，固知中共中央必不接受。
同日，李宗仁作了一些部署，要黄旭初、郭德洁、石泓等离京返桂林，也对一些立法委员打了招呼，要他们同机飞桂，但多数准备不及。这意味南京不可久居了。当天下午，黄绍竑要程思远陪他到往日旧游之地走走，只看到“蒋山青，秦淮碧”，末朝残照，满目荒凉！
二十日中午，李宗仁、黄绍竑、程思远三人在傅厚岗吃饭，彼此心情沉重，终席无一言。饭后，黄绍竑同张治中通了长途电话，以后对李宗仁说：“张文白要我通知德公，中共中央拒绝延期签字的要求，决定今夜发出进军江南的命令。我将于下午三时搭吴铁城的专机飞广州转去香港。”从此李、黄各奔前途，直到一九六五年七月二十日李宗仁从海外回到祖国，他们才在首都机场重新见面。
二十一日，李宗仁获悉，昨晚在人民解放军总部发出进军命令后，华东野战军陈毅司令员所部二十四、二十五、二十七各军，已于荻港渡江。二十三、二十八、二十九各军，亦于江阴、申港一带渡江。是日，李宗仁派专机飞平，接和平代表团归来，但他们受到中共中央的挽留，并恐不能见容于国民党的顽固派，大家都留平不返。
二十二日，蒋介石约李宗仁、何应钦、白崇禧举行杭州会谈。李宗仁嘱程思远同行。上午十一时飞抵杭州笕桥机场，蒋经国偕浙江省政府主席周岩在机场迎接。随后何应钦亦偕张群乘另一专机抵杭，白崇禧则乘军机而来。李、白对杭州会谈事前有一基本谅解，即蒋、李只能有一人负责，要么蒋复职，李仍任副总统，要么蒋把军权、财权以及人事权交李宗仁撑持全局。彼此都认为南京那种局面再不能继续下去了。
杭州会谈在笕桥航校举行，参加的除上述诸人外，还有蒋介石带来的吴忠信和王世杰。见面的时候，蒋问李：“对于和谈还有什么打算？”
李宗仁回答说：“我准备再派人去北平商谈一次。”
蒋介石说：“不用了，不必再谈了。过去共产党因为在军事上没有部署好，所以才同意和谈，现在他们已经渡江，再没有谈判的余地了。”
李宗仁随即提到三个月来的教训，求去之心甚为坚决。蒋仍要李勉为其难。为加强党政联系，主张成立一个“非常委员会”，作为国民党的最高决策机构，由蒋当主席，李当副主席，今后党的重大决策，先提“非常委员会”决定，然后交由政府执行。在座诸人都附和蒋的提议，似乎事前已有默契。李在当时不便反对，但飞桂林后卒提异议。
午餐后，白崇禧以路远先乘军机返汉，蒋、李继续会谈，做出下列决定：
（一）在政治上，宣告和谈破裂，政府今后唯有继续作战，党内不许再倡和议。
（二）在军事上，由行政院何应钦兼任国防部长，统一陆海空军的指挥权力。参谋总长直接向国防部长负责（按：过去国防部长和参谋总长分权，后者直接受命于蒋）。
此外并决定总统府和行政院于二十三日从南京迁广州办公。会后，李、何飞返南京。他们原约定李于次日飞广州，何飞上海，但李宗仁因有别的打算，二十三日飞到挂林去了。