李宗仁听了，微微点头，说：“是呀，胜仗可以鼓舞士气，振作精神。南京失守了，我们要在徐州附近打一个胜仗。抗日战争，需要鼓舞民心士气呀！”
李宗仁与刘斐对视一眼，说：“临沂张自忠的部队，打了胜仗。现在，矶谷廉介指挥的第10师团攻占滕县，骄狂万分，他们不会顾及左翼坂垣征四郎指挥的第5师团被阻止在临沂，也不会等到南线日军北上呼应，必然要孤立冒进，直扑台儿庄，抢一个津浦路作战的头功。”
血战后的台儿庄一角这也是作战厅长刘斐思考的主题。听了李宗仁这几句话，刘斐立刻说：“我们要发挥部队装备轻快的特点，发挥兵力对比上的绝对优势，大胆实行机动灵活的运动战，在日军没有对徐州形成合围前，将其各个击破。”
李宗仁忽然站住了，一句话也不说。李宗仁心里明白，在抗日这一事关中华民族生死存亡的重大问题上，国民政府统帅部的意见不一致，有人主张持久防守，消耗日军，有人主张打运动战，各个击破日军。徐州会战，他必须选择一种能有效歼灭日军，能打胜仗的战法。
回到指挥部，李宗仁自言自语：这些鬼子，急于打通津浦路。他们急，我们就有战机！
李宗仁详细分析了日军的企图，进一步向部队明确了作战方针。这个作战方针是：“固守台儿庄及运河一线，诱敌来犯，断敌后路，相机实施反包围，聚歼日军。”
李宗仁在组织指挥第5战区进行徐州会战过程中，曾多次要求蒋介石增加兵力。蒋介石看到，加强第5战区的防御具有战略意义，因此，他把正在河南进行补充训练的汤恩伯指挥的第20军团和孙连仲指挥的第2集团军调往徐州战场，把这两支部队用来守卫徐州的门户台儿庄。为此，第5战区对作战部署进行了调整。李宗仁作出的新的作战部署是：
孙连仲指挥的第2集团军３个师，坚守台儿庄的正面阵地。其中，第27、第30师在运河一线以及台儿庄以西布防；第31师用主力坚守台儿庄，以一部兵力配置于台儿庄东侧和西侧，支援台儿庄的核心阵地作战。
汤恩伯指挥的第20军团，部署于向城、洪山一线，阻击北面的日军。其中，用２个军向峄县、枣庄日军的侧背进行攻击，配合孙连仲的部队围歼日军；用一部分兵力担任台儿庄到韩庄之间运河南岸的防务。
孙连仲接到命令以后，立即组织先遣人员前往徐州以北地区，选定指挥所；命令第31师师长池峰城率领部队，迅速进驻台儿庄及其附近地区，掩护其他部队进入预定地域。
台儿庄的东面和西面是三角形的山地，有利于组织防御。有利的地形条件是良好战场的重要标志。
孙连仲根据台儿庄的地形特点和李宗仁明确的作战任务，作出了以下部署：
集团军总司令部设在距台儿庄城寨５公里处。
第31师：第184团防守台儿庄城寨，这是防守台儿庄的核心阵地。台儿庄以西3.5公里的范口村，台儿庄以东1.5公里的官庄，是支撑台儿庄的两个“角”，各派部分部队防守，与台儿庄城寨互为掎角之势，协同作战。另一部分部队沿大运河南岸设置防御阵地。
第30师、第44旅：在台儿庄以南地区和贾汪东北地域集结。
3月22日，各部队按照以上部署进入阵地。
孤军冒进的日军第10师团第33旅团濑谷启少将得知中国军队的防御行动以后，开始感到了自己的不利处境。他看到，他们的前面，孙连仲指挥的部队２万多人已经开始构筑防御工事；他们的后面，汤恩伯指挥的部队6万多人已经占据有利地形；他们的左面，第5师团的友邻部队进攻临沂受挫，已经同他们失去了联络；尤其是他指挥的这支部队只有1.5万人，在兵力数量上处于劣势。但是，骄横的日军凭借精良的武器装备，自认为战斗力处于上风，依然急于向台儿庄挺进。
3月23日，濑谷启少将明确了进攻台儿庄的作战行动，主要是：
步兵第63联队第2大队配属野炮兵１个大队，组成台儿庄派遣队，向台儿庄进攻。这支派遣队大约只有2个营的兵力。
步兵第10联队第2大队为主体，组成沂州支队，向临沂方向前进，策应临沂方向的坂本支队作战。这支部队大约只有1个营的兵力。
步兵第63联队第1大队在韩庄等地担任守备，主要任务是担任右翼的警戒，保障台儿庄派遣队的右翼安全。
旅团司令部及其余部队驻扎在峄县附近。这部分日军大约有３个营的兵力。
3月24日，就是蒋介石到徐州视察的时候，日军分两路开始对台儿庄的攻击行动。
沂州支队东进至郭里集，就受到汤恩伯指挥部队的阻击。1个营的步兵如何能突破数万部队设置的防线？
台儿庄派遣队数千名鬼子在空军配合下，向台儿庄阵地发起攻击。攻击开始后，日军不断增加兵力，一会儿用重炮轰击，一会儿用坦克冲击，大有一举突破台儿庄阵地的嚣张气焰。
孙连仲总司令深知台儿庄防御战是一场恶战。战斗前夕，孙连仲亲赴前线，指挥部队抗击日寇。他对官兵们说：面对强大的敌人，我们只能依靠地形挡住它，再利用夜里的小突击拖住它。没有命令，决不能撤退！
守卫台儿庄的第31师官兵与日军展开激战，不时地以灵活的战术同日军进行周旋。突然，日军的炮火把台儿庄城寨东北角的城墙炸塌了，日本鬼子看到城墙中的这个突破口，纷纷往城里冲。池峰城师长看到情况万分危急，厉声命令：“敢死队，跟我上！”
在师长的带领下，第186团官兵蜂拥而上，同日军拼杀起来。那是一种无法抵抗的力量。台儿庄西面的国民党守军第30师的官兵在师长张金照的指挥下，乘势从翼侧打击日军。突入台儿庄城东北角的日军两面受到威胁，立足未稳，就被中国守军歼灭了。
李宗仁送走蒋介石，看到台儿庄战役第一天的战斗报告，当即传令：“奖赏敢死队银元10万。”敢死队员们听到李宗仁的嘉奖令，一致表示：“只要抗日，不要银元！”
李宗仁闻讯，心里踏实了。战前，孙连仲、汤恩伯各指挥一支大兵团，谁打阵地战？谁打运动战？谁能守住台儿庄？谁去侧击日军？
李宗仁颇费了一番心思。
孙连仲早年毕业保定中学，是在西北军中成长起来的。孙连仲率领的部队，在大革命时期受到爱国主义的熏陶，既有西北军的底子，也保持了西北军勇敢顽强的战斗作风，是一支敢打硬仗、恶仗的部队。抗日战争爆发以后，曾经参加了涿州、娘子关地区的防御作战。
汤恩伯是浙江武义人，１９２４年入日本陆军士官学校，毕业回国后投靠蒋介石。先后担任国民革命军总司令部参谋、中央军校第6期学生大队长、教务处副处长、军官团副团长、教导旅长等职务。１９３１年担任第89师师长。抗日战争爆发后，汤恩伯曾率领部队防守南口、居庸关等要地，阻击沿平绥路进犯的日军，但汤恩伯指挥的部队接连溃逃，没有打一个像样的阻击战，更不用说阻止日军的进攻了。
在旧军队中，西北军以善于防守着称。李宗仁把坚守台儿庄正面核心阵地这个最艰巨的任务交给孙连仲指挥的第2集团军，是用人之长，用军之长。第一天战斗，李宗仁更加坚信战前用对了人，用对了兵。徐州会战，孙连仲指挥的部队在台儿庄战役中起到了重要作用。
3月26日凌晨2时，进攻台儿庄的日军向支队司令部报告，台儿庄连续两日战斗，死20人，伤120人，失踪5人。这组数字虽然不大，但挫伤了日军的进攻锐气。
3月27日，日军增加兵力以后，继续向台儿庄进攻。这时候，日军的进攻队伍中已经有独立机枪第10大队、轻装甲车第10中队等火力和突击力比较强的兵种。战斗打响后，日军主力都被吸引到台儿庄附近。激战中，日军部分主力突入台儿庄的北门。第31师官兵奋力反击，阵地上你来我往，中国守军与日军展开了拉锯战。看到隆隆开过来的日军坦克，中国守军把十多枚手榴弹捆成一束，把日军的坦克炸毁。肉搏战时，中国军队官兵手中的大刀发挥了强大的威力，日本鬼子被砍得血肉横飞。
在激烈的战斗中，孙连仲司令几番训话，鼓舞了守城部队的士气。
李宗仁见守城部队士气高昂，日军已经就范，看到歼灭日军的时机基本成熟，命令第20军团用部分兵力监视当面的日军，主力迅速南下，围歼台儿庄的日军。
3月28日，日军的攻击越来越猛烈，坚守台儿庄阵地也越来越艰难。第31师官兵遵照李宗仁的命令，不畏牺牲，英勇抗击，始终坚守阵地。
台儿庄战斗到了关键时刻。这天，李宗仁严厉命令第20军团用主力攻击台儿庄以北的日军的侧背，配合第2集团军的官兵打击日军。
3月29日，天刚蒙蒙亮，孙连仲总司令就把师长、旅长和炮兵团长召集到一起，进一步明确了坚守台儿庄的坚强决心。孙连仲对大家说：“根据种种迹象分析，我们当面的日军正在等待援助。我们要以钳形攻势把这些日军歼灭。第31师仍然要坚守阵地，要牢固树立独自为战的思想。同时，我们还要组织部队出击，打阵地战，内外配合，就会主动得多。”
日军矶谷廉介中将为了迅速攻下台儿庄，命令濑谷启少将即刻把旅团主力投入战斗。
为了钳制日军南下，减轻台儿庄战场的压力，3月30日，第5战区命令第20集团军以一部兵力对峄县的日军进行佯攻，另以一部分兵力迅速向泥沟前进，协助第2集团军的部队打击围攻台儿庄之敌。这支中国军队千方百计破坏铁路、公路交通。切断峄县与台儿庄这两部分日军之间的联系。第89师第529团团长罗芳圭身先士卒，带领部队同日军浴血奋战。
这天，蒋介石命令第5战区的部队死守台儿庄。
李宗仁司令长官下达了第2集团军死守台儿庄阵地命令，同时，李宗仁再次严令汤恩伯率领部队迅速南下，协助第2集团军歼灭进攻台儿庄之敌。
3月30日，日军荣福团在台儿庄遭到中国军队的南北围攻，处境危险。濑谷旅长急忙命令赤峰团前往增援，自己则赶到台儿庄前线督战。日军竭力全力攻击台儿庄阵地。
3月31日，中国军队把进入台儿庄的日军全部包围起来了。
台儿庄的日军处于危急状态。为了策应台儿庄的战斗，日军第2集团军命令攻击临沂的坂本支队转向台儿庄，支援台儿庄战场。坂本支队于31日到达向城、爱曲地区，从侧面攻击第20军团，企图解第10师团之围。汤恩伯指挥的第20军团发现这路日军后，命令第52军和刚刚到达的第57军一起，围攻坂本支队。经过数天战斗，阻击了坂本支队，使日军增援台儿庄的计划没有实现。
4月1日，日军为了增加台儿庄方向的兵力，不得不把第8旅团第39联队的一个大队派遣到台儿庄。连日激战，台儿庄难以攻克，日军第10师团已经山穷水尽，矶谷廉介中将能够掌握的预备队，也只有5个营的兵力了。
4月3日，日军再次向台儿庄阵地上的中国守军发起攻击，不断投掷催泪瓦斯弹。当日军攻占台儿庄的东南门后，突入城寨百余米，台儿庄大部分市区的街道被日军占领。第31师官兵在激战中死伤2/3，仍然据守南关的几处阵地，同日军拼死抵抗。
中国军队冲入台儿庄歼灭残敌李宗仁分析了战场全局情况，拿起电话，冷静地命令孙连仲：“第2集团军各部必须坚守至次日拂晓，拖住日军，等待汤恩伯军团前来增援。”
孙连仲毫无惧色，坚定地回答：“长官有此决心，我第2集团军牺牲殆尽不足惜，连仲亦以一死报国家。”
４月４日深夜，汤恩伯指挥的部队到达台儿庄的北面。这时候，台儿庄已经有2/3被日军占领。
李宗仁原来认为，汤恩伯的部队４日中午即可到达，因此，命令孙连仲于４日晚上向日军阵地反击。这天半夜，孙连仲总司令把阵地上所有能用的兵都集中起来了，伤员们来了，炊事员，担架兵，都站到了敢死队的行列里。这支数百人的敢死队正要出发，电话铃响了。
池峰城师长在电话中向孙连仲总司令请示：“是否可以撤退到运河南岸去？”
孙连仲毫不犹豫地命令：“部队决不能撤退。士兵打完了，你自己填上去。你填过去了，我就来填进去。有谁敢过河者，杀无赦！”
池峰城师长以必死的决心组织部队抵抗，把增援的日军击退。
这夜，第31师的敢死队在夜暗中冲入日军阵地。日军连日作战，没有料到中国军队会在半夜里突然杀出来，仓皇应战，溃不成军。敢死队的一场夜战，台儿庄阵地被孙连仲夺回了3/4。
这是中国守军的一个奇迹。这场夜间战斗，汤恩伯指挥的部队没有参加。
4月5日，蒋介石打电报给汤恩伯，严厉指出：“台儿庄附近会战，我以十师之众对师半之敌，历时旬余未获战果。该军团居敌侧背，态势尤为有利，攻击竟不奏效，其将何以自解？急应严督所部于6、7两日奋勉图功歼灭此敌，毋负厚望。”
在蒋介石的严厉命令下，汤恩伯指挥部队向日军的后背攻击。
4月6日拂晓，台儿庄阵地上仍然是硝烟弥漫，几声枪响打破了黎明的寂静。濑谷启少将看到自己的部队损失惨重，已经难以继续战斗了，几经思考，命令部队停止攻击，收缩阵地，准备于傍晚撤出台儿庄。谁知，矶谷廉介中将接到以上情况报告以后，坚决不同意日军撤出阵地，命令他们立即转入攻势行动，去消灭台儿庄的中国守军。
濑谷启看到中将发来的命令，又看了看阵地上到处都是死伤的日本兵，把这份命令紧紧地捏在手中。日本军队军纪严明，这天晚上，有的日本鬼子却不顾军纪，逃离台儿庄。
晚上，中国军队对日军发动全线攻击。日军队形混乱，东奔西逃。第2集团军和第20军团的官兵内外夹击，越战越勇。
为了彻底歼灭溃逃的日本鬼子，第89师第529团团长罗芳圭同副团长李有余一起来到前沿阵地，仔细观察敌情。他们这支部队已经同日军激战多日了，现在要争取最后的胜利。突然，一发炮弹落下来，在罗芳圭团长的身旁爆炸了。罗芳圭团长身一歪，倒下了，弹片击中了他的头部和胸部。
警卫人员见状，大吃一惊，急忙过来抢救团长。
罗芳圭躺在一名战士身上，微微睁开眼，当他看到周围的人都为抢救他而忙碌时，想挣扎着坐起来。他用微弱的声音说：“余死无足惜，君等但须继续前进……”
一位年轻的团长终因流血过多，在大会战胜利的前夕，光荣牺牲了。
日军被击溃了。将士们聚集在罗团长身旁，把一束束鲜艳的桃花放在他的遗体旁。山坡上，那些盛开的桃花在微风中摇摆，仿佛在向英雄志哀，向英雄告别。
至4月７日凌晨，被围困的日军濑谷支队除少数鬼子突围到达峄县固守待援外，其余全部被歼灭。
台儿庄战役，以中国军队的全胜而落下了帷幕。
一场血战结束了。第5战区司令长官李宗仁在作战厅长刘斐的陪同下，来到台儿庄阵地，进行巡视。看到战场上中国军队官兵壮烈牺牲的动人情景，刘斐对李宗仁说：这场战斗打得这么苦，国民政府应该大力宣传，以振士气。