5月29日晚，山东兵团主力按照作战计划，以鲁中部队4个团围攻泰安守敌八十四师一五五旅，相机夺取泰安。以第七纵队一部插向泰安以南，第十三纵队一部插向泰安以北，开辟泰安南北战场，调动济南、兖州之敌增援泰安，于运动中歼灭援敌有生力量，渤海部队向济南以东章丘，龙山进击，鲁南部队破袭津浦路徐（州）兖（州）段铁路，以钳制敌人。首以渤海部队向章丘敌进击，守敌八十四师一个团向济南逃窜，我军遂逼近济南市近郊。继之我主力逼近泰安以北及以南至大汶口之间地区。敌人采取了机动守备（能守则守；不能守则走）的方针。驻泰安敌八十四师一五五旅则不战而逃，察安南北敌人纷纷向济南，兖州逃窜。我地方武装进占泰安，新泰，肥城、界首，南流、六郎坟，楼德，吕庄及南驿等地，并收复泅水，大万德、吴村，姚村，唯大汶口之敌被我切断，退守魏家庄（大汶口以西）。6月5日，敌八十四师特务团及保一旅（原为保一总）一团等部被我鲁中部队全歼。鲁南部队在配合作战中破坏了临城至滕县、临城至韩庄之间的铁路，并攻占界河车站及看庄、两下店、官桥，南沙河，东沙河，大宫，小宫、苍沟等10余据点。
我军在肃清了大万德（济南以南）至姚村间100余公里铁路沿线及两侧之敌军后，又向兖州以东的曲阜、以南的邹县、以北的宁阳进击。七纵攻占了曲阜，全部歼灭了守敌并击溃敌3个团兵力之增援。鲁中部队进击宁阳，守敌窜向兖州。鲁南部队、七纵二十师密切配合攻占邹县，并击溃由临城北援之敌军两个团。至此，兖州外围之敌被我扫清。渤海部队进击龙山歼敌一部，十三纵队进占张夏镇，济南情况紧急。王耀武乃以其七十三师、整二师共4个旅向东反击，企图解脱我军对济南的压力。我于潍县地区休整的第九纵队奉命驰援渤海部队，歼敌4000，敌急速回窜，遂将敌压缩于济南市，钳制了敌人，密切配合了兖州外围作战。20余天的战斗，歼敌2万余人，收复县城8座。敌正规军2个团、保安部队3个团，以及曲阜，泰安、泅水、新泰、蒙阴、费县，莱芜等7个县大队悉数就歼。
围城打援
我收复曲阜、邹县，宁阳后，兖州南北150余公里的铁路线为我控制。山东兵团按照毛主席和中央军委的指示，于6月20日以第七纵队和鲁中部队包围兖州，第九，十三纵队等部密切注视徐州、济南之敌，准备打援。当时的战略意图是围城打援，以求调动徐州、济南之敌出援兖州，分散徐州方面豫东战场的兵力，策应外线兵团作战，同时调动援敌于运动中歼灭之。
济南之敌在连续遭到我军打击之后，行动非常谨慎，龟缩于城区，不敢轻举妄动。这时豫东战场，我华野外线兵团对河南省会开封作战打得正紧。徐州之敌面临开封，兖州两地同时告急，左右为难，举棋不定。6月22日，我华野外线兵团攻克开封，徐州之敌决心北援兖州，调整编第二十五师、八十三师和第三快速纵队，沿津浦线车运北上。此时，我第九、十三纵队奉命除以三十八师留置泰安地区监视济南敌人外，大部南下泗水、曲阜一带，迎击徐州北援兖州之敌。但因敌军进展迅速，九纵，十三纵未及进入打援指定位置，敌二十五师已到达滕县。山东兵团乃调用攻城部队南下打援，敌由此察觉了我围城打援的意图，同时由于我外线兵团于6月29日发起了围歼区寿年兵团的睢杞战役，区寿年频频告急，蒋介石又电令徐州北援之敌改援豫东，敌二十五师乃于30日星夜南窜。从全局考虑，为牵回徐州援敌，配合睢杞战役，按照军委的指示，我攻兖部队再度加强了对兖州的包围。这时，徐州援敌已被睢杞战役吸引西去，济南之敌仍迟迟未动，已无援可打，而兖州守敌更加孤立。
自7月1日起，我军对兖州紧缩包围，迫近城郊。7月3日，七纵二十一师克新桥，歼敌三三三团六连大部，接着又占领赵家村，守敌逃窜。十九师克前后窑村，歼敌100余，控制泗河堤200余米，鲁中部队克豆腐店，歼敌独八团九连全部。我每克一点，敌必反扑，前后窑村又被敌重占。7月4日，我六十二团攻入西关，敌急调三三一团向我作3次猛烈反击，敌我双方形成对峙，敌即以该团增强西关守备。7月5日，鲁中部队克旧关，敌以两个连反击后重占。7月6日，六十三团克赵家村以北敌独立据点，歼三三一团五连及六连一个排。我于7月5日增调六十一团攻击西关，经3天激烈争夺，于7月7日全克西关。同日，鲁中部队重克旧关。
西关争夺战十分激烈。敌除使用原守备西门，城防之三三二团、三三三团外，又调用其总预备队三三一团进行反扑。战斗中，1公里多长的西关内房屋全毁。在西关大街、三义街、半边街不足200米的地段里，敌伤亡2000人左右。至此，我扫清了城郊敌之外围据点，从四面包围了兖州城。
攻城战斗
我军攻占西关后，敌军以为我需经十天半月的准备才能攻城。敌三三三团因伤亡惨重，已失去战斗力，被调至鼓楼一带整顿，以三三一团接替其防务。独八团由东关调回城内，作为城防机动兵力。城内敌人日夜加修工事，准备顽抗。
我军经连日作战，虽有一定伤亡，又比较疲劳，但由于各级干部加强了火线政治工作，运用了轮番使用兵力的原则，随时整顿了战斗组织，因而仍能保持连续作战的能力。为了不使敌人有喘息的机会，山东兵团决定攻占兖州城。此时，我兵力部署是：十三纵（欠三十九师）归七纵指挥，配合攻城，鲁中部队归还兵团指挥，从北面佯攻钳制，三十九师进至城东佯攻配合，九纵集结泅水地区阻歼济南方面援敌。根据既定攻击方向，选择老西门南北为主要攻击点。攻击任务的划分是；十三纵（欠三十九师）攻击新老西门之间，以老西门为攻击重点，突破后沿东西大街以北向东发展，七纵二十师攻击老西门（不含）以南地段，攻击重点应紧靠老西门，突破后与十九师打通，主力沿东西大街以南向东发展，协同十九师围歼东西大街以南之敌，十九师五十五团向南逼进，相机登城，五十六团攻击西南城角，突破后与二十师打通，向东接应五十五团登城，协同二十师歼灭东西大街以南之敌，五十七团集结城南，待机歼灭可能向南突围之敌；二十一师占领二十里堡以西地带，监视济宁方面之敌，以确保主力攻城及侧后安全。
7月8日，我二十师及十三纵向西关地带开进，各以一部接替控制西关、旧关之二十一师及鲁中部队阵地，并进行大规模的近迫作业，构筑各种对抗堡及火力阵地，在敌阵地前建立了绵亘复杂，规模巨大的攻击阵地。我冲锋出发地之交通壕，直达敌之壕沿。11日晚完成巨大近迫作业工程后，攻城部队全部进入出击阵地。
7月12日17时，作为总攻开始的信号，首先发射两发榴弹炮。紧接着，我军以12门榴弹炮、7门野炮，3门山炮组成的火力队，一齐向老西门，新西门以南及其纵深射击。顷刻间，兖州城头炮声隆隆，浓烟滚滚。山炮团战土在步兵和迫击炮的掩护下，把火炮推进到距离敌前沿工事一二百米处，进行抵近射击。炮膛直接瞄准敌人的地堡和城墙上的射击孔，把城门两侧和护城河内的碉堡和“乌龟壳”打得粉碎。
经过两个多小时的炮火攻击，敌城楼、城垛被炸毁倒塌，老西门上部打开一个1.5米宽、3米多高的缺口，新西门以南的城墙也被打开四五米宽的缺口，城墙上的部分火力点被摧毁，敌炮火被压制。敌方派出几架飞机在城外盘旋扫射，但在我机枪手猛烈射击下，均仓惶飞逃。敌人苦心设置的鹿砦、地堡，梅花桩，铁丝网等纷纷被我摧毁。
在炮火的掩护下，我攻城部队以3个师的4个团，在老西门一线500米的正面并肩突击。七纵六十团一连架桥班在炮火下把木桥架到护城河上时，发现桥身短了1尺多，桥板只有半段露出水面，河中污泥深，桥腿短，桥身不稳。共产党员、班长杨树宽带头跳进水里，10名战土站在深及嘴边的泥水中，以身体为桥桩，用肩膀扛起了木桥，让突击部队顺利从桥上通过。爆破班在突击排长王玉胜的带领下，不顾敌机枪扫射，穿过渡桥，扑到城下，飞快地竖起带有滑轮的爆破杆，连续7次将20多斤重的炸药包升至城墙顶部，炸开了一个大缺口。20时45分，突击班长高振才把第一面胜利的红旗插上兖州城头。
战斗在新西门主攻点上的十三纵一O九团三连；一一二团九连，在炮兵，步兵的掩护下；往返多次连续爆破敌附防障碍和工事，开辟通路，数次架桥均未成功。第一一二团三营营长程德聚见架桥不成，为争取时间，遂令七连三排涉水越壕登城。这时，敌人将泗河阐打开，城壕水位急速上涨。七连连长任进贵当机立断，命令会游水的同志游水过壕。突击队经勇猛战斗，于20时50分登上城头，将胜利红旗插在突破口上。三排登城后，迅速占领了突破口以南的城墙突出部，巩固了突破口。一排登城后，猛打猛冲，夺占了30米外的突出部，俘敌一个排，进至突破口100多米处，因弹药即将耗尽，即转入巩固既得阵地。二排在一，三排配合下，打遍了敌人几次反击，坚守了突破口。七班战斗小组长蔡萼，越过战壕进行爆破、炸毁敌人地堡后，班长负伤。他勇担重任，带领全班英勇地登上城头，负伤后不下火线，高喊着“为牺牲的战友报仇”、“宁进一步，不退一尺”等口号，鼓励大家与敌搏斗。正当七连在城头突破口两侧与敌反复争夺的紧张时刻，八连，九连也突破敌人的火力封锁，迅速登城。在突破口的争夺中，八、九连伤亡过半，两个连长先后负伤。此时副团长黄冠亭进入突破口，将两个连队合而为一，并指定九连指导员任连长，八连副指导员任指导员。新组建的连队顽强作战，击毁了敌装甲车一辆，打垮敌人一个营的反击，抢占了敌人一个炮兵阵地。
21时，各突击团沿着城墙的四个突破口往城内冲击，五十八团及三十七师相继登城。五十六团因架桥未成，改从五十八团的突破口登城。一O九团团长田世兴抓住战机，一面组织炮兵和步兵掩护部队登城，一面指挥排除障碍。一连登城后，一排火速向瓮城主堡攻击，歼灭了守敌，夺占了主堡，控制了城头。三排八班是“青年战斗模范班”，班长高克藻，带领拿班登城后，连续打垮敌人数次反攻，并乘机攻占了突破口南60米处的突出部，歼敌一个排。二排在瓮城北侧与敌反复争夺，攻占了敌人一个大碉堡。
22时，敌预备队独八团由城顶及城角向五十八团阵地猛扑。五十八团的勇士们浴血奋战，将反扑之敌打垮，俘敌200余人。六十团与一O九团并肩作战，越过敌阻塞壕向东发展，歼灭了龟缩于第四乡村师范学校的300余名敌人，尔后沿府河南岸的西门大街，佛爷庙大街，估衣市街，东桥大街向老东门推进。
13日2时，一O九团，六十团于中御桥街歼敌—个骑兵大队及辎重营。3时50分，七纵指挥员向兵团司令员许世友报告：“二十师突破口被敌人封锁”。许司令当即指示：“命令外边的部队往里冲，一间屋子，一个墙角，都可以利用起来；从西往东打，打它个七进七出没关系。”攻城部队重新打开突破口，部队潮水般地涌入城内。六十团一连在巷战中打得勇猛顽强，从天主教堂一直打到东关。三十七师一一O团先攻占了老西门北侧的县政府，然后沿府河北岸往东推进。第三十八师一一三团从一一二团突破口左侧加入战斗，敌约一个营的兵力在该团与一一二团结合部冲至我团指挥所附近，团警卫连占据房屋用手榴弹和短枪将敌击退，并连续打退敌人3次反扑，歼敌一部。该团二营对城西北角敌机关炮阵地凭坚固守的敌人展开攻击，歼灭200余。三营沿龙须门向北进攻，在屠宰场歼敌约一个连。