江忠源到任之前，周天爵病重期间，安徽防务由安徽布政使刘裕鉁署理，而刘裕鉁木头脑袋一个，军事上什么也不懂，他明知道自己只是一个过渡，一心望着新任巡抚快点到来。
江忠源带兵勇三千人赶到庐州部署防御。但他在军事上已开始大走倒运，他本想在湖北田家镇再来一次‘蓑衣渡’之战，结果他第一天赶到田家镇，第二天那里就失守了。
胡以晃占领舒城以后，从从容容休整部队，故意放下庐州暂停攻打，因为此刻庐州城内没有一个清军着名将领，打一座空城又有什么意思呢？胡以晃志在歼敌有生力量。
江忠源身为安徽巡抚，保卫临时省城是他分内之事，他顾不得兵单力薄，硬着头皮来守庐州。
胡以晃听说江忠源亲临庐州，真是大喜不已，他击掌叫好道：“好！江忠源果真来到，我正好来一个关门打狗，除掉这个凶顽之徒，给南王报仇。”
胡以晃即刻点起大军，快速北上，将庐州城包围起来，分七路攻打城门。
庐州城内守军处于绝对劣势，江忠源用大炮火药封锁各城门，人数虽少暂时还能负隅顽抗，可面对密不透风的包围，他们又能坚持多久呢？
原安徽按察使张熙宇和总兵恒兴弃桐城不守而逃命，皇上震怒，命处极刑。恒兴自知回去罪责难逃，他骑马躲进深山，不知所踪。张熙宇逃往庐州被当即囚禁，知皇上已下死刑命令，他不愿当众受辱索性以衣搓绳，上吊自杀。
又一个已革安徽按察使张印塘，害怕像张熙宇那样受到皇上重裁，他伙同寿春镇总兵玉山带兵从巢县东关，赶到庐州城外主动向太平军发起进攻。
曾天养正为攻不下庐州而恼火，见有清兵前来送死，哪肯放过这个机会？遂于拱辰门外展开一场大战，消灭敌兵一千多人，阵斩总兵玉山。
张印塘吓得屁滚尿流，生死关头还是性命要紧，在一群残兵保护下急忙躲进肥东县。
两日后又有总兵音德布由六安州带兵来到庐州城西，胡以晃分军迎战以优势兵力将其击溃。音德布率败军后退二十里，不敢再接近太平军阵地。
胡以晃部外抗敌人援军，内攻庐州城门。打退音德布后，挖开地道埋好炸药，炸毁大西门月城十余丈。胡以晃督军冲锋，而江忠源采用守南昌老办法，占据有利地形将大炮对准缺口轰击，天兵尸体又将缺口堵塞，阻止了后续部队前进。
太平军在庐州七门外，架木栏以阻敌兵，修土垒而作掩体，在外挡住众多敌援，在内困死守城清兵，完全掌握了战争主动权。
清陕甘总督舒兴阿亲率六千兵勇赶来，命令总兵郝光甲、杨青鹤领三千人作先锋，前来增援水西门。胡以晃派兵设伏来一顿炮轰箭射，歼敌一半，迫使其退缩到一个名叫高桥的地方。
舒兴阿闻讯大惊不敢再往前行，自率三千人扎营于庐州西北三十里外之冈子集。堂堂陕甘总督被太平军神威吓破了胆。
江忠睿也生怕大哥有生命危险，急忙从江西带兵一千五百人赶到安徽增援，可是一接近庐州就遭到太平军狠狠打击。他只得扎营于城西五里墩待机行事。
新任江南提督和春也率一千多人来到庐州以东，但由于军纪涣散根本不能作战。清军各路人马聚集庐州城外围，兵勇已达一万数千名，可士气低落对太平军形成不了太大的威胁。
而太平军斗志旺盛，充满信心，丝毫没有放松对庐州城的攻打。胡以晃、曾天养部围庐州城达一月之久，城内清兵人心惶惶，很多兵勇都在为自己找一条活路。
北面拱辰门驻扎着庐州知府胡元炜招募来的一批淮勇，淮勇头目名叫徐怀义。这徐怀义对太平军怀有仁义。他生长在皖北一户农家里，上辈人常向他讲述大汉族主义思想，说少数满族却统治绝大多数汉族，于天理不公，这清王朝迟早是要灭亡的。
现在太平天国建都南京，横扫长江一带，北伐军直奔清廷老巢，咸丰帝宝座随时有可能被推翻，这不是已到了改朝换代的时候了吗？
徐怀义遂起反清之心，他借登墙守城之机向太平军阵地射去一箭，上绑书信一封，写道：“鄙人徐怀义系汉族人，一向不满朝廷，只为生计才当了清兵。由于有点文化得了个一官半职，现在带兵驻守拱辰门。弟兄们都是穷人不愿同贵军作战，只要贵军不杀我们，我们就放贵军入城。”
这封信一直转到了胡以晃手中，他看了之后又喜又悔道：“嗨！我这人有时喜欢蛮干，只知道猛攻猛打，怎么没有早想到攻心战呢？幸亏这徐怀义主动来投，真是天助我也！曾丞相，拱辰门正是你部围攻之地，想必你有攻城妙计了。”
曾天养捋捋胡须道：“如果徐怀义确实真心相投，那就容易攻下庐州。我军只需将兵力集中于拱辰门一带，待徐怀义打开城门，我们就迅速冲进去，消灭城内敢于顽抗之敌。”
胡以晃补充道：“为探明徐怀义虚实，我想先派人和他取得联系。”
指挥张遂谋化装成清兵混进城去，与徐怀义接上关系，约定水西门炮响，便打开城门迎接太平军入城，事成之后再行重赏。
一八五四年一月十四日深夜，雪花飘飘，寒气袭人。曾天养率一万多精兵，早已吃狗肉、喝烧酒暖和了身子，埋伏在拱辰门外等待出击。
另一路太平军已在水西门挖洞埋雷，胡以晃一声令下，“轰隆”一声巨响，城墙炸开数丈，太平军乘雪冲进水西门，杀向城内。
北面拱辰门守军在徐怀义策动下，已经叛变不仅没有去增援水西门，反而跑上去打开城门，迎接曾天养大军蜂拥而入。
水西门一声巨响，惊醒了正在熟睡的安徽布政使刘裕鉁。他急带副将松安、都司戴文澜带兵前去堵截太平军。胡以晃挥军一阵掩杀，将其官兵悉数全歼。