曾国藩、塔齐布狼狈逃走，才免于被杀伤。曾国藩的公馆与巡抚衙门仅一墙之隔，骆秉章却装聋作哑。直到曾国藩仓皇跑来，他才不得不同意曾国藩的处理意见，让肇事者赔礼道歉，并不追究鲍起豹和清德的任何责任，也不对曾国藩加一语安慰之词。事后，长沙城里的各级官吏皆言曾国藩干预绿营兵事务，是自取其辱。曾国藩知道长沙再无自己的立足之地，于1853年9月自动离开长沙，移驻衡州。
曾国藩初办团练，以落败暂时告一段落。
很显然，曾国藩出山之初很不顺利，一是他手中没有实权，没有管理地方的职责，但练兵筹饷，哪一项都要与地方官打交道。曾国藩此时性格外露，没有顾忌，因而招人怨、招人忌。二是体制上的矛盾，如文官不统辖武将，这是清朝的定制，曾国藩破坏了，因而就有人名正言顺地反对他。再者，绿营兵是国家正规军，湘军当时称为乡勇，属于临时性质，是无法与绿营军争位置的。曾国藩的性格决定了他督办团练必然会走到这一步。曾国藩的这种性格对他的发展是极为不利的，直到咸丰八年再度出山时才有大的转变。
衡州“审案局”
初办团练遭遇到的挫折让曾国藩清醒了很多，他心里有了初步的打算。他明白，居人之室、借人之军，难以立足，必须发愤练成自己的一支军队，才有成功的本钱。这是他离开长沙，到衡州独辟山林的初衷。
当年的衡州城，即今天的衡阳市，是湖南衡州府的知府衙门所在地。地处湘水和蒸水的汇合处，是湖南省的名城，仅次于长沙。因为是知府重地，府称“衡州”，所以俗称衡州，而不叫衡阳。此城北临南岳衡山，控水陆要冲，历来是兵家必争之地。
衡州曾是曾国藩的祖籍，曾妻欧阳氏是衡州人，衡州亲友多，是他的第二个故乡，这是他来衡州的重要原因。
因为有长沙的教训，曾国藩这次学聪明了。他来到衡州之初，就盘算着怎么跟地方政府搞好关系。衡州知府陆传应在曾国藩到来之前已有巡抚的札文，照例开城相迎。知府官位仅是从四品，比曾国藩整整低了五级，但曾国藩并不以高压下，照样以“兄”相称，给陆知府的印象
颇佳。
经由陆传应的首肯，团练大臣的“署衙”暂设于小西门演武场。这个演武场实际上是一处大祠堂，位于衡州西门外的蒸水滨，是当年吴三桂在衡州称帝时开辟的，场面很大，有现成的阅兵台和“行署”。曾国藩把由长沙带来的一千多名团丁安驻于此，罗泽南、王錱、李续宾、李续宜、江忠济（江忠源之弟）、曾国葆等人算是他的手下大将了。
初来衡州，又怕被人排挤而出，曾国藩的挫败之心很重，也知处境尴尬，又怕给知府带来压力。所以，处处小心谨慎。
让曾国藩挠头的头等大事，就是自己的名份问题。自己该属于哪个衙门口呢？朝廷并未立定规矩。只说办团练，但团练大臣数十个，各自的品级并不一致，各地也无“团练大臣”的衙门。几经商量，先起名为：“钦命团练大臣曾统辖湖南湘军总营务局”。牌子写好之后，曾国藩感到不妥：皇帝诏书写的是“帮办团练大臣”，帮而办之，湖南主要办团练的角色还得是骆秉章；统辖湖南湘军就更不妥了，皇帝没给他这么个衔，也无统辖军队的权力。商量来商量去，还是照旧用长沙时用过的“湖南审案局”五个字。
招牌不变，曾国藩的主意与在长沙时可大不一样了。他不再蛮干，不再仅做维持地方治安的帮手。他要下决心练成一支劲旅，自做统帅，做李泌、郭子仪那样的事业。
团丁安置好之后，他想的是先有一批可靠的军官。于是提笔在手，给郭嵩焘、刘蓉、李元度、陈士杰等人各写了一封信，让他们前来共谋大计。这时郭嵩焘在湘阴募集练勇资金；刘蓉在曾国藩眼里是诸葛亮般的“卧龙”人物，在长沙时他一度随行，后因故返回湘乡；李元度是曾国藩的同窗，平江举人；陈士杰是自己的弟子，以拔贡上京朝考时，曾国藩是他的阅卷考官，现在桂阳州原籍守制。
曾国藩的书信发出后，立即作出反应回信的是江忠源。江忠源当时正带兵在江西与太平军作战，时任湖北按察使。江忠源的信并没有寄到衡州，而是寄到了长沙。江忠源在信中要曾国藩抓紧编练军队，练成一支劲旅开赴江西与太平军作战。绿营军在能征善战的太平军面前的确是不行了，一触即溃。
江忠源的来信解决了曾国藩久未想通的问题：皇帝给各地团练大臣的任务是“帮办”练团勇，并不是要他们编练到前方作战的正规部队，若是练成一支正规部队，实属越格。实际上，当时各省的团练都不过是数百人的地主武装，湖南的一千余人已是最多的了。这千余人，在巡抚、提督眼里，也如丁如沙。他们的饷项、器械全靠自己解决，已属绝路，若真的编练大部队，更难以想象了。江忠源写信要他招募数千人马，奔赴前线，这正好让他作出新文章：即让江忠源代奏皇帝，批准他在衡州招募勇丁，编练成军，交他指挥。实际上，未待朝廷批准，曾国藩已经开始在衡州招募军队。
首先是李元度应邀到来，还带来了500名新募的平江勇。一个月后，李续宾、曾国葆、金松龄募来了湘乡2500余名湘丁。江忠济、邹寿璋从新宁、宝庆一带也招来一千多人。同原来的湘勇合在一起，共有五千余人。曾国藩把这五千余人分为十营，开始训练。
在曾国藩训练团勇的同时，他发出的邀请函也都有了回复，郭嵩焘、刘蓉、陈士杰相继到来。让曾国藩更高兴的是，郭嵩焘还募得湘阴军饷20万两，不日即可汇到。他料到塔齐布在长沙不为鲍起豹所容，在军官缺乏之时，写信向骆秉章报告了团丁安置等情况，请他随时派人来视察，顺便向他借调塔齐布、杨载福、周凤山三员抚标军官，骆秉章一一同意。
曾国藩见文武齐备，同郭嵩焘、塔齐布、罗泽南、刘蓉、王錱、李元度、陈士杰、杨载福、周凤山连续几天商量了训练办法，制定了详细的军事条例。十营兵勇分别由塔齐布、罗泽南、王錱等人统带。
衡州知府陆传应见到曾国藩一下子招募了这么多人马，认为壮了衡州的声威。曾国藩又常和他商量练勇事宜，于是对曾国藩满投机缘。在初办之时，由府库存银取出十万两，派为练勇之用，权作暂借，曾国藩自然喜悦。也算是出山以来遇上了真正支持他的人了。
于是，衡州城外那块荒废多年的演武场上，突然炮声隆隆，烟尘滚滚，人喊马嘶，杀声阵阵。引得大人小孩前来围观，惊奇地看着这支从天而降的人马。
书生治军
谚语云：秀才造反，三年不成。军旅之事，自古就是“文人止步”的范围。兵凶战危，其间种种，与文人所学大都格格不入。文人于军事，多是在笔墨之间表示向往之意。如唐代的边塞诗人。即使忧愁多病之身的李贺，也喜欢写“黑云压城城欲摧，甲光向日金麟开”这样充满战场杀气的文字表达对战争生活的向往。但是唐宋以来以文人出身而在军事领域成功的并不多见，北宋的范仲淹、明朝的王阳明算是特例。在义理考据之学中消磨壮志与才情的清朝士人，更是男儿血性渐凋落，“江湖侠骨已无多”，曾国藩、胡林翼等人能够取得成功，并表现出卓尔不群的军事才干，也就无怪乎蔡锷将军发出感慨了。
曾国藩和湘军从一开始就注定成为19世纪中国的一个最重要的文化现象——“投笔从戎”。这可以说是历史上一支真正由读书人领导的军队。这群读书人挺身而出的最大使命，就是为了捍卫中国传统文化。太平天国对于孔孟的态度，让他们为之激愤，也正如此，让他们立下了“上马杀贼，下马读书”的誓言；至于效忠朝廷等，倒成了次要的目的。在曾国藩、胡林翼、左宗棠等一帮程朱理学的忠实信徒看来，太平天国所提倡的“拜上帝教”等，其实就是类似西方文化妖魔化的体现，是直接违背“天理”的行为，而他们有责任和义务在这样的生死抉择中承担自己的使命。正因如此，这支颇有湖南士林风气的儒生在后来艰苦卓绝的生死绝杀中，屡遭挫折而不馁，表现出了与叛道者誓不共存的殉道精神。
早在太平军初过湖南时，曾国藩就编写了通俗易懂的韵文，发动和鼓励当地士人及百姓团结起来，共同对抗太平天国。这就是今天可以看到的《保守平安歌》三首：《莫逃走》、《要齐心》、《操武艺》。其中《操武艺》一首就详细讲解了冷兵器时代的训练方法，也夹杂了一些简单火器的使用。
与曾国藩一同起事、最初创建湘军的，也都是一批典型的文人，确切地说是一批湘乡文人。谭伯牛把其主要人物曾国藩、罗泽南、王錱称为“三个性格迥异的湘乡人”，另外一位重量级人物江忠源则是湖南新宁人。
除了“三个湘乡人”，当时投在罗泽南门下的还有李续宾、李续宜、刘蓉、刘典、蒋益澧等人，后来都成为湘军营垒中的杰出人物。
“书生治军”是湘军的一大特色。根据罗尔纲在《湘军兵志》中统计，湘军将领中，书生出身的占到58%；在统领一路乃至多路人马的高级将领中，这个比例更是达到了67%。
就是这样一群书生联手创建了湘军。不过当时的“湘军”与今天所说的“湘军”，意义不尽相同。郭嵩焘称咸丰四年（1854）“立水陆各十营，号曰湘军”，认为一建军便称湘军；胡林翼在咸丰九年致李续宜的一封信中称“湘军万人循固始、商城，出六安”。在这期间，湘军各主要领导人对所统之军尚无统一和公认的名称，他们所称的湘军只是今天意义上的湘军中的一支。至于把曾、左、胡等人所统之部队概称为湘军究竟始于何时，尚待进一步探求，但王闿运在光绪初年撰写《湘军志》时，确已这样做了。湘籍学者梁绍辉认为，“湘军”之名，始于《清代大事年表》所记载的“咸丰三年七月，曾国藩遣湘军驰援江西”，也就是说湘军因为出省作战，为了区别于他省军队，才被称之为“湘军”。
曾国藩在后来的奏折中叙述这次出省作战的经过说：“（咸丰三年）五月十八日，江西省城被围，前安徽抚臣江忠源招募湘勇2000人，楚勇1000人，配以三厅兵800人，赴江救援。其监护军行者则有夏廷樾、易良干、罗信南、康景辉、杨虎臣等，而罗泽南亦自带一营。七月二十日，军至南昌。二十四日因进兵太锐，先胜后挫，谢邦翰、易良干及罗信南之弟罗信东等同时阵亡，此湘勇出境剿贼、带勇绅士力战捐躯之始也。”
自古英雄多磨难，从来瓜儿苦后甜。湘军一起步就遭受了这样的损兵折将。靠舞文弄墨起家的湘军统帅们，凭耕刨犁耙养家的湘军勇丁们，要想成为大厦将顷的清王朝的中流砥柱，显然还需要经过一番脱胎换骨的磨练。
“奇男子”练水师
如果把湘军作为一个总体或者集团来对待，那么，湖南新宁应该是湘军的发祥地；如果把范围缩小到由曾国藩创建，并由他指挥的那一部分湘军，那么，湖南衡阳则是它的发祥地。
从曾国藩咸丰三年八月二十七日到达衡阳的那一天开始，到他于咸丰四年正月二十八日从衡阳出征的时候结束，他在这里待了整整五个月。
咸丰三年（1853年），中国近代史上的第一支新式地主武装湘军产生了。按最初的计划，只想编练一万人，但因曾国藩的号召力很强，军饷发的也高，很快便超过了这个数字。
陆师的编制是：塔齐布、罗泽南、邹寿章、周凤山、储玫躬、曾国葆、朱孙诒、邹士琦、杨名声、林源恩各领一营，每营500人，共是5000人。王錱一人原领六营，约2400余人，曾国藩命其缩编为三营、1500人统带，王錱不服，率军投湖南巡抚骆秉章而去。
水师的筹建稍晚于陆师。1852年底，太平军进攻益阳、岳州，得到大批船只，遂建水师。后由武汉攻南京，千船万舸，蔽江而下，控制了千里江面。迫于应付太平军的水师攻击，咸丰三年，清政府饬令湖南、湖北、四川造船练兵。湖南巡抚骆秉章自认建水师困难，没有进行。而郭嵩焘亲见太平军的水上作战，往来迅捷，遂建议江忠源再度上书，要求清廷拨款造船，编练水师。咸丰准奏，命令广东购置洋炮，两湖、四川造战船，建立水师，对抗太平军。
咸丰三年（1853年）冬初，曾国藩奏请拨款四万两，在衡州建立造船厂，日夜赶造战船。他请来广西同知褚汝航、岳州守备成名标督造船只，从广西速购大批木材。到咸丰四年初，湘军水师成军，共有战船三百六十一号，有拖罟（gǔ，大纲）大船一号、快蟹四十号、长龙五十号、舢板一百五十号、改装鱼船一百二十号。船上共装大炮470门，新式洋炮320门。
水师成军之初，人数与陆师相等，也编为十营，官管由褚汝航、夏銮、胡嘉垣、胡作霖、成名标、彭玉麟、杨载福、龙献深、邹汉章、诸殿元十人担任。水营的招募从时间上看虽不太迟，但招募过程却很曲折。本来湖南之衡州、郴州、桂阳、永州一带多有习水性之人，也乐于应募，但曾国藩却不愿在那里招募。其原因一是陆师多在湘乡一带招募，水师也想在那里招募；另一原因是湘南一带多次发生起义，会党势力很大，曾国藩也不敢在那里招募。湘乡的壮丁多已参加了湘军和地方团练，又不习水性，所以不愿受招。但曾国藩利用各种关系，日夜说服动员，正好湘乡一带发生旱灾，百姓受灾生活困难，湘军的待遇又好，所以才纷纷投军，使水营也较快成军。