曾国藩大胆改革传统兵制，他“以礼治军”“勤恕廉明”，加强对军队的思想教化和控制，所组建的湘军“赤地立新，特开生面”，走出了传统团练的窠臼，开创了中国军队走向近代化的先河。
“曾剃头”办团练
团练源于唐德宗年间。当初的统治者把乡民组织起来形成地方性的地主武装。这种武装形式很灵活，有战争的时候奉命出征，没有战争的时候就回府务农。玄宗用募兵制代替府兵制之后，兵农分离，但各藩镇仍然延用团练的办法。清代前期，团练的情况也存在，但是大多是时聚时散。嘉庆年间，苗民在贵州、湖南两地发生暴动，凤凰厅同知傅鼐“乃日招流亡，附郭栖之，团其丁壮，而碉其要害，积十余碉则堡之”，后来平定苗疆时，团练的兵力和碉堡的战术发挥了很大的作用。后来，白莲教教徒起义，白莲教运动波及四川、湖北、河南、陕西、甘肃等省，持续了将近十年的时间。德楞泰和明亮上奏皇帝，请求用乡勇和碉堡如法炮制，嘉庆帝发布诏书命各地都用此方法，最后才镇压了白莲教起义。
因为以往有镇压白莲教起义的成功经验，所以当太平军兴起时，咸丰帝在积极布防的同时，还发布上谕要求各省团练乡民，企图使八旗兵和绿营兵在内的正规军与团练乡勇密切配合，一起镇压太平军的起义，于是在全国就掀起了第一个办团练的浪潮。由于丁忧或请假在籍的官吏对地方的情况较为熟悉，清廷就委派他们与地方督抚配合行动。前刑部尚书陈孚恩是被任命的第一个团练大臣，时间在咸丰二年八月，曾国藩就是第二个团练大臣，时间在这年十一月。接着这年十二月到咸丰三年二月，在仅仅几个月的时间里，累计任命了四十九名团练大臣。咸丰十年（公元1860年），太平军消灭了江南大营，清廷进一步意识到必须依靠地主武装才能取得胜利，在全国各地办团练的第二次浪潮又兴起了，清廷又先后任命了四十三个团练大臣。这九十二人中，官职由高到低，自前尚书至已革总兵不等，分布在十六个省份。由此可见清廷如何重视办团练事宜。
曾国藩上任后所做的第一件事就是严厉打击民间暴动，原因是随着日益扩大的太平军势力，湖南境内各会党趁此机会纷纷涌出，平日受尽官吏欺压的百姓为反抗官府也都趁机组织了起来。是时，太平军虽已离开长沙，但挥师湖南是随时都有可能的事情，到时候湖南境内的各股反抗力量与太平军部队相结合，清政府在湖南的统治就将宣告结束。而且，即使太平军还没有进攻到湖南，各地民间组织的武装暴动也扰乱了整个湖南官场，让官员们惶惶不可终日。此时的曾国藩，一面招募兵勇进行训练，一面集中兵力镇压各地起义，他还没有足够的实力与太平军对阵。
就是在这种形势下，曾国藩担任了湖南省团练大臣，而后，他又在省城长沙设立了审案局，招募勇丁，揭开了镇压太平天国运动的序幕。
咸丰二年十二月十七日，曾国藩与郭嵩焘从家乡动身前往省城长沙，途经湘乡县城时，又接到湖南巡抚张亮基征调湘乡练勇一千名赴省城的扎令。正好这一千练勇由曾国藩带走，湘乡的岁泽南、刘蓉、王錱、朱孙诒也随曾国藩而去。这些人便是曾国藩初办团练的班底。
咸丰二年十二月二十二日，曾国藩一行率带一千湘乡练勇赶至长沙。
未进城时，早有江忠源、左宗棠率带楚勇和乡绅及昔日岳麓书院的一班同学、同乡前来迎接。
来至巡抚衙门，张亮基在大开的中门外带领省署诸班官员大张旗鼓，迎接曾国藩一行的到来。从此，曾国藩以一文员侍郎之身分，开始了军伍生涯。
第二天，曾国藩即向皇上呈递奏折，要求在长沙建大团，成一劲旅，以剿灭“洪杨发匪”。
不久，便有五百里加急信马报达，咸丰亲批朱愉：“悉心办理，以资防剿。”随后即把带来的一千团丁编为两营，由罗泽南、王錱各带一营。从中抽调八十名精悍，组成亲兵队，由曾国葆统带。又组织一帮人马，十余名委员，在紧挨巡抚衙门的鱼塘口，新开了一个衙门，招牌上写着“湖南审案局”。委托过去岳麓书院的同窗，在籍江苏候补知州黄廷瓒负责。
初来长沙，曾国藩对未来的发展并无多大成算。自己上报给皇帝的奏折，要在长沙成一劲旅，与太平军对抗。但实际上，皇帝的原旨是让他到省城帮办湖南团练事务。团练并非正规部队，其职守也只是“帮办”，归根结底是帮着省里维持地方治安，关键之时率带团练守卫地方。因此，曾国藩初来长沙的差使是对付地方的小股暴动。
湖南地面本来就“不靖”，受到太平天国起义的影响，也就更加不安宁了，“匪类”起事遍地皆是。至长沙不久，道州便发生天地会何贱苟等首领宣布起义，围攻县城。曾国藩即派王錱、刘长佑、李朝辅率湘乡团勇前往镇压。但队伍刚出发，忽接衡山草市刘积厚起事，杀死地方官，响应太平军。曾国藩又命王錱转回头去镇压刘积厚。可是命令刚发出，又有攸县的黑红会、桂阳的半边钱会、安化的串子会、永州的一柱香会起事。尚有被太平军打散的清军，也混在造反队伍里，四处抢劫。几天里，呈报到审案局的急件就有一大堆。
做过十几年京官，终日同经书、诗文打交道文员，虽官至二品，那曾见过这般阵势？况且手中仅有那千把未经训练的军队，由几名书生率带，真是顾了东顾不得西，一时弄得这位衔命出山的湖南团练大臣焦头烂额。
但是曾国藩却有他的办法和手段。他招集审案局委员及团丁，下令对地方不良分子一律处以重典，不论是盗贼、土匪、游勇，捉一个杀一个，谁捉一个，赏银五两。为了杀一儆百，他还命人制作一批木笼，类似于囚车，把拿获的土匪枷于木笼游街。游罢街也不取出，直至游死、饿死为止。于是，没过多久，湖南百姓士子都知道长沙出了个残忍酷毒的团练头子曾国藩。许多人向省里告状，说审案局是阎王殿，连审案局里的一些委员也表示不再干这伤天害理之事了。
张亮基却极力支持曾国藩的行动，他认为“宁失之于严，不失之于宽”。张亮基与曾国藩一个心眼，湖南地方对曾国藩的残酷杀人没地方告了。大家知道，因为“杀土匪”，告到咸丰那里也无济于事，皇帝恨的就是“土匪”太多。所以告曾国藩的状子没有了。于是，曾国藩每天的主要工作是命令杀人，凡捉到的都是“匪”，因此也用不着审问，只要“验明正身”，便立即斩首。于是，张亮基上折奏报咸丰，说曾国藩“有胆有识，刚强干练”。
曾国藩见数月以来，以严刑酷法对待骚乱确有成效，于是变本加厉，拟定“格杀勿论”、“就地正法”的告示，盖上“钦命帮办团练大臣曾”的紫花官印，让团丁四处张贴，弄得长沙城及湖南全省一片恐慌。
曾国藩向咸丰帝奏报，他任湖南帮办团练大臣之后，不满四个月由他直接领导的审案局就杀人137名；由他批示各县“就地处决”者更多，他给亲友的信中所写杀人之数远不止此数。因此他受到了社会舆论的抨击，人们送给他“曾剃头”、“曾屠户”的诨号，表示对他的愤恨。
曾国藩初办团练以杀人为营生，赚得个“曾剃头”的恶名。张亮基作湖南巡抚之时，处处让他放手去干，他还混得下去，但不久形势发生了根本变化。武汉失守，湖广总督徐广缙被革职，张亮基调往武昌，接了湖广总督的空缺。湖南巡抚由布政使潘锋署理。不久，原湖南巡抚骆秉章又重任旧职，布政使是徐有壬，按察使是由外处调来的陶恩培、都新。后调来的这三个人，完全不能接受曾国藩的做法，因此，曾国藩的日子日益艰难。
“亦官亦绅”的尴尬
曾国藩久居官场，对官场那一套早已看透，但他出面督办团练时，是没有“名分”的，这势必与旧的体制发生磨擦与矛盾。这种矛盾与磨擦大体来自三个方面：一是他的非官非绅的身份与地方官的矛盾；二是督办团练的做法与官场旧习的矛盾；三是湘军的建立发展壮大取代了正规军，因而与国家旧体制的矛盾。第一种矛盾使曾国藩感到办事不灵，第二种矛盾使他有“越俎代庖”之嫌。
这一时期的湖南巡抚是张亮基。张是江苏铜山（今徐州）人，举人出身，颇受云贵总督林则徐赏识。因林密荐，不到二年间四次升迁。道光末署云贵总督。
曾国藩最初出山办团练，是以丁忧侍郎的身份来“入局”的。丁忧是为他母亲守丧。按儒家的礼制，无论官做多大，必须尽孝道，为父母守丧三年（实际是二十七个月）。在此期间，朝廷要开去官缺，但仍享有原官品级的待遇，服丧期满，再到中央重新任职。也就是说，曾国藩有的是二品侍郎的虚衔，他这个“官”是虚职。同时，他又有“在籍”的身份，因为他的母亲病故于原籍，曾国藩在家乡守丧，因而又有了乡绅的身份。但他这个乡绅的身份也是虚的，因为他一旦服丧期满，又要离开湖南重返官场。而那些退休的官员才是真正的乡绅。就此而言，曾国藩的“亦官亦绅”都是虚衔，这就是他经常谈起“非官非绅，办事不灵”的原因。而好友刘蓉却有另一层说法，他说：“我看这句话要倒过来说，应该是‘亦官亦绅，办事必成’。侍郎公曾经有为官的身份，在朝廷上的影响绝不是一般人所能达到的。而侍郎公如此体贴民情，与我们这些书生能打成一片，也不是一般当官的人所能做到的。现在这支上万人的队伍，主要还得靠侍郎公。”
曾国藩听了这话，并没有表态。他作为湘军统帅是很自然的事情，也不用推辞。倒是刘蓉说他“亦官亦绅”，真正切中了问题的要害，他的双重身份，让他感觉到了自己的优势。
曾国藩何以有“非官非绅，办事不灵”的感慨呢？原来，曾国藩在长沙初练湘军的时候，由于他本来处于一种非官非绅的地位，可实际上却干着官和绅的事情，这样就必然要侵犯到他人的权利。再加上他想马上实现澄清天下的抱负，对官场积习深恶痛绝，不知道迁就别人，因而跟人矛盾很大。起初，张亮基调任湖南巡抚后，以巡抚大员身份，请曾国藩出山。曾国藩当时虽回绝了张的邀请，但后来出山的原因之一是认为张是可以合作之人。事实上，张亮基在湖南担任巡抚的一年多时间里，由于胡林翼等人从中斡旋，曾、张之间的关系大体上保持一致。但张一离开湖南，曾国藩就感觉在长沙与地方大僚不好处，因而不得不移师衡州。曾国藩显然很怀恋这段同僚相处的时光。张调任山东巡抚的当年重阳节，曾国藩给张写信，详细道出自己“越俎代庖”的苦衷。曾国藩说：“听说仁兄已调往山东，从此毗邻京城，坐镇泰山，大展宏图。只是在目前两湖整肃吏治的工作才刚刚开始，各项建设初有起色的时候，仁兄却突然奉调离职，这不仅使刚刚开始的各项工作无法继续，而且即使是一般的平民百姓，也为仁兄的调离而感到惋惜，他们怅若所失，顿失依靠。”
曾国藩讲的“顿失依靠”，实际是道出了自己的苦衷，因为他与现任湖南巡抚骆秉章关系还没有“磨合”好。
这个时期，曾国藩的双重身份，并没有给他带来什么优势，反而给他添了不少麻烦。本来地方团练大臣们的地位就很尴尬，他们既不是地方大吏，又不是钦差大臣，只是辅佐地方组织地主武装，协同维护地方秩序。这个举措是清政府的应急手段。而曾国藩却一味蛮干，以钦差大臣自居，支持他的张亮基一走，新任巡抚和地方官便认为他多余了。地方大员对曾国藩不支持，文武官员也就更不配合，不久便发生了争端，几乎闹出了大事。
事情由曾国藩越权干预绿营兵引起。
清朝常例，绿营兵由总督统辖，由各省提督统带，负责训练等事务。团练大臣只能管辖团勇，对地方绿营军营务更无权过问，可曾国藩却通过塔齐布对湖南绿营军加以干涉。
塔齐布是满洲镶黄旗人，姓陶佳氏。初由火器营护军提升为二等侍卫，于咸丰元年（1851年）派往湖南任都司，在助守长沙之战时升为游击。曾国藩为湖南团练大臣，见塔齐布生性忠勇，剽悍骁健，无旗人和绿营军官中的腐败习气，很是看重他，于是聘他为教师，训练团勇。塔齐布对曾国藩唯命是从，认真做事，很得器重，二人交往愈加密切。
曾国藩训练团勇很严格，有军事训练、政治教育，同时还要与绿营军一道会操，虽长沙盛夏酷暑之时，也不许停止。曾国藩不许练勇停止会操，绿营兵也就得陪练勇训练，绿营若不参加，何谈会操。于是，便引起湖南绿营骄将情兵的反对。长沙协副将清德早对曾国藩干预绿营不满，于是便利用部队的懒惰情绪，拒绝听从曾国藩的命令，不再参加与团练的会操，也不再听曾国藩的训话。
一次会操时，曾国藩发出了会操的命令，只有塔齐布率领所部前往，其余驻长沙的绿营兵拒绝参加，还群起指责塔齐布谄事曾国藩。曾国藩大为恼火，以清德惰于操练、临阵退却参劾之。清德不服，赴湖南提督鲍起豹处申诉，反控曾国藩以炎热气候强令军队操练，虐待士兵，塔齐布令绿营与练勇会操是破坏营制。
鲍起豹跟清德是一个圈子的，自然会护着清德，惩处塔齐布了。绿营兵在鲍起豹的纵容下，更加嚣张，乃寻衅挑起纠纷，鸣号列队攻击塔齐布的军队。曾国藩出来干预，鲍起豹挑动军队包围塔齐布的营房，捣毁了营房、居室。并攻入曾国藩的团练大臣公馆，枪伤了他的随员和护兵，几乎击中了曾国藩。