水师的营官招募也很困难。在刚刚开始创立的时候，曾国藩并不知道筹措水师需要做哪些工作，于是就四处咨询，幸赖彭玉麟、杨载福出为营官，才使水师成军，而二人终成湘军名将。
彭玉麟是清末的一个传奇人物，年轻时被传为刚直而又多情的“奇男子”，投军之时被称为“不怕死，不要官”的名将。
彭玉麟，字雪琴，衡阳人，即衡州西北蒸水之滨的衡阳县人。幼年丧父，家贫，随舅父去安徽芜湖读书，在那里他结识了与他同龄的外祖母的养女小梅。两人一天天长大，也开始渐生情愫。彭玉麟17岁那年接到噩耗，祖母病故，作为长孙的他必须回衡阳尽孝。离别时他跟小梅承诺一定会回芜湖娶她。无奈彭玉麟家境贫苦，母亲靠纺线供玉麟读书，无法拿出返回芜湖的川资。一别七年，直到外祖母病故他才得以再次去芜湖，可这时小梅已经埋骨斗笠岭很久了。彭玉麟在外祖母和小梅的坟前呼天抢地，悲痛欲绝。此后，他誓不再娶，母亲每逼问，唯一语：“男儿功名未成，何谈婚事。”好在弟弟已成家，并生有儿女，母亲遂不再催问。但是，彭玉麟仅在十几岁时中了秀才，以后再未赴考。开始在衡阳绿营副将手下充掌书记，又为一富商看守仓库。有空即读《公瑾水战法》，又最爱画梅，几案箱笼，所处皆满。到曾国藩练湘军那年，彭玉麟已三十七岁了，仍是单身汉。
咸丰二年（1852年），耒阳地区发生武装暴动，急迫时，守城官募兵无以应，当时彭玉麟仍在耒阳富商家受雇，当机立断，发主人库存募勇守城。事息，城官保为绿营把总，彭玉麟一笑置之，并不受赏，被传为士林中少见之英杰。
曾国藩打听到彭玉麟的为人处世，尤其是此人熟读《公瑾水战法》，生在蒸水之滨，水性好，跑马射箭、枪法、拳术也都有功底，曾临战之功而不受奖赏。于是派人请他参加湘军，做水师将领。几次派人去请，彭玉麟也不受命。后曾国藩仿效刘备三顾诸葛的故事，亲往彭玉麟处相请，曾国藩见这位年近四十的汉子，依然长身玉立，英迈娴雅，十分敬佩。乃温言相劝，多方激励，方请得彭玉麟出山，做了水师的一个营官。
杨载福，又名杨岳斌（投军后因避咸丰之名载淳讳而改），湖南善化（今长沙）人。祖、父皆行武，有战功，父为游击官衔。居湘江滨，水性极佳。早年入行伍，参加镇压李沅发起义，升为千总。曾国藩办水师，把杨自长沙绿营中调为水师营官。
彭玉麟、杨载福入水师，为湘军水师的建设大出其力，成为湘军水师齐名的两个统领。彭、杨等水师营官每日抓紧指挥练习水战，至1854年2月，湘军水师终于练成。
此时，太平军先于咸丰三年二月（1853年3月）在南京建都，5月出师北伐和西征。西征军沿江西进、攻占安庆、九江、汉口、汉阳，江忠源向皇帝奏报，请咸丰下旨让湘军出师作战。几次催促，曾国藩皆以水师未成，船炮不齐，编练未就而拒不出战。咸丰几度下旨催逼，曾国藩提出一个三江、两湖数省军队统一部署、联合行动的战略计划，遭到咸丰的斥责。原来，咸丰此时并不知曾国藩的长远谋略，亦不知湘军水陆的实际情况，催他作战，也只是以为湖南乡勇可用，让他配合绿营。岂料曾国藩不仅不出，反提出数省合防的战略计划，便以为他口出狂言，下旨斥责说：“今观汝奏，直以数省军务一身克当，试问汝之才力能乎否乎？平日漫自矜诩，以为无出己之右者！”曾国藩接旨，既愤激，又惶恐。愤激者，以为两年前自己的犯颜直谏，咸丰仍耿耿于怀，且不理解他编练军队的“血诚”；惶恐者，太平军势力浩大，绿营军三年的惨败，他若率师作战，是否能胜，确无把握，若一旦失败，就真的是贻笑天下了。
所以，越是这么想，皇帝越是催得紧，他越是不出战。
然而不久，自己的师友江忠源、吴文镕先后败死，内外压力和愧疚之心使他再也稳不下神了。
吴文镕是曾国藩考进士时的阅卷大臣，是他的恩师。先为贵州巡抚，太平天国进攻长江数省，调为湖广总督。西征军攻武昌，吴多次向曾国藩求援，亦向咸丰大力推举曾国藩的水陆师情况，曾竟不赴援。咸丰四年一月十五日（1854年2月12日），吴领军在黄州堵城与太平军大战，军溃，吴文镕投水自杀。
吴文镕死前还给咸丰上疏，认为皖湘数省，只还有曾国藩一军可战；并写了一封遗书给曾国藩，让他好自为之。
后来，长沙有个叫黄冕的人给曾国藩提议道：“长江上下千里，港汊极多，敌船容易藏匿。因此，最好每营都添十艘小战船（即三板），这样就便于在港汊中搜寻敌船。”曾国藩对此非常赞同，于是就开始对水师的编制进行了如下的调整：每营配制快蟹一艘、长龙十艘、三板十艘。人员配制如下：快蟹配二十八名桨工、八名橹工；长龙配十六名桨工，四名橹公；三板配十名桨工。正是这样的水师配制，才能够使曾国藩日后在对太平军作战中取得胜利。
湘军走向近代化
曾国藩初办团练时，手无一兵一卒，但他却在最后成为江忠源的楚勇、罗泽南的湘勇等势力的精神领袖，并在湘军的逐渐发展过程中，大批湘籍非湘籍的人才为曾氏所用。除了志向，思想相通之外，曾国藩待人之道也起了很大的作用。他“待人以诚，待人以恕”，但在关键时刻却丝毫不会心慈手软。
在曾国藩移驻衡阳前编练湘军的时候，王錱本来是曾国藩非常赏识的一名将领，一直准备要重用他。但王錱在曾国藩将营地搬到衡阳后，曾受命回湘乡募勇。王錱回到湘乡后，十分张扬，出入都要敲锣打鼓，乡人为之侧目，又将勇丁多招至三千人。更令曾国藩气愤的是，王錱带着这三千勇丁到长沙，竟与湖南巡抚骆秉章来往密切，并渐渐流露出自成一军，不再听曾国藩指挥的倾向。
曾国藩于是断然要求王錱除原带一营外，新招者只留二营或三营，营官由曾国藩处任命，并按统一营制编练。但骆秉章却不令裁撤，命其加紧操练，驻省听调。这样，王錱更拒不听命，从而导致曾、王彻底决裂。王錱从此自定营制，自派营官，在组织上、制度上独立于曾国藩之外，自成一军。人们以后也习惯地称之为老湘军，以别于曾国藩统辖的湘军。
曾国藩在关系到自己以及湘军的前途命运的大事时，每次都不妥协，这次也不例外。于是，在1853年12月，他终于与王錱摊牌，就两人间的关系做一个了结。他给王錱发去一封最后通牒式的信函，提出王錱必须在遵守湘军的营伍制度与脱离曾国藩的湘军系统之间做一个明确的选择。
曾国藩向王錱提出了五条要求，并声明，如果对方接受，则合力并进；如果不能接受，则从此分道扬镳。