这时，华蘅芳等忽然想起了前时在上海认识的广东人容闳。容闳自幼读的是洋学堂，远在40年代赴美留学，为美国耶鲁大学的毕业生。在当时的中国，这样的洋学生真正是凤毛麟角了。于是，华蘅芳等向曾国藩介绍，认为请得容闳前来，造船、办厂工作一定能有进展。曾国藩详细了解了容闳的情况，立即邀请他尽快来安庆。曾国藩的态度让容闳很吃惊。他不理解，这位全国闻名的理学名臣，为什么能接受他从西方搬来的那一套。经过一番交谈，容闳对曾国藩的认识深表赞同，感到回国六七年来，今天才找到了理解他的人，决定把自己的富国强兵的主张全部拿给曾国藩。
到了同治二年年末，即1864年年初，中国的第一艘火轮船居然在安庆内军械所制成了，这是中国造船史上的一个创举。这艘轮船的船体很小，重二十五吨，长五十五尺，高压引擎，单汽筒，回转轴长十四尺，锅炉长十一尺，直径二吋。严格讲，这艘轮船还只能算是一个试验模型。但“麻雀虽小，五脏俱全”，这毕竟是中国人自己制造出的第一艘军舰，该舰取名为“黄鹄”号。
军舰造出来了！曾国藩的兴奋比两年前造出第一批新式枪炮还要强烈。他再次集合军官和幕僚在安庆的长江中试航，顺流航速为二十八里，逆水时速约为十六里，曾国藩自认“行驶迟钝，不甚得法”。但曾国藩也认为既然中国能造出轮船来，“以次放大，续造多只”，中国便会有自己的舰队。
不久，湘军攻陷天京，曾国藩把安庆内军械所迁至南京。未及办厂，同治四年（1865年），容闳由美国买回了机器，曾国藩与李鸿章在上海共同办起了洋务运动中规模最大的军事企业——江南机器制造总局。该局不仅能制造枪炮弹药，还设立船坞，制造军舰。到同治七年（1868年），终于制造了一艘真正的轮船，取名“恬吉”。到了光绪二年（1876年），共造出七艘轮船，其中铁甲舰一艘、炮舰六艘。继曾国藩创办安庆内军械所之后，李鸿章、左宗棠等人继续举办洋务。先是军事工业，继是民用工业，使中国的洋务运动迅速开展起来。
直隶总督练“练军”
正当曾国藩大力兴办洋务事业，并努力恢复因战乱而残破的江南经济的时候，1868年9月13日（同治七年七月二十七日），曾国藩接到上谕，命他任直隶总督。1869年1月25日，曾国藩抵达京师。
整个清代，直隶总督负有护卫京师的责任。因此，除了特殊的情形如对西北用兵、对太平天国用兵外，直隶总督一直是最重要的地方官，其次才是掌握最富庶的江南、供应朝廷财政需求的两江总督。
练军队是成为曾国藩上任直隶总督后的第一项任务。长期以来，特别是第二次鸦片战争以来，直隶的军队衰弱不可用，直隶的防务十分空虚。剿捻战争时，西捻军曾冲入直隶一带，直隶根本无可与捻军一战的军队，全靠外调来的军队。清廷应该也不希望再发生这样的事情。另一方面，京师离海较近，两次鸦片战争中，英、法军队随时可到天津海口骚扰、威胁，而1860年又占领京师，因此直隶急需较有战斗力的军队。可怎样才能练出这样一支军队来呢？曾国藩的办法是，将刘铭传所率的淮军主力、战斗力最强的铭军一万人和从绿营中抽调出的一万练军，进行编练、改革，以此打造一支能拱卫京师的强军。
接任三个半月后，曾国藩经过初步了解，对练军的编练提出了三条建议：
第一条，叫“文法宜简”。他比较湘军和绿营兵的差别说，湘军勇丁“帕首短衣，朴诚耐苦，但讲实际，不事虚文。营规只有数条，此外别无文告。管辖只论差事，不甚计较官阶。而挖壕筑垒刻日而告成，运米、搬柴崇朝而集事”。绿营兵则过分讲求仪式礼节，好像不是军队而是官衙门。出征的时候，行军要用官车，扎营要用民夫劳作，“油滑偷惰，积习使然”。先前所定的练军规条有一百五十余条之多，即使是读书人也无法完全记住，导致“文法太繁，官气太重”。这些都要参照勇营即湘军的办法加以改革，将条规简化，做到简明、易懂、易守，不要排场，不要官气。
第二条，叫“事权宜专”。从前的练军，仍然效仿绿营的办法，统领经常更换。统领之下的营、哨各官，都是由总督指派而不是由统领选拔。统领没有选拔和撤换下属之权，没有管理军饷之权，一旦作战，下属不肯用命。现在要像湘军一样，一营之权，全部交给营官，统领不遥制；一军之权，全部交给统领，大帅不遥制。他说湘军统领所以能够发挥其才干，就在于事权归一，指挥纵横如意，练军就是要仿效这个办法。
第三条，叫“情意宜恰”。曾国藩说，现在练军士兵虽然离开他原绿营的队伍，但是是否挑入练军是由其原绿营的营官主持的，不是练军的营官挑选的。主持练军的营官，没有对士兵的提拔和黜革之权，上下隔阂，情意全不相连，当有紧急事变时就不可靠。还有，各营练军有冒名顶替之弊，防不胜防。因为从前绿营军饷较少，士兵常常要做小贩或手艺谋生。练军士兵调到别处训练的练饷二两四钱，在练营领取；而原绿营的底饷，仍在绿营本营领取。士兵便常常在练营附近雇人顶替，将练军军饷给冒名顶替的人。但是一有远征，受雇的人不肯随着远征，于是再雇乞丐、贫民前往。这样兵额一个，但人已三变，怎么能打仗？今后将实行两个办法：一是一旦一个士兵挑入练军，即将其原在绿营的名额裁去。练军增一兵，绿营底营即少一兵；二是无论绿营底饷还是练饷，都在练军发放，从根本上杜绝冒名顶替。这样做实际上是逐渐取消绿营。将来还要仿效湘军的办法，统领选营官，营宫选哨官，哨官选什长，什长选勇丁。
按照曾国藩拟订的这三条，练军的体制更接近湘淮军了。
半年以后，八月二十七日（1869年10月2日），曾国藩又奏定按照湘军的制度，为练军设立长夫之制。每营练军设长夫150人，这150人实际上就是辎重和后勤兵。每月拔营一次，实际就是我们今天说的军事演习。拔营要行二三百里，命士兵像实战那样修垒挖壕，不准像以前绿营那样出行坐车。第二年四月（1870年5月），曾国藩又拟订了《直隶练军步队营制》和《直隶练军马队营制》，其中马队完全抛开绿营，从直隶省农民中选募。
由于经费并不充足，曾国藩最初只能练三千余人，三个统领，两个用当地军官，一个用以前湘军的军官彭楚汉。
直隶练军人数不多，但影响却很大。在曾国藩的组织领导和筹划之下，练军的制度基本成型了，而其本质就是采用湘淮军的制度。当时各省的绿营已不能再作为作战部队，这已是人所共见的事实，但是各省督抚苦于绿营是国家的“经制”之兵，不好裁撤，也不知如何改造。直隶编练练军之后，各省纷纷仿效。于是同治朝以后，绿营逐渐消亡。另一方面，镇压太平天国和捻军的战争结束以后，湘淮军及各省招募的勇营，除部分裁撤外，都驻防全国各要地，改称为“防军”。于是有清一代的八旗和绿营军制，实际上已经消亡，这也许是曾国藩所始料不及的。曾国藩去世以后，防军、练军曾参加过两次较大规模的反侵略战争，即中法战争和中日甲午战争。
中国留学事业的开创人
虽然曾国藩训练出了有名的直隶练军，但他在直隶总督的位上并没有待很久。
同治九年六月（1870年），天津爆发了震惊中外的天津教案，天津民众攻击了天主教教会机构，先后打死外国人二十人。事件发生后，法国联合英、俄、美等七国向清政府提出抗议，并调派军舰到华北沿海进行武力威胁。怯懦无能的清政府在外国侵略者的恫吓下，立刻派崇洋媚外，厚颜无耻的崇厚充任出使法国的钦差大臣，赔礼道歉，同时命曾国藩以直隶总督的身份处理此案。
7月8日，曾国藩抵达天津。当时天津市民正在怨恨崇厚袒护教会，都希望曾国藩来到之后能一反崇厚的媚外政策，公平办理此案。
但曾国藩早已打定主意与洋人议和，只要能不引起战争，什么条件都答应。
所以曾国藩到了天津之后，立刻下令将罪犯武兰珍和王三释放，接着又将天津道员周家勋、知府张光藻、知县刘杰三人革职。他虽然明知这样做事后必然遭到万民唾骂，舆论谴责，但仍不顾同僚亲友的劝告，一意孤行，最后以快刀斩乱麻之势将天津教案快速了结。其间搜捕群众，严刑逼供，正法20人，充军25人，赔偿白银49万两，又把张光藻、刘杰交刑部治罪，后判为革职流放黑龙江。
曾国藩对天津教案的处理方式，遭到了全国人民的反对，清政府迫于朝野上下反对投降的呼声，也是为了推卸责任，于1870年8月29日中途换马，改派李鸿章为直隶总督，命曾国藩回任两江总督。李鸿章接办此案后，仍基本维持原议，只将判死刑的由20名减至10名，4名缓期，其他都全部未动。
天津教案办结之后，对曾国藩的谴责更甚，“诟詈（lì）之声大作，卖国贼之徽号竟加于国藩。京师湖南同乡尤引为乡人之大耻”，会馆中所悬曾国藩“官爵匾额”“悉被击毁”，并将名籍削去，即不再承认他是湖南籍人。后世的人评说此事，都说曾国藩的一世英名尽毁于津门，但事实并非如此。回到两江总督任上的曾国藩，又一次走在了时代的前沿。
1871年8月，他以时任两江总督的身份与直隶总督李鸿章会衔上奏《拟选子弟出洋学艺折》，建议清廷挑选聪颖幼童派往西方各国留学，学习西方长技，培育人才。他在奏折中这样诠释选派目的：“……拟选聪颖幼童，送赴泰西各国书院学习军政、船政、步算、制造诸书，约计十余年业成而归，使西人擅长之技中国皆能谙悉，然后可以渐图自强……”在这里曾国藩，非常明确地阐释了选派幼童出国留学的目的在于习西人之长技以为我所用，“仰副我皇上徐图自强之至意”。
曾氏并非仅是签字画圈的官僚，他的派遣留学生也决非仅是决策之功，而更多地是把这作为一种国家自强的重要策略，且颇多创见，对于留学之必要性、目的、功用、选材、方法等都有所论及，甚至连可能遇到的问题都事先提出。
所谓“中国欲取其长，一旦遽图尽购其器，不唯力有不逮，且此中奥妙，苟非遍览久习，则本源无由洞彻，而曲折无以自明。古人谓学齐语者，须引而置之庄岳之间。”认为“盖聪颖子弟，不可多得，必其志趣远大，品质朴实，不牵于家累，不役于纷华者，方能远游异国，安心学习。”而选拔后，则严格要求：“随时课以中国文义，俾识立身大节，可冀成有用之材。”学习西方的则应该是军政、船政、步算、制造等学问。其结果“虽未必皆为伟器，而人材既众，当有瑰异者出乎其中，此拔十得五之说也。”又说：“总之，图事之始，固不能予之甚吝，而遽望之甚赊。况远适异国，储才备用，更不可以经费偶乏，浅尝中辍。”他希望“以志在必成，虽难不惮，虽费不惜，日积月累，成效渐有可观。”
1872年夏天，经严格考试选拔出的中国第一批出国留学幼童共30人，在上海乘轮出洋赴美国留学。从此揭开了中国留学史的崭新一页，这是国家公派留学的发端。遗憾的是，曾国藩已于此年二月初四日（3月12日）晚病逝于两江总督衙门，未能亲眼见到。
据说曾国藩死的时候，金陵城下着小雨，天色阴惨。忽然有火光照耀城中，属金陵的江宁、上元两县令急忙出来救火，却不明火在何处。只见有红光圆如镜面，向西南方向缓缓飘行而去，良久方隐没。又传说城外有人见到大星陨落金陵城中。这当然是人们把一些奇怪的自然现象附会到曾国藩身上。因为人们相信，曾国藩的离世就如同巨星陨落，是清廷的巨大损失。
就留学事业，尤其是作为国家派遣留学的角度而言，曾国藩所作所为意义深远且重大，誉其为开创之人当不为过。现在学界颇有称容闳为“中国留学生之父”之说，容闳固然为中国留学生第一人，其于留学事业之贡献和竭力，世所公认。如果就留学作为一项国家政策之制定和推行而言，曾国藩至少可以被称为“中国留学事业的奠基者”。曾国藩之影响和决定性作用远高于容氏。曾国藩作为当国者，其视角、眼光、见识、举措，真可谓对国家之影响深远莫大焉。
必须指出的是，曾国藩是“派遣留学”的重要决策者，但这一思路并不是孤立的，而纳入“自强运动”的整个框架之下。其思路并没脱出“师夷长技以制夷”的基本思维方式，正如李鸿章始终认为的“中国文武制度，事事远出于西人之上，独火器万不能及”，所以派谴留学生也是去学其技术类的实用学科，这是时代之限制，不必太过苛求古人。曾国藩对西方强盛的认识颇有独到之见，他早就意识到：“欲求自强之道，总以修政事、求贤才为急务；以学作炸炮，学造轮舟等具为下手工夫。”他决策派遣留学，是从为国家培养人才的高度来认识这举措，而不是仅以“西洋工匠”的态度来对待留学生。所谓“西人之所强者兵，所以强者不在兵。”曾国藩很早就认识到了这点，从其开制造局到选派留学、组织译书、研究西学等，这些非常人所能为的作为中即可窥见其开风气，开先河之气势。后人评价其具有“先识远见”，确非虚赞之语。