1856年10月，英殖民主义者利用“亚罗号事件”制造战争借口。“亚罗号”是一艘中国船，曾为走私方便在香港注册，但已过期。1856年10月8日，广东水师在“亚罗号”上逮捕了几名海盗和涉嫌水手。这纯系中国内政，与英国毫不相干。英国驻广州代理领事巴夏礼在英国驻华公使、香港总督包令的指使下，致函清两广总督叶名琛，称“亚罗号”是英国船，捏造中国兵曾侮辱悬挂在船上的英国国旗，要求送还被捕者，赔礼道歉。叶名琛据理力争，态度强硬，而且不赔偿、不道歉，只答应放人。10月23日，英军开始行动，三天之内，连占虎门口内各炮台。27日，英舰炮轰广州城。29日，英军攻入城内，抢掠广州督署后退出。12月，洋行夷馆被毁，尽成灰烬。一艘自广州开往香港的英国邮船遭劫。1857年1月，英军焚烧洋行附近民宅数千家，后因兵力不足，为等待援军而退出珠江内河。由此，第二次鸦片战争打响，英国联合法国侵略者攻入北京，洗劫圆明园，为了给其侵华行为留下“赫然严厉”的印象，竟借口其被俘人员遭到虐待，悍然下令火烧圆明园，咸丰皇帝被逼走承德，中国遭受了前所未有的耻辱和失败。
此时的左宗棠，正率楚军屏蔽江南，在鄂、赣、浙一带与太平军作战，他在征战行军途中，积愤忧心，常常辗转反侧，不得安眠。
堂堂中华，竟至一败如此吗？他恨透了那些只知当官拿银子，凡事都做不成的绿营官兵。当将官的莫不锦衣玉食，娼优歌舞，士兵则多抽鸦片，嫖赌成风，士气溺惰，军营糜烂。况且，那些落后的大刀长矛和土造大炮，怎抵得过洋人的洋枪洋炮？这几年，楚军和湘军在与太平军攻城略地的战斗中略占上风，就是因为用大批银子购置了一些洋枪洋炮。在攻打富阳时，如果不借助法国海军少尉德克碑训练的、用洋枪洋炮武装起来的常捷军，拿下城池恐怕是有相当大的难度的。如果不用德克碑的大炮把杭州城的城墙轰开一个关键性缺口，杭州城的收复更是无日可待。攻城时，那些洋炮都成了宝贝。西方史学家在研究清王朝在与太平军作战中获胜的原因时，认为其中之一是“西方的武器显然为叛乱的结束作出了贡献”。洋人虽然在这些战斗中起了至关重要的作用，但是左宗棠一直认为，借师助剿不是一件妥事。
由外国人带领中国军队很危险，弄不好就会造成喧宾夺主的后果。而且这些外国军官及其带领的中国士兵，主要关心的是在攻占一座城镇后怎样疯狂地掳掠财物，残害百姓，官府对此也难以约束。左宗棠在给朝廷所上奏折中表明了自己的态度：
唯是沿海各郡自五口既开之后，士民嗜利忘义，习尚日非。
又自海上用兵以来，至今未睹战胜之利，于是妄自菲薄，争附洋人。其黠者且以通洋语、悉洋情猝致富贵，趋利如鹜，举国若狂。自洋将教练华兵之后，桀骜者多投入其中，挟洋人之势，横行乡井，官司莫敢诘治。近闻宁波提标兵丁之稍壮健者，且多弃伍籍而投洋将充勇丁，以图厚饷，此常胜一军所以转眼之间增至四千五百人也。若不稍加裁禁，予以限制，则客日强而主日弱，费中士至艰之饷，而贻海疆积弱之忧，人心风俗，日就颓靡，终恐非计。
1864年，湘军拿下天京后，左宗棠就解散了常捷军。此时，左宗棠才真正体会到他所最推崇的人物之一魏源所提出的“师夷长技以制夷”的深意。魏源是中国近代史上最早提出向西方学习的人之一。他提出，要学习西方的“船坚炮利”，以图“自强”。很可惜，他的呼声在当时的条件下没有得到多大的反响，也没有得到清廷的重视。
时隔几十年，魏源的话被历史的发展所证实。左宗棠到此才真正强烈地感到西方的挑战。法国人德克碑所率领的常捷军给左宗棠带来了关于西方的轮船和火药武器的感性知识，使左宗棠深切地感到：中国这一古老的帝国，闭国已久，自强已息；放眼海外，这个古老的大国已经没有强大可以依恃了。
划自强之策，振中华雄风，就成了左宗棠一直朝思暮想、萦绕心头的一件大事。左宗棠率楚军攻下杭州后，就把他的闽浙总督衙门府移到了杭州。战事稍松，他就聘请德克碑、日意格做助手，帮他试造小火轮。左宗棠第一次亲眼目睹外国轮船是在1864年，当时他正在浙江湖州与太平军作战。看到那烟囱吐烟、两轮激水、行驶如飞的外国轮船，左宗棠的心中特别不是滋味。他把外国轮船比为骏马，中国的旧式木船好比毛驴，毛驴是无法与骏马赛跑的。中国人应该抛弃毛驴，换乘骏马，用先进的近代轮船来武装自己。自造铁甲炮船、建立自己的海防一事就成了左宗棠的夙愿之一。
德克碑、日意格雇工匠仿造了三艘小火轮。在杭州西湖试航的那一天，请来左宗棠观看。只见小火轮呜呜鸣笛，不用船夫摇橹划桨，在平静的西湖水面上南来北往，鼓起的水浪拍打着湖岸，左宗棠心里十分高兴。美中不足的是，驶行不速，难以作战，还不能照此生产，于是暂时终止了这项计划。
1866年，左宗棠率部在闽、粤消灭太平军余部后，将闽浙总督衙门府移驻福州，造船计划再次提上议事日程。左宗棠让署藩司周开锡给出详细预算。
经他概算，造船需选建船厂，一年需银60万两，以5年计，约需300万两才能见到第一艘船下水。所需银款之巨，实在惊人。左宗棠立即将兴办福州船政局的计划上书朝廷，奏请朝廷拨款。
一纸奏文到了京中，在满朝文武之中引发了买船、造船之争。上海《申报》的一篇报道，形象地描述了这场争论的来由和各自主张：“福建议造大船，朝野舆论大起，誉之者：兴家爱国，匹夫有责；毁之者：忧其难于有成，议其縻费甚多。”
曾国藩的学生，靠自筹淮军、协佐曾国藩镇压太平天国起家，当时官至两江总督的李鸿章，出于官场的派系斗争的考虑，请英国使节威妥玛和英军赫德上校出面游说慈禧太后，说轮船器械以购雇为方便。朝中的保守派也趁机借此事攻击左宗棠，坚决反对在福州建海军船坞，开办福州船政局。
左宗棠得知此事，怒从心起。自己动手造船，可以一兴百兴，发展国家的机器制造业，兴旺强盛可由此而来。花大价钱购雇洋人的船，自己始终不会制造，仍将受制于人。左宗棠深夜挥笔疾书，向朝廷陈述自己的意见：
若纵横海上，彼有舰船，我尚无之，形无与格，势无与禁，将若之何？……谓我之长不如外国，藉外国导其先，可也；谓我之长不如外国，让外国擅其能，不可也。天下事始有损者，终必有所益。轮船盛，则漕政兴，军政举，商民之困纾，海关之税旺，一时之赀，数世之利也。
左宗棠的主张得到了朝廷中主张自强的两个主要倡导者恭亲王和文祥的支持，也得到京师一部分官员包括御史和翰林的支持，终于得到朝廷的同意，得以实施。
船政局初具规模
福州船政局的建造计划清政府是批准了，但要实现它却不是一件容易的事。俗话说，万事开头难，但却没有难倒左宗棠。左宗棠自幼以诸葛自诩，以往的经历表明，他也确实像诸葛亮一样具有多方面的才能。
他首先为设厂造船争取到了一笔可靠的资金。在1866年6月25日的奏折中，他便提出要酌提闽海关税收，再以福建厘金补其缺额。清廷同意了他的这个请求。
选择地址是这个计划的第一件大事。作为一个近代化的造船厂，其选址十分重要，它应该临近良好的港口，既交通方便，易于供给，又要形势险要，易于防守。左宗棠通过查看地图，寻访部属，心中对厂址已经有了一个大体的想法。
8月19日，他偕同法国人日意格一起，从福州出发，进行实地勘察，最后选定马尾镇为厂址。马尾在福建省会福州的东南二十公里，罗星塔北十五公里，马限山脚下，马江北面，是福州府下闽侯县辖中岐乡的一块依山临水的小平地。闽江由此入海只有四十公里，江面宽阔，水流量大，万吨火轮可溯江而上，但从海口五虎门而上，沿途多岛屿滩头，险阻重布，江阔水深，形势险要。此地既可建船厂，又可造船坞，且中间港汊旁通长乐、福清、连江等县，重山环抱，层层锁钥，当潮水上涨，海口以上岛屿皆浮；潮水退后，洲渚礁沙，萦回毕露，成为沿江和省城的天然屏障。而且这里离福州也不远，便于就近管理，还能得到福建、台湾的煤炭供应。
左宗棠兴办的福州船政局，最后选址为马尾港，因此又叫做马尾船政局、马尾造船厂。局址选定后，左宗棠同日意格议订了设局、建厂、工程期限、经费、造船、驾驶等事项，并草签了合同，由日意格去上海面见法国总领事白来尼画押担保。8月27日，德克碑到达福州，左宗棠向他出示合同，德克碑无异词。这个厂后来成为清代最大的船舶修造厂，从1866年到1907年，共造大小船舰约40艘，同时，还制造了各种军备器械，像大炮、枪械等。
正当左宗棠派德克碑去上海见白来尼，“并约日意格及始议之按察使衔福建补用道胡雪岩等同来定议”船厂事宜时，忽于九月初六（10月14日）接到清廷调他担任陕甘总督的谕令。胡光墉（1823—1885），字雪岩，幼名顺官，徽州绩溪县人，红顶商人。他开办了胡庆余堂中药店，后入浙江巡抚幕，为清军筹运饷械，1866年协助左宗棠创办福州船政局，在左宗棠调任陕甘总督后，主持上海采运局局务，为左大借外债，筹供军饷和订购军火，又依仗湘军权势，在各省设立阜康银号20余处，并经营中药、丝茶业务，操纵江浙商业，资金最高达二千万两以上。中法战争爆发后，由于资金周转困难，加上官僚压榨，胡雪岩最终破产，客死杭州。左宗棠感到离闽在即，速遣德克碑赴上海白来尼处画押后再返回福州“面订移交后任”。同时他加紧了船政局的筹建工作，并物色主持船政的人选。他上奏指出：“轮船一事，势在必行，岂可以去闽在迩，忽为搁置？且设局制造，一切繁难事宜，均臣与洋员议定，若不趁臣在闽定局，不但头绪纷繁，接办之人无从谘（zī）访，且恐要约不明，后多异议，臣尤无可诿咎。臣之不能不稍留两三旬，以待此局之定者此也。唯此事固须择接办之人，尤必接办之人能久于其事，然后一气贯注，众志定而成功可期，亦研求深而事理愈熟。”
左宗棠调任陕甘总督的消息传出后，当地绅民百余人联名呈称：“创造轮船一事，关系甚巨，非常之功，非他人任。……事成则万世享其利，事废则为四裔所笑，天下寒心。诚使督臣左宗棠驻闽中，豫将赴甘之师先行部署，俟外国工匠毕集，创造一有头绪，即移节西征。”
清廷同意了左宗棠提出的宽限数旬赴陕甘和闽省绅民恳留左暂缓西行的请求。左宗棠“昼夜忙并”，抓紧进行人事，购机，筹款，制订船政章程、艺局章程，购买局厂地基，挑选驾船人才等事宜的落实。
有了自己的船，就要有自己的人来操作驾驶、行船作战。有了先进的船炮，还需要大量掌握先进技术的军事人才。左宗棠事事当机立断，在筹办福州船政局的同时，开办了船政学堂。
船政学堂的招生广告在福州城里掀起了波澜，有100多名14岁以下的学生通过考试入了学堂，这些人大多数是从没落的地方绅士家招收的。左宗棠在学堂建成伊始，把学堂命名为求是堂，后改为船政学堂。希望学生们经过5至7年的严格训练之后，能够学会如何设计和监造轮船，并且希望那些向往成为舰长、大副的年轻人能够掌握驾船航海、守卫海防的本领。
船政学堂借福州西湖荷花池旁边的一块绿茵茵的草地举行了开学典礼。身为闽浙总督的左宗棠莅临庆典大会，作了慷慨激昂的训话，把国家自强的深切希望寄托在莘莘学子身上。
年轻的中国人，恭贺船政学堂成立，恭贺你们成为中国的第一批海军。
自强之道，以培育人才为本；求才之道，以设立学堂为先。希望你们努力学习，建好海军，保卫海疆！
左宗棠创办的福州船政学堂，是我国最早的海军学校。第二年，左宗棠把船政学堂分为前学堂和后学堂。前学堂为制造学堂，又称法语学堂，目的是培育船舶制造和设计人才，主设有造船专业，开设有法语、基础数学、解析几何、微积分、物理、机械学、船体制造、蒸汽机制造等课程，优等生将被派往法国学习深造；后学堂为驾驶学堂，亦称英语学堂，旨在培养海上航行驾驶人员和海军船长，主要专业为驾驶专业，以后增设了轮机专业，下设英语、地理、航海天文、航海理论学等课程，学习优异者选送英国留学。同年，为了培养工程绘图人才在前学堂内又附设了绘事院。
后来，沈葆桢上疏清廷，把船政学堂最好的毕业生送到法国和英国去深造，以便使他们能够“循序而渐进”，窥西学的“精微之奥”，得到了清廷的批准。
船政学堂作为速成学校，为中国培养了第一批现代兵舰工程师、船舶工程师和船长，也使西方的资本主义思想通过这些学生更进一步地传入了中国。
在船政学堂前前后后的十几届毕业学生中，有中国近代最著名的资产阶级启蒙思想家、翻译家严复。他在船政学堂毕业后，被派到军舰上实习，后被送往英国留学。回国后，严复先后翻译了赫胥黎的《天演论》、亚当·斯密的《原富》、斯宾塞的《群学肄言》、孟德斯鸠的《法意》等西方名著，内容包括了进化论、政治经济学、伦理学、政治学、哲学等，是把一种全新的资产阶级世界观带入中国的第一人，对当时具有先进思想的中国人产生了重大的思想启蒙作用。船政学堂的毕业生中，还有中国第一个著名的铁路工程师詹天佑，他亲自主持勘测、修筑了中国人自建的第一条铁路——京张铁路，为我国培养了一批铁路建筑工程师，在我国铁路史上写下了灿烂的一页。船政学堂为中国的近代海军培养了第一批高级将领，其中有代理北洋海军提督，在中日甲午海战中率北洋舰队奋勇作战，兵败自杀殉国的刘步蟾，有“致远”舰舰长邓世昌、“经远”舰舰长林永升。
为赴新任寻代班
左宗棠经过再三的考虑，觉得最为关键的是必须选荐一位思想开明、敢于担当的大员出任船政大臣，由他来完成自己的未竟之业。因此，他看中了曾任江西巡抚的沈葆桢。
沈葆桢（1820—1879），字幼丹，又字翰宇，汉族，福建侯官（今福州）人。道光二十七年（1847年）进士，林则徐之婿。虽说也是靠镇压太平军起家，但他思想并不保守。他早年追随曾国藩，由广信知府历任迁至江西巡抚，在江西镇压太平军非常卖力；又支持官绅反对外国传教士罗安当进入南昌，说“夷人逞志于我久矣，不虞吾民之藉手以报”。他也很注意了解西方的情况，重视近代科学技术。在读过崇厚送来的《新刊格物入门》五部后，他说：“披文考义，缕析条分，洵制器利用之要领，较之前人所集奇器图说，近人所刊重学数学等书，尤切实晓畅，讵（jù）徒藉以增广见闻已耶？”同时，他对曾国藩也并非一味盲从，并逐渐不满于曾氏，想辞去职务，但多次提出辞呈都没有获准。1864年，他因丁母获假回到福建，在家不问政事。