蒋介石非常恼火，指示军统局长戴笠对张啸林予以制裁。
戴笠向潜伏在沪上的军统上海区区长陈恭澍发出了针对张啸林的锄奸令。他们还制订了锄奸计划和建立了行动组。行动组长陈默接到任务后，策划了两次暗杀行动，但均未成功。
1939年底，军统上海站头子接到戴老板的密电，命他立即寻机干掉汉奸张啸林。
此时，杜月笙的门徒们纷纷地加入到军统戴笠的阵营，大搞“铁血锄奸”活动。
一天，杜月笙的学生、军统特务于松乔奉命执行刺杀任务。
于松乔来到福熙路（今延安西路）附近，等了一会儿，迎面开来一辆汽车，这时他接到指示命他向车后座射击。当他走近开枪的时候，突然发现后座上坐的是张啸林，心里一震，子弹已飞出枪膛。
张啸林坐的是防弹车，普通子弹是打不穿的，因此张啸林没有被打死。但张啸林已看清杀手就是杜月笙的门徒于松乔。他惊魂未定地回到家，破口大骂杜月笙不讲交情，从此两人结怨益深，势不两立。同时，张啸林也意识到自己的危机临头，外出时都带有二十几个保镖护驾，不敢有丝毫马虎。
此间，军统几次下手都因他防范严密而失败。
不久，军统在更新舞厅刺杀了为日军采购急需物资的张啸林的儿女亲家俞叶封，这件事大大刺激了张啸林。此后，张啸林忙于加固宅院，扩充护卫队，惶惶不可终日。
刺杀汉奸俞叶封后，军统上海站干掉张啸林的计划更难实施了。
在上海军统站刺杀张啸林均告失败，正在无计可施时，戴笠来到了上海，戴笠一到上海后，就立刻找到张仁奎道明来意，问计道：“上面想除了汉奸张啸林，但张啸林精明异常，每次出门都有30个保镖，汽车装着防弹玻璃，不好动手，最好能借用青帮内部人士去干掉他！”
张仁奎只是叹了口气道：“我老了，没精力做清理门户的事，我已和他脱离了师徒之谊，张啸林所作所为与我毫无干系，他成为民族罪人，又不思悔改，为虎作伥，乃咎由自取，任你们处置好了。”
当戴笠说起张啸林防备甚严不好下手时，张仁奎微微一笑说：“你们何不找月笙？他可是上海滩赫赫有名的小诸葛啊！”
戴笠起身告辞，秘密飞到香港，来到杜月笙的住处，开门见山地提出干掉汉奸张啸林之事。杜月笙摇头叹息。
戴笠说道：“乱臣贼子，人人得而诛之，何况张啸林与你并非同胞兄弟，老兄可不要因一点义气败坏自己一世的清白，落个和汉奸同流合污的罪名，何况这是奉委员长的手谕，为国除害……”
杜月笙沉思一会儿，问道：“这事张老太爷意思如何？”
戴笠告知：“老太爷说让你拿主意就行了。”
杜月笙明白张仁奎的意思后，像放下一块心病，对戴笠说了一句真话：“那也要用张老太爷的人，张啸林虽然跟我是结拜兄弟，但一直不甘心在我之下，对我也是防范很紧。雨农兄不必着急，过一段日子你就明白了。”
1940年8月14日，暑气尚未褪去，夜的上海依然热闹鼎沸、光影霓虹。
此时的虹口日租界却很安静，显得有些不和谐。
日军驻上海海军陆战队司令部大楼里，司令官矢野尧一刚刚得到密报，上海的青帮老太爷张仁奎正在秘密支援抗日人士。张仁奎虽然年事已高，但他在全国拥有徒子徒孙三万多，骨干人员就有三四千，其中还有许多人是政界闻人或军队高官，实力不容小觑。矢野尧一深感张仁奎不好对付，正思谋计策间，手指不自觉地叩击着办公桌，一下、两下……
门外忽然有人打报告，一个神色慌张的日本军官推门进来：“司令，大事不好，张啸林被人杀死了。”
矢野尧一猛地站起来：“你说什么？”
“张啸林，今天晚上，中枪死了。”
日本人突然失去了张啸林，就等于失去了在上海乃至在浙江的一条臂膀。矢野尧一怎能不震怒？他强压着激动的情绪问道：“是谁杀了张啸林？”
军官小心谨慎地回答：“开枪的是张啸林自己的贴身保镖，名叫林怀部，至于幕后主使……这个林怀部本来是张仁奎的门下，最近才投靠了张啸林，只怕……”
“又是张仁奎这个老不死！”矢野尧一怒不可遏，一拳又砸在办公桌上，茶杯几乎被他震倒，“那林怀部现在在哪里？”
“他……他被安南巡捕带走了。”军官不自觉地后退了半步，似乎很害怕矢野尧一。
在旧上海的公共租界内，治安管理采用英国占领地的模式，如印度模式和新加坡模式。小刀会起事之后，当局开始雇用西方人做巡捕，可以分为四类：罗宋、中国、印度、安南。
上海人习惯上称罗宋巡捕为阿大、中国巡捕为老二、印度巡捕为阿三、安南巡捕为老四。而“安南巡捕”就是从越南调来的，人数最多时有600名。他们同时负责马路巡查的任务，对违反规例的人力车辆“撬照会”，公董局警务处硬性规定他们每月最少要“撬照会”30张，如此一来，上海的人力车夫就遭了殃。
林怀部被安南巡捕带走，也就是说，杀死张啸林的刺客落在了法租界巡捕房的手里，这就不在日本人势力范围之内了。矢野尧一要调查清楚幕后主使，简直是难于登天。
果然，矢野尧一听了回话大发雷霆，三步并作两步冲到那个报信的军官跟前，抬手就赏了他一个大耳刮子：“浑蛋！没用的东西！”
林怀部是在张啸林害怕被杀、增加保镖的时候来到张公馆的。可他是怎样来到张啸林家的，他又有怎样的背景呢？
原来林怀部本是法捕房的一名华捕，他的父亲曾担任过北洋军队的团长，与张啸林有一定交情。张啸林早年曾出资赎过一名妓女，这个妓女后来成为林家的女佣人，照顾着林怀部长大。应当说，张林两家原本就有交情。林怀部长大后，投在青帮“大”字辈老太爷张仁奎门下，因为他聪明能干，枪法极准，颇得张仁奎的赏识。林怀部与张啸林有些渊源，又是张啸林的师伯张仁奎的门下弟子，所以他来投靠张啸林时，张啸林没有半点猜疑。张啸林先是安排林怀部在门口看门，月薪20块大洋，后来见林怀部的枪法不凡，就让他填补了贴身保镖。然而，张啸林的贴身保镖足有二十几个，林怀部早有打算刺杀张啸林，却需要一个合适的时机。
1940年8月14日这天下午，日伪“杭州锡箔局局长”吴静观来到华格臬路张公馆找张啸林商量事情。林怀部本打算趁张啸林送客下楼时行刺，没想到过了一会儿，张啸林派手下叫引客的管家下来去翠芳楼叫局了。
叫局，就是去妓院请妓女出堂，前来侍酒陪赌，赌局饭局交替能到深夜。
林怀部想，如果这样下去，岂不是要等到半夜也难以动手？
张啸林的司机阿四当时正好在院子里擦车。
林怀部走上去对阿四说道：“我家里有点事，你能不能帮我到楼上和老板说一声，让我请假休息几天。”
阿四答道：“这可能不大好，老板的规矩你不是不知道，他在会客的时候，是不允许我们去打扰的。”
林怀部故意刺激阿四：“你平时不是总爱说自己是张先生的亲信，现在看来，还不是和我一样，原来你是吹牛啊。”
阿四受林怀部有意相激，少不得火气上涌。
两人便在院子里你一言我一语吵了起来。
林怀部呢，故意高声辱骂，有心让楼上的张啸林听到。
张啸林听见下属吵架，自觉在客人面前丢面子，忍不住跨到窗前大发雷霆，走到阳台，朝下厉声喝问：“吵什么吵？吵你妈的X啊，烦死人了，不想干就给老子滚。”
林怀部也毫不示弱地还嘴，张啸林向下张望着破口大骂道。
林怀部见张啸林探出头来，就仰脸诉苦说：“大帅，我来时米价15元一担，现在涨到70元，我每月工资20元，实在无法养家糊口！”
张啸林听后不分情由，大声喝令王文亮立即下掉林怀部的枪。张啸林怒骂林怀部：“你这龟孙子，吃饱了不干事还吵架，老子多叫一个东洋兵来，用不着你了！”
林怀部一面拔出手枪，一面抬头骂道：“他娘的，不干就不干！”
张啸林一向是毛躁火暴脾气，见此情景，整个上半身都伸到了外面，向楼下的林怀部破口喝骂：“你他妈的别不识抬举，阿四，给我把他的枪卸掉，让他滚。”
司机阿四得令，上来便要抢林怀部的枪。
林怀部喊道：“用不着赶！老子不干了，老子自己走！”林怀部伸手去腰间拔枪。
众人都以为林怀部真打算交枪走人，眼看着就要交到阿四的手里，不料林怀部突然手腕一转，林怀部真无愧神枪手之称，只听“砰”的一声，一颗子弹神奇地射进了张啸林的脑门。只见张啸林身子已扑倒在血泊里。张啸林当场毙命。
而这些，只是林怀部筹谋刺杀张啸林而演出的一场戏。为了确认张啸林的死活，林怀部提着枪冲上楼，发现客人吴静观正在打电话报警，索性一不做二不休，把吴静观也打死了。林怀部确认张啸林已死后，飞步下楼，准备逃走。刚跑到楼梯口，就被闻讯赶来的一个保镖拦腰抱住，眼见着又有几个保镖跟着围了上来阻拦林怀部。不多时，附近巡逻的法租界巡捕听到枪声也冲了进来，林怀部手枪一扔，凛然道：“大丈夫一人做事一人当。”就这样束手被擒。
林怀部被捕后，一口咬定无人指使，只是想请假未准，与张啸林发生争执，加上薪水太低，心中记恨，一时冲动就开了枪。
法租界判处林怀部15年徒刑。抗战胜利后林怀部被释放。
林怀部打死张啸林后，远在香港的杜月笙闻讯赶来，抚尸痛哭，老泪纵横，而张锦湖却闭门不出，保持缄默。
林怀部要杀张啸林的原因，当然不可能这么简单。
但这其中的缘由，至今仍然众说纷纭。
一种观点是，林怀部投靠张啸林后，被一个化名“阿道”的军统特务用金钱收买而刺杀张啸林。这说法纰漏百出，林怀部并不急需用钱，也不可能为了区区钱财断送他在张啸林跟前的“前程”。后来，从中统查获的特务资料里也毫无林怀部或者“阿道”的记录。军统杀手头子陈恭澍在他的回忆录《无名英雄》里，还再三表示张啸林这件事肯定不是军统干的。
另一种说法是，青帮大佬杜月笙授意万墨林向张仁奎借人，得到了张仁奎的默许，选中了林怀部。林怀部受万墨林的唆使，利用故人之子的身份一步步接近张啸林，最终刺杀成功。但是，张啸林毙命之时，正留在杜公馆替杜月笙看家的万墨林还跑到案发现场，看着张啸林的尸体发呆。案发两小时后，在香港的杜月笙收到万墨林的电报，还对在他家里做客的军统特务头子王新衡惊叹：没想到张大帅今天落到这么个下场。况且，以杜月笙和张啸林千丝万缕的关系，要想找一个可靠的人暗杀张绝非难事，何必经过张仁奎？难道不怕张仁奎万一不同意杀死自己的师侄，反而打草惊蛇？
还有一种观点认为，是张仁奎指使林怀部接近并且伺机刺杀张啸林的。张仁奎虽然宣布退休，暗地里仍在帮助杜月笙和许多爱国之士的抗日行动。而他作为林怀部的恩师，也能顺利策划刺杀行动。但这种观点也和上述说法一样，并没有证据。
日本侵略者却似乎相信张仁奎是刺杀张啸林一案的幕后指使者，林怀部被捕后，常有日本军官到张仁奎的住处恫吓滋扰、威逼利诱。然而，张仁奎丝毫不为所动，每次都让日本人碰了钉子。