增祺听后觉得有理，加上夫人也在一边为张作霖说好话，就决定见他一面，但要求张作霖必须到省城进见。张作霖害怕增祺借机将他扣留，便托故让张景惠代他前去接受召见。
增祺的左右对此很是不满，主张对张作霖进行处分。增祺倒是知道张作霖有所顾虑，因此反而能够谅解，他抚慰张景惠：“只要你们真能为朝廷效命，我就一定准许你们戴罪立功，决不会欺骗你们的。”
增祺让张景惠密告张作霖：“现在奉天省还有杜立三等几个匪帮为害地方，应相机图之，如能为地方除掉这些巨患，那就是你们的大功，将来一定还要重用你们的。”
张景惠回去后向张作霖做了汇报，张作霖又羞愧又感动，也暗暗记下了增祺的话。
与其他绿林头目大多家境贫寒不同，杜立三出身于豪强世家，父亲专劫“皇杠”，几个叔叔都是著名的“马胡子”或坐地分赃的寨主。此人紫红脸膛，穿着上也偏好紫色，出行时一般都是头扎紫红色头巾，脑后垂一尺多长的紫红飘带，身穿紫红宁绸上衣，民间一谈起杜立三，都爱把他当成京剧和公案小说里的窦尔敦、单雄信。可是真实生活中的所谓江湖好汉，其实远没有戏曲中那么可爱，杜立三生性狠毒，杀人不眨眼，不但地方上的老百姓闻名丧胆，就是其他帮派头目也都怯其三分。
张作霖在没有就抚前，杜立三的一小股人马曾跑到他的“保险区”境内抢掠。事情发生后，张作霖缴了这些人的枪支，杜立三闻报大怒，集齐全部人马要与张作霖拼个你死我活。张作霖打不过这个“窦尔敦”，只得落荒而逃，杜立三则穷追不舍，由辽阳一直追到了镇安县十七户。
十七户有一个被称为“汤二爷”的庄主，势力很大，属于黑白两道都吃得开的人物。“汤二爷”是汤玉麟认的本家，在张作霖等人的请求下，他出面进行了调解。张、杜遂言归于好，张作霖把所缴的枪支归还给杜立三，杜立三也表示对此事将不再追究。之后，两人又共同认“汤二爷”为义父，彼此间还焚香拜把，结下了金兰之好。
虽然拜了把兄弟，但张、杜之间并无任何惺惺相惜之意，张作霖纯粹是畏惧于杜立三的凶狠强悍，而不得不使出权宜之计。从内心上来说，他与杜立三仍然势不两立，真要有条件下手，他完全可以做到毫不犹豫。
增祺更是迫不及待要除掉杜立三，他除命张作霖对本区进行清剿，严防杜立三窜入外，又把官军和地方豪绅的武装集中起来，采取步步为营、稳扎稳打的策略，对杜立三进行联合进剿。
齐天大圣
至当年秋季，近千名官军乡勇逼近了杜立三的老巢后插拉村。这个村子的陈、于两家大户都有院墙和炮台，且地形险要，便于攻守。除此之外，便只有十几家孤零零的小户了。官兵进村后，全部驻扎在陈、于两家，准备休息一阵再寻找杜立三。
孰料杜立三用的不过是一招诱敌深入而已，当官兵进村时，他已率领精选的五百悍匪钻入那十几家小户里，官兵刚要休息，他们就从四面八方包围过来。顿时，枪声四起，炮火纷飞。
杜立三为了将官军一网打尽，颇花血本。他亲画图样，让人把大树干挖空，外面裹铁皮，里面放火药，再加入铁钉、铁砂、碎石等，制成了一门门土炮。军官乡勇几次欲强行突围，都被枪炮打了回去。
三天后，院中粮食断绝，只得杀马代食，饮水断绝，只得拿马尿当饮料。得悉剿匪部队陷入绝境，后方指挥官赶紧组织救援，一时却又无兵可调，情急之下，只好向附近的俄军炮兵求援。俄军炮兵架起大炮，向后插拉村连发数弹。
俄造大炮的威力自非土炮可比，当炮弹掠过村庄上空时，村民都十分惊恐。不过其实杜部并未受到什么损失，因为他们都散处于各小户中，反而陈、于两大户受到的震动更大，官军人人自危，都害怕炮弹正中落到院里来。
杜立三见俄国炮威力强大，又不知道俄军到底来了多少兵，在村民的再三恳求下，遂撤兵离去。官军虽然绝处逢生，但已狼狈不堪，之后他们便偃旗息鼓，收兵回营，自此再不敢和杜立三进行直接较量。
在官军与杜立三大战的过程中，张作霖只是个旁观者，但是看到杜立三如此不好惹，就算他的邀功之心再迫切，暂时也只能先退避三舍了。
1903年，朝廷对地方军进行整编，张作霖所部由八角台移驻新民府街，并与新民街巡捕队合并。张作霖依旧出任管带，继续与昔日的绿林同行们演着兵捉匪、猫捉鼠的游戏。在这一整年里，他就像是那个被释出五行山，跟着唐僧取经的齐天大圣一样，不惜使出浑身解数，对辽西的各路“妖魔鬼怪”东征西讨，被他击溃的大小“胡子”不计其数。
当然，剿从来都不是官军对付盗匪的唯一手段。有个叫侯老疙瘩的“胡子”，长期在新民西北和彰武边界一带窜扰，居民甚以为苦。他见张作霖做了受抚的榜样，也想学着升官发财，便通过一个中间人告知知府增韫，说自己要投诚。增韫答应下来，让侯老疙瘩做好准备，将所部开到新民府听候点编。
点编那天，增韫令张作霖率众站堂，以防不测。随即，侯老疙瘩带着四十余人进入大堂，看到他们身上都带着武器，站堂的兵丁忙喝令他们把枪放下。不料侯老疙瘩见大堂内外戒备森严，以为官军要强行缴械，竟然在增韫升堂时操起了枪。张作霖及部下早有防备，一阵乱枪打过去，当场击毙侯老疙瘩，还缴获了二十多支俄国快枪。
增韫受了一场虚惊，对张作霖大加称赞。事后，他除了将侯老疙瘩的手下全部交给张作霖改编，缴获的快枪也归其所有外，又从府库里拨出一部分银两，买了两百多支枪械送给张作霖，以示奖励。
与“侯老疙瘩案”相似的还有“五大哨案”。所谓“五大哨”，是五股绿林武装的别名，他们事前也同意接受改编，双方相约在新民府的大堂进行点编。由于有了经验教训，张作霖不待增韫吩咐，就已早做准备，在大堂上埋下了伏兵。
“五大哨”进入大堂后，循例要跪在地上，听知府宣读点编命令。可是这些人听完命令，却认为与接洽时所谈条件不符，竟然立即翻脸，并当堂鸣枪。增韫这回吓得躲到了公案底下，又幸亏张作霖及其部下开枪还击，对方抵敌不住，除当场死伤者外，其余人全都逃之夭夭，“五大哨”也从此瓦解。
张作霖逐渐成为增韫不可缺少的左膀右臂。锦西有一对“胡子”兄弟苑四、苑五，领着四百多人在当地烧杀抢掠，锦州官府束手无策，就请新民府派兵助剿。增韫命张作霖前去扫平，张作霖出手不凡，开到锦州不久就把苑氏兄弟打了个灰飞烟灭。
顺风转舵
张作霖再怎么表现得英勇无敌，终究还是不敢碰杜立三，而增祺也无法再对他下这样的命令了，因为这位将军早已自身难保——俄军又一次占领奉天，对东三省进行强制军事管制，增祺被囚禁了起来。
沙俄有一个“黄俄罗斯”计划，其主旨是通过实施殖民政策，将东三省变成它的“黄俄罗斯”。至1903年年底，俄国在东北的武装移民已超过三万人，“黄俄罗斯”计划距离大功告成也只剩下最后一步，即迫使中国将东北名义上的主权交给它。
在自身无力直接对抗的情况下，中国和朝鲜都不约而同地采取了大国制衡的策略，中国是“以日制俄”，朝鲜是“以俄制日”。日俄虽然有时也想各取所需，达成妥协，但双方在贪心欲念的驱使下，就好像老米饭一般，怎么捏都捏不成团，最后终于翻脸打了起来。
日俄之间开打，陆战战场却在中国东北境内，中国究竟应该采取何种态度，让朝廷上下颇费思量。以北洋大臣袁世凯为首的一派意见认为，中国不能参战，也不能帮着日俄任何一方：如果帮助日本，俄国就会以此为由派陆军在中国西北采取行动，同时一旦俄军战胜后，作为战败国的中国就只能将东北的名义主权乖乖割让给俄国；如果帮助俄国，日本海军会对中国东南沿海构成威胁，一旦日军战胜，东北又将沦为日本的口中之食。
经过反复斟酌，中国政府决定保持中立。1904年2月12日，慈禧太后以光绪皇帝的名义发布圣旨：“日俄两国失和用兵，朝廷轸念彼此均系友邦，应按局外中立之例办理。”
日俄战争爆发后，日俄双方一边拼命厮杀，一边延续以往政策，对“胡子”竭力进行拉拢和训练，以使之作为本国正规军的辅助力量。被它们拉过去的“胡子”也依照原名，亲俄的称之为“花膀子队”，亲日的称之为“东亚义勇军”或“满洲义军”。
同样是招人，俄国不管是手段、战术还是投资，都远远落后于日本。一般俄国官兵将东北人一律蔑称为“满子”，即便是对待“花膀子队”亦不例外，对方稍有不顺从或不满情绪流露出来，他们就会当众拳打脚踢，施加侮辱，致使这些“花膀子队”也在不知不觉中对俄国人产生出强烈的不信任感。日方间谍人员正好利用这个矛盾，乘虚而入地将一些“花膀子队”拉过去，又将他们变成了“东亚义勇军”。
日本人也没忘记昔日的绿林魁首冯麟阁。战前冯麟阁已被从库页岛解往西伯利亚的一个苦力营关押，每天要下矿挖煤，干着牛马一样的活。不久，“王小辫子”收买中国通事（即翻译），把他从苦力营里营救了出来。冯麟阁回到奉天后重操旧业，而且从此铁了心要跟“老毛子”干到底。
日军在辽阳南首山遭到俄军抗击，屡攻不下，部队伤亡惨重。冯麟阁和金寿山遂将所部的几千骑兵组成“义勇军”，从辽河以西挺进，抄袭首山俄军阵地的右侧背。俄军措手不及，只得放弃首山，向北败退，日俄战争的胜败之局也由此奠定。
对日方来说，冯、金是为他们立下了很大的战功。日本军事当局特地奏明天皇，奖给两人各一枚宝星勋章，过后又电请中国政府对这两大帮派予以收编重用。
除了“胡子”外，东北地区凡握有兵权的中国军官同样受到日俄的关注和拉拢，张作霖自然名列其中。只是张作霖曾经在这里面吃过亏、上过当，早就已经学得精明无比。他既不像有的地方官那样谨小慎微，除了恪守中立，不敢越雷池一步，又不肯像冯麟阁和金寿山那样，明目张胆地为日俄某一方出力，而是把算盘珠子打到啪啪响：你们都有求于我，这事没错吧？好，废话少说，先把好马好枪和粮饷送来！干什么？吃好睡好装备好，才能为你们干活啊！
战争初期，俄军的实力看上去更为强大，按照张作霖的估计，“小日本不能打败俄国大鼻子”。基于这一判断，他虽然也天天把政府的中立政策挂在嘴边念叨，但实际却阳奉阴违，跟俄国人套起了近乎——一边接受俄军贿赂的钱财和军械，一边暗中帮助俄军搜集粮草，或者供应一些情报，有时甚至还会让手下人冒充“花膀子队”，对小股日军进行偷袭，趁火打劫地从日军手里抢夺一些枪弹马匹或者粮秣柴草。
当时受日本参谋本部之命，日本驻满洲军司令部参谋福岛安正专门负责东北的情报工作。他很重视拉拢张作霖，为此派遣了司令部翻译黑泽兼次郎率“特别任务班”到新民府进行活动。可是黑泽兼次郎可以明显感觉到张作霖对他们不抱好感，有时根本就不把他们当一回事。
随着战争的逐次展开，日军开始占得主动。张作霖马上顺风转舵，对黑泽兼次郎的态度又似乎变得热情起来，还安排对方住到自己家里。那段时间，黑泽兼次郎送给张作霖不少枪支弹药和金钱，而张作霖则投桃报李，把在俄军身上做过的事，重新复制一遍给日军。
张作霖后来回顾道：“日俄打仗，洋鬼子打算利用我们。我们为了得武器，有时也被他们利用。那时我是得抢就抢，得骗就骗，都是为了武装自己。”
张作霖非常清楚日俄的用心以及自己的定位，不管日本人给多少好处，他都没有选择向日方一边倒。有一天晚上，在和几个得力部下讨论时局时，他还特地谈道：“我们要把握好风向，小日本虽然取得暂时的胜利，但俄国大鼻子在东北待了这么多年，而且凶猛好战，最后可能还是大鼻子要赢。”
万没想到，隔窗有耳，黑泽兼次郎是个高级间谍，这段谈话居然被他偷听到了。对于从前在张作霖那里受到的冷遇，他本来就很是不满，现在一听，才知道张作霖实际一直在脚踏两只船。
吃客、用客，你还要耍客，当我们全是二傻子！黑泽兼次郎越想越恼火，决定找机会杀掉张作霖。回到满洲军司令部后，他向福岛安正透露了这一想法。福岛安正老谋深算，听后赶紧说：“现在张作霖正为我军效犬马之劳，要留着他加以利用，不可对他轻举妄动。”
按照福岛安正的指示，黑泽兼次郎不但暂时打消了原先杀掉张作霖的念头，而且又在对张作霖进行拜访时，送去银币一千元，以坚定张作霖为日军效劳之心。当然他们也没有忘记防患于未然，此后黑泽兼次郎便留在了新民，专门负责监视张作霖的一举一动。
官场关系学
1905年初，日俄展开奉天会战，这是双方在陆地上进行的最后一次大会战，俄军在会战中伤亡惨重，被迫撤出奉天。战后，获胜的日军控制了新民地区。有些亲日派“胡子”头目早就看张作霖不顺眼，这时便趁机指控他：“雨亭伪装中立，暗中与俄军通谋。”
派驻新民的日本宪兵听到传闻后进行调查，确认张作霖有充当俄军间谍的嫌疑，因而将其秘密逮捕，并呈请“新民屯军政署”署长井户川辰三少佐，欲将张作霖处以死刑。