除此之外，身为“兰把子”，必须心狠手辣，即俗语说的“心硬”。有的肉票自被抓起，就一直被绑在马上随“胡子”行走转移，无法移动，天长日久，屁股都让马背给磨烂了，大腿上生了一堆一堆的蛆。“胡子”们既怕肉票死掉，又舍不得给他们用药，于是就只能用火来烤肉票腿上的蛆。在烈火熏烤下，肉票疼得爹一声妈一声地拼命叫唤，情形惨极了，面对这一情形，胆子小或心软一点的“兰把子”根本无法承受。张作霖的胆子不算小，但心实在没那么硬。
绑了票，就要设法使人家赎回去，不然就没意义，这叫“甩出去”。为了确保尽快“甩出去”以及防止肉票逃跑，“秧子房”每天要对肉票用刑，所用刑罚大多非常严酷，其中的“熬鹰”更是令人谈之色变。“熬鹰”时，“兰把子”会先命令肉票们围着一堆火坐下，然后交给他们一个拨浪鼓或者铃铛，让他们从一头开始摇，每人摇五下，摇完再传给下一个人，到谁那里停了，监视的“胡子”就从背后给谁一棍。有人几天几宿没睡觉，被熬得受不了，摇着摇着就扎到火堆里，重者当场被烧死，轻者也得被烧个“满脸花”。
张作霖耳闻目睹，觉得这些事真的是太缺德了，他干不了。于是很快他又率部脱离双程帮，回到了赵家沟。日后张作霖发了迹，上山为匪这段经历虽然无法回避，但他总是理直气壮：“都说我张作霖当过胡子，我他妈的拿过谁一个笤帚疙瘩了？那时候我就是不服天朝所管！”
张作霖回赵家沟前，正值义和团运动兴起，东北也出现了杀洋人、焚教堂的义和团组织。1900年7月，俄国以“护路”为名，出动十几万部队侵入东北，直接剿杀东北义和团。10月，俄军将领阔比萨尔率部占领奉天，盛京将军（盛京为清代对沈阳的称呼）增祺被迫逃往辽西。
逃亡过程中，增祺所率仁字、义字两军在辽西溃散了两营，这些游兵散勇抵抗俄军虽不足，骚扰百姓却有余，当地有句俗语“兵匪一家”，就是说这些当兵的有时和“胡子”一样坏。在辽西一带，地方政府的运作完全失灵，清兵、“胡子”四下出没，到处抢劫，搅得乡里极不安宁。为了自保，地方士绅纷纷组织起由练勇所组成的“保险队”（也叫大团），通过“保险队”来为当地做“保险”。
什么叫“保险”？就是你这个村庄，他这个村庄，都由“保险队”负责保护，村里则每月付给“保险队”多少钱，以供练勇们吃喝穿用。有人套用戏曲中不太好听的说法，称之为“坐地分赃”。
“保险队”负责保护的区域叫作“保险区”，“保险区”付给“保险队”的钱就是“保险捐”，有钱的士绅多交一些，那些没什么钱甚至是赤贫的居民可以免纳。所谓拿人钱财，替人消灾，如果有兵匪抢掠“保险区”内村民的牛马车畜等财物，“保险队”必须派人追捕，乃至将祸首处死，就好像官府一样。那段时间内，辽西各地都呈现出“似无治安而有治安”的奇怪现象。
当大股“胡子”过境时，“保险队”首领还要率部到境外迎接，一半监视，一半备战，总之一句话，务必要确保其秋毫无犯。倘若对方缺乏江湖义气，不守江湖规矩，双方就免不了要大打出手，来一场恶斗。
说起真刀真枪的恶斗，除了官军，当然还是“胡子”比较在行，所以练勇一般都是被招募的游兵散勇或者“胡子”。张作霖这一回家可谓正逢其时，在岳父赵占元及其他乡绅的协助下，他也在赵家沟成立了一个“保险队”。
“万人喜”
由于鱼龙混杂，有的“保险队”非但不能很好地维护地方，反而还勒索乡里，成为一方祸害。赵家沟西北的金寿山“保险队”就是这样。金寿山原为北洋新军的一个哨官，因受不了军队的约束，便回到家乡做起了“胡子”。虽说眼下改做了“保险队长”，但他恶习不改，除对所在“保险区”征粮征饷外，仍旧公开勒索抢劫。
与他们相比，张作霖算是非常守规矩。他从不允许手下在自己的“保险区”内乱抢乱夺，如果有别处的兵匪前来抢掠，他就竭力联系说服，让对方停止骚扰。
村民们得到苟安，对张作霖大加称赞，张作霖也抓住时机，不断扩大自身在地方上的影响力。不久，一支官府驻军奉命返京。这支军队军纪很坏，沿途到处扰乱地方，掠夺民间财物，所以当他们经过赵家沟一带时，有人为免搅扰掠夺之苦，曾欲进行阻击并劫持带队官佐。
劫持朝廷命官乃是不赦大罪，到时官府进行报复，反而更要遗祸地方。深知其中利害的士绅们赶紧采取了一个办法，即把兵丁领到各处加以招待，以防止生变。张作霖听闻后自愿分担责任，把四十多名官兵领到他岳父家住宿，不过他对这些官兵都有言在先：“吃喝是有的，但是杀猪宰羊是办不到的。”
官军走后，张作霖很快成了一方名人，“保险区”外的一些村庄也开始慕名请他前去保护。“保险队”能够得到的“保险捐”多少，主要由“保险区”的范围大小（称为“会圈儿”）以及区内民户的贫富而定，受张作霖保护的村庄多了，他拿到的“保险捐”自然就多了。
有利益就有争夺。自有了“保险”这个新生事物后，大小“胡子”们几乎全都“与时俱进”，成了各霸一方的“保险队”。张作霖把小日子过得红红火火，免不了遭到他们的忌妒，这其中就包括张作霖最早投奔的洪辅臣。一天，洪辅臣派人给张作霖送来请柬，邀他上门做客。张作霖虽然明知赴的是鸿门宴，可是又怕正好给对方留下大鱼吃小鱼的借口，无奈之下，只好硬着头皮答应下来。
张作霖打小就在社会上混，练出了一副好口才和善于察言观色的细腻心思，人送绰号“万人喜”。见到洪辅臣后，他有问有答，应对自如。洪辅臣见状，杀气反倒慢慢消减了下去。张作霖很会来事，赶紧又趁热打铁，掏出自己的镀银小手枪，连同枪套一起送到洪辅臣面前：“此乃本人护身之物，今欲献出，请笑纳。”
洪辅臣对手枪赞不绝口，一边接过手枪，一边嘴里却说：“此乃你心爱之物，我倘若收下，岂不是夺人之美？”张作霖双手一拱：“如果嫌弃，就是看不起我。今后，我张作霖愿意听命于洪大哥。”
洪辅臣心花怒放，完全放弃了吃掉张作霖的想法。两人告别时，他破例送出很远，还对张作霖说：“后会有期。”
在张作霖事业草创阶段，汤玉麟是另一个不能不提的重要人物。汤玉麟乃“胡子”出身，与张作霖一样，他之所以落草为寇，某种程度上也是受到了外界的强烈刺激。当年他做车把式，赶车行至中途，遇到一股“胡子”，结果不仅货物被洗劫一空，自己还挨了一顿打。汤玉麟咽不下这口气，就干脆自己也上山做了“胡子”，并且逐渐成为有一定影响力的辽西匪首之一。
能够在辽西一百多股“胡子”中闯出名堂，当然都不会是等闲之辈。除了枪法精准外，汤玉麟主要以膂力过人、勇猛凶悍著称，绰号二虎子，又称汤二虎（因在家排行老二）。据说他早年混迹赌场时，为了跟别人斗狠，曾以烧红的铁通条烫自己的肋骨，其间谈笑自若，连眉头都不皱一下，为匪后，汤玉麟继续了这种二愣子精神，悍不畏死，敢和围剿的官府兵丁直接对抗。
张作霖和汤玉麟结缘，是因为有一次官兵包围了张作霖，汤玉麟挺身而出，率部解围，救了他的命。张作霖遂与汤玉麟金兰换谱，结为兄弟，相互盟誓“不求同生，但求同死”。
有这样一首民谣描述当时辽西的江湖格局：“冯麟阁占东山，洪辅臣半边天，抢官夺印金寿山，汤玉麟闹得欢，张作霖坐地保险要银捐。”在这其中，做“保险”的张作霖乃后起之辈，同其他大帮派相比也显得势单力薄，但他的发展势头却很快，其“保险区”以中安堡镇为中心，已由最初的七八个村庄逐渐增加至二十七个村庄。
中安堡原为金寿山的势力范围，由于金寿山为非作歹，称王称霸，百姓不堪其扰，才主动邀请张作霖前去办“保险队”。张作霖占据中安堡，就把金寿山的地盘分出去了一部分，对金及其部众的收入有不小影响。金寿山听到这个消息气得不得了，但是转念一想，他又觉得如果能够让张作霖亲俄，倒也可以从另一个方面弥补自己的损失。
砸窑
俄国派兵大举入侵东北，剿杀义和团只是一个借口，真实目的是要吞并东北。俄军高级参谋马德利多夫大校认为，要想真正把东北变为沙俄帝国的一部分，除使用正规部队外，还必须注意联络当地的绿林武装，使之辅助俄军的侵略行动。
马德利多夫的主张引起了俄国远东军总部的重视，于是便委托他在东北进行招募。按照俄军的要求，凡是应募的“胡子”都要在肩膀或手臂上佩戴“中俄旗式”的标志，老百姓私底下称之为“花膀子队”。金寿山最早加入“花膀子队”，并为马德利多夫穿针引线，拉皮条式地招降其他“胡子”。
当时马德利多夫对刚刚崛起的张作霖十分感兴趣，就把拉拢张作霖的任务交给了金寿山。金寿山合计下来，若是能够趁机说动张作霖，就便可以从俄国人那里领到更多的好处，强过与其动刀动枪。当下，他便带上厚礼，赶往张作霖设于中安堡的团练部。
见到张作霖后，金寿山直言不讳地让张作霖和他一道投靠沙俄，给俄军当眼线，同时承诺只要张作霖肯这么做，不但可以不再计较“抢地盘”的事，双方还能结成同盟。
至1900年年底，东北全境各主要城市及主要交通动脉均已被俄军占领，东三省全部沦陷。这些俄军军纪败坏，经常三五成群地从据点里跑出来为非作歹，而且每每闯入民宅中侮辱妇女，为老百姓所切齿痛恨。在这种情况下，张作霖可不愿意像金寿山那样没骨气，为了“金卢布”出卖自己的国家和乡亲。没等金寿山把话说完，他就顶了一句：“我不参加俄军是我的自由，用不着你来操心！”
金寿山碰了一鼻子灰，顿时怒从心头起，恶向胆边生，没过几天，就把“砸窑”的目标对准了中安堡。
像很多假意上岸洗白的土匪一样，金寿山虽然表面上挂着“保险队”旗号，但从思维模式到实际做法，从来都没有脱离“胡子”的一套。“砸窑”乃黑道行话，就是指攻打村寨城镇，攻进去叫“砸响了”，没攻进去叫“没砸响”。
按照坚固程度和防御设施的配备情况，“窑”又可分为“软窑”和“硬窑”。“软窑”的外墙由柳条子、木板障子构成，寨内无炮台，只是在屋角、道栅、马圈、猪圈里设有“暗枪”。“软窑”相对来说容易“砸响”，比较难“砸”的是“硬窑”，不仅有砖砌或土打的外墙，寨内还有炮台。所谓炮台也就是碉堡，当然不是家家都有，只是有的人家有碉堡，但已能起到足够的警戒和防御作用。
由于男人们白天干活，晚上要休息睡觉，所以一般情况下，天黑后都是女人到有碉堡设备的人家待着，一旦发现有什么动静，立即开枪报警，这叫“响窑”。这时候，睡觉的男人特别是练勇就会赶紧起来御敌。
中安堡镇属于“硬窑”，有不少炮台，且防范较严，所以虽然张作霖的人马不多，但金寿山也很难“砸响”。这边张作霖一面组织抵抗，一面向自己的结义兄弟汤玉麟紧急求救。汤玉麟很讲义气，星夜赶到中安堡为张作霖解围，金寿山畏惧“汤二虎”的悍勇，只得撤兵而去。
前后两次被汤玉麟所救，张作霖的感激之情难以言表。两人的兄弟感情也得到进一步巩固，汤玉麟受邀进入中安堡，两帮自此合二为一。合并了当然还要再排一排座次，汤玉麟甘愿为张作霖鞍前马后地效力，在他的拥戴下，张作霖坐了新“保险队”的头把交椅。
没有吃掉张作霖，反而还帮助对方增强了实力，金寿山哪里甘心。“胡子”里有句话，叫作“砸窑先砸红窑”，那些有相当底气的“硬窑”为显示自己的武装力量，以便吓唬住“胡子”，往往会在烟囱上绑一面红旗，意思就是你要砸就砸，爷不怕，这就叫作“红窑”。“胡子”们固然知道“砸红窑”有多难，轻易不敢擅动，但一有机会总希望自己能砸下来，因为“红窑”的油水大不说，还能借此在江湖上扬名立万。
在金寿山眼中，中安堡已成为必须砸下来的“红窑”。对于如何“砸红窑”，“胡子”们也积累了一套经验和办法，其中很重要的一条就是收买村寨里的人，称为“内盘”，以便里应外合。
问题是金寿山一时找不到合适的渠道来安插“内盘”，就在他为此抓耳挠腮，无法可想的时候，干儿子马某献了一计，说不妨如此如此，金寿山听后连连称好。
东亚义勇军
这一天，马某率五名部下携械来到中安堡，声称敬佩张作霖的为人，不想再跟着金寿山干了，要求加入张作霖的“保险队”。张作霖正在招兵买马，扩张势力，就把六人全都收了下来。
张作霖当然也不傻，在接下来的几个月里，他对马某等人进行了暗中观察。观察下来，这六人让什么就干什么，非常听话，也不见有任何越轨行为，便放下心来。
其实马某等人就是来做“内盘”，当卧底的，他们本想直接暗杀张作霖，但始终无法下手。一直等到新年将至，张作霖吩咐预备吃喝，打算年底犒劳大家。六人私自商议，认为是个机会，便向张作霖告假，说要回家过年。张作霖不疑有他，就放他们回去了。