事到如今，张作霖也没有别的办法，只能走一步看一步。两天后，他向张子云辞行，不料张子云却不让他走了，并且还对他说：“你们走到哪里还不是保护地面？你们做保护地面的事，我们放心，你就保护我们这个地面吧，我们给你按地抽饷，保你够用就是了。”
张作霖一听，真有喜从天降之感。因为感激张子云对他的信任和雪中送炭般的收留，他后来便以同姓是一家的由头，拜张子云为义父，两人关系更加亲密。
张作霖在八角台落脚后，其部与张景惠的团练合并，张景惠为大头领，他为二头领。张景惠从前以做豆腐和卖豆腐为生，村里人都喊他“豆腐匠”，此人性格上有耿直豪爽的一面，但也有人评价他“不学无术，头脑简单，胸无大志，没有作为”。要说后面的这几句评价，谁听了心里都不会舒服，可是在与张作霖接触后，张景惠倒真的自惭形秽起来。
有一天晚上，二张秉烛夜谈。张作霖很诚恳地对张景惠说：“大哥，现在你只有多收拢人才，广交官府和地方士绅，扩大自己的实力，才能保持住位置。”
张景惠听后很以为然，同时他打心眼里觉得，张作霖从相貌气质到言谈举止都不是一般人物，将来跟着他干必有发展，于是便提议让张作霖坐头把交椅，自己甘愿让贤做二把手。张作霖没有心理准备，不由大吃一惊，连忙加以推辞，张景惠则一再坚持说：“你的才能胜过我十倍，这头把交椅非你莫属。”
让贤
在《水浒传》中，宋江第一次上梁山，曾受过他救命之恩的晁盖便要拜他为山寨之主，坐第一把交椅。宋江坚不肯从，说：“哥哥原是山寨之主，如何却让不才？”他甚至还声明，如果晁天王硬要让贤，那他情愿去死。
后人评《水浒》，评到这一段的时候往往就有一种意见，认为宋江十足虚伪，明明心里高兴，却还要假惺惺地忸怩作态。其实这种分析反而是违背了《水浒传》的本意，因为宋江在书中乃是正面人物，绝对的男一号，从这个角度上来说，他的所有言行都不能逾越作者所认同的江湖道德规范，而这种所谓的江湖道德规范，核心的东西其实就两个字：义气。
行帮各派，义气为重。晁盖让贤是“义”，宋江推辞也是“义”，他们都是在巨大的利益和好处面前互相进行推让，以此证明自己的价值观。
作为一个长期闯荡江湖的绿林中人，义气二字同样为张作霖所认同和尊重，所以不管他心里对做一把手究竟有没有意思，嘴上一定会坚决推辞。
张景惠不肯罢休，第二天，他把部下都召集起来，对众人说：“张雨亭（张作霖字雨亭）年富力强，志向远大，我情愿拥护他做团练的领袖，大家跟着他图个好的前程。”
张景惠这么讲义气，张作霖只能向宋江老前辈学习。当下他不仅执意不从，而且还吩咐手下收拾行李，表示如果张景惠一定要这么做，他就只能离开八角台了。
事情惊动了张子云，他亲自对张作霖进行挽留。在二张互相推让这件事上，则主张从全镇利益出发，让全镇人商议决定究竟谁来当民团的一把手。
在八角台，数张子云的面子最大，他一站出来，二张都无话可说。接下来一切顺理成章，在张景惠的竭力推荐下，镇上的人都同意张作霖坐头把交椅，张作霖实在推辞不过，这才接受下来。
得马者未必为喜，失马者未必为忧，经历挫折后的张作霖意外捡到金元宝，从此在八角台站稳了脚跟。这里也成为他恢复元气和进一步发展的基地，凭借八角台相对充裕的财力物力，张作霖开始招兵买马，扩大团练规模。
随着实力的增强，张作霖同周围其他帮会的矛盾也日益突出。一个绰号“项傻子”的“胡子”与金寿山等联合，对八角台实施了夹攻。见对方人多势众，张作霖忙派汤玉麟带一部分人到镇外驻扎，与八角台形成掎角之势，自己则与张景惠一道在镇上坚守。
对于八角台这样的“硬窑”加“红窑”，“胡子”通常都是要么不砸，要砸就往狠里砸。因为都知道窑里油水足，一旦“砸响”（打进去）便可以进去花天酒地，纵情享乐，所以在八角台“枪头子硬”，即便硬攻进去，也要死许多“崽子”（即喽啰）的情况下，“项傻子”等仍不肯收兵。
就在这一节骨眼上，张作相来了，立刻局势大变。
张作相是泥瓦匠出身，原来住在锦州柳条边墙一带。那一带在地理上是汉蒙两族居住的边界，民风彪悍，向有聚族械斗的传统习惯。家族中谁被人打死了，如果停灵不葬，就预示着他们要集合整个家族的力量继续进行复仇。
有一天，张作相的本家族弟遇上土匪，被打死了。族人便停灵不葬，并公推张作相带队复仇。张作相到处打听仇人的下落，后来得知对方已经入军营当兵，便紧追过去，找机会干掉了他。仇人的家属在当地也很有势力，马上到县衙鸣冤告状，为躲避官府的捉拿，张作相只得带上十几个本家兄弟浪迹江湖，带着人马前来八角台投奔张作霖。
张作相的人马虽然不多，但都很能打，又是在双方势均力敌的时候，因为他的加盟，张作霖终于挡住了“项傻子”的进攻。
张作霖与张景惠、张作相皆为海城老乡，且一见如故，有着相当好的私谊。三人于是结拜为兄弟，按照年龄顺序，张作霖居于老二，他称张景惠为“我大哥”，称张作相为“我三弟”。
加上汤玉麟，张作霖帐下已拥有三员颇为强悍的大将。有人分析认为，张作霖在东北绿林既是晚辈，初起时其力量同其他帮派相比也十分薄弱，后来实力之所以能够扩展得那么快，和手下这几员大将其实有着很直接的关系。
北霸天
在部下的襄助下，张作霖逐步对“项傻子”展开主动进攻，并在对方率部抢劫时将其予以包围，一场鏖战下来，“项傻子”被当场击毙。这一仗不仅为张作霖和八角台去一强敌，也对其他蠢蠢欲动的“胡子”和游兵散勇起到了震慑作用，自此再没有人敢来碰硬钉子了。
由于成功地保住了八角台，张作霖在绅商们心目中的地位越加高大，他们每月支付近三千两银子作为军饷，帮助张作霖购买枪械，招募人马。张作霖的团练步马队迅速扩充至两百多人，而且有马有枪，并配有洋鼓、洋号和鲜明旗帜。所部列队绕村行走时，阵容甚为雄壮，与正规军队相比，气势上有过之而无不及。
彼时辽西绿林中有“四霸天”一说，张作霖位列“北霸天”，这标志着他已一跃成为像过去冯麟阁那样的江湖老大。不过与冯麟阁等山大王不同的是，张作霖还拥有一个未来枭雄所必须具备的眼光和气度，其中很重要的一点就是喜欢结交名士。
除义父张子云外，八角台的士绅和文人都是张作霖的座上客。举人刘春烺位列“辽东三才子”，虽在官场上不甚得意，却是个很有见识的人。他和张作霖相交甚笃，常常无话不谈，有一次他对张作霖说：“当今之世，民生凋敝，十室九空，商旅不行，将至抢无可抢，绑无可绑之势。不如趁早改变办法，先使农民得活，将来清廷恢复原状时，你可以受到招抚，岂不为善？”
张子云与刘春烺观点相似，认为养兵毕竟是国家大事，民团只是应付于一时的地方武装组织，随着社会秩序的恢复，民团终将失去存在的条件。听了他们的建议，张作霖连连点头称是，他也感到“不和官家合作，成不了大事”，只有跟从大清政府，才能拥有强大后盾。
张作霖开始为“和官家合作”进行准备，比如训练和管理练勇时，都要求保持与官军一致的纪律。“保险区”内，除盗窃案自行管理外，所有民事刑事案件一律解送官府裁决，这些都是为了给官府留下一个好印象。
就像当年宋江日夜盼着朝廷招安一样，张作霖巴巴儿地期待着政府降旨。让他感到高兴的是，没过多久，好消息真的来了。
身为东三省政要，盛京将军增祺实在是倒霉透顶，调任这个职位不过才一年光景，就让俄军占领了奉天。他刚逃到新民府附近，便被哥萨克骑兵给追上截回，并在沙俄的逼迫下，与其签订了《奉天交地暂且章程》，答应将奉天交给俄国军管。此事并未报经北京政府批准，朝廷为此进行了追究，准备将他革职。
要说真革掉也就算了，可是因为无人敢出关接替，增祺又只能暂留原职，继续维持地方治安。这可不是一件好干的活，因为他发现，辽西“胡子”（也包括那些打着“保险”旗号的队伍）既多且强，仅靠官军武力剿伐根本就消灭不了。
增祺的下属、新民府同知（同知为知府的副职）廖彭亦有同感，因为他手中能调动的巡捕队仅有一百六十人，而所要对付的匪盗则多如牛毛。为此，廖彭向增祺上书，建议招抚地方“保险队”，将私团招为公团，他认为通过这种办法既平了匪患又壮大了官军，乃是一举两得的好事。
增祺看到后觉得未尝不可以一试，便授命新民府知府增韫具体承办招抚事宜。增韫不敢怠慢，当即派人向各“保险队”宣抚收编。收抚的办法是先是有当地士绅出面担保，保证安心归顺，不出尔反尔。通知一出，各帮却并不像想象中那么踊跃，原因是大家都不知真假，害怕官府以收编为由，趁机将他们解决了。
张作霖平时广交官府和地方绅商，内部消息非常灵通。当其他帮派还在犹豫观望的时候，他已经认定这是一个出头的好机会，下决心归顺朝廷，听候改编。张作霖的决定得到了张子云的支持，在张子云看来，地方太平了，团练就该遣散，但要让练勇们立即放下武器回家种地，也很难安分守己，反而对治安不利，更何况，张作霖这几年在地方上表现不赖，彼此间的私人关系又不错，于情于理都应该帮他找一条出路。
张子云找来另一名当地士绅杜绊林商议。杜绊林是个秀才，与张作霖的关系很好，当下便答应与张子云一道为张作霖作担保。当年关外有文化的人不高，读书人因此很受尊敬，那些有一点功名的，更被认为是了不起的人物，在社会上的名望和地位都很高。秀才这样的身份，若放到关内也许不值一提，在关外就不一般了。知府增韫对于张子云、杜绊林这两位老秀才一向都特别尊重，有他们两位共同做担保人，起码取得官府的初步信任是没什么问题了。
对于张作霖而言，仅仅拿到入场券还不够，入场之后，你知道人家会让你坐哪里？那些边角旮旯，谁都不待见的地儿，你愿意去？
就在张作霖思忖着如何再找点门路，下点功夫的时候，他突然得到了一个重要情报：增祺当初逃往辽东时，曾先把家眷送走。如今他被截回且与沙俄达成了和约，社会秩序也渐渐安定下来，他便打算把家眷重新接回奉天。
京奉铁路当时只通到沟帮子，剩下的路要从新立屯经过，而新立屯就在张作霖的控制范围之内。张作霖由此心生一计，他将张景惠等部下召集到一起，鼓动他们说：“我们总在绿林中吃黑饭，前途是暗淡的，是毫无出路的。我看不如借助我们现有的这点实力作本钱，向官家讨价还价，混个一官半职，总比这样继续干下去有出路。”
好胡子
听张作霖这么一说，几个人都点头同意。汤玉麟说：“只要当家的有好办法，打定了主意，我们无不唯命是听。”
张作霖一拍桌子：“好，只要大家愿意，我自有道理。不过在未实现以前，必须严守秘密，如果泄露出去，不但事情要失败，而且更要被绿林朋友耻笑。”
按照张作霖的设计，当增家眷属从新立屯经过时，大家就要分工演一场好戏。他特地嘱咐道：“这就是我们的大好机会，但不准乱动，到时听我的命令行事。关于这一点必须同众弟兄讲清楚，违者就要以手枪相见。”
过了不久，负责打探的手下来报，增家眷属乘坐十几辆马车，果然已行至新立屯附近。张作霖闻讯大喜，马上布置展开行动。
增家车队刚刚走到一条河边，就落入由汤玉麟率众扮演的“劫匪”所设的伏击圈内。车队被团团围住，护卫们急忙进行抵抗，但哪里是“劫匪”的对手。“劫匪”们开枪打死了两名护卫，在收缴车队人员所携带的枪械子弹及其数十件箱柜后，便开始假装大分金银细软。
这时作为真正主角的张作霖上场了，他骑着马鸣着枪，率领部属们冲了过来。汤玉麟见状佯装不敌，一边扔下收缴的东西，一边“落荒而逃”。
车队被连人带物一并送往新立屯街上。在以“保险队”的名义安顿好人员车马时，张作霖还单独给增祺的夫人及贴身侍者提供了一座很好的房子，并拿出最好的鸦片烟款待他们。
曾家人先认为劫数难逃，接着意外被救，最后再一看，救他们的人并不是官军，也是“胡子”（曾家人搞不清“保险队”与“胡子”有何分别），而且没有马上放他们走的意思，不由又惊恐失色起来。到现在，发现接待他们的“胡子”竟如此温和体贴，又有些莫名其妙，那心情真的跟玩过山车一样。
张作霖干脆也把自己当“胡子”，不过是那种被逼上梁山的“好胡子”。他亲自招待车队中几个重要的随行人员，陪着众人一道躺在床上吸鸦片烟。就在这种貌似很放松的环境中，他突然叹了口气，说：“唉，现在我们的国家是如此地软弱，毫无国际地位，受尽了外人的欺凌，致使国内人民的生活竟达到这般境地，真使我有说不出的伤痛！我们所以当上土匪，也是被逼上了梁山哪。”
这些人想不到一个“胡子”能够如此忧国忧民，谈吐还这么文雅抒情，便料定其中必有文章，他们中间一个地位较高的人便试着搭讪道：“我们很同情你的处境，我想我们将军来到奉天一定会有办法的，你们也一定会有出头露面的一天。”