当时中日已经爆发甲午战争，参战的毅军原本在西北戍边，后来才从内地调到辽西，人地生疏。张作霖是本地人，熟悉地形，无论是负责到外地征购粮草，还是渡河侦察日军活动，他都能按时完成任务，同时相比于其他士兵，张作霖还有一手绝活，那就是当过兽医，会医马。旧时兵制，指挥十人的士官为什长（大致相当于班长），因表现出色，张作霖遂被提拔为骑兵营什长。
某日，张作霖忽然接到母亲的口信，说二哥张作孚因为殴杀赌徒，吃了官司，被关在省城奉天的大狱中，准备秋后处斩。听到这一噩耗，张作霖急忙向上司谎称要回家成亲，赶往奉天进行营救。
可是张作霖在奉天举目无亲，谁也不认识，如何救法？正当徘徊街头，无计可施之际，他无意中听到一个消息，说珲春副都统依克唐阿将要率部开拔，到前线与日军作战，但坐骑却在这个节骨眼上得了病。
依克唐阿也是获得过“巴图鲁”封号的名将，长期戍守东北三省，有“虎将军”之誉。这位将军擅长骑射，自然离不开宝马良驹，然而他找了很多兽医，都没有能够将爱马治好，他也为此欲走不能，万分焦急。
要救二哥，看来这是唯一一个机会。张作霖于是毛遂自荐，主动上门去为依克唐阿治马。为了把马治好，张作霖使出浑身解数，一连几天几夜都未离开过马厩。说来也是老天帮忙，竟然手到病除，真的令病马康复了。
依克唐阿闻讯大喜过望，要设宴款待张作霖，并以重金相酬。未料张作霖既不愿赴宴，又不肯收钱，问他为什么，张作霖便流着眼泪说：“将军的宝驹治好了，可我二哥就快要被处死了，我哪有心思去享受酒宴呢？”依克唐阿一听原来是这么回事，就很轻松地对他说：“你只管赴宴便是，明天我保证把你兄长放出来。”
以依克唐阿的威望和实权，赦免一个死囚不过是举手之劳。第二天张作孚就被从大狱里放了出来。
兄弟俩同返赵家沟。与先前大多恓恓惶惶地回家不同，张作霖此番可以称得上是荣归故里：清军号衣一穿，帽子上的红缨耀眼醒目，煞是威风。
大家都说张作霖当官了（实际士官仍是士兵，并不能算军官），本来作为请假借口的回家成亲也成为事实，经人做媒，乡里富户赵占元将二女儿赵氏许配给了张作霖。
起局
当作为新郎官的张作霖回到军营时，甲午战争已接近尾声，日军突破鸭绿江防线，侵入东北。依克唐阿部首先兵败，宋庆又临危受命，率毅军接茬阻击。
当时中国军队虽然在装备训练上落伍，但日本陆军也刚刚训练成功，还没有什么作战经验，在和毅军对垒时并不占有绝对优势。比如有一次在平地作战时，毅军把一座院墙推倒，埋伏在墙里面，以院墙作为掩护，向日军射击。日军一拨拨被打倒，最后想出一个办法，由左右两边分别实施突袭，才迫使毅军撤出阵地。
还有一次，毅军占领了一座大沙岭子。由于指挥得当，火力凶猛，日军好几天都攻不上来。眼看战局可能扭转，半夜里忽然起了一阵大风，沙岭子上面顿时飞沙走石，吹得人眼睛都睁不开来。等拂晓日军再次发起攻势时，毅军士兵无法开枪，只得从沙岭子上退下来。当地老人提起这件往事时，都带着无限的遗憾，说要不是刮大风，日本小鬼再狠，也没法往上攻，沙岭子绝对丢不了。
在一本日本人所写的史话中，记载张作霖也曾亲身参与这些战斗。某夜，他一个人前去破坏日军的通信线路，不幸被捕。审讯时，他紧咬牙关，缄默不语，负责审讯的日军队长见状很感动，遂下令予以释放。
本来，这种英勇顽强、坚贞不屈的精神是应该得到鼓励乃至赏赐的，无奈，在东方国家只要你当了俘虏，再大的英雄也会被看成狗熊。张作霖归营后不但没得到一句好话，反遭到了上司的白眼和冷遇，这使得他想通过参军求得前途和发展的愿望彻底落空，很感灰心丧气。不久，随着中日签定《马关条约》，甲午战争结束了。毅军奉命移防关内，张作霖不愿随军入关，就开个小差，逃回了家乡。
回到家的张作霖仍然离不开赌场，经常和二哥张作孚一起混迹其中。兄弟二人因为耍赖还跟人打起架来，对方吃了亏，便到县衙门告状，说二人通匪。实际上，他们连偷偷摸摸蒙面打劫的事都没再做过，只是张作霖自己为了炫耀，时时吹嘘与胡子们关系不错，不幸就成了他们“通匪”的证据。
这回出手相救的是张作霖的老岳父。赵占元拿出一笔钱，托人作保，将张氏兄弟从大牢里放了出来。
对于已经“三进宫”的张作霖来说，现在唯一能够开颜一笑的也许就是在赌场上能够得意了。然而俗话说“久赌神仙输”，没多久他又输了，而且输得清洁溜溜，一文不剩。
就在他垂头丧气地往家走的时候，相邻的沙岭村有两头猪溜了出来，张作霖眼前一亮，就想把这两头猪偷去换钱。想不到的是，两位“天蓬元帅”是沙岭民团头目家的。这家人发现丢了猪后，派人四下寻找，张作霖被逮了个正着。随后他便被押回沙岭村，遭到一顿暴打。
好事不出门，坏事传千里，很快四乡八邻都知道了“张老疙瘩”偷猪且挨揍的事。张作霖颜面扫地，整日闷坐在家里，连最爱的赌场都不去了。
兵当不成，钱赢不了，在极度苦闷的日子里，那个一直对张作霖充满吸引力的隐秘江湖重又浮现在眼前。这正应了那句话，“狗逼急了咬人，人逼急了为匪”，不错，当“胡子”有被抓捕乃至杀头的危险，可是人过得潇洒啊，至少不用担心挨饿或被人羞辱。
发现张作霖竟有了入草为寇的念头，岳父赵占元第一个站出来反对，但哪里拦得住，张作霖终于还是选择了剑走偏锋，铤而走险。
要做“胡子”，当时有两个渠道：一是占山为王，黑话叫“起局”，一是入伙，黑话叫“挂柱”。“起局”得有“局底”，也就是枪支弹药这些家当。在那兵荒马乱的岁月里，为防匪患，有钱人不是请官兵护院，就是自己出钱养兵，组织“村团”“联防”之类杂七杂八的队伍，张作霖便在这个上面动起了脑筋。他听说大地主“武善人”家雇伙计，于是就跑去应征。
应征时，张作霖对“武善人”的管家说：“我只有一个要求，就是明天把我挣来的粮先送来，一年八石高粱，没粮折钱也行！”管家一听，这条件不高，就满口答应下来，双方还签了合同。从“武善人”家里走出来后，张作霖又到周围几个村庄的有钱人家转了转，并且以同样的方式和条件把自己雇了出去。
一共是八家人，收到他们送来的钱或粮后，张作霖先跑到黑市上买了一把十发手枪，接着便通知东家们来他家庆贺“上工之喜”。八个东家都派来了人，张作霖给来人每人倒上一碗白开水，自己也端起一碗，说起了开场白：“诸位一定纳闷，张作霖这小子穷死巴活的，今天咋这么肯出血，摆上八碟八碗两大件来款待各位呢？其实这是你们自己的钱！”
众人听了这话，大眼瞪小眼，都没明白过来。
张作霖说：“你们也不用瞪眼。我今儿个就是请你们来庆贺我入胡了的！是你们每人出了八石红高粱，不然我用什么去买这把枪呢！”说完，他拿出崭新的手枪，“吧嗒”一声放在了桌上。
在座的人大惊失色，谁也不敢吱声。张作霖把话题一转：“不过诸位，你们也不必胆战心惊。俗话说，好狗护三邻，好人护三屯，我入胡子是为了养活老母，一旦成了局，决不骚扰你们乡亲。”
张作霖说的倒都是实话，“胡子”有个规矩，即兔子不吃窝边草，或者叫好狗不吃门前食，平时不管如何作恶，总之不会打搅难为父老乡亲，这就是所谓的“人身为匪，乡情还在”。自然也免不了有坏了规矩，在家门口打家劫舍的主，“胡子”里面称他们为“邪胡子”。对“邪胡子”，一般立住脚的“胡子”视之为敌，只要抽出机会就会进行收拾。
劫马
酒桌之上，张作霖也撂下话：“你们谁要是丧良心，和官兵一个鼻孔出气，那就别怪我的子弹不长眼睛了。再说，我起事造反的枪支弹药，都是你们几家出钱买的，捅漏了谁也别想好！将来我干好了，就加倍还你们！”
末了，他问道：“你们甘不甘心？”
大伙唯有打掉牙往肚里咽，回答：“甘心！甘心！”
“同不同意？”
“同意！同意！”
“好！”张作霖一挥手，“把你们的合同都拿回来，咱们重新签字！”
大家只好依言取来原合同，由张作霖毁掉，再重新签约。当晚，张作霖把这些人全部灌醉，然后挎上枪，离开了家。他首先找到当年在大车店给他做过“启蒙教育”的冯麟阁，由冯麟阁介绍，加入了洪辅臣帮派。
辽河下游本就是“胡子”集中的地区，经历甲午战争后，社会的动荡不安更使盗匪蜂起，一个辽河西岸竟然聚集着一百多股“胡子”，每当青纱帐起时，几乎路断行人，所以有人称之为“土匪窝子”。在这其中，最大的三股分别是冯麟阁、杜立三、洪辅臣，呈三足鼎立之势。
张作霖实际加入的是洪辅臣下面的一个小帮。在“胡子”里面，小喽啰叫作“崽子”。“崽子”必须绝对服从大小头目的命令，打仗（或者打劫）时勇于冲锋陷阵，下来时甘于站岗放哨，到年终或休息时，再和其他“崽子”一道分点酬劳。张作霖自然不想老做一个“崽子”，但要按部就班地从“崽子”升到头目，又没这个耐心。于是过了不久，他就拉上二十九个志同道合的兄弟，离开小帮，在外面拉起了自己的队伍。
由于根基较浅，没有固定的势力范围，最初他们只能跑东跑西地到处流窜。一次，张作霖带着人想进入姜家屯歇息，但遭到了洪辅臣的一个头目“二谷瘪子”的阻拦。即便在洪辅臣帮派内，分了炉灶的各小派之间也是各吃各饭，姜家屯属于“二谷瘪子”的势力范围，他自然有充足的理由不让张作霖进来与之争利。
就在张作霖进退两难之际，姜家屯一个当铺的钟掌柜帮忙，他借口要请张作霖为他医马，将他们接入了姜家屯。歇息完毕，张作霖一伙人准备离开，恰好与一群做马匹生意的马贩子不期而遇，后者拥有刚刚从蒙古贩运来的大批好马。
对于“胡子”来说，好枪好马都是稀缺资源。张作霖等人一见眼就红了，他们一拥而上，从中劫夺了五十多匹好马。这样张作霖及其手下人就一人有了两匹马，可以一坐一换，他们也因此由“步胡子”变成了“马胡子”，不仅可以在辽西平原上纵横驰骋，而且也不再为别的帮派所小觑了。
在很长一段时间里，张作霖一直困厄潦倒，坎坷多难，很多次还差点命赴黄泉。他发迹后，就有人把他死里逃生的遭遇归结为有福，认为有福之人当大官掌大权乃是命中注定的事。
一般认为，张作霖的祖籍是山东，但也有资料显示是河北省大城县的冯庄，包括张作霖及其家人都这么认为。据说张作霖还曾专门回冯庄祭祖，其间就有遗老指着村头子牙河边的两棵老槐树，对他说：“你老人家高官得做，是有家乡老神树保佑啊！”
原来村里传说，清咸丰年间，忠亲王（即僧格林沁）曾和太平军激战于子牙河边，当时太平军数十人围住僧格林沁，拿箭射他。僧格林沁借着两棵老槐树的庇护，得以安然无恙，从此这两棵树也就成了当地的“老神树”。
张作霖听后只是一笑了之。在他的心目中，如果有什么能够保佑自己，姜家屯也许比“老神树”更有代表性。因为正是从在姜家屯劫马起，他的命运才开始发生真正的转变，仿佛是一夜之间，所有的事情都变得顺利起来了。
拿过谁一个笤帚疙瘩了
小帮毕竟还是小帮，要想在这么多帮派中间求得生存发展，有时仍得投靠大帮以求自保，这在江湖中称为“靠窑”，张作霖新找到的“靠窑”对象是程敬芳、程敬双帮派。
“胡子”这一行可谓是“行低人不低”，大帮里都有独特的组织机构和职务分工、名称。通常情况下，帮会首领被称为“大当家的”，又叫大哥、大掌柜，坐第一把交椅，可以发号施令，总领一切。其次是“二当家的”，也叫“正炮头”或“总炮头”，主要负责在退却时为队伍断后。
张作霖初来乍到，一、二把交椅都轮不上，他坐的是第三把交椅，称为“揽把”或“兰把子”，专司“秧子房”。“秧子房”是所有绑来的人质（称为肉票）集中关押的地方，由于绑票勒索为“胡子”的主要活动及生活来源之一，所以“秧子房”的地位很重要。
张作霖入帮后做成的第一桩“买卖”，是绑了两大车富人家的女眷。人们印象中的盗匪往往脱不开“烧杀奸淫”这四个字，但匪有匪道，东北“胡子”在后两个字上其实定有严规。首先，为避免动摇军心，“大当家的”一般不能有“家”，也就是娶媳妇（当然也有例外）。其次，严禁“压花窑”，即用强迫手段糟蹋女人。对于“压花窑”的人，他们称为“严岔子”，处理很严，一般都是死刑。
在绑女眷的过程中，张作霖对手下看得很严，底下人对这两车女眷连一句玩笑话都不敢说。事发后，富人家也如期赎票，如数交银。尽管如此，张作霖对绑女人为人质这件事仍旧十分不满。