说起来这不是做母亲的心狠，实在是人命关天啊，她二儿子这一次肯定是必死无疑了，所以她不能再拿小儿子的命当赌注，也就是这样，张作霖离开了自己出生的地方，跟随着他的母亲去到了镇安县的赵家庙村，去找他的外祖父那里避难。
在赵家庙呆了两年，张作霖学了一个手艺，就是给牲口看病，也就是常说的立兽医桩子的，不过好景不长，在赵家庙带了几年，张作霖又开始了自己的颠沛流离的生活，所谓的大丈夫志在四方，张作霖义无反顾的独自一个人离开了赵家庙，开始了悠悠荡荡的生活。
这样的生活也是持续了好几年，虽然说起来张作霖是悠悠荡荡，可是他却从来也没有离开过奉天那一亩三分地到了一八九四年，张作霖当兵了，成为了清军宋庆部的一名官兵，凭借着自己的努力，到后来，升任成为了哨长。
次年，因为清军移防的问题，张作霖离开了部队，回到了赵家庙，继续依靠自己的兽医手艺维持生活；也是因为缘分吧，这一次张作霖重回赵家庙，还收取到了自己的一份金玉良缘，结识了第一个成为他女人的女人。张作霖此人虽然个子不高，但是北人南相，颇为俊俏，北方大汉的豪放与南方江南之地男子的清秀长相，再加上他一手精湛的兽医本事，不久，张作霖就被赵家庙当地的一个财主赵占元看上了，而后便与其次女成婚。
成家之后的张作霖因为岳父家颇有钱财，所以也不用的为了生计发愁，所以他变得游手好闲起来，虽然他的父亲就是被赌徒打死的，可是这却不妨碍他也称为赌徒，而且比之一般的赌徒来看，张作霖比他们的嗜好更大，而且在赌桌上的胆气更足，常常一掷千金，不过这胜败与否吧，就
虽然生活不错，但是家财万贯也经不起他这么败祸，久而久之，张作霖家的生活变得败落起来，而这个时候的张作霖，早已不愿意再凭借自己的手艺吃饭了，正当他无计可施的时候，他昔年时的一个朋友来找到了他，此人名叫冯麟阁。
也就是从这个时候开始，张作霖开始了他的土匪生涯
对于张作霖，或许土匪才是最适合他的职业吧，因为张作霖当过兵，而且又懂得兽医的一些技术，所以董大虎对于他格外的关照，再加上冯德麟这个引路人在那一片的绺子里也是有着极高的位置的，所以张作霖在董大虎的绺子里可以说得上是如鱼得水一般，活得也是极为的滋润。
说起绺子，或许很多人眼中他们就是十恶不赦的打家劫舍的强盗罢了，可是实际上并不是这样的，绺子这东西，哪怕是下山砸窑也是有着相当言明的规矩的，当然了，这针对的只是那些正规有着严明的等级，制度森严的绺子，或许这东西不是什么善良之辈，但是也绝算不上是十恶不赦，而且很多时候，有一些绺子还会将自己抢来粮食什么的，拿出一小部分分发给周遭的一些百姓，当然了，他们这么做也是有着自己的目的的。
因为无论是绺子还是匪盗，都知道一个道理，那就是兔子不吃窝边草，要是得罪了乡里不论你有多大的势力亦或者是有着怎样的凶狠残暴，可是一旦真正的触怒了民众的肝火，那么也就离死期不远了，所以他们这么做绝不是什么盗亦有道，只不过就是希望自己的绺子能够多存在一些时间罢了，同时也是为了壮大自己的绺子。
因为都是乡里，再加上一些时候的一点微不足道的照顾，或许那一家整的走投无路之后，就会选择加入到他们那一伙绺子里，这样一来的话，虽然一个两个不算多，可是时间长了，也不能够不算是一种扩充自己势力的有效方式。
张作霖所在的那个董大虎的绺子，其势力不小，但是却还不能算是当地最大的绺子，所以有些时候最大的，最肥的窑还轮不到他们，可是即便是这样，董大虎的绺子也算是生活不错的了，而张作霖自从加入到了这个绺子之后，他竟然突发奇想的将军队中的一些规矩行事方式，在做了一些调整之后，实行到了这些绺子的身上，数日昂一开始的时候有很多人不愿意接受，但是当董大虎了解到了这样的管理方式对于他的绺子的好处之后，他毅然决然的将二当家的位置交给了张作霖，这样一来，也就使得张作霖在这个绺子中的地位，得到了稳固。
而且张作霖这个人心眼多，会办事，再加上他心狠手辣，所以可以说即便是董大虎不把二当家的位置交给他，恐怕不久之后，这个位置也是非他莫属的，而且说起来，虽然一开始的时候很多人对于张作霖的管理方式不能接受，但是久而久之，再加上他的一些独特的拉拢手段，却也没有人再反对了，这样的局面可以说对于张作霖也好，对于董大虎也好，都是最好的结局了。
因为其实说起来，想要被招安的话，那么最好的办法就是壮大自己的势力，到最后让官府不得不正视忌惮自己，这样一来就达到了招安的条件，可是张作霖知道，短期之内自己是绝对达不到那样的效果的，因为如果很轻松就能够做到的话，那么金寿山恐怕早就成了官军，哪还会有他的位置那
对此张作霖不觉的感到头痛，可是他却没有就此放弃，可是这件事一直也没有提到日程上来，就这样，张作霖当着大当家的，过着绺子头的日子，虽然不怎么回家，但是他还是常常派人去给自己的妻子送一些日常用品还有钱财，而且他没有告诉妻子自己做了土匪，只是叫人说自己在外做生意以此作为借口。
张作霖就这样一直到了一九零零年，因为义和团运动的关系，致使沙俄大举侵入东北地区，张作霖看准了这个时机，他知道自己的机会来了，因为沙俄人入侵的关系，烧杀抢掠无恶不作，而且清廷的盛京将军在这个时候竟然还抛弃了这些子民独自逃走，使得东北地区陷入了一片混乱之中，其实这样的情况说起来是很多人回避都来不及的，可是张作霖却要偏偏在这个时候迎头冲上去
张作霖先是集合了整个绺子的土匪，然后向大家说明自己的意思，同时表示如果愿意随着他一同返回赵家庙的日后他张作霖自然不会亏待，而且现在就能给每人三个大洋的安家费，至于那些不愿意跟他去的，则愿意回家的可以拿路费，不愿意回家依旧愿意当绺子的，那么他可以引荐他们到杜立三亦或者是冯德麟的绺子中。
安顿好一切之后，张作霖带着愿意。