跟随他一同回赵家庙的十几个人，一同回到了那里，他路上将自己的老婆也带上了，一起去到了赵占元家，在于自己的岳父说明自己的想法之后，没想到，原本已经做好被骂准备的张作霖竟然以外的得到了岳父赵占元的支持。
赵占元其实这样做也是有私心的，因为他的财产不少，现在这样的混乱，其实最容易遭受损失的就是他了，要是自己的女婿能够组织起一支武装力量的话，那么无外乎得益最多的还是自己，所以在赵占元的支持下，张作霖带着原本从绺子上带来的十几个人，再加上一些被他招收来的赵家庙的一些乡勇之辈，在当地成立了保险大队，也就是老百姓口中的大团。当然了，说起来，这个所谓的保险大队啊，倒不是张作霖的专利，他也绝不是第一人，在他之前就已经在各地出现了许许多多大大小小形形色色的保险大队了，这些武装力量虽然号称是保险大队，包围乡民的人身财产安全，可是实际上他们与土匪或者说是俄国人相比，基本没什么不同，而且其中甚者更是有过之而无不及的。
但是虽然其他的保险大队是这样的情况，可是张作霖这一支队伍却并非如此，张作霖明白，既然自己想要在未来的时候能够被政府招安，那么就要做出一些真东西来，而且早在当绺子的时候他就懂得民心的重要性，此时的他又怎么会反其道而行之那
金寿山如何不怒不过那个时候因为杜立三的关系，金寿山不好对张作霖动手，所以他派人给张作霖传话，希望以后如果再出现这种事，不要他权当不知，就是当报了号之后能够抬抬手，可是张作霖那，却没有答应，反而还叫那传话的人回去告诉金寿山，在他张作霖的管辖地之内，如果再有金寿山的绺子，那他张作霖肯定是见一个杀一个，绝不留情
张作霖这么做其实也是无可奈何之举，但是金寿山却彻底被触怒了，到了一九零一年春节前夕，还是因为一些小事，张作霖与金寿山之间再一次出现了摩擦，而且这一次，让张作霖没想到的是，金寿山竟然真的对他动手了，其实最开始的时候张作霖就知道自己与金寿山之间迟早都会有一个了断，但是因为杜立三的关系，所以金寿山才没有动自己，可是张作霖这其间可是实打实好几次都想和金寿山一决高下，只不过还是因为他手下人的手头不够硬，再加上他也不是一个混人，所以才没有那样做。
而且说起来，这期间，杜立三也曾派人来与张作霖谈过，杜立三是张作霖的结拜大哥，所以对于张作霖这个兄弟，富有江湖义气的杜立三自然是不能够不闻不问的，更何况，现在张作霖是同金寿山那个家伙有了摩擦，杜立三很清楚金寿山的为人，所以这个时候他这个做大哥的自然不能不管。
但是也还是因为张作霖现在这个保险大队长的身份，实在是让杜立三不知道应该如何和他交流，所以才会选择派人来传话，而不是亲自前往了，杜立三派人告诉张作霖，希望能够清楚一些，虽然现在张作霖是保险大队的队长，可是还希望他能够念及江湖情意，再者说，虽然张作霖与金寿山不是什么结拜的关系，可是当年金寿山也给过他不少的帮助，所以希望张作霖能够抬抬手，不要再加深矛盾了。
当然了，杜立三做大哥自然不会只说张作霖的不是，所以来人还说，现在金寿山那边有杜立三周旋，当然了，这也只不过是暂时的，因为都知道金寿山的脾气秉性，所以对于与他这样的人来说，他与张作霖之间的恩怨肯定会有一个了解的，所以杜立三没有明言，但是其意思已经很明确了，那就是假如张作霖日后真的与金寿山之间发生冲突的话，那么杜立三绝不会坐视不管
就会天不绝他，张作霖这一次不但成功的逃到了八角台，甩开了金寿山的偷袭，而且他的老婆还在马车上给他剩下了一个男孩，正是张学良。八角台原本就有一伙土匪势力，带头的人叫张景惠，此人早就有心思投奔张作霖了，这一次张作霖虽然是逃命到了他这里，可是谁能想到，他竟然就这么将自己的绺子交给了张作霖，当然了，这个张景惠，就是现在张作霖的左膀右臂之一，也是他的结拜兄弟之一，只不过这都是后话了。
张作霖虽然一开始推辞，不过后来还是接受了张景惠的队伍，而且就在他刚刚接手了张景惠的队伍后不久，另外以后队伍竟然也赶到了八角台来投奔他了，这一次的来人，不是别人，正是张作相不过要说明的是，别看张作霖张作相只有一字之差，可是二人却没有任何血缘关系。
次年，张作霖这一支队伍，终于被朝廷招抚，在新民，张作霖被任命为马队帮带相当于副营长，而后升任为管带，既营长，一九零四年，日俄战争爆发，张作霖看准了这又是一个机会，他开始带着自己的官军开始参与到其中，当然了，这在当时的朝廷是决不允许的，可是没有办法，东北这片地方多年无人务管理，所以混乱一些也是可以理解的。
说到这不得不说，日俄战争虽然是日本和沙俄之间的战争，可是谁能想到，张作霖这么一个小小的管带竟然能够在这其中捞到不少好处，而且他还借此结识了许许多多的日本军人，甚至是一些军官。说起来，张作霖此人真是心眼多，在日俄战争之初，他帮助实力强大俄国方面，由此他从俄国人那拿到了不少好处，而后，到了日俄战争中期，俄国开始处于下风之时，张作霖果断的倒戈日本方面，凭借着自己之前对于俄国军人的了解，又给日本人提供了不少的方便，使得他又从日本人那里得到了不少的好处
而且虽然他参加了日俄战争，可是非但没有损害到他的队伍实力，反而借着这个机会他又在一次扩充了自己的实力，虽然张作霖那个时候还是一个小小的管带，可是他手下的人吗，却是一般人所不能比拟的，而且凭借着他的交际的本事，又从日本人那弄来许许多多他们缴获的枪支，张作霖的队伍装备上这样的俄国造日本造，其战斗力自然也是大大的提升了一番。
到了一九零七年，东三省改建省制，徐世昌首任总督，张作霖又计擒杜立三有功升为奉天巡访营前路统领。
一九零八年年，张作霖奉徐世昌令命驻防郑家屯洮南，追缴陶克陶胡叛匪。一九零九年，奉锡良总督之命追缴蒙匪牙什白音大赉等。一九一一年，武昌起义，张作霖带兵入奉天省城镇压革命党人。次年，因镇压革命党人被封为关外练兵大臣，袁世凯任临时大总统后任其第二十七师中将师长。
一九一五年，被袁世凯召入京，表示支持速正大位。虽然不知道张作霖到底是不是真心支持袁世凯的，可是至少表面上他对袁世凯是支持的，所以这一次东北的变化，不得不让唐继尧提高警觉啊，而且唐继尧相信，不单单是自己，就是蔡锷，要是知道了这样的消息的话，那么他肯定也会对于千里之外所发生的事情，提起兴趣的
蔡锷当然是还不知道此时北方的变化，但是这对于唐继尧来说，却是他非常关注的，不知带为什么，唐继尧总是觉得这一次东北的事情，恐怕会影响到全局的安定，而且说起来，其实张作霖不过就是一个小小的师长，论起军阶，根本不能与其相提并论，可是不知道为什么，真的不知道为什么，唐继尧这一次真的感觉到了一种不寻常。