张景惠被锤炼成为一名军人，多年来他一直跟随他的亲属、满洲的最高统治者张作霖。这之后，在中国军阀混战的年代里，张景惠信奉“有奶便是娘”，因此在1900年至1928年军阀混战时期，他始终履行这一信条。
他背叛了张作霖转而投靠了张作霖的对手——军阀吴佩孚；后来，他又重新投奔在北京的张作霖，并担任陆军部长。但当权力再分配时，他又回到吴佩孚的身边，成为其内阁成员之一，工业部长；之后，一年不到，他又再次背叛了吴佩孚，并与张重修旧好，成为哈尔滨地区的行政长官。其间，蒋介石进入南京，并在那里巩固了自己的政权。此间，大部分军阀纷纷投靠蒋介石。但是，这次张景惠却没有这样做。他一个人在满洲赌气，并打算尝试一桩新的买卖——与日本人讨价还价。这一次他得到了满洲国总理的要职。