1917年張勳復辟失敗後黎元洪去職，副總統馮國璋代理大總統，任命張宗昌為自己的侍從武官長；第二年，他又出任江蘇第六混成旅旅長。在此期間，他招兵買馬，糾集了六千多人。

張勳復辟失敗後重掌大權的段祺瑞不肯恢復《中華民國臨時約法》，孫中山發起了護法運動。這個第六混成旅還來不及訓練就被派去鎮壓護法運動，結果在湖南被打得一敗塗地。北洋政府派來的督戰團要將他就地正法，幸虧有馮國璋念及他原為自己身邊人，為他開脫，張宗昌逃過一劫。

1919年12月，馮國璋病死，張宗昌失去靠山，移駐江西。這時他兵多錢少，屢次向北洋政府催餉，也沒人理會，於是騷擾地方，搞得怨聲載道。江西督軍陳光遠巴不得他早日開路，又怕惹惱了這一大夥兇殘的窮兵。正好張宗昌在江西看中了一個雜技女演員，陳光遠投其所好，便出錢買下送給他做了姨太。就在張宗昌沉迷溫柔鄉之時，陳光遠派重兵將他包圍繳械，宣佈他們危害地方，予以遣散驅逐。張宗昌知道中了美人計，趕緊化裝逃離江西。

張宗昌已無立足之地，就北上直隸省城保定，攜帶二十萬元鉅款去投靠直魯豫巡閱使曹錕。曹錕本想收留張宗昌，但偏偏又遇到了著名的“儒將”吳佩孚，清高的吳佩孚容不得這個土匪出身、如今依然跟土匪一樣的傢伙。張宗昌二十萬塊錢打了水漂，一怒之下，他遠赴奉天（瀋陽）去投靠“東北王”張作霖。

張宗昌投靠張作霖時近乎喪家之犬，但他精心設計了一個好方案——他帶給張作霖的禮物是兩個抬筐。張作霖很意外，心想這傢伙玩的什麼把戲。細一思考，恍然大悟：抬筐是挑土的，張宗昌帶這個來，意為願意為張作霖效力；但又沒有扁擔，意思是要張作霖給扁擔——即權柄——才行。張作霖很欣賞他的機智，就留下他來，安排他當個憲兵營長，官不大，但以禮相待。

雖然是從頭幹起，張宗昌感激不盡。他一身都是沒受過教化的粗魯，但對張作霖服服帖帖，一見他就恨不得磕頭。

張宗昌重新崛起的機遇來了。不久，吉林軍旅長高士儐聯合鬍匪盧永貴，反叛了張作霖。當時張作霖剛在直奉戰爭中戰敗，無大軍可迎戰，便派已養了很久的張宗昌率憲兵營去。

張宗昌以一營迎戰好幾千人，本必敗無疑，但天助老張，盧永貴手下的大小頭目很多都是和張宗昌當年一起闖關東的同鄉！聽說是張宗昌帶了兵來，紛紛投奔過來。仗還沒打霸氣　書庫　＋。，盧永貴的隊伍就跨了，張宗昌把他們收編成三個團。張作霖得此意外勝利，很高興，任命他為吉林省防軍第三旅旅長兼吉林省綏寧鎮守使。

張宗昌在東北站穩腳跟了，接下來又有好事。鄰國沙俄的白匪軍在蘇俄紅軍的打擊下，近萬人敗逃到中國東北，正好張宗昌懂些俄語，就收編了他們。不多久，張宗昌已有上萬人馬。

重新得志的張宗昌有些飄飄然，訓練軍隊出現懈怠，種植大煙牟利倒起勁得很。在一次秋操演習中，其部在惡劣的氣候中苦不堪言，演習中負傷多人。張宗昌很不高興，在營房裡邊喝酒邊罵罵咧咧：“他媽的，這是哪個鬼孫子的計劃，弄得我們這樣。”正好秋操校閱官、奉系要員郭松齡推門進來，聽個真真切切，頓時大怒，拉下臉來問道：“你在罵誰？”張宗昌趕緊賠禮解釋：“對不起，這是我的出口詞，不是罵誰。”郭松齡一拍桌子，指著他的鼻子喝道：“我操你媽！——這也是我的出口詞！”

在場的人緊張得大氣不敢出。草莽果然有草莽的處世之道，知道雞蛋碰不過石頭，身高一米八五的大漢的張宗昌居然滿面堆笑，說：“郭二大爺，您操俺媽，那您就是俺的親爸爸，沒說的。”張宗昌比郭松齡要大好多歲，郭松齡啼笑皆非，再也生不出氣了。

這樣厚臉皮不要人格地搞定了郭松齡，但張作霖那裡他糊弄不了。張作霖對他坐大以後就掉兒郎當十分不滿，當面訓斥他一年要花一百八十萬元的軍餉，卻把軍隊帶成了一灘泥，警告他要再忙著種大煙不理軍務，就別怪不客氣。張宗昌汗流浹背，唯唯諾諾，從此部隊局面有了改觀。

1924年9月，第二次直奉戰爭爆發，戰鬥以奉軍大勝告終，張作霖控制了北洋政府，成為北洋軍閥中最後一個統治全國的人物。張宗昌立下了頭功，11月，他被任命為第一軍軍長；1925年4月，張宗昌率大隊人馬進入家鄉山東，出任山東省軍務督辦；接著，張宗昌又武力逼走省主席龔伯衡，自兼省主席。

“山東王”張宗昌登臺了，山東地方史上浩劫般的張宗昌時代來臨。