白天在街上游蕩，晚上則在廟裡寄宿。有一晚竟然夢見廟神向他道賀，說他將來會做撫臺，受此鼓動他就投軍，一步一步往上爬，民國5年5月30日他繼靳雲鵬之後為濟武將軍督理山東軍務，果然衣錦還鄉，是個撫臺身份了。他很感激廟神的顯夢，乃重修廟宇，為廟神塑金以答神麻，山東人傳為“美談”。

張懷芝雖然出身微賤，可是做了大官後，對屬員倨傲無比，常連名帶姓直呼部下，如果加官銜則多一個字，如參謀長為參謀長兒，副官長為副官長兒。

當時督軍可以隨便把省長驅逐而自兼省長，張懷芝驅走山東省長孫發緒後，即親赴省長公署，他把公署中各要員的姓名都寫在籤條上，裝在口袋裡　，遇有公事要辦，便隨手在口袋裡抽出一支來，抽中那個人的名字，就派那一個去辦事，於是省府闔署的官員沒有一個敢離職，都小心翼翼地等待督軍兼省長在口袋中抽籤條。省署內務廳長姚鵬是一位老名士，歷任省長都很敬重他，有一天他因赴宴未歸，剛好張懷芝抽中了他，找不到人，等他回來，張懷芝大呼：“責打軍棍二百”。大家紛紛替姚求情，才罰他寫了張“欠打”的條子了事。

有一天張懷芝在督署召見政務廳長陳乾和濟南道尹唐柯三，偶然談到各縣知事常有被告的事，陳幹隨口吹了一個牛，他說：“如果我當縣知事，一定不會有人告我。”張懷芝點了點頭，怎知第二天省長公署就釋出了一道人事命令，把政務廳長陳幹調委為泰安縣知事。政務廳長等於今天的民政廳長，比縣長大得多，把廳長降級為縣長，除非是廳長犯了極大的錯誤，可是陳幹只是隨便說了一句話，就從廳長降為縣長，氣得陳幹棄官逃往北京，不敢回山東任職。

5年12月13日張督軍忽然在盛怒中把兒子“綁送軍法處訊辦”。大家又向他求情，他揮著粗大的拳頭說：“你們難道不曉得王子犯法與庶民同罪的道理嗎？”有一天他傳見山東籍候補縣知事180餘人到署訓話，他說：“你們各人有各人指定的省份，同樣的地皮，何以不刮外省而向本省來刮！我年輕當兵的時候拿穩宗旨，不升官便去做強盜，我決不在本省做強盜，一因於心不忍，二則做強盜發了財，本鄉本土知道財的來源，我不能逢人誇耀。你們這一批知事真是太不知事了！”

山東政費支絀，他提議官吏減薪以為之倡。大小官員一律按八成發薪，秘書把減薪名冊呈上去，他動筆把本人減薪一千元的一項塗銷。

湖南戰爭從7年3月上旬開始，由吳佩孚的直軍擔任進攻嶽州，吳以第三師師長兼任前敵總指揮，指揮部隊有第五旅旅長張學顏、第六旅旅長張福來，還有直軍第一混成旅旅長王承斌，第二混成旅旅長閻相文，第三混成旅旅長蕭耀南。兵力共5萬人。助戰的有北洋海軍第二艦隊司令杜錫珪所派的五艘兵艦，楚觀、江鯤、江利、江犀、江貞。嶽州既無險可守，江防上又沒有海軍，加以聯帥譚浩明沒有戰志，因此嶽州之戰未經接觸勝負形勢已定。

3月10日吳佩孚宣告佔領羊樓司。17日沒有遇到堅強的抵抗便進入嶽州。吳佩孚連續發出三通捷電，都是盛稱南軍奮勇抵抗，寸土必爭，而北軍神勇無敵，攻無不勝，戰無不克。其實都是誇大其辭。最妙的是北軍授嶽總司令張敬堯率部在吳佩孚軍的後面也公然發出捷報說：“一星期下嶽州，旬日之內可攻克長沙。”

北軍雖然於3月17日進佔嶽州，但只是些先頭部隊，當天晚上，南軍前線有一批部隊不知道嶽州已經放棄，盲目地退入嶽州，剛入嶽州的北軍疑心中了埋伏，乃倉皇退出，同時通知海軍炮轟，以洞庭湖配合作戰的北軍軍艦乃不分皂白地向得而復失的嶽州城亂轟一通。這支南軍乃匆匆退卻。18日北軍才又第二次佔領嶽州。

北軍第七師擔任進攻平江。平江南軍於3月17日撤退，北軍第七師沿著通城平江大道前進，一路上展開了慘無人道的大屠殺。他們強指鄉下人是南軍便衣隊，把路上的壯年人完全殺光，搶劫、姦淫、無所不為。婦女們紛紛逃到山洞裡避難，又遇上傾盆大雨，飢寒交迫，有一個山洞中就發現300多名婦女奄奄一息，還有不計其數投井自殺的婦女。

張敬堯率軍於22日開進平江，宣佈“三天不封刀”，縱兵搶掠，三天後才佈告安民，佈告雖然出了，燒殺搶掠照舊公行。

北軍展開軍事行動後，連戰皆捷，嶽州攻克後，北京政府下令嘉獎，電文如下：

“據第一路總司令兩湖宣撫使曹錕，援嶽總司令張敬堯，海軍第二艦隊司令杜錫珪，迭次電呈，分路規復嶽州，水陸兼進，所向有功，先後於月塘嘴、羊