一心想打下武漢，可以從漢陽兵工廠補充彈藥軍械，現在這個計劃落空了，加上湘軍久戰疲勞，和新投入戰鬥的直軍相比不免相形見絀，而吳佩孚陸續調動了海陸軍，源源補充，士飽馬騰。兩者對照，湘軍完全處於劣勢。趙恆惕原來就不太贊成“援鄂”用兵的，他最擔心的，就是可能召致吳佩孚的迎擊，現在不幸而料中了，一切都和他擔心的一樣。他不願見這場軍事賭博失敗，在飢不擇食的情況下，他收容了在廣西不能立足而逃到永州的桂軍沈鴻英部。張輝贊向趙建議，主張解決沈鴻英，改編他的軍隊。可是趙宅心忠厚，認為沈窮而來歸，處決他殊為不義。因此他給沈鴻英以“湖南援鄂自治軍第三軍”的番號，令其火速開赴前線。

同時趙曾電請陳炯明派軍入湘應援，這時桂系已經瓦解，陳炯明為了履行湘粵同盟義務和鞏固西南“聯治派”的聯合陣線，所以把粵軍中的湘籍部隊編為“援湘軍”，派洪兆麟為總指揮，即日赴援。

可是，時間已來不及了，8月28日杜錫珪率領軍艦七艘，運載北洋軍第四十八混成旅、山東第一混成旅、湖北第四混成旅和第十二混成團，緊緊尾隨在日本軍艦的後面，由螺山向嶽州上駛。湖南既無海軍，江防又很薄弱，又不敢隨便開炮，怕誤傷日本兵艦，北方軍艦遂得順利透過洞庭湖而抵岳陽樓下。

28日下午4時，北方的海軍炮轟嶽州城，嶽州方面守軍只有第二混成旅兩連，無力抵抗。而湘軍統帥趙恆惕正在嶽州，由於南津港橋樑被海軍炮火所轟毀，火車不能通行，趙恆惕乃乘轎出走。嶽州一潰，整個前