布脫離直系系統，改所部為國民軍。馮玉祥還電邀孫中山北上主持大計，但在段祺瑞、張作霖的壓力下，政權還是落入段張之手。不久，馮玉祥赴任西北邊防督辦兼辦甘肅軍務。經共產黨人李大釗的穿針引線，蘇聯無償為國民軍提供武器，並派出顧問團幫助馮玉祥訓練軍隊。馮軍因此有了很大發展，成為北方除奉系以外最大的一支武裝力量。因其接納共產黨員及蘇聯顧問，被北洋軍閥認為“赤化”，深為忌恨。

1925年，是國共合作的第二個年頭，國民革命迅猛發展，如滔滔洪流，席捲中國大地。北方的軍閥統治搖搖欲墜。在外國勢力的支援下，各派軍閥在“討赤”的名義下聯合起來，企圖消滅南方的國民革命政府和北方的國民軍。馮玉祥也有所準備，積極聯郭倒奉。不料在日本的干涉下，郭松齡倒奉失敗。國民軍一時成眾矢之的，處境十分艱難。1926年元旦，為了轉移敵人的目標，馮玉祥正式通電下野。在李大釗的幫助下，馮玉祥赴蘇考察。此次蘇聯之行，馮玉祥廣泛接觸了各方人士，深受蘇聯革命的影響，思想起了很大的變化。他認識到要想取得革命成功，就必須要有一個鮮明的主義和一個參與行動的黨組織。他認為這個主義就是孫中山先生的三民主義，這個黨就是國民黨。回國後，馮玉祥在五原舉行誓師典禮，組成國民聯軍，宣佈全軍加入國民黨，遵行三民主義，誓死剷除賣國軍閥，打倒帝國主義。根據李大釗等共產黨人的建議，針對當時局勢，馮玉祥採取了“平甘援陝，聯晉圖豫”的軍事行動方針。經過幾個月的浴血奮戰，1927年6月，國民軍與北伐軍在中原勝利會師。

馮玉祥本來對蔣