公元25年，公孫述與劉秀先後稱帝，隗囂想去探個虛實，於是公元28年，馬援作為隗囂的代表，拜訪公孫述與劉秀。公孫述與馬援是小時侯一起玩大的朋友，但是自稱帝之後，便在老朋友面前大擺威風，炫耀自己，馬援認為現在天下未定，鹿死誰手還未知，公孫述不能禮賢下士，不過是井底之蛙罷了，非英雄豪傑也。

之後，馬援又拜訪劉秀，劉秀以布包頭，下殿相迎，完全沒有皇帝的架子。馬援說：“當今之世，非獨君擇臣也，臣亦擇君矣。臣遠道而來，陛下這些疏以防範，萬一我是刺客怎麼辦？”劉秀笑道：“你不是刺客，你是說客！”馬援歎服道：“天下反覆，盜用帝王稱號者不可勝數。今見陛下，恢廓大度，如同漢高祖，果然是真天子啊。”

這次馬援與劉秀歷史性的會面，明君遇到名將，真果如馬援所說：“非獨君擇臣，臣亦擇君。”馬援敢於在光武帝面前說得這樣坦率，也使劉秀佩服他的膽量與見識。

馬援返回西州後，在隗囂面前極力讚譽光武帝，隗囂因為派遣長子入質，馬援也隨行到達洛陽。然而隗囂並非誠心歸附光武帝，首鼠兩端，馬援多次寫信規勸，不料隗囂卻認為馬援胳膊肘往外拐，背叛自己。

建武六年（30年），隗囂發兵反漢。馬援上書光武帝，以表心跡，光武帝知人善任，對馬援不僅不懷疑，而且派五千騎車給馬援，讓馬援奔走於隗囂部將以及歸附隗囂的羌人之間，以分化瓦解隗囂的勢力。

建武八年（32年），光武帝劉秀親征隗囂，馬援在此役中，創造了一項世界軍事之最：他是世界戰爭史上第一次使用沙盤的將領。不過嚴格來說，馬援並不是用沙盤，而是用米盤。由於西北的地形複雜，而馬援則熟悉這裡的山川分佈，他用米堆成地形模型，將複雜的山川地形，用最簡潔的方式直觀地展示出來，為不熟悉地形的漢軍擊敗隗囂兵團打下了基礎。這是馬援對中國軍事戰爭藝術的一大貢獻。

擊敗隗囂後，光武帝佔據了西部地區，然而一個新的問題出現了。西部邊郡金城，羌人很多，從王莽時代開始，天下大亂，羌人也趁機造反，不斷向中國發動攻擊，西部邊郡如金城，基本上落入羌人之手。從光武一朝開始，東漢近兩百的歷史，羌亂一直是帝國的心腹大患，羌亂基本上與帝國相始終。羌族是一個鬆散卻又堅忍的民族，民族性格剽悍如風，不亞匈奴。為什麼羌亂極難平定，並非漢軍的戰鬥力不行，而是戰爭的耗費極其驚人，大軍所需的糧草、軍備、武器都必須要長途輸送。

金城郡毗鄰隴西，隴西曾是隗囂的地盤，馬援對這裡十分熟悉，所以要平定羌亂，非馬援莫屬。建武十一年（35年），馬援臨危受命，出任隴西太守，開始他獨抵一面的輝煌軍事生涯，這一年，馬援四十九歲，志在千里的伏櫪老驥，終於要放腿奔跑了。

馬援走馬上任，馬上著手準備對羌人發動一次突襲，他率領三千名騎兵、步兵混成兵團，對臨洮（甘肅岷縣）的先零羌部落發動奇襲，先零羌人沒有料到馬援來得這麼快，被打得措手不及，狼狽鼠竄，遺下數百具屍體，馬援兵團首戰告捷，俘獲馬、羊、牛等牲畜萬餘頭。在隗囂統治涼州時，有不少羌人歸附隗囂，而馬援作為隗囂的舊將，威名遠揚，所以羌人聽說東漢政府派遣馬援前來，心中大駭，馬援剛打完一場勝戰，隨即便有守衛要塞的羌人八千多人，集體向馬援投誠。

與此同時，在隴西東南的武都郡，揚威將軍馬成也擊敗西羌的軍隊，平定了武都的羌亂。此時的羌亂中心轉移到浩亹（甘肅碾伯縣東），先零羌與其他羌部落數萬人據守於此，四處搶掠。馬援兵團與北上的馬成兵團會師後，共同進剿浩亹。

羌人曉得馬援的厲害，不敢輕敵，便將妻兒老小、糧草輜重都轉移到允吾谷，企圖據險與東漢兵團相抗衡。但馬援是何許人啊，他的本事就是探測地形，製成沙盤（米盤），然後研究擊破敵人的策略。馬援尋找到一條秘密小道，大軍連夜沿著小道開進，繞過羌人的正面防線，突然發動攻擊。羌人見漢軍從天而降，大驚失色，倉惶逃命，退守唐翼谷。

漢軍窮追不捨，羌軍據守唐翼谷北山，這裡的地形易守難攻。馬援足智多謀，深知正面強攻不易奏效，便使用疑兵之計，命令大軍從正面佯攻，暗地裡派遣數百名騎兵繞到羌軍背後，等到天黑之後，乘夜縱火，然後又敲鑼打鼓的，搞得震天響。羌軍一聽，哇，漫山遍野都是戰鼓聲，一時便亂了分寸，黑夜中也搞不清是怎麼回事，還以為被馬援兵團所包圍，慌亂中奪路而逃。

馬援見敵軍陣腳已亂，立即下令