有因此而停止入侵。當時遼東、漁陽、上谷、中山、代郡、上黨、天水、扶風（治長安，今陝西西安）等郡國（大體相當於今遼寧、河北、山西、陝西、甘肅北部一帶），都曾飽受匈奴的侵擾殺掠之苦，連年不得安息。因無法阻擋匈奴的入侵，東漢政府曾於建武十五年（39年）徙雁門、代郡、上谷邊民六萬多人至居庸關（今北京昌平西北）、常山關（今河北淶源南）以東，以躲避匈奴。左部匈奴甚至進入塞內居住，朝廷深為憂患，只得增兵防範，但收效甚微。

公元48年（建武二十四年），匈奴內部發生重大變化，正式分裂為南北二部，匈奴與漢朝的關係也隨之發生根本性轉變。

早在呼韓邪單于北遷單于庭之後，在漠南地區就形成了一個以八部大人為中心的政治集團，後歸右谷蠡王伊屠知牙師（《漢書》作伊屠智牙師）統率。知牙師是王昭君與呼韓邪之子，單于輿之弟，後晉升為左賢王。依單于繼承慣例，知牙師當繼輿為單于。東漢初年，單于輿與漢朝為敵，不願意單于之位落入與漢有較深淵源的知牙師之手，欲傳位於子，因此殺知牙師，立子為左賢王，漠南八部大人及烏桓均歸右奧鞬日逐王比統轄。比見單于輿冤殺知牙師，口出怨言：“單于繼位，以兄弟言之，右谷蠡王（指知牙師）當立；以子言之，我乃前單于（指烏珠留單于）長子，當立。”比心懷怨恨，同時懼怕被殺，因此很少參加龍庭會議。單于輿也察覺比有異志，於是遣兩骨都侯至漠南，監護比所部兵。

建武二十二年（46年），單于輿死，子左賢王烏達鞮侯繼立，不久亦死，弟左賢王蒲奴繼位。其時匈奴因連年旱蝗成災，赤地千里，草木盡枯，飢疫流行，人民牲畜大批死亡。蒲奴單于害怕漢乘其疲敝之時襲擊，於是遣使至漁陽郡（治今北京密雲西）請求和親，試圖緩和與漢的緊張關係，光武帝也遣中郎將李茂回報。烏桓見匈奴勢衰，不願再依服匈奴，於是出兵攻擊匈奴，蒲奴單于不敵，率部眾向北遷徙，對漠南實際上失去了控制。統率漠南的右奧鞬日逐王比見繼單于之位無望，愈益憤恨，於是在建武二十三年（47年）密遣漢人郭衡奉匈奴地圖至西河太守處請求內附。監護比部兵的兩骨都侯發覺比有異志，遂於赴五月龍庭大會時密報單于，建議誅比。不意訊息走露，比集合八部四五萬人自衛，蒲奴單于發萬騎攻之，見比兵力強盛，不敢進兵而還，雙方關係徹底決裂。

建武二十四年（48年）正月，漠南八部大人共議立比為呼韓邪單于。以比祖父呼韓邪單于附漢得安，故而沿襲其號，以示與漢和好之意。比親至五原塞外，表示要“永為蕃蔽，捍禦北虜（指北匈奴）。”自東漢初年以來，匈奴連年入侵，朝廷窮於應付，耗費甚巨；而今匈奴分裂，南匈奴自願為漢保衛邊塞，於漢無疑是有利之舉。當時朝內一些大臣不相信南匈奴附漢的誠意，堅持利用匈奴分裂之機出兵攻滅匈奴，光武帝為安境息民，決不允許挑起戰端，於是採納五官中郎將耿國的建議，應允了南匈奴通好的請求，從而確定下扶持南匈奴，抗擊北匈奴的基本策略。事後漢匈關係的發展程序，證明了光武帝這一決策是正確的。

同年冬十月，在東漢政府的支援下，比自立為呼韓邪單于，即醢落屍逐鞮單于。從此，匈奴正式分為南北二部。由於南單于歸附漢朝，北境再無侵擾之患；位於匈奴東北的烏桓、鮮卑，過去常追隨匈奴入塞侵擾，見南匈奴附漢後，也遣使至洛陽朝貢，北境愈加平靜。第二年春正月，南單于比為了擴充套件勢力，同時也為爭取朝廷更有力的支援，遣其弟左賢王莫率兵攻擊北匈奴，大獲全勝，俘擄萬餘人，馬七千多匹。北單于蒲奴為避南匈奴兵鋒，退卻近千里。三月，南單于遣使至洛陽，請求朝廷派使者監護，願遣侍子入朝，復修呼韓邪單于故約。建武二十六年（50年）春，光武帝遣中郎將段彬等使南匈奴，於五原（治今內蒙包頭西）西部塞設南單于庭，始置“使匈奴中郎將”，率兵護衛南單于。同年秋天，南單于比遣子入侍，光武帝依諸侯王之制，授南單于比黃金質璽綬，另賜衣裳、冠帶、車馬、黃金、錦繡、繒布等財物珍寶，又從河東郡轉輸糧食二萬五千多斛，牛羊三萬六千多頭賑濟南匈奴部眾。不久，因南單于與北匈奴交戰不利，光武帝命將南單于庭徙至西河郡美稷（今內蒙準格爾西北），設定官府，命中郎將段彬等駐居西河郡，由西河長史率二千騎兵、弛刑（被赦免的囚徒）五百人，協助段彬等護衛南單于。隨著北境戰事的停止，東漢政府將以前因戰亂內徙的邊民遷回故地；同時，為了使南匈奴擔負起護衛北境的任務，光武帝允許北地、朔方、五原、雲中、定襄、