當初，葛榮的部下被流放到幷州、肆州的有二十多萬人，這些人深受胡人的欺凌，都無以為生，前後大大小小又反叛了二十六次，被殺掉了一大半，但仍圖謀叛亂不止。爾朱兆深以為患，於是便問計於高歡。高歡說道：“六鎮之民反叛，不能全部殺掉，應該選一位您的心腹之人，讓他統領六鎮軍民，如有反叛者，則懲處其首領，那樣的話，受懲處的人就少了。”爾朱兆說：“好主意！但派誰去合適呢？”賀拔允當時也在座，他建議讓高歡統領六鎮軍民。高歡揚拳便朝賀拔允的嘴打了過去，打掉了賀拔允的一顆牙齒，並斥責道：“天柱大將軍在世的時候，我高歡受其調遣如鷹犬一般，今日天下之事取捨全在大王，你賀拔允怎敢僭越職權大膽妄言，請大王您殺了賀拔允！”爾朱兆認為高歡對自己很忠誠，於是便將六鎮軍民交與高歡統領。高歡以為爾朱兆醉了，擔心他酒醒之後又反悔，便趕快走出營帳，對將士們宣佈說：“我受大王委託統領州鎮兵，你們可到汾河東岸集合，聽我的號令。”於是在陽曲川建立了幕府，安置所部。士兵們平素憎恨爾朱兆而樂意做高歡的部下，紛紛前來投奔高歡。

居無何，又使劉貴請兆，以“並、肆頻歲霜早，降戶掘田鼠而食之，面無谷色，徒汙人境內，請令就食山東，待溫飽更受處分。”兆從其議。長史慕容紹宗諫曰：“不可。方今四方紛擾，人懷異望，高公雄才蓋世，復使握大兵於外，譬如借蛟龍以雲雨，將不可制矣。”兆曰：“有香火重誓，何慮邪！”紹宗曰：“親兄弟尚不可信，何論香火”時兆左右已受歡金，因稱紹宗與歡有舊隙，兆怒，囚紹宗，趣歡發。歡自晉陽出滏口，道逢北鄉長公主自洛陽來，有馬三百匹，盡奪而易之。兆聞之，乃釋紹宗而問之，紹宗曰：“此猶是掌握中物也。”兆乃自追歡，至襄垣，會漳水暴漲，橋壞，歡隔水拜曰：“所以借公主馬，非有他故，備山東盜耳。王信公主之讒，自來賜追，今不辭渡水而死，恐此眾便叛。”兆自陳無此意，因輕馬渡水，與歡坐幕下，授歡刀，引頸使歡斫之，歡大哭曰：“自天柱之薨，賀六渾更何所仰！但願大家千萬歲，以申力用耳。今為旁人所構間，大家何忍復出此言！”兆投刀於地，復斬白馬，與歡為誓，因留宿夜飲。尉景伏壯士欲執兆，歡齧臂止之，曰：“今殺之，其黨必崐奔歸聚結，兵飢馬瘦，不可與敵，若英雄乘之而起，則為害滋甚，不如且置之。兆雖驍勇，兇悍無謀，不足圖也。”旦日，兆歸營，復召歡，歡將上馬詣之，孫騰牽歡衣，歡乃止。兆隔水肆罵，馳還晉陽。兆腹心念賢領降戶家屬別為營，歡偽與之善，觀其佩刀，因取殺之。士眾感悅，益願附從。

沒過多長時間，高歡又派劉貴向爾朱兆請示，因“幷州、肆州連年霜旱，降戶只好挖田鼠為食，面無人色，這樣只能白白玷汙您所管轄的地區，請下令讓他們到太行山東面乞食，等到解決了溫飽之後再做安排。”爾朱兆批准了這一建議。長史慕容紹宗勸諫道：“不能答應。當今天下紛亂，人人各懷異想，高歡雄才蓋世，如果再讓他在外握有重軍，這好比是借雲雨給蛟龍啊，您將無法控制他了。”爾朱兆說：“我與高歡有結拜重誓，何必過慮！”慕容紹宗道：“親兄弟尚且不能完全相信，何論結拜兄弟呢！”當時爾朱兆的左右部下已經接受了高歡的重金，於是便趁機稱慕容紹宗跟高歡有舊仇，爾朱兆大怒，囚禁了慕容紹宗，催促高歡儘早出發。高歡從晉陽出滏口，中途遇上了從洛陽來的北鄉長公主，北鄉長公主帶有三百匹好馬，高歡將這些好馬全部截奪下來，另用羸馬掉換了。爾朱兆聽說了這件事後，便放出慕容紹宗，與之商議。慕容紹宗說道：“高歡目前還未走遠，仍是您的掌中之物呢。”爾朱兆於是親自追趕高歡，追至襄垣縣，正值漳河暴漲，橋樑被沖壞了。高歡隔著漳河遙拜爾朱兆道：“我之所以借公主馬匹，並非有別的目的，只是為了防備山東的盜賊罷了。大王您竟相信公主的讒言，親自前來追趕，我不害怕渡過河來受死，但恐怕我的這些部下便要叛離了。”爾朱兆自己也說沒有這個意思，於是輕馬渡過漳河，與高歡並坐大帳前，將自己所佩之刀交給了高歡，引頸讓高歡斬殺。高歡痛哭道：“自從天柱將軍去世後，我高歡還有誰可以仰靠！只希望您長命百歲，我為您效力罷了。現在卻被旁人挑撥離間，您怎忍心說出這種話呢！”爾朱兆將刀投於地上，又斬殺了白馬，與高歡發誓，並且留住下來與高歡通宵宴飲。尉景埋伏下士兵想捉捕爾朱兆，高歡咬破自己的臂制止了他，並向他說：“現在如果殺了爾朱兆，他的黨羽肯定會聚集起來併力來爭，我們兵飢馬瘦，不能與其相匹敵，如果這時候有英雄乘機而發難，