為其外甥昌邑王謀求太子之位再增加一些政治資本。然而，李廣利並不知道就在此時，一個滅頂之災已經降臨到其家族身上。

在李廣利出兵後不久，他與丞相劉屈麾在告別時所說的話被宦官郭穰上報給武帝，並揭發說：“丞相夫人與李廣利都在咒詛皇帝早死，好讓昌邑王早日即位。”武帝勃然大怒，將劉屈麾與夫人下獄審問，李廣利妻兒老少也被收捕入獄。六月，劉屈麾腰斬，夫人梟首。訊息傳到前敵，李廣利大驚失色，不知所措，想立即回京，設法解救親屬，部屬胡亞夫勸阻說：“夫人與家室都在獄中，將軍如果現在回京，只能在獄中相見了。到了那時，就是再想投降匈奴也不可能。”李廣利於是率領大軍繼續北上，意圖再立大功為家屬贖罪。

當漢軍抵達郅居水南岸時，匈奴又向北方轉移，李廣利命部將率二萬騎兵渡過郅居水繼續追擊時，突然與匈奴左賢王、左大將率領的二萬多人相遇，激戰一日後，匈奴大敗，左大將被殺，士卒死傷累累。就在李廣利即將奪取大勝之時，屬下部將卻發生叛亂。將軍長史與決眭都尉等人得知李廣利親屬下獄後，對他匆忙北上的決定十分不滿，認為李廣利不顧大軍的