洋民工打老闆，這下可讓李鴻章抓住了他的大把柄。李巡撫以帝國官員名義，正式派人送文到美國領事館，要求他們“處理”白齊文。

無奈之餘，美國人只得通知白齊文“走人”，因為從名義上講“常勝軍”是大清帝國的“常勝軍”。而後，白齊文的位置由英國海軍上尉奧倫（Holland）暫代。其實，這也可以看出美英兩國對在這支軍隊控制權上的此消彼長。奧倫指揮不力，常勝軍在進攻太倉的太平軍時一敗塗地，於是英國政府下令讓英國皇家陸路工程兵的戈登上校接管常勝軍。

白齊文被撤職後，怨毒滿胸。這位有華爾之勇而無華爾之謀的美國人往北京“訴冤”未果，便在上海招募了外國流氓一百多人，暗中與蘇州的太平軍慕王譚紹光聯絡後，出人意料地投靠了太平軍。

在這幫洋人幫助下，太平軍向駐軍於夾浦的戈登常勝軍發動猛攻，一時間打得常勝軍特別狼狽，只能龜縮死守。

白齊文狂妄之餘，與戈登秘密晤談，提出一個“偉大”計劃：二人聯手，組織兩萬兵馬，先奪取大城市蘇州，把太平軍與清軍皆清除出去，然後直殺北京，推翻清朝。

戈登本人是個具有良好修養的英國職業軍人，當然拒絕了這個建議。不久，由於時局變化，首鼠兩端的白齊文見勢不妙，暗中與戈登聯絡，表示說他要率那幫洋人脫離太平軍。結果，其中一夥洋人先逃，把白齊文賣了，他本人與一些洋人仍在太平軍手中。

還是戈登講義氣，送大筆禮物給太平軍慕王譚紹光，把白齊文贖出來，送回上海。美國駐上海領事應戈登所請，沒有逮捕這個“叛徒”，但警告他立刻從中國滾蛋。

白齊文灰溜溜跑到日本橫濱，想介入當地長州藩等日本的內部爭鬥。不知為什麼，1865年，白齊文耐不住對中國的“思慕”，乘船返回上海，繼�