清廷與五國正式展開和談的訊息後，他就知道清廷賣國乞和、借師助剿的歷史不可違。他意識到當他們雙方達成協議時，聯軍與清軍聯合在一起，第51團就危險了。既然第51團在廣州東南部地區已無所作為，林逸索性命令第51團轉戰至廣州西部，這樣離人民粵西高州府雷府根據地近一些，利於後勤補給，也為將來聯軍與清軍展開對人民根據地的進攻時，在其交通運輸線路上伏下一支奇兵。

第51團在公元1854年8月底接到參謀部要求其轉移至廣州城西部的赤溪廳的命令之後，他們用四天的時間集合好分散在各處遊擊的部隊，準備從羅浮山基地出發，向北前進，而後折向西從廣州城北郊的花縣穿過，進入肇慶府地區。這時第51團發現一個問題，那二百多個聯軍俘虜怎麼辦？這次轉移路上肯定千辛萬苦，困難重重，帶著這些俘虜多有不便，如果在關鍵時刻發生騷亂，那時可就有苦說不出了。

對於這些聯軍俘虜，第51團80％的人民軍戰士都想殺掉，因為他們聽過太多的聯軍士兵對中國人的殘忍故事，也見過太多的聯軍士兵對中國人的暴行，他們對所有的西洋鬼子都恨之入骨，欲殺之而後快。第51團的人民軍戰士一般在戰鬥都是直接殺死聯軍士兵，儘量不留活口，這二百多名戰俘是在幾次稍大一點的圍殲戰中，由於有團政治部的人在場，才無奈留下來的。

儘管大多數第51團的人民軍戰士想殺掉這些累贅，但卻沒有一個人敢說出來，就是團長孫大雄也不敢。在政治政策方面由團政委袁勁能說了算，作為團長的孫大雄只能建議，卻沒有決定權。如果寄希望團政治部的人能痛快地處理