第51團不敢再向西進，折向東，然後再向北，到了廣州府東北部的從龍縣，才算徹底擺脫掉聯軍與清軍的追擊。西進是參謀部制定的既定方針，第51團還得再度尋找西進的突破口。在人民軍軍情部廣州情報站情報員的帶領下，第51團向北挺進，一路上過關斬卡，翻越廣東省中部的青雲山脈後，最北處到達韶州府（今廣東韶關地區一帶）滑石山脈。在滑石山地區不斷與清軍捉迷藏一個多月後，第51團設計攻下清軍設在韶州府英德縣的西頭渡口，並強渡北江，這才算順利衝破清軍的封鎖線。

在肇慶府的北部是多山的少數民族地區，此地清軍勢力薄弱，人民軍第51團渡過北江天險後，南下至肇慶府的廣寧地區，並智取廣寧縣城，在此休整一段時間後，第51團有人提議部隊繼續西進，可以進入廣西梧州府，他們認為作為在外征戰幾年的第51團也該回到人民軍根據地好好休整休整了。這個建議都是第51團那些出來幾年的老兵們面對就在前面的人民根據地自然地勾起了思鄉想家的情緒而提出來的。

參謀部的命令能違抗吧？政治部的人與團部領導怎麼能接受這種建議呢？在孫大雄嚴厲的督促下，部隊繼續南下，從肇慶府的高要縣外側穿過，進入肇慶府的新興縣地區，並在大雲霧山山腳進行了自轉移以來的第三次休整。

第51團自公元1854年8月底開始西進，幾經周折，輾轉幾千裡，經歷大小戰鬥無數，歷時十個多月，才順利完成人民軍林逸主席與參謀部下達的軍事命令。第51團依託大雲霧山佔據有利地勢，掐住廣州至粵西交通的中段，並俯視平坦的陽江州與赤溪廳地區，處於可進可退的有所作為的有利位置。

在公元1855年5月聯軍大規模進攻粵西人民根據地時，第51團主動出擊，多次搔擾聯軍大部隊的進軍路線，大大延緩了聯軍的進軍速度。要不是第51團對聯軍第一集團法第11師及英第15師的搔擾，可能法第11師和英第15師至少要提前兩個時辰到達馬貴鎮人民軍第七師第20團的阻擊陣地，那麼也就等不到人民軍第6師的到來解救人民軍第20團了。這樣的話，粵西人民軍的大撤退可能還會更提前，可能還有更多的老百姓遭殃。

人民軍第51團必竟兵力有限，他們並無力改變整個聯軍進攻的勢態。在粵西人民軍大撤退時，為了儘量能給粵西的人民軍減輕一些壓力，他們更加主動地搔擾聯軍後勤補給線，至到他們的彈藥消耗過巨，已無力再發動任何像樣的進攻後，他們才退入大雲霧山，進行第四次休整。

粵西人民軍大撤退之後，奉命進入敵後陽江州地區展開運動戰的人民軍第6師，在軍情部情報員的引領下，與在大雲霧山休整的第51團接上了頭。兩軍建立聯絡後，並沒有匯合在一起，第六師僅僅只是派遣師後勤連隊給第51團送去大量補給並傳達人民軍參謀部對第51團的最新作戰命令。參謀部要求第51團進入赤溪廳展開特種作戰，打擊聯軍陸上的後勤補給線路。

第51團儘管很失望參謀部還是沒有命令他們回師根據地，但他們得到大量的彈藥補給還是很高興的，而且現在有了人民軍第6師在陽江州地區的策應，他們在這一地區的活動也沒有先前那麼艱難了。接到參謀部新的命令後，第51團團長孫大雄率領部隊出大雲霧山，南下赤溪廳，展開了一系列新的戰鬥。

由於第6師在陽江州地區開闢出一塊不大不小的新根據地，完全割斷了聯軍的後勤補給線，但聯軍又沒有多餘的兵力進剿，只是逼壓清軍清剿，這樣，就把在粵西的大部分清軍吸引到第六師身上了。第51團藉此良機，兵分三路，一路穿過南海縣進入番禺、香山地區，以第51團二營為主；一路深入赤溪廳地區，以第51團一營為主；一路活動於南海與三水之間，嚴密監視從廣州出發的敵軍各路兵馬物質，以第51團三營為主。各路騰挪折騰，清軍防不勝防，顧此失彼，第51團取得一個又一個的勝利，其中最大的勝利則是由曾成志率領的第51團二營成功搗毀聯軍香山縣澳門關閘的軍需碼頭。

公元1855年6月12日清晨，人民軍第51團二營營長曾成志接到情報：聯軍運輸艦隊在香山縣澳門關閘卸下大量軍需物質，駐守的聯軍士兵僅有三百人。曾成志看到這個情報如獲至寶，當時他的二營還在廣州府的順德縣附近，他當機立斷命令全營奔襲香山縣澳門關閘。

聯軍之所以把軍需碼頭設在香山縣是因為這裡比廣州等地的碼頭要離粵西聯軍近些，而如把軍需碼頭設於粵西各港口，要麼碼頭條件太差不利於堆放物質，要麼地方不安全，處於人民