日久，牆上泥灰早已浸泡成漿，卻賴城外水的擠壓力量，才沒倒塌，如今水已退去，城牆外沿沒了支撐，果然大段大段傾把，可是這時未兵已經走遠。楊業得以從容修整城池。

匡胤回到汴京以後，下旨隨徵將士進行休整。雖未打下北漢，對作戰努力的將士，也進行了獎賞，對陣亡將士家屬厚加撫卹。

因想起目前中國全境，除了少數民族居住地區外，不臣服大宋，自立為帝的，除北漢以外，只有遠在廣州的南漢了。但是南漢路遠，匡胤懷想去征伐。因想起南唐與南漢交好，便致書南唐王李煜，讓他寫信給南漢，勸南漢主劉鋹削去帝號，向宋稱臣。

這南漢創始人劉巖，本是唐末的靜海節度使，朱溫篡唐以後，劉巖在廣州稱帝，其轄境大致相同於今廣東，廣西和海南島。先國號越，後又改稱漢，史稱之為南漢。現在皇帝乃是劉巖的孫子劉鋹。這劉鋹是個昏庸殘暴的君主，在國內建立了刀山劍樹，以及燒、煮、剝、剔等刑法；還讓罪人鬥虎抵象，以為娛樂。內侍太監李託，有二個女兒，都十分美貌，劉鋹便把兩女召入宮內，封長女為貴妃，次女為才人，十分寵幸。於是又提拔李託為內太師，成為南漢宮廷第一個有權勢的人。同時還寵信太監龔澄樞和才人盧瓊仙，這些人，便把持南漢內外軍政大權。

南唐主李煜，來信勸劉鋹臣服中原，劉鋹不但不從，反而囚禁了南唐派去的使臣，給李煜送去一封口氣狂妄，出言不遜的回信。李煜無法，只好上表給宋太祖趙匡胤，並將劉鋹的來書附上。

匡胤接到李煜來書，十分忿恨，因對趙普道：“南漢主殘暴不仁，朕想代之久矣。如今他既寫了如此狂悻的書信給南唐，朕出師便有名了。”

便下詔讓鎮守潭州的防禦使潘美為元帥，朗州團練使尹崇珂為副元帥，道州刺史王繼勳為都監，起兵五萬伐南漢。

南漢主劉鋹由於聽信宦官專政，把一些功臣宿將，殺的殺，關的關，人才凋零。當聽到宋軍南下征伐，前鋒已達賀州時，十分驚恐，忙召集各宦官和大臣商議對策。

這時，南漢的兵權，掌握在大監龔澄樞手中。於是眾宦官便推薦由龔澄樞前往宣慰賀州官兵，令其死守。

龔澄樞來到賀州，宣讀撫慰詔書，不過是一紙空文。那些守城士兵，生活艱苦，聽說龔澄樞來，以為必有犒賞，結果什麼物質也沒有。於是逃亡者不少。龔澄樞聽說宋軍已到賀州芳林鎮。心中害怕，便連夜出城，乘船逃回廣州去了。

劉鋹見龔澄樞逃回，只因寵愛他，也不追究。便又召叢集臣，商議由何人出兵為宜。當下有朝內大臣奏道：“老將潘崇徹。過去戰功赫赫，應當起用，讓他領兵，必可操勝券。”

劉鋹聽後，猶豫不決。原來這潘崇徹，曾在劉鋹父親劉晟手下任西南方面都統，曾為南漢開拓廣西疆土，立下功勞。劉晟死後，潘崇徹因不滿宦官專政，被龔澄樞向劉鋹進讒言，免去了潘崇徹的職務，在家閒居。因扭頭問龔澄樞道：“卿以為如何？”

龔澄樞本來恨潘崇徹，這時卻巴不得潘崇徹去送死。忙道：“潘將軍素有作戰經驗，此去必勝。臣再保舉梧州統領伍顏柔，也是我朝宿將，如果派他二人共同領兵，殺退宋兵必然指日可待。”

劉鋹聽後，便下令召潘崇徹統兵北上抗擊宋軍。誰知這潘崇徹接到劉鋹詔書，卻以有目疾不能作戰為由，推辭不去。

劉鋹聽使者回報，不由大怒，說道：“難道除了你潘崇徹以外，便沒有人能去禦敵了嗎？伍彥柔並不見得不如你。”

當下下旨，由伍彥柔單獨出兵。

宋將潘美，這時已率大軍包圍了賀州，聞聽伍彥柔援兵將到，遂與尹崇珂、王繼勳商議，用計擊破伍彥柔援軍。於是解圍而去，向後退二十里，列成陣勢，以待敵兵。

那伍彥柔大隊，乘船逆西江而上，聞知賀州之圍已解，宋軍連夜後退二十里，不由哈哈大笑道：“什麼宋軍，有名無實，聞我兵至，不戰而逃，我必殲滅之。”

當下船隻駛到賀州附近的南鄉鎮，便是通向賀州的大道。伍彥柔命令停船，率軍上岸，也不進入賀州，一徑向賀州城北的宋軍陣地衝來，這嶺南地方的特點，是不乘馬，伍彥柔卻乘坐一乘涼轎，由二人抬著，坐在轎上指揮作戰，看看離宋軍陣地不遠，忽然後邊喊聲大震，火光觸天，宋軍鋪天蓋地的殺了過來。原來潘美等佯作從賀州退兵，卻暗暗由尹崇珂率一支精兵，埋伏於南鄉附近，眼看著伍彥柔大軍上岸走遠，便伏兵齊起，殺散守船兵了，放火燒了戰船，循著伍彥柔軍隊的後路追殺過來。