南京後奉命鎮守揚州。接到洪秀全、楊秀清的命令後，他們隨即令曾立昌、陳仕保二人留守，然後率二萬多精兵走水路，乘船沿長江西行。他們準備到達浦口時，與接應的朱錫錕一部會合後合眾北伐。

五天之後，北伐軍即在浦口登岸，駐防此地的清軍將領西凌阿等人手下雖是數千來自東北的騎兵部隊，皆無膽交仗。聽聞太平軍上岸，清軍槍炮也不放它幾響，大隊人馬慌忙向滁州逃去。太平軍尾追不放，緊隨而往。

太平軍負責接應的朱錫錕一部在浦口迷路，誤走至東北方向的六合城。與當地鄉勇小規模武裝接觸交火後，朱錫錕準備攻下六合城。結果，半夜宿營時，太平軍軍營的彈藥庫被清軍派人縱火，發生劇烈爆炸，傷亡好幾千人。朱錫錕只得在拂曉時分帶殘兵趕往滁州。

為此，清軍上下士氣高漲，大力宣傳“紙糊金陵，鐵鑄六合”，軍心稍穩。

5月16日，太平軍攻佔滁州城，殺清朝知州。而先前自浦口來逃的清朝都統西凌阿再次發揮他迅捷的“機動效能”，狂奔定遠。

北伐軍一路順利，5月28日已經抵達鳳陽。

雖然一路克捷，北伐軍每佔一地，總是擄掠後棄之不顧，繼續前行。如此行事，也是出於不得已，如果一路打下每座城池後遣人留守，根本就沒有足夠的兵力打到北京。所以，看上去北伐軍步步深入，連戰連勝，但他們身後與南京的聯絡基本被清軍切斷。

其後，蒙城、雉河（渦陽）、亳州相繼被北伐軍攻下，不少清朝地方政府的官吏將校被殺或者自殺。特別值得注意的是，由於北伐軍勢盛，趁清政府焦頭爛額之際，渦河、淝河一帶的“捻黨”乘機忽然壯大，由“捻黨”而成“捻軍”，實際上開始了清朝捻軍戰爭的序幕。

隨著零星“捻黨”的加入，這些人熟門熟路，帶著太平軍的北伐部隊自安徽亳州進入河南，立刻就擊潰了由清朝河南巡撫陸應谷前來迎戰的數千清軍。太平軍不僅殺掉大部分清軍，還俘獲了火藥數萬斤與大炮數門，挾銳氣直下歸德。至此，太平軍的當務之急就是立即從劉家渡渡過黃河。

於是，留下吉文元、朱錫錕率部分人馬留駐歸德，林鳳祥、李開芳自率前鋒軍直撲距歸德四十里開外的渡口。

清軍方面，河南巡撫陸應谷不甘心，重新糾集數千清軍來攻歸德，再被太平軍留守部隊打得大敗。

由於後續部隊完全到達，吉文元等人率軍放棄歸德，前往劉家渡渡口與前鋒軍會合。

可惜的是，萬事俱備，只欠渡船。清朝的曹縣知縣姚景崇有先見之明，早已經把北岸船隻盡數收集後付為一炬，幾萬太平軍只得呆呆望著黃河濁流發嘆。

太平軍好不容易從曹河上游費盡心力搜找了兩隻船，載上一百多士兵準備慢慢把人渡過去。行至河中央，對岸早已準備的清軍大炮猛轟，登時把兩船及上面的太平軍炸成碎片。無奈之餘，太平軍只得繞道西上，經開封、朱仙鎮、中牟、鄭州、滎陽、汜水、鞏縣，總共費了22天工夫，才得以在汜水和鞏縣之間找到民船渡河。

由於船隻太少，北伐軍僅渡河就花去七天時間。

由於身後有清軍託明阿、西凌阿等部躡蹤而至，北伐軍吉文元所率的一千多人未及渡河即遭截擊，只得與主力部隊分離，掉頭往南迴奔。這些人邊打邊撤，雖然有一支捻軍雷六部對他們予以援手，仍舊連遭失敗，最終在八月間被清軍消滅於安徽境內。

北伐軍主力渡河後，立刻在7月7日對懷慶府（沁陽）展開猛攻，拉開懷慶戰役序幕。

懷慶一帶的清軍，總共有勝保、託明阿、善祿以及察哈爾軍總共六萬人集結，直隸總督納爾經額以“欽差大臣”身份全權指揮。總共攻打近兩個多月，懷慶城堅，清軍頑強，北伐軍只得棄攻懷慶，向西挺進。

北伐軍佔領濟源後，越王屋山進入山西。其實，攻懷慶是北伐軍一招臭棋，貪攻城池，浪費大好時間。假如當初太平軍渡黃河之初趁清軍在河南北部未集結時，由溫縣、新鄉北上，可以走捷徑殺向北京。而且，山東、河南交界地區捻黨、白蓮教、鹽販子勢力活躍，肯定會應聲而起。那樣的話，一路滾雪團一樣，大可直逼北京城下。

由於放跑了北伐軍，清政府大怒，下詔逮問直隸總督納爾經額。但懷慶堅守有功，勝保等人得以加官晉爵，他本人還被授予“欽差大臣”關防。

聽說太平軍進入自己的轄境，清朝山西巡撫哈芬“嗷”的一聲率幾個隨從就從省城往外跑得沒影。清廷震怒，下旨逮問，捕快差人也找不到這位山西一把