當如此，朕貴其心耳，寧須物乎。”乃詔憲率眾二萬為前軍，趣黎陽。高祖親圍河陰，未克。憲攻拔武濟，進圍洛口，收其東西二城。以高祖疾，班師。是歲，初置上柱國官，以憲為之。

五年，大舉東討，憲率精騎二萬，復為前鋒，守雀鼠谷。高祖親圍晉州。憲進兵克洪同、永安二城，更圖進取。齊人焚橋守險，軍不得進，遂屯於永安。齊主聞晉州見圍，乃將兵十萬，自來援之。時柱國、陳王純頓軍千里徑，大將軍、永昌公椿屯雞棲原，大將軍宇文盛守汾水關，並受憲節度。憲密謂椿曰：“兵者詭道，去留不定，見機而作，不得遵常。汝今為營，不須張幕，可伐柏為庵，示有形勢。令兵去之後，賊猶致疑也。”時齊主分軍萬人向千里徑，又令其眾出汾水關，自率大兵與椿對陣。宇文盛馳騎告急，憲自以千騎救之。齊人望谷中塵起，相率遽退。盛與柱國侯莫陳芮涉汾逐之，多有斬獲。俄而椿告齊眾稍逼，憲又回軍赴之。會椿被敕追還，率兵夜返。齊人果謂柏庵為帳幕也，不疑軍退，翌日始悟。

時高祖已去晉州，留憲為後拒。齊主自率眾來追，至於高梁橋。憲以精騎二千，阻水為陣。齊領軍段暢直進至橋。憲隔水招暢與語，語畢，憲問暢曰：“若何姓名？”暢曰：“領軍段暢也。公復為誰？”憲曰：“我虞候大都督耳。”暢曰：“觀公言語，不是凡人，今日相見，何用隱其名位？”陳王純、梁公侯莫陳芮、內史王誼等並在憲側。暢固問不已。憲乃曰：“我天子太弟齊王也。”指陳王以下，並以名位告之。暢鞭馬而去，憲即命旋軍，而齊人遽追之，戈甲甚銳。

憲與開府宇文欣各統精卒百騎為殿以拒之，斬其驍將賀蘭豹子、山褥瑰等百餘人，齊眾乃退。憲渡汾而及高祖於玉壁。

高祖又令憲率兵六萬，還援晉州。憲遂進軍，營於涑水。齊主攻圍晉州，晝夜不息。間諜還者，或雲已陷。憲乃遣柱國越王盛、大將軍尉遲運、開府宇文神舉等輕騎一萬夜至晉州。憲進軍據蒙坑，為其後援。知城未陷，乃歸涑川。尋而高祖東轅，次於高顯。憲率所部，先向晉州。明日，諸軍總集，稍逼城下。齊人亦大出兵，陣於營南。高祖召憲馳往觀之。憲返命曰：“是易與耳，請破之而後食。”帝悅曰：“如汝所言，吾無憂矣。”憲退，內史柳虯私謂憲曰：“賊亦不少，王安得輕之？”憲曰：“憲受委前鋒，情兼家國，掃此逋寇，事等摧枯。商周之事，公所知也。賊兵雖眾，其如我何。”既而諸軍俱進，應時大潰。其夜，齊主遁走，憲輕騎追之。既及永安，高祖續至。齊人收其餘眾，復據高壁及洛女寨。高祖命憲攻洛女，破之。明日，與大軍會於介休。

時齊主已走鄴，留其從兄安德王延宗據幷州。延宗因僣偽號，出兵拒戰。高祖進圍其城，憲攻其西面，克之。延宗遁走，追而獲之。以功進封第二子安城公質為河間王，拜第三子賨為大將軍。仍詔憲先驅趣鄴。明年，進克鄴城。

齊任城王湝、廣寧王孝珩等據守信都，有眾數萬。高祖復詔憲討之。仍令齊主手書與湝曰：“朝廷遇緯甚厚，諸王無恙。叔若釋甲，則無不優待。”

湝不納。乃大開賞募，多出金帛，沙門求為戰士者，亦數千人。憲軍過趙州，湝令間諜二人覘窺形勢，候騎執以白憲。憲乃集齊之舊將，遍示之。又謂之曰：“吾所爭者大，不在汝等。今放汝還，可即充我使。”乃與湝書曰：山川有間，每深勞佇，仲春戒節，納履惟宜。承始屆兩河，仍圖三魏，二者交戰，想無虧德。昔魏歷雲季，海內橫流，我太祖撫運乘時，大庇黔首。皇上嗣膺下武，式隆景業，興稽山之會，總盟津之師。雷駭唐郊，則野無橫陣；雲騰晉水，則地靡嚴城。襲偽之酋，既奔竄於草澤；竊號之長，亦委命於旌門。德義振於無垠，威風被於有截。彼朝宿將舊臣，良家戚里，俱升榮寵，皆縻好爵。是使臨漳之下，效死爭驅；營丘之前，奮身畢命。此豈唯人事，抑亦天時。宜訪之道路，無俟傍說。

吾以不武，任總元戎，受命安邊，路指幽、冀。列邑名藩，莫不屈膝，宣風導禮，皆荷來蘇。足下高氏令王，英風夙著，古今成敗，備諸懷抱，豈不知一木不維大廈，三諫可以逃身哉！且殷微去商，侯服周代；項伯背楚，賜姓漢朝。去此弗圖，苟徇亡轍，家破身殞，為天下笑。又足下諜者為候騎所拘，軍中情實，具諸執事。知以弱卒瑣甲，欲抗堂堂之師；縈帶汙城，冀保區區之命。戰非上計，無待卜疑；守乃下策，或未相許。已勒諸軍，分道並進，相望非遠，憑軾有期。

兵交命使，古今通典，不俟終日，所望知幾也。

憲至信都，湝陣於城南，憲登張耳冢