似乎一開始就諸事不順。查理曼犧牲慘重才攻陷幾個城鎮，他本以為西班牙的基督徒們渴望自由，必定會提供援助，想不到這些基督徒們的反應卻相當冷淡。事實上，法、西兩國邊界比利牛斯山區的巴斯克人（Basques），還阻止查理曼軍隊的前進，查理曼一怒之下即摧毀了巴人潘普洛納市（Pampeluna）的城牆。此外，許多*教徒也不急著推翻目前的統治者，薩拉戈薩城（Saragossa）的統治者也沒有依照當初的承諾，把這個重要的城市獻給查理曼。因此，悶悶不樂的查理曼，在幾個月之後決定撤軍。當時據傳撒克遜人準備再度滋事，這個訊息更促使查理曼下達撤軍的命令。士兵們又餓又累地攀越比利牛斯山，但他們仍顯得趾高氣昂。他們愈接近山區，路徑變得愈可怕，山區樹叢濃密，狹窄的道路兩旁是鋸齒狀的尖銳山岩，但是士兵們仍顯得士氣高昂。在他們身上看不到戰敗者的畏縮神態，他們也不怕漆黑的森林，不管怎麼說，他們畢竟是法蘭克人。

然而，些許疑懼之心或許可以幫助他們逃過一劫。一天晚上，後衛部隊正在龍塞斯瓦列斯（Roncesvalles）的小徑上紮營時，聽到上面傳來一陣陣奇怪的聲音，忽然間，山崖上滾下一個巨大的圓石，撞毀了一輛補給馬車。數分鐘內，滿腹狐疑的法蘭克士兵被一群兇猛的巴斯克游擊隊擊潰，查理曼曾拆毀巴斯克人的城牆，現在他們打算報一箭之仇。法蘭克士兵們試圖擊退敵軍，但他們的長劍對詭詐的巴斯克人根本派不上用場。巴斯克人不斷由山崖上推下巨石且射箭攻擊，本來法蘭克士兵們可以請求前導部隊支援，但是個個驕傲計程車兵中沒有一個願意示弱，等到他們吹號角求援時，一切都已經太遲了。

查理曼一直在軍隊的最前方，等到他趕到出事地點，戰鬥早已結束。山徑四周一片死寂，偶爾傳來一聲聲微弱的呻吟，陣亡將士和馬匹的屍體遍佈各處，在這些被亂石打死的屍首上，已找不到士兵們寶貴的長劍，現場還可以看到補給馬車的殘骸。

查理曼不發一語地注視死者，而且不時跪在他認識的陣亡士兵身旁低聲哭泣。死者之中有太多是查理曼的朋友，後衛部隊都是查理曼所冊封的伯爵，對查理曼而言，他們不僅是勳爵，更是他的朋友。查理曼曾和他們一起征戰四方，一起打獵，一起歡宴，他們是查理曼最親愛的朋友，但現在全都陣亡了。

查理曼帶著沉重的心情離開龍塞斯瓦列斯，他第一次覺得這麼難過，他不知道自己哪裡冒犯了上帝，竟遭到這等責罰。但是查理曼的噩運並沒有到此為止。

希爾德佳迪在查理曼遠征西班牙時，產下一對雙胞胎兄弟——路易（Louis）和洛塔爾（Lothar）。查理曼回國後的冬天洛塔爾夭折，接著戰場上傳來更多戰敗的訊息。

查理曼在得知撒克遜人再度展開猛烈攻擊之後，隨即自西班牙撤軍回國，查理曼以為前幾年的輝赫戰績已解決撒克遜人的問題，但他顯然是錯了。幾個月內，撒克遜人摧毀了查理曼在卡爾斯堡（Karlsburg）建造的要塞；突襲法蘭克城鎮；焚燒教堂；同時還屠殺婦女和孩童。最糟的是，盛傳維杜金德已自丹麥返回法蘭克，而這一波攻擊行動，據說皆由維杜金德授意。

公元七八二年，查理曼開始計劃反攻，但是他看得出來，當時並非出兵的理想時機，他的軍隊仍需要更多時間來備戰。儘管如此，負責領軍的法蘭克勳爵們卻沒有耐心等候，他們義憤填膺，早就想報復，他們眼中只看到駐紮在聖多山（Suntel　Mountain）的一大群撒克遜人，終於他們無視於查理曼的命令，決定展開攻擊行動。

結果是龍塞斯瓦列斯的悲劇再度上演。法蘭克勳爵們太過自信，輕率地進攻，並沒有等後援部隊提供協助。他們匆促的決定惹來殺身之禍，查理曼旗下大部分的勳爵和將官，在這次突襲中慘遭屠殺。法蘭克士兵們的驕傲自滿，再一次使他們賠上了性命。

當查理曼聽到聖多山之役的噩耗時，心情突生鉅變。龍塞斯瓦列斯的悲劇使他傷心欲絕，幾個月來不斷自省，問自己到底做錯了什麼事情，竟帶給他的子民，如此殘酷的命運。但是，在這個時候，查理曼心中充滿了怒火，而非傷痛。他不再抱著贖罪的心態，而只想報仇雪恥。查理曼的性情自此由寬容轉為嚴苛，而這樣絕不寬怠的個性持續了十年才逐漸消失。

查理曼把所有一年前宣誓效忠法蘭克的撒克遜貴族傳喚到凡爾登（Verden，今德國北部），命令他們供出最近一連串攻擊行動的主謀者姓名，這項要求無異是逼迫貴族們出