蔡齊提議遷都，范仲淹反對，認為洛陽已非王城所宜。

到這一步還沒有什麼，遷都徐平也同樣不同意。好不容易離開京城的王公貴族各種各樣人物的影響，建起了洛陽這個新興的工商業中心，把首都遷過來，難道徐平要再找個地方把同樣的事情做一遍？京城還是在開封城好了。

對於遷都的事情趙禎詢問呂夷簡的意見，這樣送上門來的機會，不說范仲淹幾句壞話呂夷簡也就不是呂夷簡了。回答趙禎的時候，呂夷簡說“仲淹迂闊，務名無實”。雖然呂夷簡心裡同樣是不同意遷都的，但他偏不說自己的意見，只貶低范仲淹。

事情傳了出來，范仲淹連上《帝王好尚》、《選賢任能》、《近名》和《推委》四論，對呂夷簡的說法做出了針鋒相對的回應。又把呂夷簡比之為漢成帝之張禹，指責他“以大為小，以易為難，以未成為己成，以急務為閒務”。范仲淹的意思本來說的是其他事情，偏偏現在京西路是呂夷簡的心病，以為說的是那裡，就此撕破了臉。

上《百官圖》，還能說是范仲淹作為侍從大臣，對宰相的用人心有疑義，提出自己的看法，把圖表給君王做參考。後來對呂夷簡的指責，就是直接批評其執政能力，再不能像前面那樣馬虎過去了。兩人崇政殿裡當面爭吵，出宮之後交相上書，鬧得不可開交。

不但是呂夷簡和范仲淹兩人針鋒相對，館閣官員和臺諫言官不少人也加入了進去，聲勢越來越大。最終以呂夷簡說的“越職言事、薦引朋黨、離間君臣”為此事做結。范仲淹落職，貶知饒州。

此事如果到這裡就此結束，還只是一場不大不小的**，並沒有什麼特別。偏偏呂夷簡覺得這樣下去不是辦法，他結黨營私雖然輕易不落下把柄，但滿朝的官員又不是瞎子，怎麼可能看不出來？這次趕走一個范仲淹，難保明天不會又出來一個。特別是館閣裡的年輕官員情緒已經被范仲淹調動起來，又頗有幾個無法無天之輩，最終決定藉著這次機會把這個隱患清除。指使侍御史韓瀆，上書要求把范仲淹之事榜於朝堂，戒百官越職言事。

這是以御史臺的名義報請趙禎施行的，帝王深以朋黨為戒，趙禎沒有阻止。

這才是捅了馬蜂窩，趙禎親政才幾年？大規模地貶逐言事者已經有三次了，而且兩次被當頭打擊的就是范仲淹。自太祖登基，便就戒子孫不得殺上書言事者，別說是官員，普通百姓還能夠對朝政發表自己的看法呢。特別是年輕官員，地位低的時候，就是透過上書言事施展自己的抱負，讓上位者發現自己的才華。

以館閣官員為主，陸續有尹洙等人因為替范仲淹伸冤，被貶出朝堂。接著又有歐陽修寫《與高司諫書》，痛罵高若訥，說朝堂御史臺的榜上已經禁了非臺諫不得言事，他作為諫院的主官，非但對此事一言不發，私下裡還說范仲淹“狂言自取譴辱，豈得謂之無辜”。

歐陽修罵高若訥非常難聽，充分展示了他超人的文采，其中一句“不復知人間有羞恥事”還流傳後世。最終把老實人高若訥罵毛了，把歐陽修的書呈給朝廷，歐陽修就此被貶為夷陵縣令。諫官是有特殊地位的，歐陽修這樣罵自己爽了，受到的懲罰就特別重，到夷陵可不是知夷陵縣事，而是夷陵縣令，直接貶到選人行列去了。

此後又有另一個天不怕地不怕的狂人蔡襄寫《四賢一不肖》詩，接著罵高若訥。不過蔡襄出身大族，背景深厚，最終安然無事。而歐陽修此時已經跟他的第一個岳父胥偃因為立場不同而鬧翻，這個時候可就沒人幫他說話了。

這一場政治衝突因范仲淹上《百官圖》而起，本來並不大，最後鬧成一場巨大的**，固然有范仲淹不妥協的原因，但也正說明了此時朝堂內部鬥爭激烈到了什麼程度。

（備註：范家和呂家真正結仇就是因為這一次風波，但對於當事人來說，范仲淹和呂夷簡併沒有成為死對頭，他們很大程度上還只是因為政治爭端，不涉及私人感情。史上後來西北亂起，兩人還自比唐時郭子儀和李光弼，握手言和。但此次被貶出京，范仲淹的原配李夫人因為旅途勞頓，積勞成疾去世，卻讓范仲淹的兒子再也不能原諒呂夷簡。偏偏不管是范仲淹還是呂夷簡，家庭教育都非常成功，兒子一樣都位至宰輔。結果就是呂夷簡的子孫以自己家裡存的范仲淹書信為證，說兩人晚年和好，范家則堅稱那些書信是呂家偽造的，因為母親的死，父親是無論如何不能原諒呂夷簡那個奸賊的。歐陽修寫范仲淹的墓誌，有兩人和好的內容，並堅持是自己的親身經，不肯修改。范家就把墓誌的這一部分鑿掉了，與歐陽修的關係也變得冷淡。因