重他。然而，他的兒子出了問題，又牽連他處理不當，也被貶官。

其子許自然，是一個七品奉輦直長的殿內司事官。一次出外遊獵踐踏了別人的莊稼，憤怒的田主要同他理論理論。許自然一定是個仰仗父親是宰相的紈袴子弟，他不向人家賠禮道歉，還放響箭相威脅。許圉師很生氣，但又不想丟醜，只想打兒子一頓給田主洩氣，遮掩了事。豈知田主也不是省油之燈，竟直達司寬臺告狀。司憲大夫楊德裔也想為他遮掩，因其官位之高，也不敢治其罪。而西臺舍人袁公瑜卻派人用假名字與了一封信，直接向皇帝告狀。武則天知道了這件事，建議高宗下旨治他的罪。高宗便召見許圉師，責他身為宰相，侵陵百姓，又匿布不報，不是作威作福嗎？許圉師竟然回答：“臣身為宰相，以忠直事陛下，不能討得眾人的歡心，所以有人背後攻擊我。至於作威作福者，是那些手握兵權，或身居重鎮的人。臣本是一個文吏，奉事皇上皇后，只知閉門自守，哪敢作威作福啊”高宗和武后聽他這番言外有意的話都生了氣，高宗說：“你還恨無兵權嗎”許敬宗也說：“這樣官員，罪不容誅啊”想殺了他。高宗、武后見他是位新用的官員，罪不至誅，下令免了他的宰相之職，貶為虔州（今江西贛州）刺史＇《資治通鑑》，卷201，龍朔二年十月。＇，他的兩個兒子都被免官。

接下來該是李義府的事了。

李義府的品質，武則天是非常清楚的，不是急著用人，她絕不會用這失德小人的。以前他曾犯過案子，為納女犯為妾，逼死了六品寺丞。當時正與關隴集團苦鬥，敵方要用他的事整治武則天，所以才硬著頭保住了他。以後他一直做些不乾不淨的事，但他也能為朝廷賣力做事，功勞很大，一直沒辦他。也怕他和新任官員寒心。

李義府受寵不知自愛，反而愈加恃寵驕恣。在龍朔三年，他做右相典選時（即選拔官員），專幹買官賣官的事，升降褒否不看實績，只看金錢關係，弄得怨聲載道。高宗聽到情況後，只是警告他：“卿子及婿頗不謹慎，多為非法，我尚為卿掩覆，卿宜戒之”李義府聽後臉色變的鐵青，伸長了脖子追問：“是誰這麼告訴陛下的啊？”高宗說：“我這麼說了，你又何必追是誰告訴我的呢？”李義府竟然毫不認錯，聽完皇帝的話，還大搖大擺地無禮而去。讓高宗甚為惱火。

不久，又一個方士叫杜元紀的，向李義府神秘地說：“你的府第有獄氣，應該積聚20萬緡來消災免禍”李義府聽了就相信，趕快抓緊貪汙受賄。

李義府的母親去世了，高宗根據規定給他守喪的假，初一、十五讓他去為母親祭祀。李義府便利用這些假日穿上便服，會上方士杜元紀，到城東爬到高高的古墓上望氣色。

由於他經常這第做，討厭他的人就狀告他窺覘實異，陰有異圖，即告他去古墳上佔望天象，等著有改朝換代的凶兆發生，他好乘機造反。

又有人狀告他的兒右司議郎李津，賣官給長孫無忌的孫子長孫延，收取了七百多緡錢，等等。

高宗、武后見李義府愈不像樣子，民憤又大，於龍朔三年四月乙丑這天，下令拘捕投進監獄。派有司審查此案，並命李勣監審。

結果，高宗下詔把李義府除名，流放嶲州（今四川省西昌）；其子李津除名，流放振州；其他諸子女婿也全被除名，流放庭州。李義府被奪官流放，一直未得赦回，死在流所。

懲辦李義府決定一定是武則天的主意。因為李義府在武則天立後時，起了很大作用，又是她的親信，沒有她的主意高宗是不會下詔的。說明即使是其心腹親信，當他危害朝廷大局時，也也會下手懲罰的。

高宗和武后懲處了李義府，朝野稱慶，對高宗和武則天的“內懲所親”甚稱讚揚。

總之，在武則天輔佐高宗的時代，東西征戰，軍事上基本取得勝利，大唐聲威高漲，邊疆得以保衛。在四境建立四大都護府，並擴大了貞觀年間所置的一個都護府的疆域。這五個都護府是：

（一）單于都護府。麟德元年（664年）由雲中都護府改置。治所在雲中城，統轄區突厥數部，相當今天的內蒙、陰山、河套地區。

（二）安東都護府。總章元年（664年）置。初治在平壤，轄高麗、靺鞨各部。西起遼水，東至朝鮮北部，南北抵海。後來治所移至遼河之新城。

（三）安北都護府。總章二年（670年）置。轄治約今蒙古、俄西伯利亞南部一帶，統管磧北鐵勒諸部。

（四）安南都護府。調露元年（679年）置。治所在宋平（今越南河內）。