貞觀六年（公元632年），李世民在一次罷朝後回到內宮，不禁怒氣衝衝地說道：“魏徵這個田舍翁，老是挑刺，我哪天一定找個機會將他殺了！”長孫皇后聞言，忙在一旁勸道：“常言說得好，君王英明，臣下正直。現在魏徵剛直，是因為陛下英明的緣故呵！”一番巧妙的勸說才使得魏徵免除了一場殺身之禍。

慢慢地，魏徵也感到了李世民態度的微妙變化，就想從政治的漩渦中心抽身引退，以“目疾”為由，多次請求罷相免官。“太宗難違之，乃拜徵特進，仍知門下事。”此後，他便以一名散官身份參予朝政。

魏徵自然清楚人性深處那根深蒂固的弱點，他的進諫，主要是憑著自己的獨具慧眼與忠誠正直。儘管如此，也不得不如打擦邊球似的心存僥倖、如踩鋼絲繩似的小心翼翼。諫臣只能透過語言約束皇帝，而皇帝卻握有諫官的生死大權。

貞觀十七年（公元643年）元月二十三日，魏徵病逝，　享年六十三歲，落了個善終。死前，唐太宗將女兒衡山公主許給魏徵之子魏叔玉為妻，得到了一個大臣所能獲得的最高榮譽。李世民更是思念不已，還寫了一首情真意切的緬懷詩：

勁條逢霜摧美質，臺星失位夭良臣。

唯當掩泣雲臺上，空對餘形無復人。

然而，就在魏徵死後僅只三個月時，就因一樁被人揭發的謀反案牽涉其中。李世民對這面“鏡子”頓時產生�