齊後，幾度徵召，都以病推辭不出。魏家當時最有名的還是魏徵的族兄魏收，他是北魏驃騎大將軍魏子建的兒子，是當時著名的才子，與溫子升、邢邵並稱為北地三才子。北魏時任太學博士、司徒記室參軍，主客郎中。等入齊後，兼著作郎，最後官至尚書右僕射，位特進，魏收還是位史學家，二十四史中的晉書，就是由他編寫。

魏徵出生於這樣一個書香世家，士族門第，本來應當是一帆風順的。可惜，他出生前幾年，北周滅齊，他出生後一年，楊堅隋篡周。魏家作為山東士族之一，受到了勝利者關隴集團的全面壓制。魏家雖然也有人入隋出仕，卻大不如前，魏徵的父親更堅持不肯出仕隋朝。魏徵父親才華很高，可性格卻固執，又不會經營，因此坐吃山空，家道開始中落。後來魏徵娶了父親好友，河東大族裴氏女，跟父親一樣只會讀書不事生產，因此日子不免越過越差。到隋朝末年時，魏徵甚至為了躲避兵役，而去做了段時間道士。直到三十八歲的時候，才受武陽郡丞元寶藏相邀做了書記。之後的魏徵隨元寶藏歸隊瓦崗李密，魏徵做了元帥府文學參軍，後來李密兵敗王世充，又隨他投奔了關中李淵。李密復叛身死，魏徵主動請求去山東勸降瓦崗舊將，結果去黎陽勸徐世績的時候，又被竇建德給俘虜了。後來竇建德被李世民擊敗，魏徵又回到了長安，被太子李建成請去做了太子洗馬，曾數次勸李建成先下手為強幹掉李世民。玄武門之變後，又歸於李世民。

三十八歲前讀書、做道士，過苦日子。三十歲後，主動或被動的改變了五次主公，辛苦了多年，連個穩定的靠山都沒有找到，每一次押寶都押錯