孝伯兄祥，字元善。學傳家業，鄉黨宗之。世祖詔州郡舉賢良，祥應貢，對策合旨，除中書博士。時南土未賓，世祖親駕，遣尚書韓元興率眾出青州，以祥為軍司。略地至於陳汝，淮北之民詣軍降者七千餘戶，遷之於兗豫之南，置淮陽郡以撫之，拜祥為太守，加綏遠將軍。流民歸之者萬餘家，勸課農桑，百姓安業。世祖嘉之，賜以衣馬。遷河間太守，有威恩之稱。太安中，徵拜中書侍郎，民有千餘上書，乞留數年，高宗不許。卒官，追贈定州刺史、平棘子，諡曰憲。

子安世，幼而聰悟。興安二年，高宗引見侍郎、博士之子，簡其秀俊者欲為中書學生。安世年十一，高宗見其尚小，引問之。安世陳說祖父，甚有次第，即以為學生。高宗每幸國學，恆獨被引問。詔曰：“汝但守此，至大不慮不富貴。”居父憂以孝聞。天安初，拜中散，以溫敏敬慎，高宗親愛之。累遷主客令。

蕭賾使劉纘朝貢。安世美容貌，善舉止，纘等自相謂曰：“不有君子，其能國乎？”纘等呼安世為典客。安世曰：“三代不共禮，五帝各異樂。安足以亡秦之官�