君彥是北齊大臣祖的兒子，學問淵博記憶力強，文辭豐富，且思路敏捷，名氣頗大。

吏部侍郎薛道衡曾經把祖君彥推薦給文帝，文帝道：“是用歌謠殺了斛律明月那個人的兒子嗎？我不要這樣的人！”

斛律明月名光，明月為其表字，是北齊時的大將軍，且他女兒是北齊皇后，位高權重，祖君彥之父祖為了與斛律明月爭權，作詩曰：“百升飛上天，明月照長安。”北齊後主高緯得知這首詩後，便開始猜忌斛律明月。

祖隨後又作歌謠道：“高山崩，槲樹舉，盲老公背上下大斧，多事老母不得語。”

歌謠中，“高山”指的是北齊皇室高氏，“槲樹”古音似斛律，前兩句歌謠，自然說的便是高氏要被斛律氏取代的意思，後兩句話中，“盲老公”指的是祖自己，他曾在與高湛爭權的時候，被高湛弄瞎，“多事老母”則指的是後主高緯的乳母陸令萱（電視劇《陸貞傳奇》中陸貞的原形）。

這歌謠後兩句話之意，是說一旦斛律氏得勢，祖與陸令萱都要受到牽連，祖這是將自己放在了與國同憂的位置上。

高緯最忌別人傷害到陸令萱，於是下令將斛律明月滅族，祖也因此權傾朝野。但斛律明月死後，北齊再無人能抵禦北周，不久便被北周給滅了，祖以歌謠殺斛律明月曆來被認為是導致北齊滅亡的原因之一，所以祖惡名遠播，連帶著他兒子祖君彥也為隋文帝所不喜。

楊廣即位後，尤為厭惡祖君彥的名聲，使得祖君彥當了多年的宿城令卻得不到升遷。

祖君彥很自負能才，常常鬱悶不快，所以在李密亂中原後，便�