來年春天，冊立太子，皇上心中極欲立小皇子為太子，但苦其無顯赫的外戚作後援；而廢長立幼，又為世人所忌，恐反而對小皇子不利。遂打消了這念頭，只好不露聲色，仍立了大皇子為太子。於是世人便有評論：“對小皇子鍾愛如此，終於不立為太子，看來萬事畢竟是有分寸啊廣大皇子母親弘徽殿女御至此也覺得寬慰了。

這更衣太君自女兒死後，一直悲傷抑鬱，無以自慰。她終日祈禱佛主，願早八天國，與女兒相聚。不久，果蒙佛力引渡去了西天。皇上為此又頗為悲傷。時小星子年方六歲，已懂得一些人情，哭悼外祖母，真是位借盡哀。祖孫相依多年，親情難分。彌留之際，口中唸唸有詞，反覆念及這小外孫，確是悲慼不已。小皇子自此以後也就長留宮中了。

小皇子七歲開始讀書時，其聰明穎悟，已是絕世罕見。皇上見他過分機敏，反倒覺得擔心。他道：“現在誰還再去怨恨他呢？他沒有母親，就此一點，大家也該好好疼惜他。”皇上駕臨弘徽殿，也常帶他去，還讓他人簾玩耍。這小皇子確實長得可愛，面惡或有仇怨的人，一看見他可愛的情態，也禁不住面帶喜色。弘徽殿女御也不忍心很他了。除了大星子以外，這弘徽女御還生有兩位皇女，相貌都比不上小星子的俊美。女御和更衣們見了小皇子，也都不計前嫌。人們都想：小小年紀竟這般雅緻風韻、儀態羞媚，確是十分的可親可愛；可和他遊戲玩耍，還須謹慎對待才是。又兼天資聰慧，規定學習的各種學問，均能觸類旁通。就是琴笛之類，也很是精通、擁熟，演奏起來，清純悅耳的聲音響徹雲霄，其多才多藝之能，教人難以置信。

卻說朝鮮國派使臣來朝見皇上，其中有一個高明的相士。皇上召見這根土，欲令其替小皇子看相。但手多天皇時已有禁令：外國人不得入宮。皇上只好將小皇子扮作朝臣右大井的兒子。這右大並原本是小星子的保護人，他們一起來到款待外賓的鴻腫館訪問相士。相上看罷小皇子的相貌，吃驚不小，又幾度測首細看，不勝詫異。他道：“從這位公子的相貌來看，有君王之相，應該登至尊之位。但果真如此，又恐國家將有變亂，自己也多憂患。如果作為朝中大臣，輔佐治理天下，則又與其相貌不合。”這右大並原本是個富有才藝的博士，當下便和這相上海闊天空地交談起來，言語也很是投契。兩人吟詩作文，互相答謝。相士即日便要告辭返國，他此次得見如此相貌不凡的人物，已深感欣幸；如今離別在即，反生幾分悲傷。他作了許多優美詩文抒發此種心情，並贈與小皇子。小皇子也吟頌詩篇，作為答謝。相上讀罷小皇子的詩篇，讚不絕口，再次贈送種種珍貴禮品。朝廷也重重賞賜這相土。此事雖然秘而不宣，但世人早已傳遍。現太子的外祖父右大臣等得知此事，恐皇上有改立太子之意，於是心中疑忌頓起。

皇上十分賢明，也很能通曉相術，對小皇子的相貌，早就成竹在胸，也就一直不曾封他為親王。如今聽這朝鮮胡士所說和自己見解不謀而合，一方面覺得這相上實甚高明，另一方面又暗下決心：“一定不讓他做個沒有外威作後援的無品親王，以免他一生坎坷。我還能在位幾年，也難料定。倒還不如讓他做個臣子，將來輔佐朝廷。為他前程著想，也不失為兩全其美之計。”從此就教他研習輔佐朝政的種種學問。小皇子明瞭此道之後，更顯得才華橫溢了。視其才能，居臣下之位，確實十分可惜。然而封他為親王，定然招致世人疑忌，對他反而不利。讓精通命理的人為此推算，結果相同。於是皇上從此便決意將這小皇子降為巨籍，賜姓源氏。

歲月流逝，但皇上對桐壺更衣的思念卻絲毫未停止。有時為消解愁悶，也召見一些頗有聲名的佳人，但哪能和桐壺更衣相比？因此更感到如桐壺更在那樣的美人真是世間少有。於是從此毫無美色之思，也日漸疏遠了女人。一日，一個侍候皇上的典待，提起先帝的第四是女，說她容貌姣好，人人誇豔，其母后也寵愛異常。這典詩曾侍候過先帝，與她母后也很是親近，時常進出官邪，親眼見著這四公主長得花月之容；而且現在也時常隱約窺見其姿容。這典詩奏清道：“臣妾已入宮侍奉三代人主，未嘗見到與桐壺娘娘相似之人。只有這四公主肖似桐壺娘娘，也實在是傾國傾城之貌呵。”皇上聞言，想道：“莫非世間還有如此巧合之事？”一時心動，便傳備厚禮，喚四公主進宮。

得到皇上傳喚，母后異常著急，想道：“這可如何是好？這可如何是好啊？弘徽殿女御乃歹毒婦人，桐壺更衣分明便是被她折磨死的。前車可鑑，真教人心寒！”她左右尋思，猶豫不決。終於未將四公主護送入宮。不巧這其間母后突