辜的，我就心安了。我決不計較個人利害，也不願意說不應當說出的事。周總理兩眼一直盯著我，聽完我說的話，……然後對我說：‘不至於如此，你放心！’”楊尚昆還回憶了周當時的表情：“眼睛特別明亮，似乎含著眼淚。”

楊尚昆是一個有著高度組織紀律性的老共產黨員，在如此緊張的氣氛下，他承受住巨大的精神壓力，照常工作，有條不紊地向中辦同志辦理移交手續，即使對他的老伴，有著幾十年黨齡的長征老幹部李伯釗同志，也口風很緊，不深談什麼。在11月2日的日記中，楊寫道：“晚間散步時，同伯釗談了一下，她有些疑慮，不好向她說明”。這一天，楊“勉強工作到（夜）十二時後”。

楊尚昆對於他的夫人李伯釗是這樣，對於中央常委、德高望重的朱德委員長也是這樣。1965年11月27日，是朱德八十大壽的日子，楊去朱德家，“坐了一下，未談什麼，彼此心照而已”。何以如此呢？楊尚昆與朱德都是四川人，也是革命幾十年的老戰友，楊主持中辦二十年，與幾位中央常委朝夕相處，彼此間知根知底，有些甚至還知心，即如楊所說的，他與朱德“彼此心照”。朱委員長年事已高，事實上已屬賦閒，楊對朱德的境遇一清二楚，而朱委員長對楊的工作調動事卻很難說事先予聞。在朱委員長八十大壽的日子裡，兩位老戰友無言默對，情何以堪！

1965年12月，由姚文元評吳晗《海瑞罷官》一文引發的政治風暴已經來臨，北京市風緊雲急。由於楊已被調離領導崗位，不再參預中央領導事務，故在日記中對這一事件無一字反映，但事實上，當時，楊尚昆透過此事，已預感政局即將面臨大變動：“大有山雨欲來風滿樓之勢”（1998年楊尚昆在文章中回憶到當時的情景）。現在又一位領導同志處於前沿，他就是曾參加約談楊尚昆的彭真同志。至於彭真被其它領導同志約見談話，免去職務，則要到半年以後。

1965年12月8日，楊尚昆在日記中寫道：“得知常委各同志都去上海開會去了！”這次會議就是中央“處理”羅瑞卿同志問題的上海政治常委擴大會議。此時，楊根本無法想到這次會議會和自己有何關係，楊事先也無從獲悉會議的內容，因為這次連劉少奇也不知道去上海開什麼會。上海會議雖與楊無直接關係，但有間接關係，半年以後，楊尚昆被與彭真、羅瑞卿、陸定一同志綁在一起，成為子虛烏有的“彭羅陸楊反黨集團”的主要成員。

1965年12月10日，楊尚昆整裝登上南下廣東的火車，這時，上海會議正緊鑼密鼓地進行，楊心情黯然，告別送行的妻兒和中辦的同事，他在當天的日記中寫道：“感慨甚多，非言語所能表達，”最後的一句話是：“十六年的北京生活，今天開始變了，一切只能等時間！”

楊尚昆歷經黨內鬥爭，見識廣，心胸開闊，他的氣度和忠誠在艱難的歲月裡經受了嚴峻的考驗。楊的“等時間”，不是一年兩年，這一“等”竟長達十二年。1965年底楊赴廣東後，1966年5月又被下放到肇慶任地委副書記，可謂一貶再貶，任命下達的當天，他以氣候潮溼，身體不適，向中央申請轉去山西，得到批准。　5月下旬，即在政治局擴大會議結束，宣佈“揪出彭羅陸楊反黨集團”後的幾天，楊尚昆轉任山西臨汾任地委副書記。旋即文革爆發，楊被隔離審查，不久即被“監護”了起來，一直被關到1975年，鄧小平復出，楊才被放出來，安置在山西臨汾。十一屆三中全會期間，中央重新啟用楊尚昆，任命楊為廣東省委第二書記兼廣州市委第一書記。兩年後，楊回到北京，開始擔負一系列黨和國家的重要領導職務，為中國的改革開放和四化建設作出了巨大貢獻。

楊尚昆是一位具有傳奇色彩的革命家，他一生的歷史已與黨的歷史融為一體。他是四川最早的馬克思主義者楊闇公之弟，早年留蘇，返國後曾任中宣部部長，進入江西中央蘇區後不久，擔任三軍團政委，抗戰爆發，旋又任北方局書記，1941年，楊調回延安，工作性質發生了變化，以後長期主持中央辦公廳，長達二十年。楊尚昆對黨的歷史如數家珍，八十年代後，曾負責中央黨史領導小組。

楊尚昆也是一位具有較高文化修養的共產黨員，他通俄文，愛看電影（在日記中有其所看電影的大量記載）和戲劇。楊更堅持寫日記幾十年，臨去世前幾個月，他還寫了回憶周恩來、彭德懷的文章，感情十分真摯，很少有這類文章常見的程式化的味兒。楊在1995年完全退下來後，寫了他的回憶錄的建國前部分，他原還準備寫中辦二十年，文革前後和復出工作後三個部分，