，他在影子內閣中幾乎是孤家寡人。特德·希思不喜歡他，也可能是懼怕他。他曾為反對收入政策而戰鬥過，卻失敗了。作為防務發言人，儘管他自己認為撤軍是不可避免的，但他不得不去攻擊工黨從蘇伊士運河以東撤回英軍的政策。此外，作為西米德蘭的議員，他目睹了大規模移民對他的選區造成的影響。他對保守黨未能在這個問題上採取強硬的立場感到灰心喪氣。

第一個現代控制移民措施是拉布·思特勒於1961年制訂的。在那以前，英聯邦公民不受針對外國移民入境限制的約束，1962年的英聯邦移民法—工黨及自由黨激烈反對該項立法—規定每年對移民來英就業實行配額制，以限制移民流入。1965年工黨政府更加嚴格執行這種制度。1967年間，肯亞政府對肯亞的亞洲移民實行歧視性的政策造成大量移民湧入英國。這使大家意識到過去的移民規模及影響，並擔心如不加以控制，將來移民人數將更多。大家特別擔心那些持有英聯邦護照，但無論從出生地還是從血統上與英國均無聯絡的人。1968年2月，吉姆·卡拉漢宣�