不接受的話，日方當另有辦法。”張乃反唇相譏地答道：“怎麼說！你們有什麼好辦法，儘管拿出來，難道又要出兵嗎？我姓張的等著你的好了！”說完話，就起身送客，吉田弄得很難堪，於是辭職離開瀋陽，日方另派林久治郎繼任，同時派政友會幹事長和鳩山一郎齊名的森恪前往大連，轉赴北平，召集會議，面授機宜，由駐華公使芳澤謙吉出面，向張交涉，因為此時張已就“安國軍大元帥”之職了。

到了戰事不利準備退出關外，張作霖仍不肯屈服於日本軍閥的威脅利誘，最後關東軍只好途窮匕首見了。

關東軍謀殺張作霖後，當時的日本首相田中最為失望。田中所進行的外交壓迫已經收效，他壓迫張作霖簽署了鐵路協定，而奉軍回師關外亦受到日方勸告。田中認為他的分離滿蒙策略假以時日必能實現，卻不料霹靂一聲，張作霖被炸死，這一來田中的整個安排都受到影響，關東軍既然殺死了張作霖，等於逼迫整個奉系反日，因此除了強佔東北外，已無他路可走。所以田中深感痛心，憤懣之情溢於言表，曾告宇垣一成和岡田啟介，欲將關東軍首要分子及暗殺的策劃人交付軍法懲辦。日本元老政治家西園寺也預感軍人野心分子胡作非為，橫行霸道，軍紀為之廢弛，若不整頓，前途不堪設想，因此也極為贊成。可是參謀本部和陸軍部的中級軍官則極為反對，他們認為關東軍如此做法是為了日本，其本意實可嘉許，何況迫於客觀情勢，他們的功勞不能明令旌賞，亦當原諒其用心，不予懲罰，堅持勿揚國恥，最多隻給以行政處分了事。執政的政友會也怕事情鬧大了予反對黨以可乘之機，所以亦勸田中首相含糊結案。

這件公案在日本政府中引起了極大的爭論，前後拖了一年多，田中有心振作，卻屈於少壯軍人的恐嚇，最後以“張案經過周密的調查，發現關東軍並未牽涉在內”的含糊語句結案，並且呈報昭和天皇。昭和對於田中在張案發生時所報告的和一年後的報告完全相反，前者肯定認為關東軍主謀，應該把肇事首犯交付軍法審判，後者卻說關東軍沒有牽連在內，前後矛盾萬分。因此在覽讀奏章時大為震怒，且竟佛袖離座，予首相極大的難堪，甚至在退席後餘怒未息，悻悻然告訴侍從長說此後不願再見田中，田中受到天皇這樣大的斥責，大為羞憤，乃呈請辭職，幾個月後竟因此抑鬱而死。

關東軍暗殺張作霖的舉動雖然沒有動搖日本分離滿蒙的日本國策，可是田中分離滿蒙所選定的物件則因為皇姑屯一炸而需要重新安排。當時曾任張作霖顧問的日本陸軍少將松井七夫主張扶植楊宇霆，而日本駐奉天特務機關長則主張擁立張學良，而關東軍參謀長齋藤恆看上張作相，刺張的主謀兇手河本大作則擬定張景惠。東京方面對張作霖的繼任人選沒有積極的主張，不過東京方面有一個原則，就是任何人都可以，只要能阻擋南京國民政府的政治權力伸入東北，使東北成為一個特區，為日本勢力範圍。事實上這一點非常困難，因為在張作霖被關東軍謀殺後，東北軍民對日本軍閥的憎恨更為增加，他們不一定喜歡張作霖，可是卻對於日本軍閥用此卑劣手段對付張作霖，為之寒心。

17年6月15日至7月16日這一段期間，關東軍參謀長齋藤恆、日本駐北京武官建川美次均分別向日本陸軍省報告，認為東北脫離中國本部的時機已經成熟。而日本外務省亞細亞局局長有田亦正草擬“對支方策”，方策分為兩部分：一為一般方針，強調以和列強協調為手段，以承認國府為歸宿；一為防止滿洲赤化為理由，以東三省脫離中國本部為目的。日本外務省有此“方策”，顯示外務省態度已在轉變，原來日本政府對東三省的措置分為兩派，軍人主張用武力控制，造成既成事實，促成東三省脫離中國；外交人士則主張採取條約一步一步地控制東三省，最後目的亦是使東三省脫離中國本部，殊途同歸，不過一是積極路線，一是消極路線。如今外務省新的“對支方針”也採取條約以外的方法，顯見在張作霖被炸後，日本政府的和緩派已有改變。

事實上，無論外交官和軍人，均以各種手段向張學良施壓力，壓力集中在兩點上：一為阻止張學良易幟，不許張學良投向南京的國民政府，以破壞中國的統一。二為滿蒙鐵路權益的伸張。日本田中首相於6月26日兩次密電駐瀋陽的日本總領事林久治郎，飭其警告張學良勿與南方妥協，又於7月18日重申前飭。林久治郎於6月29日、7月18日兩次謁見張學良，7月19日更把田中的意旨面送給張，內容為：

（一）南京國民政府含有共產色彩，且其地位尚未穩定，東北目前犯不著與南京方面發生連繫