天皇見報，頓時喜出望外，亦認為這是剎住蔣介石正在進行的臺兒莊勝利大宣傳的囂張氣焰的大好良機，當即定案：圍殲徐州中國軍隊，並要求：陸軍此次進攻，定要取得巨大戰果，不使徐州地區50個師的中國軍隊一人漏網，務求全殲。

為求速戰速決，不失這千載難逢的良機，大本營陸軍部於當日向華北方面軍總司令官寺內大將、華中派遣軍總司令官畑俊六大將下達第84號命令：

一、華北方面軍司令官應以有力之一部擊破徐州附近之敵，佔據蘭封以東隴海線以北之地區。

二、華中派遣軍司令官應以一部佔據徐州以南津浦線附近。

日大本營在動員華北方面軍、華中派遣軍的主力投入這場戰鬥的同時，還下令關東軍派軍支援。由於華北方面軍司令官寺內壽一大將與華中派遣軍畑俊六大將的官銜相同，誰也不會接受對方的指揮，因此，只有緊急派遣大本營陸軍參謀本部的作戰部長橋本群少將，率領參謀本部的參謀軍官，在濟南成立大本營派遣班，組織包括華北與華中日軍的參謀軍官，進行徐州會戰的作戰協調工作。

日軍以第16、第144師團增援北線的第5、第10師團，沿津浦路向南推進，以引誘中國軍隊主力；以第14師團從濮陽渡黃河入魯西南和豫東，斷隴海路，從而阻遏援徐州之中國軍隊，亦斷徐州守軍退路；以第13師團在南線的蚌埠、懷遠間集結；以第6、第9師團向鳳陽、合肥進逼；以第101師團向蘇北攻擊。

5月上旬，南路日軍開始北上，相繼攻佔徐州南面的龍元、蒙城、宿縣，並攻陷徐州西邊的黃口車站，包圍並切斷了徐州西南面的退路。

5月中旬，北路又一股日軍，從淮陽強渡黃河，進入魯西地區，迅速攻佔了鄲城、菏澤、金鄉、魚臺等重要據點。該地區雖有孫桐萱、龐炳勳、商震等部隊，但在廣闊的魯西平原上，無險可守，日軍得以快速推進。北路日軍與南路日軍相呼應，自西北向徐州壓來。此時，日軍對徐州的大包圍業已完成，正從四方八面向徐州突進。

而此前一段時間的中國軍隊，在做什麼呢？由於國軍自開戰以來一再的後退，國土不斷淪陷，國民政府內部開始出現了一些不同的聲音。少數人組織了一個非正式的所謂低調俱樂部，在各種非公開場合，宣揚所謂的抗戰亡國論，說什麼抗戰必敗，不抗日還能多活一段時間，越抗日，亡國越快，不如不抗日。最港當局當然對於這些聲音的來源是心知肚明，只是手裡實在沒有什麼可以拿得出來的戰果。現在國軍總算在臺兒莊打了一個勝仗，最高當局自然是希望能夠把這個勝利擴大化，在徐州再來一個大勝仗，消滅更多的日軍精銳部隊。這樣，也就可以更加鞏固自己的地位，爭取更多的國際同情和援助。所以，最高當局採取了與日軍針鋒相對的方針，從3月下旬起，從各戰區調集大批軍隊，使第5戰區的兵力由29個師增加到64個師又3個旅，共達60萬人。同時，他還將中央軍胡宗南、黃傑、桂永清、俞濟時、宋希濂等部佈置於豫東，作為徐州的後援力量，試圖在徐州與日軍一決雌雄，以一次大的會戰，徹底改變戰場局勢。

蔣介石的上述想法，早在臺兒莊會戰之前就已表露。他親臨徐州督戰時就對白崇禧等人說：“徐州是這次會戰的核心。徐州位於黃淮之間，地界魯、豫、皖、蘇四省之交，為南北之通津，中原之屏障。在中國歷史上，徐州之得失，有關國家之興替。”

何應欽附和說：“委員長的指示極為重要，十分英明。徐州，歷來是兵家必爭之地，南守可略豫、魯，北守可瞰淮河，不可輕易放棄。”何應欽自從西安事變之後，一度為蔣委員長所不滿，加上自己又向來在國內有著軍中第一親日派的名號，故而對蔣委員長採取了恭順的態度，萬事都以蔣委員長的意見為自己的意見，不敢有絲毫的不一致。

“我們一定要死守徐州！”林蔚也跟著隨聲附和。

劉斐認為徐州應該守，但最終必然守不住。考慮到自己僅是個作戰組長，不便公開與蔣介石“較勁”，只好用眼睛盯著素有“小諸葛”之稱的白崇禧，盼望他拿個好主意。白崇禧懂得劉斐眼光的意思，但也不好正面反對蔣介石的意見。他打了個迂迴：“這次敵軍的第10師團和第5師團進襲魯南，氣焰十分兇狂呀！”

不等白崇禧說完，蔣介石就說：“兇狂怕什麼？我們可以增調兵力。徐州必須死守，因為在徐州決戰，可以爭取時間，保衛武漢。徐州守得越久，我們爭取的時間就越多，就可以把保衛武漢的準備工作做得好一點。”