在莊內展開拉鋸戰，雙方傷亡甚重。日軍不斷增加兵力，從嶧縣調來增援部隊4000餘人，但立即遭到中國守軍頑強抵抗，敵人一次又一次的衝進城內，一次又一次被中國守軍擊退。為爭奪一村一地，與敵軍反覆肉搏一二十次。臺兒莊戰鬥異常慘烈。日軍傷亡慘重，一時無法集中全力攻城。但敵軍有增兵，並倚恃其優勢火力，再次以炮兵向臺兒莊城四周陣地猛烈攻擊，一日間落炮彈達六七千發；更以飛機輪番轟炸，迫使守軍逐漸後退。然而守軍以血肉之軀與敵方炮火、坦克相搏鬥，至死不退，英勇堅守陣地。日軍得到增援後又對臺兒莊發動第三次較大的攻擊，雙方在城內展開激烈的巷戰。守軍第31師原來的四個團8000多人已死傷近3000，剩餘部隊縮編為三個團7個營，堅持頑強抗擊。北面城牆大部被毀，城內陣線犬牙交錯。城外第30師及獨立第44旅在左翼、第27師在右翼，並不斷向三里莊和劉家湖發動攻擊，以牽制日軍對臺兒莊城內的壓力。日軍福榮大佐指揮的攻堅部隊主力南下，匯合攻城部隊再次向城內猛衝。數百日軍在坦克的掩護下從北門附近再次衝入城內。城寨房舍皆為石砌而成，異常堅固，街道狹窄，重武器無法展開，守軍在入夜後，利用熟悉地形，用大刀手榴彈殺死日寇二三百名。

28日，見到臺兒莊的中國守軍並沒有像原先所想象的一樣，在大日本皇軍的一通炮火下就迅速崩潰，反而進行了激烈的抵抗，深感自己顏面受損的磯谷廉介師團長，命令瀨谷支隊主力和師團預備隊，全部向臺兒莊集中，投入到對臺兒莊的爭奪，狠狠的教訓一下他眼裡的那些不知道惹怒了大日本皇軍的嚴重後果的支那軍隊，讓他們明白，一切的抵抗在大日本皇軍的赫赫武威面前，都是毫無意義的。

南下的日軍主力部隊，與福榮真平大佐指揮的臺兒莊先遣隊會合以後，一起對臺兒莊發動更大的攻擊。城內守軍由東面發起反擊，城外炮兵團也展開激烈的炮戰。與此同時，守城的第31師主力以及直屬部隊和第30師的一個團全部投入城內，並劃分為北站守備隊、中央守備隊和臺兒莊守備隊，實施分割槽防守。第二集團軍第30軍軍長田鎮南，第42軍軍長馮安邦也分赴左右兩翼督戰。日軍攻入臺兒莊西北角，謀取西門，切斷中國守軍第31師師部與莊內的聯絡。戰鬥形勢越來越艱難。日軍組成敢死隊攻城，已從城西北角缺口處突入城內百餘名，城外日軍還在繼續湧入，中國軍隊頑強抵抗，師長池峰城指揮所部以強大炮火壓制敵人，並組織數十名敢死隊員，與敵肉搏格鬥。日軍在我軍的反覆爭奪和不斷反擊下，損失慘重。激戰多時，至深夜戰況稍有緩和，敵我傷亡均重。我守備城西北角之王祖獻營傷亡殆盡，營長王祖獻陣亡。由於日軍佔領了城西北角陣地，直接威脅著城內守軍與城外通道的城西門，加之守城官兵傷亡過大，城內總指揮王冠五產生了棄城撤退的念頭。當晚，他在電話中向池峰城報告戰況後說道：“敵人攻勢過猛，連日來官兵傷亡過半，無法再堅持下去，請師長下令放棄臺兒莊。”

池峰城對幾日來的戰況很清楚，本師傷亡奇重，部隊剛剛縮編，今日又受重大損失，答應增援的湯恩伯軍團又杳無音信，日軍攻勢有增無減，城內守軍益感疲憊和難於支撐，城內陣地也已支離破碎，因此，一向以毅力頑強著稱的將領，頭腦中也產生出撤退的念頭，他對王冠五說：“冠五，情況我清楚，撤退問題，等我請示總司令再說。”

孫連仲深知，像目前這樣在城內廝殺、消耗，臺兒莊守備部隊有可能損失殆盡。但此時若放棄城池，則幾天來將士們的浴血奮戰將功虧一簣。為全域性著想，第31師傷亡再大，也不能退出臺兒莊。於是，他以堅毅的語氣命令池峰城道：“不許撤退，絕對不許撤退，這是命令，臺兒莊若失守，軍法論處！”

池峰城深知撤退已不可能，31師必須與城池共存亡。他再次拿起話筒對王冠五說：“總司令命令，堅守臺兒莊！”王冠五爭辯道：“城是不能守了，棄城的責任，我一個人負！”此時的池峰城，只感到胸口一陣發緊，忽然間低頭吐出一口鮮血。一旁的參謀見狀，接過話筒，大聲對王冠五說道：“臺兒莊得失存亡，關係甚大，此時放棄，我們將前功盡棄，不僅對不起死難的官兵，更對不起國家和人民。上峰的命令必須執行，臺兒莊必須死守，誰再言放棄臺兒莊，格殺勿論！”王冠五聽罷，鼓起勇氣道：“照命令辦，請師長放心。”

蔣介石十分關注臺兒莊方面的戰況，日軍決心攻克臺兒莊的意志以及前線的戰況，很令他擔心。

深夜，孫連仲接到正在徐州督戰的軍令部次