敵整編第四十一師，第三縱隊兩個團和冀魯豫軍區第五分割槽1個團，鉗制敵整編第五十五、六十八師，冀魯豫軍區獨立旅和第三分割槽武裝，鉗制第五軍、整編第十一、八十八師。戰役開始後，堅決阻擊各路國民黨軍對整編第三師的增援。另以留置隴海路南的第七縱隊第二十一旅，打擊敵人後方，進行牽制。

到9月2日，晉冀魯豫野戰軍主力已休整了4天。敵整編第三師與第四十七師已受到殺傷和消耗，仍然緩緩前進。整編第三帥進到秦寨、桃園地區，整編第四十七師到了水口、呂寨地區。

這時，劉伯承獲悉劉峙突然將整編第三帥和第四十七師會攻定陶的計劃，改為整編第三師單獨攻菏澤。兩帥的間隔從20裡擴大到25裡，而且越往西間隔越大。於是決定調整部署，把戰場西移到韓集、安陵集以西的大、小楊湖地區。經過各阻擊部隊的積極作戰，徐州來犯的敵主力第五軍、整編第十一師被阻於單縣以東，距整編第三師200餘里。鄭州出犯的整編第四十一師，被阻於東明西南地區，距整編第三師80餘里。整編第五十五、六十八師被阻於曹縣以南，距整編第四十七師40餘里。圍殲整編第三師的條件已趨成熟。

9月3日晨，劉伯承命令放手誘敵整編第三師冒進，爭取使它3日夜到達大、小楊湖預定戰場，然後兩集團按計劃攻殲該敵。

當天下午，整編第三師果然被牽引到了預定戰常其第三旅進至大黃集、周集地區，第二十旅進入閻寨，大、小楊湖，方車王地區，師部進抵天爺廟。

師長趙錫田自恃是蔣介石的嫡系，兵精彈足，裝備優良，根本看不起晉冀魯豫野戰軍，狂妄吹噓“不用兩星期，佔領魯西南”。又仗著是陸軍總司令顧祝同的外甥，認為鄭州綏靖公署和左右兩翼的整編第四十一、四十七師不敢不支援他，所以一味孤軍深入。

當夜23時30分，劉伯承抓住戰機，下令對整編第三師發起進攻。當獲悉敵第二十旅在前進中傷亡較大，兩個團長都被擊斃的情況後，他又確定先把攻擊重點放在第二十旅。兩集團各殲其1個團後，再攻殲其師部和第三旅。

這樣，雙方兵力對比上，達到了四比一的絕對優勢。

敵人在飛機、坦克配合下頑強抵抗。經兩日激戰，僅殲敵約3個營。這時，趙錫田方知陷入絕境，拼命向鄭州呼救。劉峙嚴令整編第四十七師增援，被阻援的第三縱隊擊退。敵整編第四十一、五十五、六十八師亦分別由東明、曹縣奉命趕來增援。在此千鈞一髮之際，劉伯承除嚴令各路阻擊部隊堅決阻擊，不準敵人前進外，於9月5日夜，親自到第六縱隊司令部，召集縱隊首長開會，提出堅決殲滅整編第三師，再次強調了集中兵力、火力等戰術問題。

隨後，即下令再次向整編第三師發起攻擊。

劉伯承在第六縱隊司令部接到的第一個電話，是已經前進到距大楊湖只有1里路的第六縱隊司令員王近山打來的。他說：“報告劉司令員，請你放心，我們準備好了一切。堅決殲滅整三師。六縱隊即使打剩一個連，我當連長，杜義德當指導員，決不放棄戰鬥！我要求戰士們把自己的子彈、手榴彈統統打到敵人身上去，最後就是用牙齒咬也要把敵人咬死。”

劉伯承鼓勵他：“近山同志，你的決心很好！這一仗如若我們打不好，冀魯豫平原我們就站不住！還要背起包袱回太行山啊！你們今晚上的任務很艱鉅，只要消滅大楊湖的敵人，戰役將有很大的變化。”

然後，他又拿起電話，聽了第七縱隊楊勇司令員的彙報之後說：“楊勇同志，冀魯豫解放區，是你們親自建立的，是你們用血汗從敵人手中奪過來的。現在敵人要侵佔它，假若我們不把這股敵人消滅，這裡的人民就要遭殃，你們就前功盡棄！”楊勇非常激動地大聲說：“劉司令員，我懂了，我們一定要徹底消滅整三師！”

最後，他又同第二、三縱隊的陳再道、陳錫聯兩位司令員一一通了電話，指示他們要不惜一切代價，向整編第三師展開猛攻，並特別告誡陳錫聯，要集中兵力狠打整編第三師師部，以先摧毀敵首腦機關。他強調指出，這一仗要是打不贏，第二、三縱隊只好回冀南、太行打游擊。兩位司令員也表示了堅決完成殲敵任務的決心。

當夜23時30分，劉伯承下令全線總攻擊。左右兩集團隨即投入了激烈的戰鬥。第六縱隊打得最為殘酷、艱苦。他們負責攻殲的整編第三師第二十旅第五十九團，是該師的主力，抵抗十分頑強。各種武器射出的子彈形成一道道嚴密的火網，阻擋著攻擊部隊進入大楊湖村。第六縱隊指戰員發揚了大無