為了適應革命戰爭形勢迅猛發展的需要，更有力地推動全國解放的儘早到來，中央軍委在我軍的歷史上，首次提出了整編全國軍隊，統一全國解放軍組織和番號的要求。1948年11月1日，中央軍委頒佈了《關於統一全軍組織及部隊番號的規定》，指出：“根據中央政治局九月會議關於戰略任務更進一步地由游擊戰爭過渡到正規戰爭的要求，中央軍委關於全軍組織和部隊番號，特作統一規定，通令全軍一體遵行。”

該規定把野戰軍分為四個，以地名區分，即中國人民解放軍西北野戰軍、中原野戰軍、華東野戰軍、東北野戰軍。

1949年1月底，人民解放軍取得了舉世著名的遼瀋、淮海、平津三大戰役的勝利，國民黨在長江以北的軍隊損失殆盡，借大的北中國成為共產黨的天下，蔣介石的100多萬殘存部隊退守長江以南。掃平南中國，徹底打倒蔣家王朝已指日可待。這樣，以地名命名中國人民解放軍野戰軍番號已不合時宜。因此，中央軍委遂又明令全軍，取消野戰軍用地區化分的辦法，把原西北野戰軍改編為第一野戰軍，司令員兼政治委員彭德懷，副司令員張宗遜、趙壽山，參謀長閻揆要，副參謀長王政柱、李夫克，政治部主任甘泗淇，副主任張德生，下轄第一、第二兵團共6個軍。把原中原野戰軍改編為第二野戰軍，劉伯承任司令員，鄧小平任政治委員，張際春任副政治委員兼政治部主任，李達任參謀長，段君毅任後勤部司令員兼政委。下轄第三、第四、第五兵團共9個軍。把原華東野戰軍改編為第三野戰軍，陳毅力司令員兼政治委員，粟裕為副司令員兼第二副政治委員，譚震林力第一副政治委員，張震為參謀長，唐亮為政治部主任，鍾期光為政治部副主任，下轄第七、第八、第九、第十兵團共15個軍。把原東北野戰軍改編為第四野戰軍，林彪為司令員，羅榮桓為政治委員，副政治委員為鄧子恢，譚政任政治部主任，陶鑄為政治部副主任，蕭克為第一參謀長，趙爾陸為第二參謀長，聶鶴亭、陳光為副參謀長。

在此次整編中，中央軍委把原華北軍區的部隊改編為華北野戰軍，直屬中央軍委指揮，未設野戰軍一級領導班子，下轄第十八、第十九、第二十兵團共11個軍。1949年3月17日，中央軍委決定組織以徐向前為司令員兼政委的太原前線司令部和以徐向前為書記的黨的總前委，統一指揮第十八、第十九、第二十兵團。

此次整編，是中國人民解放軍發展史上的重大轉折。

第二野戰軍，是在抗戰初期八路軍一二九師部隊的基礎上發展起來的。

在八年的抗日戰爭中，一二九師從原來的萬餘人發展到30多萬人，建立了廣大的晉冀魯豫根據地，使地方的武裝力量也得到很大發展。又經過三年解放戰爭的戰火鍛鍊，這支部隊更是被鑄造得能征善戰，成為一支無敵雄師。

抗日戰爭轉入大反攻時，為了最後消滅日本侵略者及其走狗，並制止內戰危機，1945年8月11日，中共中央發出指示，要求各戰略區編組“超地方性的正規兵團”。8月20日，中央軍委決定，各戰略區就現有兵力的二分之一或五分之三，編為野戰兵團，以適應形勢發展的需要和實現游擊戰向運動戰的轉變。

劉伯承、鄧小平按照中央軍委的指示精神，令所屬太行、太嶽、冀南和冀魯豫的八路軍部隊，分別編組成一至三萬人的野戰兵團。

同時，中央決定成立晉冀魯豫軍區，任命劉伯承為司令員，鄧小平為政治委員，滕代遠、王宏坤為副司令員，薄一波為副政治委員，張際春為副政治委員兼政治部主任，李達為參謀長，王新亭為政治部副主任。軍區轄冀魯豫、冀南、太行和太嶽四個二級軍區，以及剛起義的三十八軍第十七師，共29萬餘人。

1945年9月初，晉冀魯豫軍區，以冀南軍區主力編為冀南縱隊，太行軍區主力編為太行縱隊，太嶽軍區主力編為太嶽縱隊。10月7日，冀魯豫軍區主力編為第一縱隊（轄第一、第二、第三旅），楊得志為司令員，蘇振華任政治委員；冀南縱隊改稱第二縱隊（轄第四、第五、第六旅），陳再道任司令員，宋任窮任政治委員；太行縱隊改稱第三縱隊（轄第七、第八、第九旅），陳錫聯任司令員、彭濤任政治委員；太嶽縱隊改稱第四縱隊（轄第十、第十一、第十三旅），陳賡任司令員，謝富治任政治委員。同時，晉冀魯豫軍區另組25個團的架子，調往東北。

1945年11月10日，原定以第一縱隊為基礎另組25個團的架子調往東北。但後來因形勢發生變化，第一縱隊在開往東北途中到晉察