任烏克蘭內線司令，指揮了基輔保衛戰。 伏羅希洛夫和布瓊尼一樣認為，大批騎兵部隊機動靈活而且威力巨大，蘇聯紅軍必須組建一支相當規模的騎兵集團軍。於是，當布瓊尼向中央提出這一建議時，他表示完全贊同。1919年11月，伏羅希洛夫便被任命為第一騎兵軍的軍事委員。布瓊尼在回憶中說道，伏羅希洛夫“是領導全軍作戰的核心人物之一”。“騎兵部隊的特殊組成要求任命不僅具有一般政治聲望，而且要多少以自己的軍事生涯聞名於眾，享有一定威信的人。”伏羅希洛夫率領這支部隊粉碎了鄧尼金軍隊的進攻。從波蘭白軍手中解放了烏克蘭，消滅了弗蘭格爾的部隊。

此後，伏羅希洛夫在蘇聯紅軍中做了相當長一段時間的黨政工作。從1924年起任莫斯科軍區司令。與伏龍芝等人一起參與領導了軍事改革。1925年至1934年，他升任陸海軍人民委員和蘇聯革命軍事委員會主席。此後又擔任了6年蘇聯國防人民委員，為加強蘇軍建設花費了大量心血。

1941年6月，德國突然襲擊蘇聯後，伏羅希洛夫為西北方向總指揮部司令。

衛國戰爭一開始，他就直接參加了粉碎德軍進攻的組織工作，先後擔任國防委員會委員、最高統帥部大本營成員、西北方面