與貧苦人民的共同生活，造就了布瓊尼開朗、勇敢、堅毅的性格。１９０３年秋，布瓊尼被徵召入伍，當上了年輕人引以為自豪的騎兵。次年１月，他隨頓河哥薩克騎兵第４６團來到中國東北參加了日俄戰爭。戰爭結束後，被調到濱海龍騎兵團，駐紮在符拉迪沃斯託克（海參崴）附近。１９０７年１月，他被派往彼得堡騎兵學校學習。１９０８年畢業後，他又回到龍騎兵團。第一次世界大戰中，他曾先後在波蘭、德國、奧地利和高加索等地作戰。

１９１７年俄國二月革命後，布瓊尼被全連一致推選為連士兵委員會主席，在全團大會上被選為團士兵委員會主席，接著又被選為師士兵委員會副主席。在明斯克市駐防期間，他結識了西方面軍布林什維克黨組織的領導人伏龍芝。伏龍芝對布瓊尼世界觀的形成和人生道路的選擇產生了重大的影響。十月革命爆發後，高加索騎兵師士兵委員會作出了該師復員解散的決定，布瓊尼於當年１１月回到了家鄉。不久，他即同戰友們一起在當地建立起了蘇維埃政權。隨後，布瓊尼以他對鞏固新生蘇維埃政權的高度責任感，和對軍旅生活的酷愛，在家鄉組建了騎兵游擊隊。由於他的努力，部隊逐漸擴大為騎兵團、騎兵旅、騎兵師，後來又擴編為騎兵軍和騎兵集團軍。在保衛察裡津的戰鬥中，布瓊尼指揮一個騎兵旅把敵人打得落花流水，表現了一個傑出的騎兵指揮員的才幹，因而榮膺紅旗勳章。

１９１９年夏，鄧尼金的白衛軍向蘇維埃共和國發動瘋狂的進攻，紅軍被迫向腹地退卻，南方戰線成了主要戰場。這時，布瓊尼指揮新建的騎兵軍在察裡津以北粉碎了弗蘭格爾白衛軍的主力，擊潰了蘇圖洛夫的部隊。隨後，又巧妙地實施機動，給插到紅軍南方方面軍後方的馬蒙托夫和什庫羅指揮的哥薩克騎兵師以粉碎性的打擊，佔領了重鎮沃羅涅日，從而封閉了莫斯科戰略方向上紅軍陣地中寬達１００公里的缺口。為表彰布瓊尼在這次作戰中的功績，全俄中央執行委員會再次授予他紅旗勳章和革命榮譽武器。不久，他便出任蘇軍第１騎兵集團軍司令，成為蘇聯國內戰爭時期著名的將領之一。布瓊尼的騎兵第１集團軍被稱為贏得國內戰爭的“拳頭”部隊，曾在許多戰線上被用於戰略機動。１９１９年底和１９２０年初，紅軍向鄧尼金的軍隊發動了總攻。布瓊尼指揮的第１集團軍組成快速戰役戰略叢集，向哈爾科夫、頓巴斯、羅斯托夫和亞速海方向實施迅猛的突擊，把鄧尼金的主力分割為兩部分，爾後協同南方面軍的另２個集團軍予以各個殲滅。１９２０年４、５月間，布瓊尼的部隊又遵照列寧的指示用了５０天的時間，從北高加索的邁科普躍進到烏克蘭的烏曼，實施了史無前例的１０００多公里的戰略機動，投入了對波蘭軍隊的作戰。６月５日，布瓊尼集中集團軍的主力一舉突破敵人堅固的防禦陣地，以迅雷不及掩耳之勢突入敵縱深１２０——１４０公里，前出到波軍第３集團軍的後方，迫使波軍於６月１１日撤離烏克蘭首都基輔，從而為把波軍逐出蘇維埃國土奠定了基礎。伏龍芝在評價騎兵第１集團軍的作用時說道：“在我們的軍隊裡，沒有其他部隊能夠這樣充分、這樣鮮明、這樣深刻地在他們自身和他們的行動中反映出國內戰爭的全部特點、整個紅軍的性質，它的歷次戰役將永遠以光輝的篇章載入騎兵史冊。”

國內戰爭結束後，布瓊尼積極投身紅軍的建設。歷任北高加索軍區革命軍事委員會委員和副司令員、工農紅軍總司令助理（主管騎兵）、蘇聯革命軍事委員會委員、工農紅軍騎兵總監、莫斯科軍區司令員、蘇聯國防人民委員部總軍事委員會委員、副國防人民委員和第一副國防人民委員。１９３５年被授予蘇聯元帥軍銜。

在此期間，他對紅軍的建設，特別是騎兵的建設和訓練，作出了不可磨滅的貢獻。他認真研究總結了第一次世界大戰和國內戰爭的經驗，積極參加了多卷集《蘇聯國內戰爭史》的編寫工作，撰寫了《騎兵兵團戰術基礎》、《紅色騎兵文集》等著作。三十年代初，蘇聯紅軍進行了重大軍事改革，不僅裝備更新了，組織體制和軍事理論也有了新的發展。布瓊尼意識到，要做好工作，不僅需要經驗，而且需要掌握更深刻的軍事理論知識。於是，他要求到伏龍芝軍事學院學習，並得到斯大林的支援。他一面工作一面學習，孜孜不倦，異常勤奮刻苦。他每天７時起床，８時至１４時在學院學習，１４時至１５時吃午飯，然後工作到零點。晚飯後再學習到凌晨３時。１９３２年，他從伏龍芝軍事學院畢業。

１９４１年６月２２日，希特勒發動侵蘇戰爭。布瓊尼作為蘇聯最高統帥部成員之一，參與了