約有12個外國人喪生。

為了躲避士兵，也為了躲避外國艦艇報復的炮火，百姓們紛紛躲到城牆腳下。

蔣來到現場，對第6軍的第3師採取了無情的行動，繳了他們的誡，並處決了30一40人。

後來據說共產黨的政治委員插手了這一事件，（蔣寫道）“他們希望挑動外國勢力和革命軍發生直接的衝突”。但正象吉勒麥茲所指出的那樣，很難看出對外國租界的掠奪會給共產黨帶來什麼好處，那很可能只是一次軍隊違紀事件。

很快，蔣在上海陷入了更嚴重的麻煩之中，在周恩來等人組織的80萬工人罷工配合下，國民軍1927年3月22日攻佔了上海。

共產黨武裝了工人糾察隊，接著便發生了殘酷的巷戰。在此過程中，約有200名工人被打死，1000名工人被打傷。隨後，他們建立了臨時市政府，使局勢有利於自己。

蔣在南昌的司令部裡，注視著這些事情，心裡憋著一股怒火。開始是左派在武漢建立政府，對他在國民黨中的權威表示蔑視；現在，共產黨又奪取了上海。

他發表講話，但不起作用。他時而調和，時而挑釁，在3月10日的一篇講話中，二者兼而有之。他說：

他沒有打算不與共產黨合作，而且還主張把他們拉進國民黨。但是，共產黨現在已達到力量和聲望的頂點，如果他們對自己的行為不加控制的話，他們將給國民黨帶來災難。他說他不反共，他感激共產黨的支援和同情，但共產黨不能在國民黨內謀求優勢，壓制國民黨中的溫和派。

武漢政府沒有理睬蔣的指責。中央執行委員會撤消了蔣作為政治委員的職務，使其總司令之權隸屬於新的軍事委員會。

他在國民黨中的所有重要職務，都轉給了他的對手汪精衛。那時，汪正在從法國返回的途中。該委員會還透過發表公告對他進行譴責。指責他是專制者和獨裁者，說他的統治保護“官僚、商人和其他機會主義者”。按照蔣的說法，是共產國際勸汪精衛經莫斯科回國的。儘管他們之間發生過一些事情，但蔣明顯對汪的回國仍抱著希望，認為他的老同事會因汪的回國而被重新啟用。汪1927年4月1日回國後的幾天裡，蔣和汪在上海會晤了好幾次。

接下來發生的事情是，根據蔣的建議，一個姓吳的國民黨人參加了“清黨”會議的討論，此人是蔣在控制委員會中的忠實信徒。

會議的重點是討論“清除共產黨”的問題。當他們幹這件事的時候，一些遠離革命的地主和富人發現他們有救了。吳在會上作了報告，報告中對共產黨和鮑羅廷進行了攻擊。

4月5日，汪同來上海的共產黨領袖陳獨秀髮表了一個聯合宣言，重申共產黨接受孫中山的三民主義，並且進行了闢謠。因為有謠言說，共產黨企圖破壞國民軍，並攻擊租界；而國民黨準備解除共產黨工人糾察隊的武裝，並將共產黨開除出黨等。

同日，吳等人決定“清黨”，他們建立了一個委員會研究有關方案。6日，北京和上海是多事的一天。在上海的所有武裝集團接到通知，從今以後，他們必須按軍紀行事，任何反對行動，將以叛亂論處。

在北京，張作霖派警察搜查了蘇聯使館，使蘇使館人員大吃一驚。

他們在蘇使館中發現的東西。比張本人希望的要多。中共的建黨人之一李大釗和另外35名共產黨員在那裡避難。張作霖當時的外交部長宣佈中斷與蘇聯的關係，並且通知蘇聯人回國。

4月28日，張下令殺死了李大釗及另外19個共產黨人。

蔣依然面臨著如何使在武漢的敵手潰散的問題。

中央執行委員會撤消他各種職務的訊息，使他感到沮喪。

李宗仁也為來自上海的訊息所震動，便離開安徽前線來到上海與蔣會面。他到達上海的時候，正值蔣接到第一軍軍長何應欽要求辭職的電報，蔣說：“如果連第一軍都不能穩定的話，那我就無法維持下去了。”

李回答說：“如果你也不幹了，那麼事情就糟了。當前的危機主要是共產黨企圖消滅國民黨。”他建議蔣馬上通電其他軍界的支持者來上海“清黨”，他自己的第七軍可以召集到南京，授權在那裡“清黨”，蔣接受了他的建議。

4月6日，正是張作霖派警察搜查蘇聯大使館的那一天，汪精衛到了武漢。

第二天，支援蔣介石的軍官到達上海，他們立即與蔣、李和上海警備區司令白崇禧秘密商議，討論“清黨”問題。

8日，蔣建立了一個臨時行政