日本強迫清政府簽訂《馬關條約》，臺灣及澎湖列島被割讓於日本。

當時日本為了迅速平定臺灣，採取了剿撫並用的手法。

但前三任臺灣總督樺山資紀、桂太郎、乃木希典都沒能控制住臺灣，在乃木希典看來，日本統治者得臺得不償失，軍費開支每年高達700萬日元，除了臺灣的稅收之外，日本還從甲午戰爭中國的賠款中拿出1千2百萬對臺灣進行軍費補助。

龐大的經費開支使日本不但沒有從臺灣的割讓中得到實際利益，反而成了日本的沉重包袱，萌生出賣臺灣的構想，並說動了當時的首相松方正義。

經過一系列幕後活動，初步決定以1500萬法郎（一說一億日元）把臺灣賣給法國。

1898年，伊藤博文重新成為日本首相，在他主持召開的軍政要員會議上，乃木希典正式提出了他的賣臺論，日本外務省也堅決支援日本的賣臺主張。

兒玉源太郎起立發言反對說：“我認為，臺灣系日本南部的屏障，軍事價值甚大，不能賣給法國。當初為了得到臺灣，我們費了那麼大的力，死了那麼多的人。如果將臺灣賣給他國，從長遠看划不來。至於乃木總督提到臺灣不好治理的問題，我覺得不是臺灣不好治理，而是我們管理的官員無能。如果首相覺得政府中找不到治理臺灣的總督，我願前往。”

兒玉到任後，立即在臺灣推行了一系列新的殖民措施：在軍事上，兒玉源太郎殘酷鎮壓臺灣同胞，他實行了保甲制度，推行連坐法。殺人無數。

但是，另一方面，兒玉又採取“皮鞭之外”加“糖”的懷柔政策。

對老百姓喜歡的陋習吸鴉片，從清肅改為放寬至“專賣”，又搞“饗老典”的敬老活動，“揚文會”重視讀書經商精英的表彰活動等。

在經濟上，兒玉源太郎實行了食鹽、樟腦、菸酒、鴉片等專賣制度，大肆剝削臺灣民眾。

為了在臺灣農民身上榨取更多的油水，兒玉源太郎又頒佈了《臺灣地籍規則》、《土地調查規則》，並組織大批人馬對全臺土地重新進行丈量。

透過這次丈量，臺灣耕地面積比原來多了一倍，日本對臺灣的土地稅收入也因此翻番。

最令日本當局滿意的是，兒玉源太郎在臺灣瘋狂地掠奪各種資源、物資，使日本大獲其利。

那時，食糖是十分緊俏的物資，價格有時會一日數漲，臺灣的土壤和氣候很適合種植甘蔗，兒玉源太郎便強迫臺灣農民種植甘蔗。

每年甘蔗豐收後，日本殖民官吏指揮蔗農將其製成粗糖，再用低價全部收購，然後運往日本進行細加工，使糖的價格成倍增長。

臺灣粗糖源源不斷地運往日本，既讓日本當局賺了大錢，又解決了日本國內許多失業人員的就業問題。

兒玉源太郎在臺灣推行的一系列殖民政策，使日本當局嚐到了甜頭，再也沒有人提起要將臺灣賣給他國的事了。

兒玉在臺灣任期長達8年多，幾乎是歷任總督中最長的。

1904年日俄戰爭爆發後，兒玉源太郎雖仍兼任臺灣總督，但已回軍部任職，與他同時上任的民政長官後藤新平成為臺灣實際的統治者。

日本政界評價兒玉後藤開創了一個時代，奠定了臺灣殖民統治的基礎。

1903年9月，日俄矛盾日益加深，時任參謀次長的田村怡與造少將（因用兵謹慎，被稱為武田信玄再世，和用兵大膽，號稱上杉謙信的小川又次中將並稱）病死，已經擢升日本內務大臣的兒玉源太郎屈就參謀次長，開始全面策劃對俄作戰部署。

日俄戰爭爆發後，晉升陸軍大將，擔任日本滿洲軍總司令大山岩元帥的參謀長。

1904年7月14日，隨日軍侵入中國。

此後，日本在中國的軍機事務，均由其出謀策劃，親自裁決。

日軍進攻旅順期間，對旅順戰況時刻關注，先後兩次親到旅順視察戰況和督戰。8月19日，日軍對旅順發起總攻後，進攻受阻，損失慘重。9月15日，兒玉源太郎由遼陽趕至旅順，命令乃木改變原來的戰術，重點主攻203高地，10月5日返回遼陽，然而旅順仍然久攻不克。

同年12月1日，兒玉源太郎帶著大山岩元帥的手令由遼陽趕至旅順，命令乃木希典交出指揮權，由他親自指揮。

縱觀乃木集中軍力重點進攻203高地，但俄軍也抽調了預備隊集中軍力重點反擊和防禦。

結果又是膠著，兒玉介入指揮後調整有二，都是在炮兵上。一是把東正面