在戰爭期間學會的幾句洋徑浜英語，居然當上了英商洋行的買辦，從此背靠大樹，廣開財源。當時他的薪水並不高，年薪不過三十七英鎊十先令，合時價一百八十元，每月僅十五元而已，但他為洋行代理對華貿易業務的佣金卻相當豐厚，高達成交額的百分之二至百分之三，同時還可以從中國客戶手裡拿到一筆可觀的回扣，每年的收入數十倍於薪金。與此同時，他還另闢蹊徑，橫向發展，投資於鴉片、地產、苦力販運、保險、金融生意，並且兼營糖業、花紗、煤炭等等業務，數十年間，成為鉅富，全港數得著的幾家大公司都有他的股份，十幾家公司董事會里有他的一席之地，勢力範圍遍及省港和華南、華東地區以及澳門和東南亞。他的六個女兒和一個兒子嫁娶的都是大洋行的買辦子女，形成了一張姻親財閥網路，流動的金錢只要被他盯上，就插翅難飛。遲天任有一句名言：“不會賺錢的人是傻瓜，不會花錢的人是傻瓜中的傻瓜。”遲天任賺錢的技巧爐火純青，花錢的技巧也出神入化，一個疍戶出身的暴發戶竟然能成為“社會賢達”，榮獲太平紳士桂冠，這簡直是難以想象的，但是他都做到了，用錢買到了無價之寶、錢，真是個好東西！

遲孟桓比他的父親倖運多了，他口含著銀匙出生，沒有嘗過創業的艱難，從不知道什麼叫貧窮。他在皇仁書院接受了正規的英文教育，畢業後接手打理家族生意，成為遲氏萬利商行年輕的董事總經理。在遲天任的七個子女中，他是惟一的兒子，所以不須等老爹嚥氣，他已經事實上繼承了數百萬家資，在今日香港，不算恰和、滙豐等等那幾家洋商巨頭，華人當中像遲氏這樣的富商還沒有幾個。但是，遲孟桓在繼承了父親鉅額財富的同時，也繼承了一個難以彌補的缺憾：疍戶出身的家世。

疍戶是香港的“吉卜賽人”，他們在岸上沒有立錐之地，世世代代在水上漂流，或以採珠、捕蠔為生，或做海上販運，在三百六十行之中總也算個行當，但岸上的居民卻對他們備加歧視，看見他們的烏篷小船，就立即聯想到“乞丐”、“小偷”、“流氓”、“海盜”這些侮辱性的字眼兒。如果遲孟桓一家至今仍操此業，遠離岸上的人群，躲進小船在海上游蕩，倒也罷了，但既已成為港島富豪，無論如何再也不願意與水上“吉卜賽人”認同，那卑微的出身便成為恥辱，好似一塊洗不去、挖不掉的胎記。在太平山街老宅的祖堂裡供奉著的遲家祖先遺像，其實都是遲天任憑著口述的相貌特徵請人畫的，他的父母生前根本不可能留下什麼照片。他給了畫像的人優厚的酬金，把他的先考、先妣畫上頂戴朝服、鳳冠霞帔，造成官宦世家的假象，給自己壯壯門面，唬唬那些不知底細的人罷了。

遲孟桓對此很不甘心。十年前，他搬出了太平山街的老宅，住進了雲成街的一座花園洋房。那裡原是一位英國商人的住宅，從事鴉片生意。當時，中國已經開始在九龍一帶設立稅關，徵收過往貨物的厘金，鴉片稅高達每簍十六兩白銀；緝私船日夜在海上巡視，查處那些避開通商口岸利用帆船向中國走私的外商。這一“海關封鎖”政策使洋商吃盡苦頭，很快便週轉不靈，一些洋行和外資公司接連停業、關門，頻頻破產。經濟衰退使香港地價暴跌，破產英商廉價拋售房產、地皮，異軍突起的華商乘機衝破港英政府設定的華洋界限，向維多利亞城中部蠶食，越過鴨巴甸街，擠進威靈頓街、雲成街一帶。遲府新宅的原主就是在那個時候捲鋪蓋走人的。當時只有二十出頭的遲孟桓已極具商業眼光，不失時機地買下了那處房產。按說，遲氏在太平山街的老宅並非不豪華，那座唐樓飛簷斗拱；畫棟雕樑，也已經住得了；但周圍的環境實在糟糕，市井小民的住所骯髒、擁擠、空氣汙濁，《迴圈日報》主筆王韜曾著文形容：“華民所居者率多小如蝸舍，密若蜂房。計一椽之賃，月必費十餘金，故一屋中多者常至七八家，少亦二三家，同居異囗。尋丈之地，而一家之男婦老稚，眼食盥浴，鹹聚處其中，有若蠶之在繭，蠖之蟄穴，非人類所居。”倒是一點兒也不誇張。當年駐港英軍司令蓋乃爾·唐諾萬將軍則鄙夷地指責道：“華人在視覺、聽覺和嗅覺上的表現，都不適宜與歐人為鄰。”那樣一種屈辱，實在令人難以忍受，使遲孟桓決計搬出太平山區，擠進“高尚住宅區”，與洋人為鄰，這在當時只有極少數華人富商可以做到。遷居雲成街是他的一大舉措，這裡已經逼近半山洋人別墅區，從樓上的窗戶就可以看到總督府，連呼吸都覺得舒暢了。

雲鹹街的遲氏“新居”其實也是老宅——洋人的老宅，建造年代可以追溯到香港開埠之初，看上去很舊了。遲孟桓搬來的時候，並未加以任何裝修