司馬氏原本是周朝的史官。周亡後入晉、仕秦，至漢代時，第四代司馬談在武帝治下於建元年間出任太史令。談就是遷的父親。他除律、歷、易等專攻外，精研道家教義，博採儒、墨、法、名諸家學說，並將它們融匯貫通，獨成一家之見。司馬談對自己的頭腦和精神力量有著高度自矜，這一點也被兒子司馬遷原封不動地繼承了。他對兒子最大的教育，是在傳授完諸家學說後，讓遷在海內縱橫旅行。這在當時稱得上罕見的教育方法，但無疑對後來的歷史學家司馬遷所資甚厚。

元豐元年，武帝東臨泰山舉行祭天大典時，熱血漢司馬談不巧正臥病在周南（洛陽）。他由於慨嘆在天子始建漢家之封這樣的盛事時，唯獨自己不能追隨其側，竟憤而死去。司馬談一生的願望是編述古今一貫的通史，結果只來得及蒐集到大部分資料。臨終的光景透過兒子司馬遷的筆致詳細描寫在《史記》最後一章。據該處記載，談在知道自己大限將至後把遷喚至面前，拉著他的手懇言修史的必要，並慨嘆自己身為太史未能完成此事，徒令賢君忠臣的事蹟空埋地下，以至於泣下。司馬談道：“餘死，汝必為太史。為太史，無忘餘所欲論著矣。”並再三叮嚀此乃孝之大者，不可或忘。司馬遷俯首流涕，發誓不違父命。

父親死後兩年，司馬遷果然繼承了太史令一職。他本想利用父親蒐集的資料與宮庭收藏的秘冊，立即投入到修史這一父子相傳的天職中，但就任後他首先被委派了修訂曆法的重任。埋頭這項工作整整四年。太初元年，曆法終於完成，他立刻開始了《史記》的編纂。司馬遷時年四十二歲。

腹稿早已經有了。腹稿中構思的史書和以往任何一本史書的形式都不相同。在展示道義批評的準則方面，他首推《春秋》，但在傳達事實方面，每本史書都令他覺得不盡如意。需要更多的事實。比起教義來，更需要事實。不錯，《左傳》和《國語》中的確有事實，尤其是《左傳》巧妙的敘事令人歎服。但是，在那裡看不到對創造事實的個人的探究。人們在事件中的身姿雖然被描繪得很鮮明，但是對導致做出那些事件的他們每一個人自我的詮索卻不夠，這一點最令司馬遷感到不滿。此外，過去的史書似乎全都過於注重向當代人告知從前，以致忽略了讓將來的人瞭解當代。一言以蔽之，司馬遷所想要的，在既往的史書中未能找到。

究竟是在哪一點對以前的史書不滿，連他自己也只有到把想寫的東西寫出來之後才會知道。在他胸中，鬱積著一團模糊的東西，在要求獲得表現。這是在批判過去的史書之前就已經產生的。或者更準確地說，他的批判只有透過主動創造新的東西才能表達。長期以來在自己腦海中描畫的構想到底能不能稱為“史”，他自己也沒有信心。但不管能不能稱為“史”，總之這樣的東西最應該被寫出來（對世人，對後代，尤其對自己），這一點他是有自信的。他效仿孔子，採取“述而不作”的方針。但是他的述而不作在內容上與孔子大相徑庭。對司馬遷來說，用編年體方式單純地列舉事件尚未進入“述”的領域，而作那些妨礙後人瞭解事實的過於道義性的斷言，又毋寧屬於“作”的範疇。

漢朝平定天下已有五代百年，曾經在秦始皇的反文化政策下或湮滅或藏匿的書籍逐漸重行問世，一股文運將興的氣運鬱勃可感。不僅漢朝的朝廷，時代也正是要求史書出現的時代。從司馬遷個人來講，父親遺囑留下的感動，以及日益充實的學養、眼光和筆力相輔相成，醞釀著一個即將誕生的渾然之物。他的工作順利地進行著。有時甚至會因為過於順利而使他感到困惑。這麼說是因為，從最初的《五帝本紀》到夏殷周秦《本紀》的部分為止，他不過是一位精心安排材料、敘述務期準確嚴密的技師；而當經過《始皇帝本紀》，進入《項羽本紀》後，那份技術家的冷靜逐漸動搖起來。稍不留神，項羽就會附向他，或者他自己會附向項羽身上。

項王則夜起，飲帳中。有美人名虞，常幸從。駿馬名騅，常騎之。於是項王乃悲歌慷慨，自為詩曰：“力拔山兮氣蓋世，時不利兮騅不逝。騅不逝兮可奈何，虞兮虞兮奈若何！”歌數闕，美人和之。項王泣數行下，左右皆泣，莫能仰視。……

這樣寫也可以嗎？司馬遷暗自疑惑。如此熱切的寫法是否沒有問題？他一直高度警惕著“作”的侵入。自己的工作應該止於“述”之一事。事實上，他的確只是在“述”。但這是怎樣生機煥發的敘述方式！不具備超乎尋常的視覺性想象的人決不可能有這樣的敘述。

有時，他會因過於擔心“作”而重讀寫好的部分，將那些使歷史人物如同現實中的人