基的摩爾根家族發端於1795年。是年，托馬斯·亨特·摩爾根的外曾祖父約翰·韋斯利·亨特從新澤西州的特倫頓遷至列剋星敦。他在那裡開設了一個小店，改善了交通，進而發家致富，創下了一份價值百萬美元的家業，成了肯塔基中部的首富。1814年，他修建了一幢豪華的邪宅，取名霍普蒙特。湯姆就出生在這幢房子裡。這座建築物至今還保留著，座落在列剋星敦城第二大街和米爾街相交的街口，作為一個紀念館，有所側重地同時紀念武將摩爾根和科學家摩爾根。

約翰·韋斯利·亨特的女兒亨裡埃塔嫁給了亞拉巴馬州亨茨維爾的商人卡爾文·C·摩爾根。由於她的意願，加上父親商務上的需要，她終於說服丈夫遷回布盧格拉斯。摩爾根夫婦倆住在當時的小城列剋星敦市郊德茨克里克路附近的一個大農場，也就是現今的蒙塔博路對面。他們一共生下六個兒子和兩個女兒（還有一個女兒夭折了），一家大小過著一種獨特的南方破落貴族式的生活。沒有現款可供花銷，生活以及孩子的教育費用都仰仗上輩的遺產。按1849年老亨特死後不久宣讀的遺囑，他把霍普蒙特這幢邸宅留給亨裡埃塔，從而確立了摩爾根一家在列剋星敦應有的社會地位。

湯姆的父親查爾頓·亨特·摩爾根是第四個兒子，比老大約翰·亨特小十五歲。查爾頓長得眉清目秀，思維敏捷，雄心勃勃。他二十歲時畢業於特蘭西瓦尼亞大學。這所學校離他家霍普