高有兄弟數人，都出生於隱官。在歷史上留下姓名者，只有弟弟趙成。趙成後來接替趙高，做了秦帝國的郎中令，曾經參與謀殺秦二世的望夷宮政變，也是一位人物。隱官是政府設定於不引人注目處的手工作坊，用來安置刑滿罪人工作。趙高的母親，因為有罪受過刑罰，赦免後，由於身體有受刑後的殘疾，不便見人，也不願被人瞧見，就一直在隱官勞動生活。

在秦代的等級身分規定中，在隱官勞動生活的人，其身分也叫隱官，用現在的話來說，相當於刑滿釋放人員，地位在普通庶民之下，所能佔有的土地和住宅，只有普通庶民的一半。帝國法律注重公正，隱官雖然地位低下，其婚姻卻不受限制，隱官子女的身分也同於普通庶民。趙高的父親，大概是在隱官工作的下級文法官吏，通曉法律，精於書法，在隱官任職時結識了趙高的母親，組建了家庭，生下趙高兄弟。秦是注重世業的國家，子承父業、以吏為師成了帝國的國策。趙高成年以後能夠走文法的道路入仕，成為第一流的書法家和法學家，都與父親的職業和影響密切相關。

趙�