「三省六部」制。此外，又有二臺（御史、都水）十一寺（太常、大理、國子、光祿、衛尉、宗正、太僕、鴻臚、司農、太府、將作）等機構，負責朝廷日常行政事務。地方行政機構方面，則由過去的州、郡、縣三級制改為州、縣二級制，廢郡。簡化了地方行政組織，官吏的任用權一概由吏部掌握，禁止地方官就地錄用僚佐。

不僅節省國家開支，還提高了行政效率，有利於中央集權的統治。這也是他的第二個功績，因為他開創了一個新的朝廷集權的政權制度。開皇元年，即命大臣高、鄭譯、楊素「更定新律」，即對過去北朝齊、周以來的律令作一次大的改革。開皇三年，又命蘇威、牛弘進行第二次改革，主旨在於「權衡輕重，務求平允，廢除酷刑，疏而不失」，由是訂出刑律十二篇，這就是著名的《開皇律》《開皇律》分為一十二篇。其名為：名例律、衛禁律、職制律、戶婚律、廄庫律、擅興律、賊盜律、鬥訟律、詐偽律、雜律、捕亡律、斷獄律。其篇目雖然是根據《北齊律》所編，但內容卻簡明得多。判刑的名目有五種：一是死刑，二是流刑，三是徒刑，四是杖刑，五是笞刑。此外死刑只分絞、斬二種，流放服刑不超過五年；杖刑分六十至一百共五等，民有枉屈得依次上訴至朝廷。同時《開皇律》還廢除了一些酷刑，如梟刑，轘刑，宮刑等。也一概不用滅族刑。

同時，減省一些刑律，減去死罪八十一條，流罪一百