明初沿袭元朝制度，设立中书省，置左、右丞相。甲辰正月，初置左、右相国，其中李善长为右相国，徐达为左相国。洪武元年（1368年），改为左、右丞相。由中书省统六部，但不设置中书令。

洪武十三年（1380年），胡惟庸案之后，太祖罢中书省，分中书省之权归于六部。原中书省官属尽革，惟存中书舍人。至此，秦、汉以降实行一千六百余年的宰相制度自此废除，相权与君权合而为一，施行军权、行政权、监察权三权分立的国家体制。

由于国家事务繁多，皇帝无法处理，洪武十五年九月罢四辅官，仿宋殿阁制设内阁。内阁只为皇帝的顾问，虽无宰相之名，但有宰相之实。此外他仍沿用元朝制度，在中央设置吏、户、礼、工、刑、兵六部。并设立都给事中六人，分吏、户、礼、工、刑、兵六科，每科一人；此外建立五寺包括大理寺、太常寺、光禄寺、太仆寺、鸿胪寺等五寺制度。此外他还沿袭原来的监察制度，设立御史台，有左右御史大夫各一名；不久改为都察院，下设若干监察御史，负责监督各级官吏。除此他还颁布《大明律》等法律，对官吏管理进行规制。

为了加强对臣民的控制和监视，太祖设置了巡检司和锦衣卫。巡检司主要是负责全国各地的关津要冲地把关盘查，缉捕盗贼，盘诘伪奸；锦衣卫则负责秘密侦察大小官吏活动，随时向皇帝报告不法之徒。同时太祖还授予锦衣卫侦察、缉捕、审判、处罚罪犯等一切大权，锦衣卫正式成为直属皇帝的情报机构。

大理寺是明朝管刑狱的中央审理机关。越南古代仿中国，亦设置有大理寺这一机关。

太常寺是明朝掌管宗庙祭祀的机构。

光禄寺是明朝掌理膳食的官署。 光禄寺原称为光禄勋，由汉朝郎中令演变而来，统属宫廷宿卫及侍从等。至魏、晋仅存其名，北齐则易名为光禄寺，职责亦变为掌理皇室膳食。自此各代均保留此制，仅辽时曾易名为崇禄寺，金则职属宣徽院。

太仆寺，明朝时，掌牧马之政令，属兵部。

鸿胪寺，明朝官署名。主要掌管朝会仪节、迎宾等。

吏部下设吏部司、司封司、司勋司、考功司，掌管天下文官的任免、考课、升降、勋封、调动等事务。

户部掌握全国疆土、田地、户籍、赋税、俸饷及一切财政事宜。其内部办理政务按地区分工而设司，按省分成十四个清吏司，如户部江南清吏司。各司除掌核本省钱粮外，亦兼管其他衙门的部分政务，职责多有交叉。

礼部：仪制清吏司，掌嘉礼、军礼及管理学务、科举考试事

兵部举凡武卫官军选拔、授衔、任命、后勤军需，均为其掌。

刑部作为主管全国刑事司法的机构，与都察院管稽察、大理寺掌重大案件的最后审理和复核，共为“三法司制”。

工部下设总部、屯部、虞部和水部四属部，洪武二十六年，改尚书二十四部为二十四清吏司，工部各属部分别改为营缮清吏司、虞衡清吏司、都水清吏司和屯田清吏司，职掌、设官仍前。