开皇元年（581年）二月，在开国典礼上，杨坚宣布了新政府的组成名单，最引人注目的并不是什么人当了什么官，而是政府首脑分别变成了尚书省、门下省、内史省和尚书省所属的六部长官，这就意味着北周时代实行的六官制度被彻底废除。
这是一场迫在眉睫的改革。
当年宇文泰虽然率领六镇军马崛起于关中，但其实力还是难以与山东的高欢相比，在文化上更是难以和自居正统文化地位的南朝相抗衡，而且内部还有需要巩固皇权的皇帝，有不一定支持他的各路军将。宇文泰深知自己如果想要和山东、南朝形成鼎力之势，除了整军务农之外，在文化上还要独树一帜，作为维系内部团结和抗衡外敌的精神支柱。
为此，宇文泰让谋臣苏绰、卢辩等人进一步祭起复古大旗，利用关中地区的文化背景，以周朝制度为正朔，想要压过山东和南朝。
宇文泰还模仿《周礼》建立了六官制度。六官制度就是指中央设立大宰冢（天官）、大司徒（地官）、大宗伯（春官）、大司马（夏官）、大司寇（秋官）和大司空（冬官）六位长官，分掌各类政务，由大宰冢总领，进而为宇文泰把持西魏朝政提供了强有力的制度保障。
但是宇文泰或许没有想到，周朝官制是建立在分封诸国的基础之上，这与宇文泰谋求中央集权的理念相违背，虽然宇文泰严防大权旁落，规定了六官制度仅适用于部分中央机构，但既然是制度就肯定会有连锁反应，不可能以人的意志为转移。因此宇文泰规定，凡是不利于宇文氏集团者，则根据需要杂行胡汉旧制，也就是《周书·卢辩传》提到的"于时虽行《周礼》，其内外众职，又兼用秦汉等官"。也就是说，宇文泰制定的六官制度是断章取义为现实政治服务的产物，史学四大家之一的陈寅恪先生评论北周六官制度是虚饰周官旧文以适鲜卑野俗，非驴非马，借用欺笼一时之人心。六官制度本质是出于权宜之计而东拼西凑的制度，实行不久就难以为继。大宰冢总揽大权这项规定造成了权臣专政的恶果，宇文护就是最好的例子。所以周武帝诛杀宇文护后，大宰冢这个官职就不再统领五府，其下属的御正大夫、纳言大夫以及大宗伯下属的内史大夫都直接听命于皇帝，这是六官制度的一个重要变化。
后来周宣帝设置大前疑、大右弼、大左辅和大后丞四个辅官，目的也是分散相权，使其互相制约。需要指出的是，这些变化都已经具有后来三省六部制的影子，只是还没有冲破六官体制的框架。宇文泰虽然是军功起家，但是北周政权建立后，当年那种军事立国的特定环境已发生变化，军政体制已经不再适用，更何况有了北齐制度作为参照，北周的官制更显得低级和不伦不类，所以被杨坚抛弃是历史发展的必然。
杨坚是从宇文护时代过来的人，对于六官制度的弊病有深刻的体会，因此改革六官制度就是杨坚建立隋朝后，必须要做的事情。杨坚参照北齐制度，同时吸收南北朝三省制的优点，加以整顿和精简，使其更加整齐规范，以适应新王朝的整体运转。
经过杨坚的一系列改革和调整，新的官制为三省六部制，其中尚书省是除了三省之外的朝廷行政机构，置尚书令一人，左、右仆射二人为正副长官。不过后来由于尚书令位高权重，对皇权容易形成掣肘，所以除了后来隋炀帝杨广在位时，杨素短暂担任过这一职务之外，隋唐两代尚书令这个职位都是虚设不实授，因此左右仆射就是尚书省的实际负责人，其中以左仆射为大，下设吏部、礼部、兵部、都官、度之和工部六个部门，每个部门设尚书一名，是本部门的负责人，左、右仆射和六部尚书统称为八座，共同构成尚书省的领导核心。
门下省主要掌管封驳，百官奏事或者颁布诏令必须经过门下省审核，不合乎规矩的可以驳回，因此门下省是皇帝、内史和尚书省之间承上启下的桥梁。门下省设纳言二人，给事黄门侍郎四人，为正、副长官，下设录事、通事令史各六人，杨坚将南北朝时期存在的掌管皇宫内侍工作的集书省并入门下省，等于门下省在隋朝也能统领城门、尚食、尚药、符玺、御府、殿内等六局，依旧担负内侍工作。
内史省（后改称中书省）主要负责制定诏令，设置监、令各一人，侍郎四人，为内史省的正、副长官。下设舍人八人，通事舍人十六人，分别掌管具体事务。
此外，还有秘书省主管国家经籍图书与天文历法;内侍省掌管宫内事务，与尚书、门下、内史并为五省，但具体负责国家行政事务的是三省六部。
值得一提的是，三省制实现了宰相制度的重大变革，三省的负责人在秦汉时代都是为皇帝服务的官员，曹魏时期尚书、中书省发展成为独立的机构，门下省大约也在西晋时成立。经过长期的发展演变，尚书省成为国家政务的执行机关，而中书、门下省则成为皇帝与大臣之间连接政务事宜的主要机构。到了南北朝时期，国家机器只有通过三省才能运转。
杨坚就是在上述这个基础上，对三省制加以完善和整合，宰相由三省长官共同担任，与之对应的则是废除三公府及其僚属，让三公变成荣誉官职，这样宰相就不再只是对皇帝负责的百官之首，而是中央最高部门的代表，领导机构宰相化完全取代秦汉以来的个人开府的宰相制，让"宰相"制度化，以防止个人专权局面的再次发生。
除了三省六部之外，皇帝还可以任命其他官员参与朝政，纵观隋朝一代的高层主政者，基本上都是由三省六部、军事部门负责人和皇帝任命的其他官员组成。
杨坚经过官制改革后，形成了国家管理体制在两个层次上的运转。国家政务的决策层，在皇帝的直接领导下，宰相班子成员共同商议决定国家的大政方针，由中书令草拟诏令，经过门下省审核，如果发现有不妥之处予以封驳，否则由皇帝最后批准后，交给尚书省分发所属部门施行。中书和门下两省位于宫中中华殿的东西两侧，宰相商议国家机密大事，当然应该在宫内，地点设在门下省。
唐朝建立后，将宰相商议大事的地方称为"政事堂"，日常议事一起办公，因此还出现过合并中书、门下职务的情况，可以说宰相集体决策的制度日趋完善。
当然，如果从所管辖的部门和事务来看，尚书省似乎权力最大，而且新王朝建立伊始百废待兴，皇帝很多时候日理万机，亲自过问各种事物，容易让人产生一种尚书省居于三省主导地位的错觉。
事实上，根据《隋书·礼仪》的记载，三省之中，中书和门下两省与皇帝的关系更加亲密。当创建国家体制工作告一段落时，随着日常事务逐渐走上正轨，中书和门下省的作用就越来越重要，而尚书省就不一定是宰相班子成员了。因此，杨坚改革宰相制度的根本原则，是尽量将决策与施政分离，使宰相成为一个决策群体，这也就决定了宰相是皇帝的辅臣，而且随着皇帝任命的其他官员参与朝政事务的机会越来越多，以及尚书省在决策层面中的作用逐渐降低，领导机构宰相决策的特点就更加清晰起来，更何况当时中书和门下官员依旧保留浓厚的皇帝侍从色彩，表明三省制仍处于进一步的完善过程中。
第二个是政务执行的层次清晰化，在大政方针决定后，便交给具体部门去执行，杨坚经过官制改革后，除了三省六部之外，还有太常、光禄、卫尉、宗正、太仆、大理、鸿胪、司农、太府九寺和都水台、国子寺、将作寺等。九寺并置卿、少卿各一人为主官，下辖各种专职行政部门，叫作"署"。
杨坚改革官制之前，三公主持政务，九卿在其领导下负责具体执行。改革之后新的宰相固然完全取代了过去的三公，但是行政机构依然庞大，甚至出现了尚书省和九寺并立的局面。对于怎样解决这个问题，意见并不统一，杨坚改革官制的注意力大部分集中在宰相制度上，无暇顾及机构并立的问题，随着时间的推移，就出现了分工不清的弊端。
问题的凸显引起了杨坚的注意，并着手进行解决。当时杨坚的指导思想是着重突出三省的作用，加强中央集权，于是并省诸寺的办法应运而生。
开皇三年（583年）四月，杨坚下诏首先废除了光禄寺和都水台，将这两个部门并入了司农，废卫尉并入太常尚书省，废鸿胪并入太常。但是裁撤机构不能从根本上解决问题，只能是将责任更加明确化，尽量将责任落实到一个部门，但分工问题却不能一下子解决，于是在开皇十二年（592年）又重新设置光禄、卫尉和鸿胪三寺，第二年都水台也恢复设置，一切又都恢复原状。综观杨坚在位时期，并没能很好地解决诸寺与六部之间分工不明确的问题。
不过以今日视角来看，杨坚改革官制之后实行的三省六部制，是一个承前启后的制度，不仅奠定了隋朝的运转基础，而且奠定了此后唐宋元明清各个朝代的中央政治体制的基本框架。虽然后来朱元璋废除了宰相制度，但其确立的辅臣制度依旧没有摆脱杨坚确立的这个框架，影响极其深远。
