当初，宰相高颎的夫人去世，独孤皇后建议隋文帝杨坚说：“高仆射老矣，而丧夫人，陛下何能不为之娶！”
意思是，高颎晚年丧妻，没个照顾的人可不行，陛下怎能不为他娶妻。
隋文帝认为是这个道理，便将独孤皇后的话转述给高颎，想听听当事人的意见，毕竟，万一赐婚下去，高颎不愿意，那就变成了好心办坏事。
果不其然，高颎毫不犹豫拒绝了，可不久后，高颎的爱妾就为他生了一个男孩。
消息传到宫中后，隋文帝倒是很高兴，可独孤皇后却不开心，她对隋文帝说高颎此人不可信任，那么，独孤皇后为何这样说呢？
一、高颎心存爱妾先来看看高颎拒绝娶妻的理由，高颎对隋文帝说：“臣今已老，退朝之后，唯斋居读佛经而已。虽陛下垂哀之深，至于纳室，非臣所愿。”
高颎的意思不难理解，他认为自己年纪大了，除了上朝办公之外，回到家的爱好也只是读读佛经而已，根本没有续娶继室的想法。
这也是人之常情，毕竟年纪已经到了五六十岁，对续娶之事不感兴趣也能说得过去，隋文帝知道高颎的想法后也就没再坚持。
问题出就出在，没过多久，高颎的小妾又给他生了一个儿子，这让独孤皇后很不高兴，她认为高颎之所以不愿意娶妻不是因为不想娶，而是因为高颎“心存爱妾”。
独孤皇后告诉隋文帝：“始陛下欲为颎娶，颎心存爱妾，面欺陛下。今其诈已见，陛下安得信之！”
意思是，高颎欺君，陛下不能再信任他！
这根本说不通，高颎欺君了吗？并没有，高颎说不娶妻就不娶妻，只不过是小妾给他生了个儿子而已，两件事毫无关联，怎么就能算欺君呢？
但独孤皇后不管那么多，她认为高颎不想娶妻是假，顾着爱妾是真，这就是欺君。
实际上，独孤皇后这么说，和她自身对婚姻的看法有很大关系，按照当时的时代背景，独孤皇后自己妒忌心强，在得到隋文帝“无异生之子”的誓言后，也看不惯大臣与小妾生子。
所以，高颎在拒绝娶妻后，转头就让小妾生了个儿子的行为，让独孤皇后很看不惯。
二、高颎的罪过独孤皇后另一个原因是，高颎曾经得罪过独孤皇后。
独孤皇后不想隋文帝宠幸其他女人，但隋文帝贵为皇帝，虽说为了爱妻六宫虚设，但有几个妃子也很合理吧，于是隋文帝就忍不住了。
有次，隋文帝在仁寿宫遇到了尉迟迥的孙女，想当初周宣帝死后，隋文帝矫诏辅政，结果引发三总管起兵，其中实力最强的尉迟迥差点导致他大业失败。
见到昔日仇敌的孙女，隋文帝心中充满了征服者的豪情，再加上尉迟氏容颜靓丽，身姿妖娆，隋文帝一时没忍住临幸了她。
独孤皇后知道后，心中无比气愤，趁着隋文帝上朝的机会，直接下令将尉迟氏处死。
下朝后得知消息的隋文帝羞愤交加，但他又不忍对独孤皇后发火，一怒之下，隋文帝竟然一个人骑着马跑出了宫外，在山谷间纵马跑了二十多里。
高颎、杨素等人随后追赶，抓住隋文帝的马缰苦谏，隋文帝叹息说：“吾贵为天子，不得自由！”
高颎赶紧回了一句：“陛下岂以一妇人而轻天下！”
这句话所体现出来的价值观，是当时的主流，即：皇上怎么能因为一个妇女而轻易地丢开天下呢！
这句话也起到了效果，隋文帝的情绪有所缓解，但他仍骑在马上久久未动，直到半夜才返回宫中。
独孤皇后早在宫中等候，见隋文帝安全归来，就边哭边叩头赔礼，高颎、杨素也在一旁调解说和，最终隋文帝与独孤皇后才和好如初。
不过，这却给高颎埋下了祸根，他那句话被独孤皇后知道后，独孤皇后对高颎生了怨恨之心。
三、不支持废太子，终被罢官可以说，隋文帝与高颎君臣之间的关系恶化，与独孤皇后从中挑拨脱不了干系，但高颎旗帜鲜明地支持太子杨勇，也是令隋文帝夫妇厌恶他的主要原因之一。
当初，太子杨勇失去了隋文帝夫妇的欢心，高颎不是不知道这一点，但他只能支持杨勇，因为他的女儿嫁给了杨勇做妾室。
隋文帝为何不喜欢杨勇了呢？因为杨勇喜奢华、讲牌面，某些行为触及到了隋文帝的底线。
独孤皇后为何不喜欢杨勇呢？因为杨勇爱女色，与爱“伪装”的晋王杨广形成了鲜明对比，而且，独孤皇后还怀疑杨勇宠妾灭妻，这是她最痛恨的事情。
隋文帝想要废除太子杨勇，但这不是小事，要得到朝廷重臣的支持，于是隋文帝有一次就故意试探高颎的态度说：“晋王妃有神凭之，言王必有天下，若之何？”
意思是，有神灵告诉晋王妃，晋王杨广必定统治天下，你看怎么办？
高颎闻言立刻跪倒在地，回答隋文帝说：“长幼有序，其可废乎！”
这时候了，高颎还在拿长幼有序这一套劝谏隋文帝，隋文帝夫妇由此也明白，高颎坚定站在太子杨勇这一边。
于是，独孤皇后想方设法离间隋文帝与高颎这对君臣之间的关系，说高颎欺君就是出于这样的目的。
此后，隋文帝渐渐疏远了高颎，后来上柱国王世积因罪下狱，审讯期间牵连到高颎，说他从高颎那里听到了宫闱之中的事情，隋文帝大怒之下就免去了高颎的官职。
