北齐后主武平四年（公元573年）一月十一日，北齐后主下诏任命并省尚书令高阿那肱为录尚书事，总知外兵及内省机密，与侍中城阳王穆提婆、领军大将军昌黎王韩长鸾执掌朝政，被称为"三贵"，他们祸国殃民，坏事做尽。二月九日，后主又立右皇后穆舍利为皇后，至此，北齐朝廷中恩幸集团、胡人集团的力量得到了巩固，祖珽试图整顿朝纲的努力就此失败。

当时，恩幸集团主要是陆令萱和她的儿子穆提婆。穆舍利被立为皇后后，陆令萱以皇后养母的身份被进位号为陆太姬，视为第一品，位在长公主之上。陆令萱与儿子穆提婆权倾内外，他们贪得无厌，卖官鬻爵，生杀予夺，随意而为。在宫内，除胡太后外，其余人等都受陆令萱的指挥;在朝廷上，朝廷重臣都对穆提婆侧目而视。

所谓的胡人集团其实也属于广义上的恩幸集团，他们以高阿那肱和韩长鸾为代表。除了高阿那肱、穆提婆、韩长鸾三人之外，后主身边还有不少佞幸们，主要有宦官以及高欢时期的奴仆和后主身边的优伶。

后主身边的宦官们竞相说祖珽的坏话，祖珽遂日益受到后主的疏远。后主征求陆令萱的意见，狡猾的陆令萱却一直不置可否，后主连问三遍，陆令萱这才从床上下来，纳头叩拜，边拜边说∶"我这个老奴婢罪该万死!起初，我听说祖斑博学多才，自以为他是个好人，所以才向陛下举荐了他，谁知，现在看起来，此人是个大奸臣。知人知面不知心，人心难测，老奴婢该死!"后主听了，遂命令韩长鸾调查祖珽有什么违法乱纪之事。

韩长鸾素来厌恶祖珽，遂查出祖珽矫诏受到赏赐等十余件事，因后主曾与祖珽发过毒誓，绝不会杀了祖珽，遂下令免去祖珽的侍中、尚书仆射之职，贬为北徐州刺史。祖珽求见后主，韩长鸾却将他推出门外，祖珽赖在地上不走，韩长鸾命令武士们将他拖了出去。韩长鸾让他站在朝堂上，百般侮辱，狠狠斥责了一番。祖珽上路后，又将他召回，解除了他的开府仪同三司之职，剥夺了郡公爵位，只保留一个刺史之位。

祖珽被贬斥之后，北齐朝廷恢复正常的唯一的机会也随之丧失了，朝政日益混乱，武平四年（公元573年）五月二十八日，北齐朝廷任命领军将军穆提婆为尚书左仆射，侍中、中书监段孝言为尚书右仆射。

当时，皇家园林里需要树木、花草、奇石，勒令百姓、佛寺供奉，段孝言假公济私，弄了很多拉到自己家里。祖珽执政后，为了排挤赵彦深，遂将段孝言拉来，担任侍中、吏部尚书。段孝言任用的官吏，不是给他行贿的，就是他的老朋友。祖珽与陆令萱矛盾激化后，段孝言又依附于韩长鸾，一起诋毁祖珽。段孝言被提拔为尚书右仆射后，仍然主管吏部，更是肆意妄为。段孝言虽然奢侈好色，贪得无厌，但举止风流，整日与一帮名士混在一起，良辰美景，往往饮酒赋诗，附庸风雅，即使一些贫寒之士也多被他引为门客，受到他的资助。

兰陵王高长恭容貌俊美，而且作战非常勇敢，邙山大捷后，高长恭的威名甚盛，后主暗生猜忌之心。高长恭也意识到了，他接替段韶在汾北作战时，曾大肆聚敛财货，他的亲信尉相愿问道∶"大王受到国家的重托，岂能如此?"高长恭没有吭声。尉相愿接着说∶"莫非是因为邙山大捷，想自污吗?"高长恭回答∶"是的。"尉相愿说∶"朝廷素来猜忌大王，如果想除掉大王，即以此作为大王的罪行，这不是想避祸反而加速了灾祸的降临吗?"高长恭流下眼泪，跪着倾身问计，尉相愿回答∶"大王既然已经立下大功，如今又大获全胜，大王的威望太盛了。应当称病退休在家，不要再过问朝政了。"高长恭点头答应，却没有照办。

这一年南陈宣帝北伐时，高长恭深恐再次担任主将，他叹息道："我去年脸肿，今年为何不复发了!"从此，得病了也不治疗。五月，后主命令徐之范将其毒死。临死前，高长恭对妻子郑氏说："我对皇上忠心耿耿，对上天又做了什么坏事，竟然被毒死!"郑氏说∶"为何不去面见皇上?"高长恭说∶"皇上岂是随便就能见到的!"遂饮药而死。