周宣帝死后，杨坚掌握了朝廷的大权。然而，杨坚深知，虽然控制了朝廷，但分散在各地的地方大员未必会买自己的账。除了将五王骗回京师外，他还想到了威望很高的相州总管尉迟迥。

他派遣尉迟迥的侄儿、魏安公尉迟惇携带皇帝诏书前往相州，征召尉迟迥人朝参加宣帝的葬礼。五月二十八日，杨坚以皇帝的名义任命上柱国韦孝宽为相州总管，又以小司徒叱列长叉为相州刺史，先命其前往邺城上任，韦孝宽随后进发。

接替尉迟迥担任相州总管的韦孝宽行至朝歌（今河南省淇县），尉迟迥派遣大都督贺兰贵携带书信问候韦孝宽。韦孝宽在与贺兰贵的谈话中，发现尉迟迥形迹可疑，遂谎称得病，缓缓前行，又派人前往邺城寻医问药，暗中侦察城内的动静。韦孝宽的侄儿韦艺时任魏郡（治所也在邺城城内）太守，是尉迟迥的死党，尉迟迥遂派他前来迎接韦孝宽。韦孝宽询问韦艺尉迟迥葫芦里究章卖的什么药，但韦艺没有吐露实情。韦孝宽大怒，当即下令随从要杀了韦艺，韦艺只好将尉迟迥的计划和盘托出。得知尉迟迥将要举兵的实情后，韦孝宽立即与韦艺一起西去。

杨坚又命令候正（侦查官）破六韩哀前往邺城，劝说尉迟迥，并暗中给相州总管府长史晋昶等人写信，命他们暗中防备。尉迟迥得到密报后，遂诛杀了晋昶和破六韩哀等人，然后，他召集文武官员和邺城军民，自称大总管，代行皇帝职权，组成临时政府。当时，赵王宇文招已经进京，尉迟迥遂迎立宇文招的小儿子为皇帝，以其名义发号施令。

青州总管尉迟勤是尉迟迥的侄儿，他刚接到尉迟迥书信时，还把书信转呈了朝廷，但不久，就又服从了尉迟迥。尉迟迥统辖下的相州、卫州、黎州、洺州、贝州、赵州、冀州、瀛州、沧州以及尉迟勤统辖的青州、齐州、胶州、光州、莒州等地全部叛乱，有数十万军队。除此之外，荥州刺史邵公胄、申州刺史李惠、东楚州刺史费也利进、潼州刺史曹孝远、徐州总管司录席毗罗占据兖州、前东平郡守毕义绪占据兰陵，均响应尉迟迥。怀县永桥镇将纥豆陵惠也举城投降了尉迟迥。

尉迟迥派人劝诱大左辅、并州刺史李穆，李穆逮捕了他的使者，将书信原封不动送交朝廷。李穆的儿子李士荣认为父亲统辖之地地势险要，且统领天下精兵，暗中劝李穆响应尉迟迥，但李穆不从，不过，李穆也是心存观望。杨坚派内史大夫柳裘来到并州，给李穆分析利害关系，又将李穆在朝中担任左侍上十的另个儿子李士浑回到并州，转达自己愿与李穆深交的诚心。

李穆的侄儿李崇时任怀州刺史，原本有归顺尉迟迥之心，当他得知李穆已经投靠了杨坚，不得已也归顺了杨坚。尉迟迥劝诱徐州总管源雄、东郡太守于仲文，但二人均不从命。尉迟迥还命人北上，与高宝宁联络，并通过高宝宁联系突厥、希望能得到突厥的帮助;他还与南陈联系，答应将淮南之地割给南陈，以换取南陈的支持。

六月十日，杨坚调集关中军队，任命韦孝宽为行军元帅，颇公梁土彦、乐安公元谐、化政公宇文忻、濮阳公宇文述、武乡公崔弘度、清河公杨素、陇西公李询等人均为行军总管，东出讨伐尉迟迥。与此同时，尉迟迥命令大将军石逊进攻建州，建州刺史宇文弁投降;派遣西道行台韩长业进攻潞州，活捉了潞州刺史赵威，任命当地人郭子胜为刺史。投降尉迟迥的原永桥镇将纥豆陵惠率军袭占了巨鹿，并趁势北上进攻恒州。上大将军宇文威进攻汴州;莒州刺史乌丸尼等率领青州、齐州的军队包围了沂州;大将军檀让攻克了曹州、毫州，驻扎在梁郡。席毗罗的军队号称有八万之众，驻扎在蕃城，攻陷了昌虑、下邑二地。李惠从申州率军进攻永州，一举将其攻克。

尉迟迥的儿子尉迟谊担任朔州刺史，李穆投靠杨坚后，即发兵北上将其抓获，送交了长安;同时，他还派兵进攻刚刚被尉迟迥任命为潞州刺中的郭子胜，也将其擒获。李穆稳居山西，不仅堵住了尉迟迥进攻山西的通道，而且也让其无法放心大胆地继续西进。于是，在尉迟迥得知徐州总管源雄、东郡太守于仲文不降的消息后，他决定派宇文胄从石济渡过黄河，宇文威从白马渡过黄河，两路夹击于仲文。于仲文弃城西逃，尉迟迥诛杀了他的妻子儿女。尉迟迥又命令檀让抢夺黄河以南的各个城池，杨坚任命于仲文为河南道行军总管，命其调派洛阳的驻军前去讨伐檀让，又命令杨素率军进攻宇文胄。

除了河北、山东、河南北部响应尉迟迥之外，郧州总管司马消难也起兵响应尉迟迥，七月二十六日，杨坚任命柱国王谊为行军元帅，前去讨伐司马消难;益州总管王谦也拒绝听从杨坚，率领益州军队进攻始州，杨坚任命梁叡为益州总管。梁叡来到汉川，无法前进，杨坚遂任命其为行军元帅前去讨伐王谦。

此时，北周境内一片大乱∶以长安为基点，东北（尉迟迥）、东南（司马消难）、西南（王谦），另外，豫州（今河南省汝南县）、荆州（今河南省邓州市）、襄州（今湖北省襄阳市）三地的山蛮也趁机发动叛乱，攻破郡县。

尉迟迥派遣儿子尉迟惇率领八万步骑驻扎在武陟，七月，韦孝宽率领的朝廷军队也来到了河阳，尉迟迥任命的仪同薛公礼等人包围了怀州，韦孝宽派兵将叛军击退。但此后，众将迟疑，就不肯先行了。

与此同时，周军又继续向前推进到永桥城。众将均请求攻下此城，韦孝宽反对道∶"永桥城城池虽小，但十分坚固，如果攻不下来，会挫伤我军的锐气。如今，只要我们击破他的大军，他们还能有什么作为!"于是，韦孝宽置永桥城于不顾，直接率军推进到武陟，安营扎寨。恰巧，当时沁水河水暴涨，韦孝宽的军队与尉迟惇的军队隔河相持。

高颖来到军中后，李询与他同心协力，维护大军的稳定。李询还多次劝说弟弟李崇，李崇这才死心塌地归顺了朝廷方面。虽说李询曾密报宇文忻也接受了尉迟迥的贿赂，但宇文忻与杨坚私交甚深，高颖到后，也将他引为心腹，部队的重大行动只与他一人商量、定夺，高颖的到来，统一了朝廷军队的步调，稳定了军心，避免了朝廷军队在大战之前就自行崩溃的危险。

高颖命令朝廷军队在沁水之上架设浮桥，准备渡河与叛军决一死战。尉迟惇命令叛军在沁水上游放下火船，试图烧毁浮桥，但朝廷部队在水中构筑了"土狗"，尉迟惇的计谋没有得逞。尉迟惇见状，遂命令部队稍稍向后退却，打算趁朝廷军队渡过一半后再给予致命一击。可是，对岸的韦孝宽见敌军退后，立即下令擂鼓，全军很快就渡过了沁水。过河后，高颖又下令烧毁了浮桥，将军队置于死地，断了士兵们后撤的念头，接着，朝廷军队就向叛军发起了进攻，叛军大败。朝廷军队乘胜追击，尉迟迥又派遣三千精锐骑兵，提前埋伏在野马冈（今河南省安阳市北三十三里），企图伏击朝廷军队。宇文忻率领五百骑兵前去偷袭，将这三千叛军几乎斩杀殆尽。朝廷军队又追杀到草桥（今地不详），再次大破叛军，尉迟惇单人匹马狼狈东逃。

韦孝宽遂率领大军进抵邺城城下，驻扎在西门豹祠的南面。

八月十七日，尉迟迥以及两个儿子尉迟惇、尉迟祐率领邺城十三万军队，在城南排下阵势，尉迟迥亲自率领一万头裹绿头巾、身穿锦袄的精兵，号称"黄龙兵"；尉迟迥的弟弟尉迟勤也率领五万青州军队，奔赴邺城支援，已有三千骑兵抵达了战场。尉迟迥是一位久经沙场的老将，虽然他年事已高，但依然身披铠甲，亲临战场，他手下的军队都是来自关中的子弟兵，都愿意为他死战，邺城有数万百姓在一旁观战。

双方激战中，叛军逐渐占据了上风，朝廷军队开始向后退却。就在这千钧一发之际，宇文忻说∶"情况不妙了!看我用上诡计破他!"于是，他下令所部向一旁观战的百姓射箭，顿时，数万百姓纷纷逃走，相互践踏，哭喊声惊天动地。宇文忻遂命令部下相互转告∶"敌人败了!"不明真相的双方将士都信以为真，朝廷军队军心大振，趁着叛军晕头转向之际，又发起了猛烈的反攻，叛军大败，尉迟迥等人退入了邺城。韦孝宽遂命令军队将邺城团团包围，并马上就组织了攻城战。李询、贺娄子干（后为隋朝名将）率先登上了邺城城墙，朝廷军队遂攻克了邺城。

邺城城破后，贺娄子干与崔弘度一起追赶尉迟迥，尉迟迥狼狈逃到碉楼之上。崔弘度的妹妹嫁给了尉迟迥的儿子，崔弘度从斜坡上径直冲上碉楼，尉迟迥拉满强弓，就要朝崔弘度射来。崔弘度赶忙脱下头盔，对尉迟迥说∶"你还认识我吗?今日我们各为其主，就不能再存私心了，但我会顾及亲情，约束部队凌辱你的家人。事已至此，请你早早了断，你还等什么呢!"尉迟迥自知无力回天，遂将弓箭摔到地上，对杨坚破口大骂，然后自杀而死。崔弘度对弟弟崔弘升说∶"你去割下他的脑袋。"崔弘升上前斩杀了尉迟迥。韦孝宽下令将邺城小城内负隅顽抗的叛军士兵们全部活埋。

尉迟勤、尉迟惇、尉迟祐三人向东逃往青州。途中，就被开府仪同大将军郭衍追上擒获。杨坚认为尉迟勤起初并没有参与叛乱，特意赦免了他;申州（今河南省信阳市）刺史李惠在尉迟迥失败前就向朝廷投降，杨坚也恢复了他的官爵。