北魏分裂后，进入关中的孝武帝为了拉拢宇文泰，进入长安的当月即答应将自己的妹妹冯翊公主嫁给他。于是，时年二十八岁的宇文泰也由此成为二十五岁的孝武帝元修的妹夫，被拜为驸马都尉。九月，宇文泰率军进攻潼关，并攻克了华州，关上了东魏军队西进的大门。高欢迁都之后，宇文泰腾出手来，派遣仪同三司李虎、李弼、赵贵率军北上，解决灵州的曹泥。到第二年年初，李虎等人招降了费也头部众，一起进攻灵州，经过四十天的围困、曹泥终于投降了。

而就在宇文泰全力解决曹泥这一心腹之患的同时，他与孝武帝的关系却陡然恶化了起来。孝武帝宠爱自己的三个堂妹∶南阳王元宝炬的妹妹平原公主元明月、清河王元亶的妹妹安德公主，还有一个名叫元蒺藜的公主。但在孝武帝入关时，仓促之间只带上了最心爱的堂妹元明月一人，元蒺藜羞愤之余竟上吊自杀。孝武帝与自己堂妹之间的乱伦关系，让宇文泰感到很不舒服，他命令宗室诸王将元明月抓来杀死。宇文泰此举让孝武帝勃然大怒，从此他与宇文泰势不两立，君臣之间再无和好的可能。

永熙三年闰十二月十五日，嵩山道士潘弥上奏说∶"今日千万要谨慎，当有急兵。"孝武帝整整一天都是提心吊胆的。好不容易挨到夜里，他在逍遥园宴请阿至罗酋长，宴会上，他对侍臣说:"此处就像是洛阳的华林园，使人增添一份悲戚之感。"他命人牵来自己常骑的波斯骆马，让南阳王元宝炬骑乘，元宝炬的脚刚跨入马鞍，那匹宝马却突然倒地而死，孝武帝心里陡然升起一种不祥之兆。阿至罗国即高车国，是在孝文帝时期从柔然中分裂出来的阿伏至罗和弟弟穷期在今新疆维吾尔自治区准噶尔盆地建立的政权，后在中亚嘱哒国的打击下，一部分部众归顺了北魏，被安置在高平镇一带。北魏宣武帝时期，阿至罗国王伊匐趁柔然内乱，击破柔然，占据了柔然王庭。数年后，在北魏扶持下，柔然阿那瑰又收复失地，永熙二年，在高欢执政时，阿至罗十万户请求归顺北魏。此时，孝武帝宴请阿至罗酋长显然是想利用他们，帮助自己对付宇文泰。

这场饮宴一直持续到夜晚。宴会结束后，孝武帝起驾回宫，行至皇宫后门时，孝武帝的坐骑突然受惊，不肯进门，鞭打后才勉强进宫。入宫后，孝武帝对潘弥说∶"今日万幸，没有发生意外吧?"潘弥回答∶"只有经过半夜以后，才算大吉了。"不一会儿，孝武帝命人拿酒来喝，谁知，侍从送上的是毒酒、孝武帝喝下后当即就被毒死了，终年二十五岁。

孝武帝来到长安不足半年就被宇文泰毒死，这当然是出乎他的预料。宣武帝、孝明帝年间，民谣称∶ "狐非狐，貉非貉，焦梨狗子啮断索。"黑獭俗称焦梨狗子，指宇文泰;索，因拓跋鲜卑编发，故南方人称之为索虏，指北魏。人们都说，孝武帝的死应验了这句民谚。

从宇文泰果断毒死孝武帝这一点来看，在狠毒方面他比高欢有过之而无不及。孝武帝死后，宇文泰召集群臣商议继任人选。宇文泰的亲信们大多推举孝武帝的侄儿广平王元赞，侍中濮阳王元顺在内室中哭着对宇文泰说∶"高欢驱逐了先帝，册立幼主，独揽大权，大人行事应当与他相反。广平王年幼无知，不如册立年长之君。"元顺是拓跋珪的堂弟常山王拓跋遵的曾孙。宇文泰听从了，决定拥立孝武帝的堂兄、时年二十八岁的太宰元宝炬为帝。

东魏天平二年一月一日，宇文泰拥立时年二十九岁的元宝炬为帝，即西魏文帝，大赦，改元大统。以丞相宇文泰为都督中外诸军事、录尚书事、大行台，改封安定郡王，宇文泰坚决推辞王爵及录尚书事，遂封为安定公。以尚书令斛斯椿为太保，广平王元赞为司徒。

当高欢迅速解决了刘蠡升、樊子鹄之时，也就是永熙三年年底和大统元年年初，宇文泰也快刀斩乱麻，完成了毒杀孝武帝元修、拥立魏文帝元宝炬、逼降曹泥、夺占潼关等一系列大事，地位更加稳固，这让渭州（治所甘肃省陇西县）刺史可朱浑道元非常不安。

当初，可朱浑道元依附侯莫陈悦，侯莫陈悦死后，宇文泰进攻渭州，无法得手，遂与可朱浑道元结盟而退。可朱浑道元世代居住在怀朔镇，与高欢私交很好，并且他的母亲、哥哥也都留在邺城，因此，经常与高欢保持着通信联系。宇文泰一直想拔掉这个隐患，可朱浑道元得知后，遂率领三千户部众向西北转移，他们度过乌兰津（甘肃省平凉市西北），逃到了灵州（治所宁夏回族自治区灵武县）。

可朱浑道元与灵州刺史曹泥的女婿刘丰结下了深厚情谊，他盛赞高欢雄才大略，刘丰就暗下归顺高欢之心，遂把他们护送到云州（治所内蒙古自治区和林格尔县）。高欢听说后，命令平阳太守高嵩赏赐可朱浑道元一枚金手镯，并送去粮食辎重，派人迎接他们南下，可朱浑道元回到晋阳后，被高欢拜为车骑大将军。可朱浑道元来到晋阳后，高欢才得知孝武帝的死讯，请求为孝武帝服丧。

高欢当然不愿看到潼关再次落入宇文泰之手，就在这一年（东魏天平二年、西魏大统元年，公元535年）一月，他就命令东魏大行台尚书司马子如率领大都督窦泰、泰州刺史韩轨等人一起发动反攻，企图再夺回潼关。西魏丞相宇文泰驻军霸上（陕西省西安市东）。司马子如、韩轨等人率部回到河东，趁夜偷偷从蒲津西渡黄河，直接进攻华州（治所陕西省大荔县）。当时，华州修城尚未完工，云梯都还放在城外，天色蒙蒙亮，东魏军队爬上云梯，登上了城墙。西魏华州刺史王罴毫无觉察，还正在酣睡，突然，屋外人声鼎沸，把王黑吵醒，王罴从床上一跃而起，披头散发，赤裸身体，光着双脚，手持木棒，高呼着冲出房门。东魏军队见状，吃了一惊，逐渐往城东门退去。王罴一直追到东门，这时，身边的将士们逐渐聚集了起来，双方交战，将东魏军击败，司马子如等人只好退去。

不久，宇文泰又发现了一位人才——苏绰。苏绰是武功苏氏，他的堂兄就是那位劝阻萧宝寅叛乱的行台郎中苏湛。苏湛兄弟三人，哥哥苏亮、弟弟苏让，堂弟苏绰、苏椿。苏家兄弟们当时在关中地区非常出名，苏亮的文章比苏绰写得好、但苏绰的实际工作能力又比苏亮高了一筹，被人并称为"二苏"。苏绰年少好学，博览群书，尤其精通算术。他的堂兄苏让担任汾州（治所山西省吉县）刺史，宇文泰到长安城外送别，临别，问他∶"你们家的子弟中，谁能为官?"苏让推荐了苏绰，宇文泰遂任命苏绰为行台郎中。苏绰当了一年多的行台郎中，并未被宇文泰发现，但行台各部门日常遇到的疑难问题，都要参考苏绰的意见才能做出决定;公文的样式也是苏绰定的。

一次，宇文泰与西魏公卿大臣们一起去昆明池赏鱼，走到西汉的仓池，宇文泰询问身边的人这是什么地方，无人知道。有人说∶“苏绰学识渊博，请问问他。”宇文泰遂召来苏绰，苏绰回答得一清二楚。宇文泰大喜，又询问天地开辟及历代兴亡之事，苏绰口齿伶俐，对答如流。宇文泰听了更加赞赏，遂与苏绰二人并马徐行，到了昆明池，宇文泰竟忘了此行的目的，没有架设渔网就与苏绰又回来了。宇文泰将苏绰留在家中，询问治国之道。开始，宇文泰是躺着听，苏绰将帝王之道娓道来，并说出申不害和韩非子管理国家的办法。听着听着，宇文泰不由自主地整理衣冠，正襟危坐，双膝靠近苏绰，二人一直谈论到第二天凌晨，意犹未尽。

当天，宇文泰即拜苏绰为大行台左丞，参与军国机密，深得宇文泰的宠信。苏绰创立了西魏政府公文制作流程，规定支出用红色、收入用黑色书写的记账方法，继而，又演变成朝廷向外发布的文书用红色标头书写、下级向朝廷请示汇报的文书用黑色标头书写，这也成为沿用至今的红头文件的由来，他还规定了会计以及整理户籍的办法，后世大多效仿他的方法。苏绰的儿子苏威是隋朝时期的一位重臣。