兴平二年（公元195年）七月，汉献帝从长安宣平门（长安城东北面第一座城门）出城，正式踏上了艰难的东归之路。

就在汉献帝东归前后，沮授就向袁绍建议说∶"将军世代为朝廷重臣，如今皇上落难，宗庙毁坏，我看各地托名兴起义军，实际上相互残杀，没有一位真正去尊奉圣上、体恤百姓的。况且，我们冀州基本上已经恢复安定，应该将圣驾接来，定都邺城，挟天子以令诸侯，积聚兵马讨伐叛逆，谁能抵御!”袁绍听了，很高兴，将要听从。

但郭图、淳于琼反对说∶“汉室衰弱，已经多日，如今想要中兴汉室，岂不是太困难了吗！况且，当今英雄各霸一方，部众动辄上万，正所谓秦失其鹿，先得者称王。如果把天子接来，干什么事都需要报告，听从天子的话，大人自己就没有什么权势了，不从的话，又是在抗命，这不是一条好计策。”

沮授又说∶"如今接来皇上，这是最大的义，又极为符合当今的实际，如果不早一点决定，必定有人抢占先机。随机应变也不失时机，走向成功要果断迅速，将军速速决断!"但袁绍优柔寡断；没有采纳。

但《三国志》称，因汉献帝是董卓所立，袁绍一直与汉献帝之间有些隔阂，等到汉献帝来到河东以后，袁绍曾派郭图前去安邑拜见。郭图从安邑回来后，劝说袁绍将汉献帝接到邺城，但袁绍不从。两种说法虽然建议的人不同，但结果是相同的，即袁绍最终没有采纳。

兴平二年就这样过去了，转眼过了新年，大约是汉献帝为了庆幸自己脱离董卓集团的魔掌，在公元196年一月七日，还在安邑的他就下诏大赦天下，改元为建安元年，于是，历史正式步入我们十分熟悉的建安年间，这是汉献帝一生使用的第三个年号，一共使用了二十四年。随着建安年号的终结，东汉政权彻底被曹丕篡夺，很多叱咤风云的三国时期老一代人物也都谢幕了。

在安邑短短的一个多月里，河东诸将之间就产生了矛盾，谁也不听谁的，而且，粮食也吃尽了。董承、张杨还是坚持奉汉献帝回到洛阳，但杨奉、李乐不同意，双方之间矛盾逐渐加剧。建安元年（公元196年）二月，韩暹进攻董承，董承不得不从安邑逃往野王，依附张杨。韩暹驻扎在闻喜（今山西省闻喜县），胡才、杨奉来到坞乡（确址不详，一说在河南省偃师市南）。胡才想进攻韩暹，汉献帝命人制止了。

董承来到野王后，张杨命其率众前来洛阳，修缮宫室。太仆赵岐劝说刘表派兵来到洛阳，帮助董承，并从荆州送来了大批粮食。到了五月二日，汉献帝派人前往杨奉、李乐、韩暹的军营，请求他们发兵护送自己回到洛阳，杨奉等人表示同意。六月一日，汉献帝来到了闻喜。六月六日，杨奉、韩暹护送汉献帝东归，粮食不够，张杨又送来粮食，并派兵在路上迎候。七月一日，汉献帝回到阔别五年多的洛阳，他离开时年仅十岁，如今已经十六岁（虚岁）了。来到洛阳后，汉献帝暂住在中常侍赵忠的旧宅里。

七月十四日，汉献帝再次宣布大赦。八月八日，汉献帝住进南宫杨安殿。张杨以为汉献帝能回到洛阳，全是自己的功劳，因此，才将宫殿命名为杨安。张杨对诸将说∶“天子是全国人民的天子，朝廷之上自有公卿大臣们理政，张杨我自当在地方上为陛下构筑一道防御屏障，为何要留在京师?”遂又回到了野王。杨奉也率军离开洛阳，驻扎在梁（今河南省汝州市）。只有韩暹、董承率军驻扎在洛阳。八月十日，汉献帝拜张杨为大司马，杨奉为车骑将军，韩暹为大将军、领司隶校尉，均假节。当时，洛阳的情况非常艰苦，由于董卓将宫室、民居全部烧毁，百官只好披荆斩棘，在断壁残垣间搭起窝棚居住，全国各地州郡又没人送来粮食。朝廷群臣饥饿难耐，尚书郎以下的官员都需要出外采集野果、野菜，有的饿死，有的为士兵所杀。

自去年下半年曹操消灭雍丘（今河南省杞县）的张超以后，曹军趁机继续向西、向南推进。建安元年（公元196年）一月，在占领豫州的陈郡（今河南省淮阳县）之后，曹操又率军来到了武平（今河南省鹿邑县），袁术任命的陈相袁嗣投降。此时，曹操已经采纳了荀彧的建议，暂时没有去进攻徐州，而是蚕食兖州西部的豫州。这里在名义上属于袁术的地盘，但袁术在这里的力量又非常薄弱，因此，进攻豫州既得实惠，又能起到事半功倍的效果。

黄门侍郎丁冲（后来成为曹植一党的丁仪、丁廪之父）过去就与曹操关系很好，还是在去年年底的时候，当时张杨、董承为护送汉献帝回洛阳一事与河东诸将发生冲突，大约正是在这时，在汉献帝身边的丁冲产生了让兖州牧曹操率军前来迎驾的念头。接到书信后，曹操就决定派军西去，迎接汉献帝。于是，在建安元年一月，曹操就向安邑派出使者进贡，并命令曹洪率领一支人马西去迎接汉献帝，但当时，曹洪的军队被卫将军董承以及袁术的部将苌奴，扼守险要，挡住了去路。

汝南（今河南省平舆县）、颍川（今河南省许昌市）黄巾军何仪、刘辟、黄邵、何曼等人，各有数万部众，开始依附袁术，后来又响应孙坚。建安元年二月，曹操率军向西推进，将他们一一消灭，何仪率众投降。曹军遂集结在许（今河南省许昌市）一带，汉献帝拜曹操为建德将军。

汉献帝还在安邑时，原在张杨处的董昭来到了汉献帝身边，被拜为议郎，六月，当汉献帝开始向洛阳进发时，董昭见杨奉虽然兵马最多，却没有外援，遂替曹操给杨奉写了一封书信，在信中，董昭假借曹操的口吻说道∶ “我与将军相互仰慕，听到各自的名字就推心置腹。如今，将军排除万难，奉迎陛下返回旧京，辅佐之功，无与伦比，这是多么美好啊!如今，天下大乱，四海不宁，社稷事大，关键在于辅佐，需要引来众位贤才整顿朝纲，这件事的确不是一个人能完成的。既需要有心腹之人，又需要有外援，缺一不可。将军就是朝廷内的首脑，我就作为您的外援。如今，我这里有粮食，将军有兵马，你我互通有无，同心协力，生死与共。”

杨奉得到书信后非常高兴，对河东诸将说∶“兖州各军就在许（今河南省许昌市）附近，足食足兵，这是朝廷应当依靠的一支力量。”遂一起上奏推荐曹操为镇东将军，继承其父曹嵩的爵位，封费亭侯；晋升董昭为符节令。曹操在接到汉献帝的诏书后，连续写了三封奏表《上书让封》《上书让费亭侯》《谢袭费亭侯表》，前两封是辞让，最后一封是谢恩接受。在当时的情况下，曹操以如此谦恭的态度向刚刚回到洛阳的汉献帝以及掌握朝廷大权的河东诸将表示忠心，其目的就是争取汉献帝和河东诸将更大的信任。

建安元年（公元196年）八月十八日，汉献帝下诏任命曹操为兼任司隶校尉、录尚书事。

当时，除了那些个没有实权的三公之外，朝廷上最大的官依次是∶大司马张杨、车骑将军杨奉、大将军韩暹、卫将军董承。一到洛阳，曹操就采取拉拢杨奉、董承，打击张杨、韩暹的策略，紧锣密鼓地开始了一系列的清洗行动。他上奏汉献帝要求追究韩暹、张杨的罪过，韩暹害怕被杀，遂单人匹马投奔了杨奉。汉献帝因韩暹、杨奉有护驾之功，下诏不予追究。赶跑了韩暹，曹操又建议汉献帝下诏晋封卫将军董承、辅国将军伏完等十余人为列侯，追赠死去的射声校尉沮儒为弘农太守。又诛杀了尚书冯硕等三人。

曹操把董昭请来，问道∶“如今我来到此地，下一步该怎么办?”董昭回答∶“将军兴起义兵清除暴乱，入朝天子，辅佐王室，这是春秋五霸曾建立的功勋。此地的诸将人心各异，未必会服从大人，大人如果留在洛阳辅佐，将非常不便，只有迁都许这一个办法。可是，朝廷颠沛流离，刚刚回到旧京，各地百姓都指望着能够就此安定下来，如今再次迁移圣驾，大家确实不愿意。做非同寻常之事，才能建立非同寻常的功勋，希望将军能舍小就大。”

曹操说∶“这是我的本意。杨奉就在梁，我听说他的军队非常精锐，会不会给我添麻烦”

董昭回答∶“杨奉没有外援，会结好将军的。给将军进封为镇东将军、封费亭侯，都是杨奉决定的，应该及时派人送给他厚礼答谢，并说∶ '京师没有粮食，打算暂时护送陛下前往鲁阳（今河南省鲁阳县），鲁阳靠近许，运送粮食稍稍便利一些，就不会出现乏粮了。’杨奉为人骁勇少谋，肯定不会生疑，使者往返期间，洛阳这里也都安排妥当了。杨奉岂能添什么麻烦!”

曹操说∶“太好了!”遂派人前往杨奉那里通报情况。

八月二十七日，曹操率军护送汉献帝离开洛阳，但没有折向南，而是越过缳辕（今河南省偃师市与登封市交界处，位于太室山与少室山之间），一路东来，回到了许。来到许后，曹操宣布定都这里。汉献帝进驻曹操的军营，任命曹操为大将军，封武平侯，并在许设立宗庙社稷。张璠《汉纪》称，侍中、太史令王立对宗正刘艾说∶“前不久，太白守天关，与荧惑会；金火交会，革命之象。汉祚结束了，晋、魏必有兴起之人。”王立后来多次对汉献帝说∶“天命有来有去，五行都不会长久兴盛，取代火德的是土德，接替汉室的是魏国，能安定天下的是姓曹之人，请把国事全部委托给曹操即可。”曹操听后，让人给王立说∶“我知道你忠于朝廷，不过，天道幽远，希望不要多说了。”九月，在曹操的授意下，汉献帝下令罢免了司徒淳于嘉、太尉杨彪、司空张喜三位重臣。

曹操采取欺骗手段将汉献帝弄到了许县，这让杨奉非常不满，当他得知汉献帝一行并没有南下鲁阳，而是向许县进发，遂率军前来截击，却没有截住。杨奉所部粮食短缺，十月，遂与韩暹等人率军南下，到定陵（今河南省舞阳县北）抢掠粮食，曹操得知后，暗中派军西进，一举端掉了杨奉在梁（今河南省汝州市）的大本营。失去根据地的杨奉、韩暹只好逃往寿春，投降袁术去了，其后，二人在徐州、扬州之间活动。

汉献帝定都许县后，即下诏斥责袁绍∶“地广兵多，却一味树立私党，没有听说你派来勤王之师，只是擅自相互讨伐。”汉献帝对袁绍的斥责，是长期以来汉献帝对袁绍不满的集中发泄，对曹操而言也起到贬低袁绍个人形象的目的。袁绍接到汉献帝的诏书后，赶忙上书替自己的行为辩解。袁绍在信中把自己标榜成一位一直心向王室的忠臣，许县朝廷也不愿与其翻脸，十月，汉献帝任命袁绍为太尉，封邺侯。

建安元年（公元196年）十一月二十五日，汉献帝任命曹操为司空，行车骑将军事， “百官总己以听”。与袁绍的张杨不同，曹操在此期间又分别上书汉献帝《辞让增封武平侯》《上书让增封》《让还司空印绶表》等，以表示自己的谦卑。

此年，曹操四十二岁。