靖康之变后，宋徽宗和钦宗父子沦为阶下囚之后，金人决定把他们押往燕京，也就是现在的北京。宋徽宗、郑皇后等人这一行是由斡离不押送的，走的是河北路去燕京。钦宗、朱皇后以及大臣孙傅、张叔夜等人这一行则是由完颜宗翰押送，走的是河东路去燕京。
靖康二年三月二十九日，宋徽宗坐着牛车，先去刘家寺拜见斡离不，接着就被押着往北走，从这时候起，他开始了长达八年的囚徒生活。
路过浚州（在河南浚县东边）的时候，金人不让老百姓靠近，只允许卖吃的小商贩靠近。小商贩们可怜宋徽宗变成了囚犯，送给他一些炊饼、小菜之类的食物，也不要钱就走了。
过了浚州以后，走的地方都很荒凉，有时候连着走十来天，也看不到村子和房屋，晚上就睡在荆棘草丛里，那日子苦得没法说。就算碰上大雨，也得在泥水里走，路上经常车坏牛死，人要是走得慢一点，就会被金兵给杀了。
一路上吃的东西很少，宋徽宗夫妇只分到了一只羊、一斗粟，其他人的食物更少，宋徽宗没办法只好沿途采桑葚来填肚子。宋徽宗的异母弟弟燕王赵侯，因为没东西吃饿死了，尸体放在马槽里，双脚还露在外面，金人就让在当地烧掉。一路上有很多人因为又饿又冷死了。
五月十八日，经过长途跋涉五十天之后，宋徽宗这一行才到了燕京。随行的官员一路上受尽了颠沛流离的苦，到燕京的时候有一半都病倒了。
到了燕京，宋徽宗才知道，金人自从侵犯宋朝以来，已经掳走了宋朝好几万的男女。有手艺的还能活下去，那些没什么本事的富家子弟，大多都变成了奴隶，做饭放马，天天挨打，死在外地的人有很多。
妇女的情况更惨，不少人因为生活所迫，把自己卖到青楼，变成了风尘女子。只有不要什么名分才能活下去，要不然就算是饿死在荒郊野外，也没人管。
宋徽宗到了燕京之后，住在延寿寺。
七月十日，钦宗一行也被押到了燕京，住在愍忠寺。
经过一番商量，金人才让他们父子相见，同样都是囚犯，在异乡相见，真的是流泪眼观流泪眼，断肠人看断肠人了。
宋徽宗原本以为到了燕京，生活能稍微安稳点，不会再有到处流浪的苦了。哪知道到了九月，金人害怕宋兵趁机攻打燕京，抢走宋徽宗和钦宗父子，这样一来，金人就没了跟宋人讨价还价的资本，于是就把他们父子迁到中京（在内蒙宁城西大明城）。
宋徽宗、钦宗一行从九月十三日出发，十月十八日到了中京，住在原来契丹相国的房子里，这里又荒凉又破烂，早就没有当年那种热闹的景象了。
半年之后，也就是建炎二年（1128 年）七月，有传闻说河北的义军打算攻陷河北归宋，宋徽宗、钦宗二人本来就在被关押着，根本不知道这些事，金人却怀疑他们参与了，决定把他们迁往上京（内蒙巴林左旗驻地林东镇东南）。
可怜他们刚刚安定下来，又得搬家了。中京、上京虽然都在今天的内蒙境内，但是那时候交通不方便，宋徽宗和钦宗父子在八月二十一日才到上京。
过了两天，金太宗完颜晟决定让他们去朝见祖庙，实际上就是举行献俘的仪式，用来羞辱宋朝的君臣。
金兵逼着宋徽宗、钦宗父子脱掉袍子，其他人脱掉上衣，身上披着羊皮袄，腰上系着毡条，进庙去行牵羊礼。在一片胡人的音乐声中，金太宗亲自杀了两只羊供奉到殿里，然后逼着宋徽宗父子进御寨，在乾元殿拜见自己。
金国太后和皇后大臣等人骑着马前面走，后面是五面白旗，上面分别写着“俘宋二帝”、“俘宋二后”、“俘叛奴赵构母妻”、“俘宋诸王驸马”、“俘宋两宫眷属”这些字。
宋朝的俘虏都穿着金人的装扮，宋朝的皇帝、皇后都包着头、穿着百姓的衣服，外面套着羊皮袄，其他人都光着上身，披着羊皮袄，跪着听金人下诏书。
金太宗封宋徽宗为昏德公、钦宗为昏德侯，郑皇后、朱皇后都封为夫人；康王赵构的母亲韦贤妃、王后邢夫人以下三百人变成了奴婢，到上京的洗衣院，给金人洗衣服，另外还有四百多个宫女被送到元帅府的女乐院，供金人玩乐。
又过了一个多月，就是建炎二年十月的时候，金人又把宋徽宗父子迁到韩州（辽宁昌图北八面城），不过进洗衣院和元帅府女乐院的人不能跟着去。
宋朝的宗室晋康郡王赵孝骞以下一共一千八百多人，自从宋徽宗离开燕京之后，每天只能得到一升粗粟，被拘禁得跟囚犯一样，一年下来，死了一半还多，就剩下九百多人了，金人也把他们迁到韩州。
金人规定，凡是迁到韩州的宋朝俘虏，都得种地为生，一共给他们四十五顷田地，让他们自己种自己吃。这些出身富贵人家的王公贵族，哪里会种地啊，收成不好，自然穿得差吃得差，日子过得很艰难。
即便这样，还是比那些后来变成奴隶的人稍微好一点。
那些奴隶每个月只能得到五斗稗子当口粮，每年得到五把麻，用来织衣服，除了这些，一分钱一匹布都没有。有些人不会纺织，弄得没衣服穿，只能一年到头光着身子。金人里有好心的，改让这些人烧火，好取暖，但是一旦出去砍柴，再坐到火边，皮肉就一层一层地掉，没几天就在痛苦中死了。
金人对这些人的态度就是，把他们当成野草一样，随便他们死活。
建炎四年（1130 年）七月，金人再一次把宋徽宗、钦宗父子迁到五国城（黑龙江依兰县）。金太宗下令减少随从，宗室里只有六个人被允许跟着去。
宋徽宗自从变成了囚犯，从开封到燕京，从燕京到中京，从中京到上京，从上京到韩州，从韩州到五国城，漂泊了万里，住的地方一直变，忍辱活着，全得听金人的。
当囚徒的日子也不太平。
绍兴三年（1133 年）六月，宋徽宗的儿子沂王赵楞、驸马都尉刘文彦告发宋徽宗打算造反。
这消息一传来，宋徽宗吓得不行，刚派另一个驸马蔡修（这人是蔡京的儿子）去问问情况，金人就已经把沂王赵楞、驸马刘文彦押走了。七月中旬，金人又派了两个使者来调查，还要求宋徽宗去公堂上对质。
原来，沂王赵楞、驸马刘文彦是为了改变自己的处境，得到金人的信任，才想出这么个主意。
五十二岁的宋徽宗身体很虚弱，受不了来回奔波的苦，派徐王赵棣、驸马宋邦光去求情，金人还是坚持原来的想法，不肯让步。宋徽宗没办法，只好让钦宗、信王赵榛、驸马都尉向子宸、内侍王若冲一起去，再一次向金人求情，金人才答应不让宋徽宗出庭。
审问持续了三天，赵楞、刘文彦理亏说不出话来，只好承认是诬告。金人让宋徽宗处理这个案子，宋徽宗出于父子亲情，不忍心他们两个遭罪，向金人求情，希望能从轻处罚。但是金人可不能容忍这些没良心、不孝顺的人，下令把他们两个处死。
宋徽宗受了这么一场惊吓，从这以后，就郁闷得病了。
时间飞逝，到了绍兴五年（1135 年）正月，六十一岁的金太宗完颜晟去世了，金太祖的孙子完颜亶即位，这就是金熙宗。这一年二月的，韦贤妃从上京的洗衣院被放出来，来到五国城和宋徽宗团聚。两个月后的四月二十一日，心力憔悴、病得不成样子的宋徽宗终于病倒了，在五国城去世，终年五十四岁。
