刘渊是匈奴首领冒顿单于后代，为十六国时期前赵的开国君王。他在西晋时以人质身份居住在洛阳，后趁西晋八王之乱，借助成都王司马颖与东海王司马越等人的纷争回到匈奴。 咸宁五年（279年），刘渊结束了任居洛阳的生活，回到并州接替父亲左部帅的职位。

八王之乱战火再起，刘渊的叔祖父刘宣见此，决心趁着西晋内乱振兴匈奴，于是秘密与族人一同推举刘渊为大单于，并派遣呼延攸到邺城去告知刘渊“立单于”之事。刘渊听闻后便向司马颖请归，结果遭到了拒绝，于是就派呼延攸先回并州，让刘宣打着支持司马颖的旗号召集五部匈奴，实质是在图谋叛变。 永安元年（304年），司马颖击败司马乂成为皇太弟，任命刘渊为屯骑校尉。

不久，东海王司马越协助惠帝共同征讨司马颖。司马颖便又任命刘渊为辅国将军，负责北城防守诸事务。晋惠帝六军战败后，司马颖任命刘渊为冠军将军，封为卢奴伯。但在荡阴大战后不久，东嬴公司马腾和安北将军王凌等皆起兵讨伐司马颖，刘渊趁机向司马颖建议让他先回匈奴五部，率领五部一同御敌。司马颖起先有所犹豫，认为应该先送皇上回洛阳，以避开他们的锋芒，接着再慢慢地告示天下，以叛乱的名义，名正言顺地制服他们。

刘渊则认为以司马颖的威望与恩泽足以征发兵众，东嬴公和王浚无法与之抗衡，并且先回洛阳有示弱之嫌，威望与权力恐将大跌；同时还提出了安抚兵众，平定混乱，镇守邺城等建议。司马颖采纳了刘渊的意见，并任命其为北单于、参丞相军事。当刘渊回到左国城（今山西吕梁市离石区）后，刘宣便为刘渊上大单于称号，仅仅二十日之间就聚众五万，定都离石。