司马颖大喜，封刘渊为“北单于”，批准他返回左国城。刘宣等尊奉刘渊为“大单于”，二十天之内召集了五万兵马。刘渊派刘宏率精兵五千前去跟司马颖的部将王粹会师，共同抵挡司马腾。但在刘宏还没有赶到的时候，王粹就已经被击败了，刘宏只好撤回去了。
后刘渊听说司马颖还是放弃了邺城奔赴洛阳，叹息道：“不听我的话坚守在邺城，反而自己溃散了，真是奴才！但我与他有约在先，不能见死不救。”他打算发兵攻打鲜卑、乌桓，刘宣等人劝阻道：“晋人待我们如奴隶一般，现在他们骨肉相残，是老天要抛弃他们让我们光复祖业。鲜卑、乌桓和我们的境遇相似，是可以争取过来的，为什么要攻打他们呢？”刘渊很受鼓舞，说道：“您说得对呀！大丈夫应当像汉高祖刘邦、魏武帝曹操那样建立功业！”刘宣等人忙叩头行礼。
建武元年（304）冬季，刘渊将都城从离石迁到左国城（今山西方山县峪口镇后南村）。刘渊对部下道：“过去汉朝能维持那么久的时间，是因为朝廷对老百姓施以恩德。匈奴先祖和汉朝相约为兄弟，哥哥去世由弟弟继承王位，情理上也是可以的。”于是他定国号为“汉”(1)。刘宣等人请求刘渊当皇帝，刘渊道：“现在天下没有平定，我还是效仿汉高祖，先称汉王吧。”
刘渊在南郊设立祭坛，登上王位，大赦，改年号为“元熙”。为了显示自己政权的正统性，他追尊安乐县公刘禅为孝怀皇帝，立汉高祖以下三祖五宗的神位来祭祀。之后，刘渊立他的妻子呼延氏为王后，任命右贤王刘宣为丞相，崔游为御史大夫（崔游谢绝不赴任），左於陆王刘宏为太尉，范隆担任大鸿胪，朱纪任太常，崔懿之、陈元达为黄门郎，同族侄子刘曜为建武将军。