刘渊字元海，匈奴人，居新兴（今山西忻州），南匈奴单于于扶罗之孙、左贤王刘豹之子。刘豹为五部之左部帅，刘豹死后，刘渊代为左部帅。晋太康十年（289年），晋武帝以刘渊为匈奴北部都尉。刘渊自称是匈奴冒顿之后裔，少年很爱读书，曾以上党名士崔游为师，遍读五经、史书，汉化程度很高。刘渊作了五部帅后，推诚接士，乐善好施，五部俊杰和幽冀名流都纷纷拜访。成都王司马颖镇邺后，又封刘渊为行宁朔将军，监五部军事。
其时，由于中原战乱，并州境内的汉族居民大多流徙江南，胡汉势力发生了重大变化，于是刘渊的从祖父刘宣同宗族策划，举兵反晋，“兴邦复业”。刘宣说：“昔我先人与汉约为兄弟，忧泰同之。自汉以来魏晋代兴，我单于虽有虚号，无复尺士之业，自诸王侯，编同编户。今司马氏骨肉相残，四海鼎沸，兴邦复业，之此其时也。左贤王元海姿器绝人，英武超世，天若不恢崇单于，终不虚生此人也”。当时并州刺史司马腾同安北将军王浚正联兵攻击司刘渊马颖，司马颖想请刘渊为外援，于是又拜刘渊为北单于，刘渊假称回并州招募五部匈奴，遂返左国城（今山西离石县），刘渊回到离石后，诸部匈奴共推他为大单于。这时王浚联合鲜卑已攻破邺城，司马颖挟惠帝逃奔洛阳。永兴元年（304），刘渊在离石称汉王，置百官，以刘宣为丞相，崔游为御史大夫，刘宏为太尉。司马腾率军前往镇压，部将聂玄与刘渊战于大陵（今山西文水县），聂玄大败，司马腾大为恐惧，遂率并州三万余户到山东，刘渊乘胜进军，接连攻下泫氏（今山西高平县）、屯留（今山西长子县），中都（今山西太原市）。
永兴二年（305），司马腾再次出兵讨伐刘渊，部将司马瑜、周良等驻军于汾阳，刘渊派武牙将军刘钦等阻击司马瑜，四战四胜，刘钦大胜而还。这年离石发生大饥荒，刘渊派太尉刘宏、护军马景等守离石，自率大军驻上党壶关（今山西壶关县）。
次年，司马越为太傅，上表要求封原并州刺史司马腾为东燕王，以刘琨为并州刺史。当时，并州由于饥荒与战乱，百姓难以生存，吏民万余人由李恽等领，随司马腾流亡冀州，留在并州的居民不足二万。刘琨到并州后，只好到上党组织军队，在那里招募五百人，又遭到刘渊部将刘景的攻击，上党无法立足，遂转战至晋阳（今山西太原市南郊区）。刘渊汉国在并州日益强大，中原起事的汲桑、王弥、石勒以及鲜卑逐延等纷纷归降刘渊，在并州迅速形成了各族人民共同反晋的巨大浪潮。
永嘉二年（308），刘渊正式称帝，迁都平阳（今山西临汾市西北），国号汉。刘渊建国后，宗室刘氏以亲疏远近按等级都封郡县王，异姓以谋谟、战功依次分为郡县公侯，以刘宣为丞相，刘聪为大将军，刘宏为太尉，刘和为大司马，刘欢乐为大司徒，呼延翼为大司空，呼延攸为宗正。
永嘉四年（310）正月，刘渊立单征女为皇后，梁王刘和为皇太子，封子刘夐为北海王，长乐王刘洋为大司马。同年七月，刘渊病重，又以陈王刘欢乐为太宰，刘洋为太傅，楚王刘聪为大司马、大单于，不久刘渊病死，由太子刘和即位，刘渊第四子刘聪杀刘和自立，改元光兴。刘聪以刘夐为皇太弟，兼大单于、大司徒，立呼延氏为皇后。
皇太后单氏为刘夐之母，刘聪与她私通，刘夐很是不满，单太后郁愤而死，刘夐与刘聪产生矛盾。永嘉五年（311）。刘聪派刘曜、王弥、石勒进攻洛阳，石勒先在苦县（今河南鹿邑县）的宁平城（今河南郸城县东北三十五里），将司马越率领的西晋主力部队十万余人全部消灭。接着刘曜、王弥、石勒、呼延晏合兵攻洛阳，迅速攻占洛阳，俘晋怀帝司马炽，迁至平阳。
建兴二年（314）正月，刘聪建百官制度，除中央机构沿袭前制外，又制定了一套胡、汉分治的地方行政体制，置左、右司隶，各领民户二十余万，万户置一内史，共设内史四十三人，用以统治汉人。又设大单于，大单于之下设单于左、右辅，各领六夷十万落，一万落置一都尉，以其子刘粲为丞相，兼大将军、封晋王，以中山王刘曜为大司马，不久又以刘粲为相国大单于。
建兴四年（316），刘聪又派刘曜攻破长安，俘晋愍帝司马邺，灭西晋。
刘聪靠弑杀太子作了皇帝，并且在灭晋以后，经不起过度富裕的宫廷生活的腐蚀，很快就堕落，过起放纵、酗酒、荒淫的生活了。刘渊刚死，就与太后私通，接着又立太保刘殷二女为左右贵嫔。刘殷本刘聪近亲，刘聪娶刘殷之女，自己也觉得有些不好意思，又怕引起朝廷贵族们的不满，先试探左右大臣，太宰刘延投其所好，替他编了一套谎言说：“臣常听太保刘殷说，他是周刘康公之后，与圣上虽为同姓，但源出不同，联姻无妨”。大鸿胪李弘以魏晋时期的大儒王基曾娶太原王沈之女为例，劝刘聪娶刘殷之女，刘聪遂拜刘殷二女为贵嫔，又封刘殷的四个孙女为贵人，于是六刘之宠倾于后宫。此后，刘聪又封中护军靳准二女为左右贵嫔，大的称月光，小的称月华，又立靳氏二女、樊氏、刘氏为上下、左右四皇后，四后之外佩皇后玺绶者又有七人。刘聪沉缅于皇宫之中，不问政事，常常外出打猎、观鱼，或以烛继昼同宫人们游戏于后宫，朝廷有事，由中常侍王沈等纳奏、贵嫔裁决，有功之臣不被录用，而奸佞小人数日之间便跃居二千石官，战争连年不断，但对出征将士无钱帛之赏，而对后宫侍僮的赐赏却动辄数千万，中常侍王沈的车服宅居过于诸王，朝廷上下，纲纪败坏，贿赂成风，一发而不可收拾。
当时河东发生蝗灾，平阳饥荒，流叛死亡者十有五六。部民逃奔石勒的有二十多万户，逃奔东晋刘琨的有三万余户，氐、羌少数民族叛离者有十万余落。汉国所面临的形势已十分严峻，而汉国内部的权力争夺又愈演愈烈，刘粲与刘夐争夺权位继承，双方互不相让。建武元年（317），刘粲、靳准、王沈在刘聪面前并称刘夐造反，于是刘聪召来氐羌酋长十余人严刑逼供取证，这些人在严刑烤打之下，诬招刘夐谋反，刘聪遂杀刘夐官属十余人，活埋士卒15000人，废杀刘夐，平阳街巷为之一空。
大兴元年（318），刘聪终于死于荒淫，由刘粲继位。刘粲之荒淫更过于刘聪，名义上尊靳准之女为皇太后，实则以靳氏为妻，靳准靠靳氏之宠作了大司空、司隶校尉，军国之事，全决于靳准。靳准斥异己，引起朝廷上下的不满，朝内重臣大都投奔刘曜，靳准乘机发动叛乱，将刘粲及刘氏男女无少长皆斩于东市，自称大将军，汉天王，称藩于东晋。接着刘渊族子刘曜从长安起兵同进驻汾阳的石勒进为犄角之势，靳攻平阳，平阳守军及巴、羌、羯十余万落投降石勒，石勒将他们迁往自己的管辖地，靳准被部下靳明所杀。石勒之子石虎帅幽冀之兵合同石勒进攻平阳，靳明帅，平阳士女15000人奔刘曜，石勒遂占有平阳和洛阳以东之地。刘曜封石勒为赵王。大兴二年（319），刘曜被迫迁都于长安，改国号为赵，史称前赵。
