成吉思汗选定的继承人窝阔台当了12年的大汗，死于公元1241年。他死后，皇后乃马贞氏执政到儿子贵由当大汗。贵由只当了两年大汗就死了，大汗的位置就落到了拖雷的儿子蒙哥身上。
蒙哥登上大汗的位置以后，派二弟忽必烈主持整个北方地区的行政事务，这就使忽必烈拥有了支配经济最发达地区的权力。与蒙古其他贵族不同，忽必烈重用了一批汉族的知识分子。这批汉族地主阶级的代表人物常常劝忽必烈用汉族人的统治办法治理北方，这样最后才能成为中国的皇帝。这个建议深得忽必烈赞赏，于是，他在滦河北岸兴建了一座新的城市开平，集结了一批谋士，形成了新的蒙古贵族和汉族地主相结合的权力中心。有了这样一个根据地，忽必烈开始实行他入主中原，建立新皇朝的计划。
公元1258年，蒙古已经实现了对南宋的包围。淮河流域的战争，以襄阳为中心；南方的大理和吐蕃已归附蒙古，蒙古军队已挺进到四川的成都和利川一线。蒙哥大汗认为时机已经成熟，就命令忽必烈从湖北进军，兀良合台从云南出发，自己率大军进攻四川，三路人马会合于鄂州，然后一举消灭南宋政权，攻下临安城。
蒙哥的入侵在一开始就遭到了南宋军民的坚决抵抗。在蒙哥率领的中路军前面，有一处守卫严密的军事重镇合川，挡住了蒙军通往重庆的道路。蒙哥从这年年底一直打到第二年夏天，都没能拔下合州这根钉子，三路分进的计划受到挫折。
合州，本是南宋名将孟珙的防地，是重庆的门户。当年，孟珙在这里的钓鱼山筑了一座城堡，后来扩建成钓鱼城。这里易守难攻，地势险要，攻守战进行了半年，蒙哥依然是寸步难进。夏天到了，北方的蒙古兵水土不服，有许多人得了病。蒙哥心急火燎，便亲自带兵猛攻城池，却屡屡败北。
有一天，蒙哥的前部先锋汪德臣选择了一批猛士，组成敢死队，趁着黑夜爬上城墙，南宋守将王坚指挥宋军拼命抵抗，终于在天亮后又一次打退了蒙军的进攻。
这时候，汪德臣在离城不远处拉开嗓门劝守城宋军投降：“王坚听着，你一城军民的性命都危在旦夕，要活命的快投降……”他话音未落，城墙上一阵飞石轰了出来，就落在汪德臣身前左右，吓得汪德臣拨转马头逃回军营，从此一病不起。
蒙哥也被飞石击中，负了重伤，回军营后撑了几天就死了。主帅一死，蒙军已无法坚持，可巧这以后合州一连下了几天大雨，蒙军适应不了这种天气，只得从合州退兵。
听到大汗的死讯，忽必烈想加强进攻，拿下鄂州，建立了功业再回到北方争夺大汗的位置。这时候，北方传来消息，按照蒙古惯例，在北方守家业的小弟弟阿里不哥，正在疏通一批蒙古贵族，准备抢先在和林登上大汗宝座。形势如此急转直下，真叫野心勃勃的忽必烈一筹莫展。
正在此时，跟南宋援军一同到达鄂州的，还有右丞相贾似道的使者，他带来了贾似道请求和谈的书信。忽必烈的谋士们立即帮助他策划了三条妙计：与南宋签订密约，迅速撤兵；派军队迎接蒙哥灵车，抢夺大汗印玺；派轻骑赶到河北，防止阿里不哥派兵南下。
三条计策一一实现了，忽必烈也回到了开平，蒙古国一贯的做法，大汗登位必须在蒙古族的发祥地召集诸王开会商议。他对这些全然不顾，在公元1260年的春天，召集支持自己的蒙古贵族到开平，宣布自己即大汗位，还按汉族帝王的办法，规定了年号，称作中统元年。
在蒙古国都城和林的阿里不哥，没想到这位同父异母的哥哥会这么快就撤回北方，原来打算派兵占领河北的计划落了空，只得匆匆在和林召集了一批守旧的蒙古贵族，也宣布自己是蒙古国的大汗。
这一下，一个蒙古国出现了两个大汗。和林的阿里不哥，有一批主张用蒙古的办法统治国家的顽固派，但他们闭目塞听，完全适应不了发生变化的外部世界。而在开平称大汗的忽必烈，却有更多的更强大的支持者。一批蒙古王族支持他；很多汉族幕僚能替他出谋划策，常常使他采取主动，压倒阿里不哥；早就归附蒙古的其他民族首领们，也受汉文化影响，支持他实行“汉法”，更重要的，是北方一批汉族地区的军阀，如张弘范、史天泽，更加拥护以“汉法”治国。力量的对比，有利于忽必烈。“天无二日，国无二主”，忽必烈不顾兄弟之情，断然发动了对阿里不哥的战争。
两位大汗各统军队，在陕西和西凉打了两仗，忽必烈的蒙汉联军连连取胜，大大打击了阿里不哥一派的势力。接着，忽必烈亲率联军，直逼和林。阿里不哥不敢跟忽必烈对阵，带着自己的军队，逃到了叶尼塞河上游南部的谦谦州。
阿里不哥怕忽必烈追来，便施出缓兵计，说自己本当马上来朝拜大汗，只因马匹瘦弱，不能成行，待马养肥了，就同察哈台汗国的阿鲁忽王一道到和林朝拜。忽必烈也不探究，只留下堂弟也孙哥在和林，自己回开平主持大事去了。
第二年秋天，阿里不哥的“马”肥了，便假称回开平归顺忽必烈。来到和林，突然袭击没有防备的也孙哥，一下子又把和林夺了回去。兄弟俩的决战，势在难免了。
双方的军队在大漠以南展开了决战，阿里不哥大败而归。这时候，察合台汗国的阿鲁忽又起兵反对阿里不哥，阿里不哥一气之下，离开和林到西方去征讨阿鲁忽。双方打打停停，阿里不哥终因力量单薄，又腹背受敌，老是吃败仗。
战争打了几年，蒙古高原又发生了饥荒。原来支持阿里不哥的王族们眼看他没有希望了，便纷纷归顺忽必烈。阿里不哥走投无路，只得在公元1264年向忽必烈投降，又过了两年，就生病死了。
忽必烈平定了阿里不哥以后，把都城从和林迁进了中原。尽管守旧的蒙古贵族还在反对，但忽必烈已经不再理睬他们。到了公元1271年，忽必烈索性把首都从开平迁进了河北燕京，把燕京改名为“大都”，又从汉族经典之一《易经》里找到“乾元”二字，把蒙古国改名为“大元”，表示自己的国家极大极大。
一个新的封建帝国从此建立了。中国的少数民族将第一次入主中原，忽必烈就是元朝的第一代正式的君王，后人称他为元世祖。
