元代海军的建立经历了一个漫长的过程。以骁悍精骑著称于世的蒙古军进入中原和进兵西域，碰到了江河障碍。为了克服江河障碍，开始建造少量小型船只（如筏、革舟等）和进行一些小规模的水战。
蒙古灭金后，蒙古军与宋军的作战日趋频繁。宋军依靠水军，控制江淮防线，抵御蒙古军南下。为了适应战争形势的发展，蒙古军开始着手建立水军。在此前的太宗四年（1232年），信安（今河北霸州以东）的张进率水军降，蒙军才有了水军。2年后，张进战死，这支水军由其子张荣实统领，但实力还不大。蒙古太宗十年（1238年），蒙古军将领解诚在与宋军作战中，夺得宋船千余艘，以功被授水军万户兼都水监使，建立起第一支较大规模的蒙古水军。（《元史·解诚传》）正如近代史学家屠寄所说：“蒙兀（即蒙古）之有水军自诚始。”（《蒙兀儿史记·解汝辑传》）
蒙古水军建立后，在战斗中逐渐成长壮大。先后进行巢湖水战（1238年）、瞿塘水战（1239年）、夔门水战（1240年）、淮水水战（1250年）、马湖江水战（1258年）、黑石峡水战（1259年）等，多数取得胜利，俘获战船少则数十艘、多则数百艘。蒙古宪宗八年（1258年），史天泽指挥的嘉陵江水战，出动战船千余艘，三战三捷，大败宋将吕文德，缴获战船百余艘。可见当时蒙古水军已初具规模，战斗力已日渐增强。
元代水军的大发展，是在忽必烈即汗位以后。蒙灭金后，与南宋接壤对峙，双方的形势大体与以前金宋对峙时相仿。南宋根据当前形势，采取了以汉中保巴蜀，以襄樊保武汉，以两淮卫长江的战略方针，依靠水军优势抵御元军的进攻。文天祥于宝佑四年（公元1256年）曾上书进言：蒙军“未必不朝夕为趋渐之计，然而未能焉，短于舟，疏于水，惧吾有李宝在耳……夫东南之计，莫若舟师，我之胜兀术于金山者以此，我之毙亮于采石者以此。”某种意义上说，金朝之所以未能吞灭南宋，是因为水军力量薄弱。有鉴于此，忽必烈十分重视水军的建设，在他即位当年的七月，任命张荣实为水军万户，统领驻河阴、孟州、滨州、棣州、沧州海口等地的水军1700余人。（《元史·兵志一》）加上水军万户解诚所部1760人，（《元史·兵志·镇戍》）蒙古水军已达3400余人。随后，忽必烈命部将董文炳造战船500艘，训练水兵，又命其他围困襄阳的部队利用战隙教习水战，扩充水军。
蒙古至元五年（1268年），蒙军进围南宋北部重镇襄樊，揭开了大规模攻宋战争的序幕。在分析战争形势时，忽必烈及其武将文臣都认为，“宋之所恃者江，无江则国亦无矣”，（刘敏中：《平宋录》）而要突破宋军江防，非有足够的水军力量不可。当时的监察御史王恽写了《论大作水军事状》，认为“征进舟师固未尚阙，然可大作一军，召募黄河上下等人，并南人归顺者，兼用其力，舡舰，一依宋法，精选大将，使之专习水战。”（《秋润先生大全文集》卷八十六）南宋降将刘整也献策说：“我精兵突骑，所当者破，惟水战不如宋耳。夺彼所长，造战舰，习水军，则事济矣。”（《元史·刘整传》）这些建议，都得到忽必烈的赞同。于是，蒙古水军的发展速度大大加快。
蒙古至元七年（1270年），刘整等奉命建造战船5000艘，训练水军7万人。三年后，又在汉水流域的兴元（今陕西汉中）、金州（今安康）、洋州（今洋县）和汴梁造船2000艘，编练水军5万余人。第二年，又在汴梁造战船800艘。根据史料统计，当时的元水军，除襄樊前线有刘整和失里伯所部水军16万人左右、战船万余艘外，还有四川也速解儿、按敦、胶州湾蒋德及淄、莱张马哥等部的水军。随着水军实力的发展，忽必烈调整和加强了前线水军的指挥机构，把襄樊前线的蒙古4万户府辟为水军镇抚。
由于元水军的迅速壮大，攻宋战争势如破竹。至元十年（1273年）。元军攻陷襄樊。次年九月，元军从襄樊出击。十二月，伯颜率战舰数千艘占领汉口，然后顺流东下，直逼建康。第三年七月，元军阿术率战船数千艘蔽江而下。镇江一战，南宋溃不成军。元水军乘胜出长江口。在长江口收编了渔民武装首领朱清、张碹所部数千人，获海船500艘。然后，元军浮海南下，直捣临安。接着，又进攻闽粤：崖山一战，南宋覆亡。
在四川战场，成都水军万户速哥统领所部，分镇重庆及夔、施、黔、忠、万、云、涪、泸等州，有力地牵制宋军，为配合主战场作战，起了重大作用。
元朝统一中国后，元水军在国内的任务，由作战转为镇守要地。长江沿线的鄂州（今武昌），黄州（今湖北黄冈）、江州（今江西九江）、建康、镇江、江阴，以及沿海的华亭（上海淞江）、澉浦、定海、庆元（今浙江宁波）等地，均有水军镇守。
忽必烈是一位野心勃勃的君主，在国内战争尚未完全结束的情况下，就着手进行海上扩张的准备。为适应海上作战的需要，在福建建立了沿海水军万户府，招募水兵，练习海战。至元十一年（1274年）和至元十八年（1281年），忽必烈两次发兵进攻日本。至元十九年（1282年），从海上进攻占城（今越南南部）。至元二十四年（1287年），又从海上进攻安南（今越南北部）。至元二十九年（1292年），跨海南征爪哇。这5次海上用兵，动用了大量兵力，官兵少则5000人，多则14万人；战船少则500艘，多则3400艘。可见元海军实力强大，具有远海作战能力。
但是，这几次渡海作战，都由于战争的非正义性，指挥失误，缺乏后援等原因而遭重大损失，败师而归。从此，元水军便一蹶不振了。
据史料记载，元成宗登位（1294年）以后，元水军的建设和作战活动越来越少。虽然在大德十年（1306年）置昆山、嘉定等水军上万户府，至正十四年（1354年）立镇江水军万户府，次年又设黄河水军万户府，但这些水军只在镇压各地起义军时进行过一些小规模的战斗，且多为义军所败。元代海军由盛到衰，是由当时的政治军事和经济条件所决定的。同晋灭吴、隋灭陈、宋灭南唐一样，要克服长江天堑，消灭对方较强大的水军，非建立一支相应的水军不可。于是，元代海军便在战争中诞生和发展壮大起来。一旦战争结束，元朝统治者便将部分水军转入航运，如张碹、朱清所部水军就承担了将江南的大批粮食和物资北运大都的任务。至元三十一年（1294年），将，领囊加歹和万户孙伟请调战船1000艘参加海运。这就必然削弱了水军的力量。
对外扩张的损失，也是元水军力量衰败的一个重要原因。仅以第二次攻日战争为例：损失的兵力就多达10万余人，战船4000余艘。
元代后期，政治腐败，统治者内部矛盾激化，诸将混战，北方陆上战事频繁。统治者不仅无心顾及水军的建设，而且常调水军去北方参加陆战，致使水军兵力削弱，缺乏训练，每况愈下，由盛而衰。
