利用河道，行舟驶船，往来运输，远比在陆路上用车装轮载，人拉畜驮，甚至肩挑背负要省时省力，而且劳动效率高，经济效益好。但是，我国的主要江河都是由西向东流。在河道的原始状态下，人们利用舟船在河道运输，不管是顺水下驶还是逆水上行，因受河道两岸的约束，舟船行驶的地域空间总是有限的，只能在同一条河道里上下往返，而不能从这条河道驶入另一条河道中，例如不能从黄河驶入淮河，也不能从淮河驶入长江等。如果要将两条河道运输的货物进行交易，便只能在两河间较为方便或重要的地方，相互通过一段陆路转运才行。陆路转运的艰辛人们早有体会，那么，能不能在两条河流之间人工开凿一条河道，使本来不相连通的两条河沟通起来，这条河里的舟船不就可以通过一段人工开凿的河道而直接驶入另一条河里去了吗？人们的智慧和经验，便转化成了运河。
运河是人们为了使不同的水系、河道或湖泊之间相互沟通起来而着意开凿的人工河道。运河的开凿是人们有目的有计划地对自然水道施行的一种改造，借以建立和加强自然水道之间的联系，弥补了自然水道天成的不足，是人类交通史上值得大书特书的一大进步。例如位处中美洲、连通太平洋与大西洋的巴拿马运河；位处中东、连通地中海（属大西洋）与红海（属印度洋）的苏伊士运河；位处德国北部、连通大西洋北海与波罗的海的基尔运河；位处意大利北部、沟通意大利东西海岸的威尼斯运河，等等，都是世界上着名的运河。但是，这些运河的开凿多是17-18世纪资本主义发展起来的结果，只是近几百年的事儿。据说在西南亚美索不达米亚平原（在今伊拉克境内）上的运河开凿，已有近六千年的历史了。这一点也不奇怪，因为美索不达米亚平原即两河（幼发拉底河与底格里斯河）平原，是世界四大文明古国之一——巴比伦（其余三国是中国、印度、埃及）的所在地。
在我国，运河开凿的历史也相当悠久。西汉大史学家司马迁在《史记·河渠书》中说：“自是之后，荥阳下引河东南为鸿沟，以通宋、郑、陈、蔡、曹、卫，与济、汝、淮、泗会。于楚，西方则通渠汉水、云梦之野，东方则通鸿沟江淮之间。于吴，则通渠三江、五湖。于齐，通菑、济之间。于蜀，蜀守（李）冰凿离碓，辟沫水之害，穿二江成都之中。此渠皆可行舟，有余则用溉浸，百姓享其利。”意思是说，自从大禹治水之后，在中原大地，由荥阳（在今河南郑州西）这地方引黄河水向东南流，为鸿沟，可以通宋（今河南商丘）、郑（今河南新郑）、陈（今河南淮阳）、蔡（今河南上蔡）、曹（今山东定陶）、卫（今河南濮阳、滑县一带）等诸侯国之地，并与济水（在山东西北部，由西南而东北流，大致即今黄河河道）、汝水（在河南西南部，由西北而东南流）、淮水（今淮河）、泗水（在山东西南部，由东而西转而南流）等河流交汇。
在楚国，向西则开渠通联汉水、云梦泽，向东也有渠通鸿沟和江淮之间。在吴国，则开渠通三江（指松江、钱塘江、浦阳江）、五湖（当指太湖及附近四湖）。在齐国，开渠沟通菑水（从淄博向东北流的一条河）与济水之间。在蜀国，秦蜀郡太守李冰劈凿离碓（亦作离堆），以避沫水（大渡河）之害，分引岷江水穿过成都之中。上述各地这些渠道都可以行舟驶船，当水多有余时就引以灌溉田地，老百姓也赖以获得其利。
司马迁的说法，可以说是对我国先秦时期运河的高度概括，既对我国早期运河出现的时代、地域、方向、位置、名称等都有所涉及，又对它们与其他河湖间的关系以及功能有明确的交代，因此，是完全可信的。可是，司马迁没有明确地指出我国最早的运河是哪一条。
过去，一说到我国最早开凿的运河，一般都说是吴王夫差在鲁哀公九年（前486）开凿的沟通长江与淮河的邗沟。但是，已故当代着名的历史地理学家、原中国古都学会会长、陕西师范大学教授史念海先生，在20世纪30年代撰着的《中国的运河》一书（修订后于1988年再版）中说：我国最初开凿运河的是楚国，而不是吴国。楚庄王（前613-前591）时，“孙叔敖曾经在云梦泽畔激沮水作云梦大泽之池”。史先生认为，这就是《史记·河渠书》中司马迁所说的“通渠汉水、云梦之野”。到楚灵王（前540-前529）时，“也曾在郢都附近开渠通漕”（按郢都即今湖北江陵）。史先生还说：“司马迁所说的‘通鸿沟江淮之间’，据说这条‘鸿沟’也是楚相孙叔敖所开凿的。”楚昭王（前515-前489）时，伍子胥率吴师伐楚，也曾开凿运河，史先生列举了在湖北境内的“子胥渎”和在江苏境内的“胥溪，俗称胥河”为例。总之，这些运河的开凿都在吴王夫差开凿邗沟之前。至于各条渠道的具体情况，目前知道得很少，有待史学家或历史地理学家进行深入的研究，以明其详。
但是，如上数例早期开凿的运河，都与元、明、清期间的京杭大运河没有多大关系。真正与京杭大运河有直接关系的，还是吴王夫差开凿的邗沟。下面就从邗沟说起，以进一步弄清京杭大运河形成的历史过程。
（一）邗沟的开凿
邗沟又称邗江，是连接长江北岸扬州与淮河岸边淮安的一段运河。《春秋左传正义》卷五十八记载：鲁哀公九年（前486），“秋，吴城邗，沟通江淮。”其下注释说：“于邗江筑城穿沟，东北通射阳湖，西北至末口入淮，通粮道也。今广陵韩江是。”按广陵即今江苏省扬州，韩江就是邗沟，音同字异而已；而末口在今江苏淮安县北。《太平寰宇记》卷一百二十三于江都县下记载：“合渎渠在（江都）县东二里，本吴掘邗沟以通江淮之水路也。昔吴王夫差将伐齐，北霸中国，自广陵城（今扬州）东南筑邗城，城下掘深沟，谓之邗江，亦曰邗沟，自江东北通射阳湖。”吴王夫差于公元前489至公元前485年间，曾大举北伐齐、鲁，为此而开凿邗沟以通漕运。可以说，邗沟是我国最早开凿的用以军事目的的漕运河道。它是京杭大运河全程中开凿得最早的一段。但是，吴王夫差所开凿的邗沟，自今江苏扬州市南引江水北过高邮湖西，折东北入射阳湖，即绕道较远，而且因年岁已久，局部河段难免淤塞，行船不畅。据《资治通鉴·隋纪四》记载：隋炀帝大业元年（605）三月，前后调集河南、淮北诸郡民夫百余万人开凿通济渠，又征发淮南民夫十余万人开邗沟，自山阳至扬子江。所开渠道宽40步（一步五尺），渠旁都修筑御道，栽上柳树。
隋炀帝所开的邗沟，从总体上看，较吴王夫差所开的邗沟位置偏西了点儿，渠道顺直了些。唐朝人李翱在《李文公集·来南录》一文中记载：邗沟这条水道顺流自淮阴（今江苏淮安市）至邵伯（在今扬州市北）有350里，逆流自邵伯至长江90里。
现在，江苏扬州市东北郊还保留一段邗沟的故道，长约五里，宽10-20米不等。20世纪50年代初，曾在该段河岸发现春秋时期的有几何印纹的硬陶残片，并在河床中发现唐代木船桅杆，在岸边发现唐代楠木驳岸，说明这段邗沟在唐代仍有航运价值。
（二）平虏渠与泉州渠的开凿
《三国志·魏书·武帝纪》记载：东汉建安十一年（206），辽西、辽东、右北平三郡的乌丸（也作乌桓）人，趁中原混乱之机，南下攻破幽州，掳掠汉民十余万户。当时盘踞冀州的军阀袁绍不仅不抵抗，反而与乌丸勾结，封立他们的头头儿为单于，并以家丁仆人的女儿当作自己的闺女，嫁给乌丸单于。辽西单于蹋顿势力尤其强大，袁绍更加厚待他，所以袁绍的三个儿子即袁谭、袁熙、袁尚兄弟都投靠蹋顿，并多次一起入塞为害。手握朝政权柄的曹操准备发兵征讨蹋顿，所以开凿漕渠，自呼沲入泒水，名平虏渠；又从泃河口凿入潞河，名泉州渠，以通海。
曹操所开凿的平虏渠，是连通呼沲河与泒水的渠道。呼沲河今作滹沱河，是海河的一条大支流；泒水是指今河北大清河下游，即流经天津市的海河。可见平虏渠是一条南北向的渠道。平虏渠的得名与平虏城有关系。据《水经注·浊漳水》记载：平舒县西南五十里有参后亭，过去是参后县，世人称之平虏城。按这里的“平舒县”指的是东汉渤海郡的东平舒县，就是今河北省大城县地。“参后亭”就是西汉渤海郡的参户县，故城在东平舒东南，人称“平虏城”。根据《太平寰宇记》的记载得知，平虏渠在今河北沧州南200步。可见，沧州以北的南运河段应当就是平虏渠的故道。
泉州渠是连接滹沱水与鲍丘水的渠道。《水经注·鲍丘水》篇说：“泃水又南，入鲍丘水。（鲍丘水）又东，合泉州渠口故渎。（泉州渠）上承雽沲水于泉州县，故以泉州为名。北经泉州县东，又北经雍奴县东，西去雍奴故城一百二十里。自雽沲北入其下，历水泽一百八十里，入鲍丘河，谓之泉州（渠）口。”
显然，泉州渠是沟通滹沱河与鲍丘水的一条南北向的河道。之所以叫泉州渠，是因为它在泉州县与南来的汇入泒水的滹沱河相接。泉州县，西汉设置，属渔阳郡，故城在今天津武清县（杨村）西南几里地的城上村，遗址尚见。雍奴县，也是汉县，同属渔阳郡，故城在今武清县（杨村）西北的邱古庄。汉魏时期，在泉州、雍奴县境曾是一片汪洋的水泊，名叫雍奴薮。《水经注·鲍丘水》篇末记载说：北自巨梁水（今河北丰润县还乡河）之南，南到滹沱河，西到泉州、雍奴，东到大海，这一区域叫作雍奴薮，其泽野有九十九淀，互相连通。这是历史事实，完全可信。直到今天，天津市郊区还有不少的淀泊，如七里海、南淀、鸭淀等，无疑是当年雍奴薮泽野九十九淀的部分遗存。
今河北省香河县东有个大镇，名为渠口。渠口应当是由泃河口演变而来。泃河口原本是泃河注入淀泊的河口。曹操时由这里向西，经今香河县北开凿渠道，使泃河与潞河连通。潞河是潮河与白河在潞县（故城在今通州东古城）之北合流后，流经潞县附近河段的统称。原来是向南流，下游别名笥沟，大致就是今北运河河道，与泃河并不相通。曹操由泃河口向西开渠后，使二河通联起来。这段连通泃河与潞河的东西渠道，也统称泉州渠。可见，泉州渠既有一段通过雍奴薮的南北向的自然水道，也有一段沟通泃河与潞河的东西向的人工开挖的水道。这段东西向的泉州渠开凿成功后，潞河之水（包括在今通州张家湾附近会流的潮白河、温榆河、卢沟河水），转向东流，以致潞河下游的笥沟断流。清《嘉庆重修一统志·顺天府·山川》在“泉州渠”下记载说：泉州渠“在宝坻县东南，一名新河”。
平虏渠是天津南一段运河，而泉州渠虽在今北运河东，但已与潞河相接，故在京杭大运河发展史上也占有不可忽视的地位。
（三）通济渠、永济渠的开凿
《隋书·炀帝纪》记载：大业元年（605）三月，隋炀帝委派官员营建东京（洛阳），要将豫州（旧洛阳城）的居民迁居新建的东京，还准备迁徙天下富商大贾数万家于东京。此外，为了方便皇帝巡视淮海，观风问俗，便征发河南各郡县的男女百万余人，开凿通济渠，自洛阳西苑引谷水、洛水流入黄河，又自板渚引黄河水流入淮河。
对此，《资治通鉴·隋纪四》的记载稍有不同，说隋炀帝是征发河南、淮北各郡县民夫，前后百余万，开通济渠，自西苑引谷水、洛水达于黄河，复自板渚引黄河水历荥泽（古湖泊名，又是县名，在郑州市西北）入汴河，又自大梁（今开封）之东引汴水入泗河而达于淮。
虽然二书对隋炀帝时开凿通济渠的事，记述得详略稍有不同，但所说通济渠的起止、经行之地以及与其他几条河的关系基本相同。这里的谷水、洛水都是由西向东流经洛阳的河，之后注入黄河。板渚，黄河津渡名，在河南省荥阳市北邙乡牛口峪附近、黄河南岸。隋炀帝时开凿的通济渠即由此向东南，经浚仪（今开封）、宋城（在今商丘南）、永城等地至淮河边的盱眙。
在开凿通济渠的同时，隋炀帝又征调十余万淮南民夫开邗沟，使通济渠与邗沟连为一体。虽然隋代开凿的通济渠不是后来的京杭大运河河道，但在中国运河发展史上仍占有重要地位，因为它是一条连接黄河与淮河的漕道。再通过淮河以南的邗沟，可将江淮地区的米粮漕运至东都洛阳。
通济渠开凿成功之后，隔了两年，于大业四年（608）正月，隋炀帝又发布诏令，征调河北各郡县男女百余万开凿永济渠，先引沁水向南流入黄河，再利用现有的河道加以开扩疏浚，向北通到涿郡。
沁水是源出山西省东南部沁源县的一条河，向东南流出山西省境后，转向东北流，为河南卫河上源的一支。本来与黄河没有关系，而引沁水南流入黄河后，便将沁水、卫河与黄河连通起来。引沁水南流的地址，当在河南武陟县。涿郡本为幽州，大业三年四月改州为郡，幽州遂改为涿郡，即今北京。所以，隋代所开通的永济渠，是连接黄河与涿郡的一条漕运渠道。如果将永济渠与先前开凿的通济渠联系起来看，实际上是将北方的涿郡（幽州）与江淮地区连通起来了。大业七年二月，隋炀帝从江都（今扬州）乘坐龙舟，循通济渠北上，再转入永济渠，于四月到达涿郡临朔宫。龙舟途中行驶了两个月。
