隋朝大运河共分为4段：永济渠、通济渠、邗沟、江南河。公元605年，隋炀帝下令征发河南、淮北100多万士兵、民夫，开始开凿通济渠。通济渠北起东都洛阳的西苑，南到安徽的盱眙。它引谷水、洛水入黄河，进入黄河后，利用黄河的一段河道，到达板渚(今河南汜水东)。
从板渚再引黄河水南流，使河水进入睢水。睢水经中牟、开封、陈留、高邮、泗县，入泗水，而进淮河。这段运河是利用古代运河渠道，加以拓宽，所以从当年3月开工，8月完成，2000里的渠道只用了100多天。淮河与长江之间，隋朝以前有邗沟相通，邗沟北起山阳南到江都(今扬州)。
邗沟在隋以前，多次改道，河道狭窄，根本无法通行大船。隋文帝开邗沟，只是整治了邗沟入淮水的水口，并没有彻底清理河道。隋炀帝征发10余万士兵和民夫，把旧有的邗沟拓宽取直，从山阳直达扬子(今仪征)，从而直通长江。公元608年，开凿永济渠。这段主要是利用自然的河道，沟通沁水和淇水，引沁水入淇水，在涉县北部会合，一直北流到天津入海。
永济渠就是利用这条天然的水道向北伸展，然后入水定河，北达涿郡(今北京通县)。公元610年，隋炀帝下令开江南河。江南河北起京口(今江苏镇江)南到余杭(今杭州)。隋朝以前，长江以南已有不少小运河，这次开河就是利用旧日的小运河，加以拓宽。然后引长江水，穿小运河，绕过太湖，直达杭州。至此，大运河全部开通。
建造这样规模宏大的工程，劳动群众付出了巨大的代价。隋炀帝强征几百万民工，要他们带着工具和口粮，去开挖运河。男人不够，就以妇女补充。恶劣的劳动条件，严苛的官吏监督，使饿死累死的民工不计其数，其中十分之四五的民工惨死在运河工地上。当时有个督工的将军名叫麻祐，非常残暴，谁做慢了，就用棍子毒打，人们把他看作吃人的妖魔。
沿河地区的小孩哭闹，只要一听大人说：“麻祐来了”，就吓得立即止住了哭声。谁知在那些岁月里有多少农家的田园荒芜了，有多少妻子成了寡妇，婴儿成了孤儿，挣扎在死亡线上!繁徭重役的可怕，竟致使不知多少人忍痛砍下自己的手足。伤残者可以避免役死他乡，故而被称作“福手福足”。
隋炀帝在修运河同时，还下令在两岸筑起御道，种上杨柳树。从长安到江都，沿途建造离宫40多处。他派人强征民间美女住在离宫，备其淫乐。大运河筑成后，隋炀帝率领文武百官以及和尚、道士、尼姑，还有皇族家眷、宫女奴婢，乘坐数千艘大船到扬州看“琼花”。巡游船队首尾相接，长达200里。隋炀帝乘坐的那艘最大的龙船，就有200尺长，4丈5尺高，船上还盖了4层的宫殿，100多间房子。
每个房间里都有宫女。岸上有8万多名纤夫拉船，卫士沿途保护，隋炀帝一次又一次巡游。每到一处，几百里之内的州县，都要“贡顿献食”。最多的一州要送100多车。而且，饭菜都是山珍海味，美食佳肴。他们吃不了就投到大运河里。
隋炀帝对献贡丰厚的州县官吏加官提职，对稍不如意的就免官降职、甚至砍头。因此，地方官吏为升官发财，拼命搜刮百姓。社会阶级矛盾急剧尖锐起来。隋朝很快就在农民起义浪潮中灭亡了。
