隋炀帝遂有翦除杨素之意，杨素非常精明，他从炀帝对他的细微变化中揣摩到了炀帝对他的疑惧，联想到自己的所作所为，及目前对炀帝的作用，预感将有灭顶之灾，这家伙可以杀兄弑弟，也可以逼父淫母，可以说是丧尽天良的衣冠禽兽，杨素想到这里，背后直冒冷汗，隋炀帝还装模作样的派名医诊断，还赐名贵药治疗，暗地里，却询问杨素何时能死？杨素是太了解杨广的脾性，为了快死，拧着脖子坚决不肯服药，还对弟弟杨约说：“我难道还想继续活下去吗？”大业二年（公元606年）七月二十三日，杨素忧郁而亡，终年六十六岁。对于杨素之死，还有另外一中说法，元德太子与素侍宴，炀帝令人进毒酒，太子误饮毒酒而亡，“素亦竟以毒毙”。还有其他说法。他的死与文帝一样，也是一个谜，但均非善终，杨广对杨素之死，有八个字的评论：“使素不死，终当夷族。”
公元605年，隋炀帝准备迁都洛阳，他命杨素营建东京宫室，又命宇文恺与封德彝等造显仁宫。宇文恺不但是工程师，还是个心理学家，他迎合隋炀帝好大喜功、穷奢极欲的心态，把工程搞得特别气势宏伟，雄伟庄严，所有的宫殿都富丽堂皇，建造宫殿高级木材、石料，都是从大江以南、五岭以北地区运来的，一根柱子就得用上千人拉，建筑工人大约有二百万人，日夜不停沿河进行施工，还在洛阳西面专门造了供隋炀帝玩赏的“西苑”，苑里亭台楼阁，曲折盘旋，奇花异草，应有尽有；别出心裁的是到了冬天树叶凋落的时，会有人用彩绫剪成花叶，扎在树上，使这座花园四季长春。另外，还建有人工运河，运河两岸，建皇宫十六所，称为“十六院”，每院美女二三百人，布置豪华，犹如天堂。《隋书》对此评价甚为精湛：“岂谓瑶台琼室方为宫殿者乎，土阶采椽而非帝王者乎？是知非天下以奉一人，乃一人以主天下也。”
隋炀帝杨广曾经和给事郎蔡征讨论天下兴亡的道理，他说：“自古天子有巡狩之礼；而江东诸帝多傅脂粉，坐深宫，不与百姓相见，此何理也？”蔡征早就摸准了隋炀帝的心思，赶紧对曰：“此其所以不能长世。”于是，为了大隋天下长治久安，杨广准备巡视天下，他喜欢江都，还喜欢讲江都的吴语，喜欢人们看到他的排场流露出的惊羡眼光，喜欢惊心动魄的场面。
大业元年（605年）八月，炀帝开始了登基以来的一次南下江都。他所乘坐的龙舟分为四层，六层楼高，上层有正殿、内殿、东西朝堂，可以举行朝会；中间两层有100余间房子，供炀帝休息、娱乐之用；下层是宦官、宫女等近侍的住处。船上雕梁画栋、金碧辉煌，与宫殿没有两样。皇后、后宫、王侯、大臣、僧尼、道士等等，分乘不同船只，还有其它不同用途的大小船只数千艘随行，最后还有兵船数千艘护驾。陆地上，几万名纤夫、骑兵一路相随。船队前后绵延二百余里，水陆共有二十几万人同行。所过州县，都要为船队献食。骑兵沿岸护卫，万马奔腾，旌旗蔽野；宫女们梳妆洗下的脂粉流满了运河，香气数月都没散尽。所有的饮食供应由215公里以内地方政府奉献，宫人们无法吃完，临走时一概抛弃。到了江都，各地官员朝见，杨广也不问他们的政绩，只问他们奉献多少礼物钱粮，多的升官，少的贬黜。江都郡丞王世充贡献给他铜镜屏风，马上被提拔为通守，历阳郡丞赵元楷奉献的是好吃好喝，就被派到江都作郡丞去了。王世充还多了心眼，为隋炀帝挑选江淮民间美女，“由是益有宠”。
大业六年（610年）正月十五，隋炀帝在东都洛阳举行盛大的庆典，为了向入京的各国使节、商人，展示大隋帝国的强盛与富足，为了吸引他们的眼球，洛阳东都皇城外大街被开辟成戏场，从正月十五夜间开始，杨广命令5万名乐工为西域人演奏百戏，前后达一个月之久，戏场大至周围五千步，奏乐人多至18000人，几十里外都能听到乐声，灯光通明如同白昼，直演奏到正月底结束。西域人到洛阳东市做交易，杨广命令洛阳所有的店铺都用帷帐装饰，让西域的商人们免费吃饭，免费住宿，连街头卖菜的也得用龙须席铺地。还说隋朝富饶，酒食照例不要花钱，市内树木也都用帛缠饰，以示富足。
大业三年（607），杨广北巡到突厥汗国启民可汗的王庭，无意中见到高句丽王国派到突厥汗国的使节，杨广随口吩咐高句丽的使节，他将于大业七年（611）前往涿郡，希望高句丽领导人王高元亲自到涿郡朝见，四年后，杨广真的前往涿郡视察，但高元不知道为什么却没有到，杨广恼羞成怒，觉得高元也不识抬举，帝谓侍臣曰：“高丽小虏，侮慢上国；今拔海移山，犹望克果，况此虏乎！”心说，我叫你来，你不来，你不来就是不给我面子，不给我面子，就跟我过不去，和我过不去，你就休想安生。于是，经过一番准备，隋炀帝决定动员全国士兵集中涿郡御驾亲征高句丽，左光禄大夫郭荣不同意，还进谏曰：“戎狄失礼，臣下之事；千钧之弩，不为鼷鼠发机，奈何亲辱万乘以敌小寇乎！”但杨广不听，觉得只有自己亲自抓住高元才解气，于是，一场波澜壮阔空旷持久的战争爆发了。
大业八年（612），隋炀帝率领113万军队出国征战，辽东是高句丽王国西境第一大城，在隋朝兵团的猛烈攻击下，很快城池失陷，高句丽守军寡不敌众，悬白旗乞降，但将士们没有隋炀帝的旨意谁也不敢受降，但也不敢继续攻击，只好停战，立即飞骑向最高指挥官杨广汇报，但是当杨广的指示回来时，辽东守军竟然又恢复元气，开始抵抗，如此反复，以致那个并不坚固的辽东，竟然牢不可破。
大业九年（613），杨广第二次御驾东征，这一次他吸取了经验，准备一举歼灭辽东守敌，但天有不测风云，杨素的儿子杨玄感等人竟然起兵叛乱，杨广只得放弃辽东，回军迎战，第二次东征也草草结束，杨玄感兵败死亡，杨广设立特别法庭，展开大规模逮捕处决，促使民变更加激烈，不可遏止。大业十年，杨广决定第三次东征，这时候，高句丽王国一连三年受到攻击，精疲力尽，决定屈膝求和，杨广总算争到一点面子。但是，当他回到洛阳后，征召高元入朝，高元害怕，不敢去，杨广火冒三丈，又准备第四次东征。
大业十一年（615），杨广从洛阳出发，先到汾阳宫避暑，休息一阵子，然后打算顺着御道前往涿郡，开展第四次军事打击，想不到又被突厥汗国坏了事，突厥汗国得到消息，亲统骑兵十余万，向杨广突袭，杨广退到雁门，被突厥团团围住，猛烈攻城，城内存粮又仅够20余日，杨广抱着幼子杨杲日夜啼哭，但还是束手无策，最后接受了大臣苏威等建议，下诏书保证不再出兵攻打高句丽，此前，隋炀帝还亲巡将士，向守城将士保证：“努力击贼，苟能保全，凡在行陈，勿忧富贵，必不使有司弄刀笔破汝勋劳。守城有功者，无官直除六品，赐物百段；有官以次增益。”于是，众皆踊跃，昼夜拒战，死伤甚众，使他才得解围。杨广回到洛阳后，心神稍定，就推翻诺言，不但不给将士赏赐，还下令再次攻打高句丽。
这时候，大隋天下已经乱七八糟了，各地起义军风起云涌，人数达十万人，他们攻下兴洛仓，仓赈济饥民，还发布檄文，声讨隋炀帝的十大罪状，文曰：“罄南山之竹，书罪未穷；决东海之波，流恶难尽。”但隋炀帝真的很有风度，他不顾天下汹汹，决定散散心，继续巡游江都，众大臣苦苦劝谏，隋炀帝不以为然，说了一句富有哲理的话：“人生自古谁无死，年过半百不为天”，对于那些固执己见者，隋炀帝把他们一律斩首，还有一些感情丰富的宫女们，纷纷“牵衣顿足拦道哭”，有的还撒痴撒娇地拥住车驾不肯放行。杨广很潇洒，他临出发时，还作了一首近似于“床前明月光”+“野火烧不尽”的诗，告别的洛阳的“留守宫女”。他说：“我爱江都好，征辽亦偶然。但存颜色在，离别只今年。”
公元618年，隋王朝只剩下洛阳和江都两地，隋炀帝在江都极度恐惧，还时不时占卜一卦，用自己喜欢的吴语对萧皇后曰：“外间大有人图侬，然侬不失为长城公，卿不失为沈后，且共乐饮耳！”长城公是南朝亡国之君陈后主降隋以后的封号，沈后即陈后主的皇后。隋炀帝还常常在镜子跟前自言自语，对萧皇后曰：“好头颈，谁当斫之？”萧皇后安慰他，隋炀帝故作镇静地笑道：“贵贱苦乐，更迭为之，亦复何伤！”他备下了一缸毒酒，对他的宠妃们说：“若贼至，汝曹当先饮之，然后我饮。
”这一天终于来了，虔通与元礼等引兵自玄武门入，隋炀帝急忙换掉服装逃到西阁，虔通问：“陛下安在？”有美人出，指之，校尉令狐行达拔刀直进，隋炀帝还有些英雄气，隔着窗扉对令狐行达说：“汝欲杀我邪？”慑于隋炀帝的余威，令狐行达赶紧说：“臣不敢，但欲奉陛下西还耳。”并把他扶了下来，虔通本来是隋炀帝做晋王时的亲信，哄他说：“百官悉在朝堂，陛下须亲出慰劳。”于是把他引到寝殿，隋炀帝走进寝殿，就觉得情况不好，虔通、德戡等拔白刃侍立。隋炀帝叹曰：“我何罪至此？”马文举曰：“陛下违弃宗庙，巡游不息，外勤征讨，内极奢淫，使丁壮尽于矢刃，女弱填于沟壑，四民丧业，盗贼蜂起；专任佞谀，饰非拒谏；何谓无罪！”隋炀帝还不服输，说道：“我实负百姓；至于尔辈，荣禄兼极，何乃如是！”这时候，隋炀帝小儿子杨杲，才十二岁，站在旁边吓得哇哇大哭，虔通大怒，抽刀斩之，血溅御服。杨广这才发现自己没有任何希望了，他强自镇静曰：“天子死自有法，何得加以锋刃！取鸩酒来！”要求服毒自杀，但禁卫军不愿浪费时间，将他勒死，这年他正好50岁。
