按原先的安排，三个大总管可以总揽三大州的军政大权。文帝既然对杨秀有了将来必反的看法，就想把他手里的军权分散开。正好西疆发生战争，文帝调大将军刘哙去征讨，而派开府仪同三司杨武通带兵做后继部队。这支军队是皇帝直接调遣的，可是杨秀却硬要插一杠子，派他的一个嬖（ｂì）人（受宠爱的人）万智光去做杨武通的行军司马。行军司马是主将的副职，协助主将总理军队事务，还要负参谋责任。这嬖人万智光根本不懂军事，他只是杨秀王府中的一个帮闲。可他却还要不懂装懂，偏要在军中指手画脚。杨武通不耐烦了，给皇帝上疏，要求把这个掣肘的家伙解职。文帝派人下来调查，了解到万智光竟然是那样一个下三烂的人物。皇帝真是火冒三丈，这益州总管简直是拿军国大事开玩笑！立刻发布命令，将杨秀的军权分散，由各州的总管掌握。杨秀几乎成了光杆将军。
皇帝还要下诏谴责，并对群臣说：
“看吧，坏我法的正是我的子孙。这就譬如一只老虎，外物伤害不了它，可它自己皮毛间的虫子倒能一点一点地把它腐蚀掉。”
杨秀手里没有多少军队，清闲多了。史书上记载有四个字“造浑天仪”。浑天仪又叫浑仪，是西汉落下闳发明的，是古代测定天体位置的一种仪器。杨秀组织人造这个，似乎说明他还做了点正经事。但他大部分时间却跟他三哥一样，奢侈僭越。要知道，古代的建筑、服饰等都要根据本人的身份来定，超过规定标准的就叫“僭越”。成都离长安很远，杨秀认为就是“僭越”了皇帝也不知道，于是他的“车马被服拟于乘舆（帝王的车舆称乘舆）”，意思是他用的都是皇帝的那一套用品。
如今大哥废了，二哥当了太子，杨秀气不忿，见人就讲。杨广派来的细作打听清楚，回京向杨广报告。杨广就跟杨素商量，到文帝那儿告杨秀的状。为什么要“僭越”？为什么“车马被服拟于乘舆”？还不是自己想当皇帝吗！
文帝觉得他对杨秀的估计没错，准备干脆调他回京，放在自己身边，免得他日后惹事。敕书下来了，杨秀犹豫起来，知道突然征他回去不是什么好事，就想装病不去。总管司马源师劝他，还是遵父皇的旨意，回京去才好。杨秀火了，对源师大声说：
“这是我的家事，跟你有什么关系？”
怎么会没有关系？总管司马是总管的助手，如果总管获罪，司马是首当其冲的同案犯。源师急了，流泪说：
“源师忝参府幕，既要忠于大王，更要忠于圣上。圣上有敕追大王回去，敕书已经来了多日，到现在大王还迁延不走。百姓不知道大王是什么打算，倘若产生流言，内外骇疑，说不定会惹恼圣上，发来严厉的诏书，或是派使者来催促，大王那时又怎能自明？希望大王三思吧！”
杨秀想了想，还是不肯走。倒不是他预料到二哥要害他，而是觉得在成都自在舒服，没人管辖，所以才拖拖延延，不肯回京。
文帝看杨秀不听话，就把原州总管独孤楷升为益州总管（小总管升为大总管），代替杨秀的职务。独孤楷从原州来到了成都，请杨秀让位。杨秀还不肯走。独孤楷只好连劝说带吓唬，才使杨秀动了身。独孤楷到城外送他，见他面上神色不定，怕他反悔，回来便调兵作好防备。果然杨秀走了四十里就又后悔了，带着他的亲兵返回来，准备袭击独孤楷。一看独孤楷已有准备，而他的亲兵人数又少，这才不得不怏怏地向京师走去。
他懒洋洋地走了三个月，等到长安，才知道他母亲独孤皇后已经于8月去世了。
独孤皇后办丧事期间，杨秀正在路上，自然无法参加。而并州总管杨谅则正忙于对付北方突厥的寇边，无法分身。杨勇已被囚禁。杨俊也已去世。因而皇后虽然生了五个儿子，却只有太子杨广一人为她守孝。
杨广善于演戏，他母亲活着的时候，他就用戏剧手法骗得母亲的欢心和信任。如今母亲死了，他还要演戏。他哭得死去活来，甚至于哀痛得背过气去，以至于文帝为他担心，一再劝他节哀。等他回到王府，该吃吃，该喝喝，该说笑说笑，一切照旧，好像忘了母亲刚死这件事。
大行皇后（皇帝和皇后刚死的时候称为“大行”）的灵柩厝（ｃｕò）在仁寿宫的大宝殿，朝廷百官和地方大臣要来吊祭，孝子得陪着。这几天杨广可吃了苦头，跪谢答礼，起来趴下，这且不说，最难受的是丧事不动荤腥，顿顿是白饭素菜，吃了两顿杨广就受不住了。中午，吊孝的人都走了，东宫的两名太监给他送来午饭。杨广一看就皱起眉头，因为摆在他面前的仍然是白饭和青菜。不料太监四外看看，见没外人，就又递给他一个布包。打开一看，里边是两只竹筒，一个盛着肉脯，一个盛着鱼虾，正是萧妃替他准备的。杨广躲到幔帐后面，一边吃一边想：“可惜没有酒。”
9月，葬独孤皇后于太陵，谥号是“文献皇后”。
这儿还有一个插曲，值得一提。有个叫王劭的著作郎（秘书监的官员，负责修撰国史）给皇帝上表说：
“佛经上记载，‘福人在升入天国时，天佛便大放光明，以香花伎乐相应’。大行皇后福寿祯祥，实为妙善菩萨。所以八月二十二日，仁寿宫天雨金银花；二十三日夜，大宝殿后有神光闪烁；二十四日卯时，半空中音乐悠扬，逐渐消逝，而大行皇后亦同时升遐（古代帝、后死时称升遐）。经文所说，俱皆应验。”
文帝见表之后，明明知道王劭的胡说八道纯粹是拍马屁，因为“天雨金银花”也好，“神光闪烁”也好，“音乐悠扬”也好，他就住在宫里，怎么一样也没看到、听到呢？但皇帝又想，即便是假的，也不能道破，而且不但要装出信以为真的样子，还要颁示天下，让老百姓知道原来皇后是菩萨下凡。话又说回来，皇后是菩萨，那么皇帝起码也得是个大仙吧！
文帝重赏了王劭，因为他给“愚民政策”出了力。
接着，皇帝迫不及侍地选了两名妃子，一个是陈后主的六妹，封为宣华夫人；另一个姓蔡，封为容华夫人。
等到杨秀磨磨蹭蹭赶回长安的时候，大行皇后早已下葬了。
杨秀去拜见父皇。但文帝不答理他，一句话也不说。杨秀只好惶恐地退出，回到蜀王府待罪。第二天，文帝派使者来责备他。杨秀只好唯唯谢罪。这时杨广又来演戏了，他带领几个封王的子侄去见文帝，流着泪哀求皇帝宽恕蜀王。文帝怒冲冲地说：
“前者，秦王靡费财物，我以做父亲的身份训责他。如今杨秀蠹害生民，我就要以君主的身份用法律来处治他。”
说杨秀“蠹害生民”，未免有些夸张，因为皇帝手里并没有杨秀“蠹害生民”的证据。于是皇帝就让杨素等人“推治”杨秀，以找出证据。
其实杨广和杨素早已把证据准备好了。不过不是“蠹害生民”的证据，而是诅咒皇上的证据。杨广和杨素让人做了一个木偶，把手缚住，心口钉一根铁钉，还要用锁链捆住，身上写上皇帝和汉王杨谅的姓名，旁边写上一行字：“请西岳慈父圣母收杨坚、杨谅神魂，如此形状勿令散荡。”他们派人偷偷把木偶埋在华山的山脚下，然后再由杨素派人大张旗鼓地去掘出来。杨素还奏告杨秀自编了一本文集，其中收有讨伐皇帝的檄文。总而言之，这一切都是杨素预先准备好的，再一件件拿出来给杨秀定罪。
杨广不在木偶上写自己的名字，却写的是杨坚和杨谅，并把木偶埋到杨谅的辖区华山脚下，这样让人看起来，似乎这件事跟新太子毫无关系。这正是杨广阴险狡猾的地方。
文帝看到那写上自己姓名的木偶，惊怒得连自己也不敢相信，一再说：“天下宁有是耶！”是呀，天底下还有这样诅咒父亲的吗？
杨秀被废为庶人，幽禁于内侍省，不得与家人见面。受牵连而连坐的官属达百余人。
四
独孤皇后死的那年是仁寿二年。仁寿四年，皇帝又移居仁寿宫。4月，皇帝病了。6月，大赦天下，希望这样做做好事，可以化凶为吉。然而这一招不灵，7月，皇帝卧床不起。文武大臣从长安赶来问疾。文帝卧在大宝殿的寝宫里，接见大臣们。他握着几名老臣的手，欷歔着说：
“朕率众卿统一天下，黎民安居，虽死无憾了。唯望众卿辅佐皇太子，与事朕一样，朕虽在九泉，亦当含笑……”他气喘吁吁地说到这里，跪伏在殿内殿外的大臣们便一齐抽泣起来。站在皇帝病榻边的太子杨广也做出十分悲伤的样子，频频拭泪。
文帝让大臣们返回长安，仁寿宫里只留下几名重要官员侍疾，其中有右仆射杨素、黄门侍郎元岩、兵部尚书柳述、左卫大将军宇文述、右庶子（东宫官员）张衡（张衡原任扬州总管司马，是杨广的心腹）等人。太子杨广住在文帝寝宫旁边的侧宫里，以便随时过来探视父亲。
杨广站在父皇的病榻前，看那老皇帝仰卧在榻上，精神委靡，面容消瘦，两唇微微张着，呼吸迟缓而沉重，双目紧闭，有一粒泪珠顺着左眼角悄然流下。杨广心里暗笑，老头儿今年六十四了，还要两位这么漂亮的妙龄少女陪在身边，这不是成心糟践自己吗？他见父皇不做声，料他已经睡着，便悄然离开，回到自己的住室，坐在窗前想心事。7月天气，夏蝉齐鸣。仁寿宫四外都是山林，蝉儿也就特别多。但这噪声丝毫不曾打扰杨广的思路，他现在正在想：眼瞅着老皇帝要归天了，自己即将登上那垂涎已久的皇帝宝座。一切都要从头开始，那么先做什么呢？
想起来了，第一件事便是把父亲的那两位夫人接收过来。虽然按名义说，她俩是自己的庶母，但她俩的年龄比自己的女儿还小哩！二十多岁，风华正茂，也不能让人家守寡嘛！至于政事，是不是要拟登基的文告？是不是还要……
算了！杨广不再去想，还是问问老杨素吧！那时几位大臣住在前殿。杨广懒得走，就写了封短信，让宫女去送给杨素。还让宫女在那里等着拿回信。
宫女把杨广的信送给杨素。杨素打开一看，原来太子是想知道皇帝晏驾之后，新皇帝登基应该做哪些事。杨素对这个不外行。他写了封回信，将新皇帝应该做的事一一开列出来，封好后交给送信的宫女。那宫女拿着信往回走。这几天熬夜了，宫女缺觉，连走路都迷迷糊糊，应该回到太子住的侧宫，她却不知不觉地走到皇帝卧病的寝宫去了。等她发觉走错，刚要缩回脚，已被皇帝看见。皇帝喊住她，问她拿的什么。她只好把手里的信呈给皇帝。文帝拆信一看，大为恼火，原来太子外表那悲伤的样子都是假装出来的。他内心是盼着自己快死，他好早日当皇帝哩！
文帝正在恼火，却又见宣华夫人踉踉跄跄跑了进来，面孔涨红，发髻有些乱，而且双目含泪。文帝问她是怎么一回事。她吞吞吐吐不敢说。直到文帝拍着床喝问，宣华夫人才跪在地上说了四个字：
“太子无礼！”
原来宣华夫人去上厕所，在走廊上遇到杨广。杨广方才还在想“接收”她呢，这会儿看见，认为反正早晚是自己的人，何不先来亲热亲热。他走过去搂住宣华夫人。宣华夫人又惊又怕，但又不敢喊，只好拼命挣扎，发髻也乱了。这时走廊一头传来脚步声，杨广这才松开手回自己的居室去了。宣华夫人跑进寝宫，惊惧未定，被皇上看见，只好如实禀奏。
文帝听了哪能不气？他连连拍着床，嚷着：
“这样的畜生怎能付托大事！独孤误我，独孤误我！”他马上叫宫女去把柳述和元岩找来，对他二人说：
“快去召来我儿！”
柳述以为皇帝感觉不好，要找杨广，刚转身，就听皇帝又喊：
“勇！勇！”
元岩以为听错了，又问了一遍。这时皇帝正气得一个劲地哆嗦，连话也说不出了。柳述只好问他：
“陛下是要召杨勇来吗？”
文帝说不出话，但却连连点头。柳述和元岩退出商量，召废太子得有皇帝的敕书才行。他俩虽然不知道皇帝为什么突然要召废太子，但觉得其中必有变故。他俩回到前殿取出纸来写敕书，却被杨素看到眼里。杨素见柳、元二人神色紧张，忙忙活活地写敕书，便装着无意的样子问：
“二公急急忙忙地做什么？”
“皇上要召杨勇。”元岩随口回答。
杨素大吃一惊，知道事情不妙，皇上这时候把杨勇召来，还不是想传位给他吗？杨素急忙去找杨广，二人商议一番，决定赶在敕书发出之前，来个先下手为强。当时负责保卫仁寿宫的是左卫大将军宇文述，他也早已被杨广收买。于是仁寿宫忽然紧张起来，禁军全部出动，将前后宫门关闭，不许一人出入。杨素则带人闯进前殿，将元岩和柳述拿下，把那刚写了一半的宣召杨勇的敕书扯得粉碎。这边右庶子张衡率领十几名东宫的卫士，外面穿上妇女的服装，闯进大宝殿，把殿内的宫人、太监都赶了出去，只有张衡一个人闯进了文帝的寝宫。不久，便传出消息，文帝杨坚晏驾了。
文帝怎么死的？史书说法不一。《隋书》的记载比较简单，只有“中外颇有异论”几个字。《大业略记》（大业是隋炀帝的年号）则说：“帝（指杨广）见事迫，召左仆射杨素、右庶子张衡进毒药。帝简骁健官奴三十人皆服妇人之服，衣下置杖，立于门巷之间，以为之卫。素等既入，而高祖暴崩。”《通历》是另一种说法：“帝（指文帝）怒曰，‘死狗，那可付后事’！遽令召勇，杨素秘不宣，乃屏左右，令张衡入拉帝，血溅屏风，冤痛之声闻于外，崩。”
但不管文帝是药死的也罢，“拉”死的也罢，他死于自己儿子杨广的手中却是无可辩驳的事实。