杨广夺到皇太子的桂冠以后，同杨素等人勾结在一起，渐渐掌握了朝政大权，文武百官无不畏服， 只有文帝的第四个儿子——益州( 今四川成都市)总管、蜀王杨秀公然为杨勇鸣冤叫屈，结果遭到杨广诬陷，也被废为庶人。这样一来，杨广的胆子更大了。在独孤皇后病故期间，他虽然表面上哭哭啼啼，洒上几滴眼泪，但在背地里却大吃二喝，嬉笑如常，这样也没有人敢干涉。杨广干了不好的事，文帝全不知道，他对杨广的信赖超过了朝中所有的人。

仁寿四年(公元604年)七月，隋文帝在仁寿宫避暑期间，忽然患了重病。太子杨广、大臣杨素、柳述及陈宣华夫人、蔡容华夫人等都在跟前伺候。杨广看到父亲病重，不晓得皇帝死后，应该注意哪些事项，便写了一个条子，去向杨素请教。杨素写了回信，不料被宫人送错了地方，落入文帝手中。文帝看到自己还没有死，太子就已经打主意接班了,当然非常生气。与此同时,杨广又调戏了宣华夫人，文帝知道后，勃然大怒，用手蔽着床头骂道:“真是个畜生,怎么能把国家大事交给他呢!当初不该废立太子，在那个事情上真正冤枉联的勇儿了。唉，都怨独孤皇后误了朕的大事!”于是他就把杨素叫到跟前，指示他废掉杨广，再立杨勇为太子。

杨素是杨广的亲信，哪里肯听文帝的话，就说:“皇太子本是国家之本，岂可换来换去，臣不敢奉诏!”

于是，文帝又把兵部尚书(掌管全***政和军赋的长官)柳述和黄门侍郎(掌握国家机密文件和传达皇帝诏命的长官)元岩叫来吩咐道:“你们快去把朕的儿子找来!”

柳述、元岩齐声问道:“是叫太子吗?”文帝摆了摆手说:“不，是联的勇儿啊!”

柳、元二人赶紧出去起草改立太子的沼书。

杨素害怕发生事变，急忙找到杨广进行密谋。他们抢先动手，假传文帝圣旨，把柳述、元岩逮捕入狱。接着，又派杨广的心腹干将宇文述和郭衍，带领东宫士兵开进仁寿官，负责这儿的卫戍工作，立刻宣布戒严，禁止出入，并把宣华、容华二夫人及其他伺候文帝的大统统赶出去，只派杨广的死党张衡一人进入文帝养病的殿内。过了一会儿，文帝就死去了。因而不少人怀疑隋文帝是被张衡杀害的。