宇文述来到长安，经常和杨约在一起吃酒赌博，故意把从江都带来的金银财物统统输掉。杨约平白无故地赢了许多东西，心里格外商兴，连连表示感谢。宇文述却哈哈大笑起来，并说:“不要谢我，不要谢我，应当感谢晋王才是!这些都是晋王殿下送给你的，怕你不肯接受，故意让我输给你!”

杨约听了连忙问道:“晋王赠给我这样贵重的礼物，究竟是为什么?”

宇文述这才向他交了底说:“越国公和你在朝中当权多年，得罪的人不在少数，特别是太子杨勇，对你弟兄二人更是恨之入骨，一旦皇帝去世，杨勇继承皇位，你们还不危险吗?现在太子在皇后跟前已经失宠，皇上也早有废黜他的意思,如能改立晋王为太子，你们弟兄自然转祸为福，平安无事了。废立太子的事，关键在你哥哥一句话，不知令兄肯否帮忙?”

杨约觉得宇文述讲得有理，从自家切身利益出发，自然满口应允。

隋文帝有个特别宠爱的妃子，叫陈宣华夫人，除独孤皇后外,她在文帝跟前算是最有面子的了。杨广就千方百计地拉拢她，经常给她送礼，表示十分孝敬。陈氏在废立太子问题上，确实为杨广出了不少力气。这样一来，外有大臣杨素弟兄，内有独孤皇后和宣华夫人，众口一词，都在讲太子杨勇的坏话，夸晋王杨

广的好处，时间一只长，不由得文帝不相信。

杨勇听到这些情况，心里十分害怕，但也想不出什么办法，就在东宫后园内建了一个“庶大(老百娃)村”，盖上几间茅屋，经常穿着粗布衣服，躺在草褥子上睡觉，表示自己就是一个普通老百姓，以此来消磨时光。

隋文帝知道杨勇的表现有点儿反常，就派杨素到东宫去观察。杨素故意激怒杨勇，回去却向文帝汇报说:“杨勇对陛下不满，脸上带有怨恨的情绪。恐怕要发生什么变故，说不定他会闹出乱子的，陛下应当作好防御的准备!山”从此他们父子之间互相猜忌，文帝成天疑神疑鬼，害怕杨勇发动叛乱，吓得晚上睡觉不敢脱衣服，拉肚子不敢去厕所。并在暗中派人到东宫去监督杨勇的一举一动。

杨广为了置杨勇于死地，又收买了东宫官员姬威，让他陷害太子。姬威编造谎言，诬告杨勇养马千匹，图谋不轨，准备在文帝离开长安去岐州仁寿宫(在今陕西凤翔县境)时，在京师发动兵变，诛杀大臣.....文帝听了，深信不疑。

开皇工十年十月的一天，隋文帝在长安大兴城武德殿上，把文武百官和皇亲国威召集起来，宣布将太子杨勇废为庶人。尽管不少大臣明知这是冤案，却没有一个人敢站出来说句公道话。

同年十一月三日，杨广的目的终于达到了，他如愿以偿，被隋文帝立为皇太子。