隋开皇十三年，天下刚刚结束南北朝数百年的分裂局面，隋文帝杨坚苦于大兴城夏日酷暑难耐，下诏在岐州北部的麟游境内，选址修建一座专为避暑使用的皇家离宫。作为当朝核心重臣的杨素，被任命为这项工程的总监，总揽整个行宫的全部营建事务，一场在万重青山之间展开的超大型皇家工程，就此正式启动。这座后来被后世称为隋唐离宫之冠的仁寿宫，从破土动工的第一天起，就和杨素的名字深度绑定在了一起。

为了赶在隋文帝第一次巡幸岐州前完工，杨素组建了顶级的工程团队：他举荐此前担任莱州刺史的工程专家宇文恺担任将作大匠，相当于整个工程的总工程师，又安排精于土木管理的封德彝担任土木监，负责现场的施工调度。整个工程的设计完全依托麟游当地的山水地势，并没有在平地上平铺直叙地修建宫殿，而是直接平山填谷，把宫城建在天台山的山顶之上，主殿的中轴线顺着山势排布，形成类似北斗七星的特殊布局，四周的殿宇顺着山体的起伏层层延展，和周围的万重青山完全融为一体。

整个工程的施工强度远超当时所有人的想象。为了赶在两年多的极短工期内完成这座周长一千八百步的大型离宫，杨素对役夫的督造极为严苛，数万从关中各地征调而来的丁夫，日夜不停地在山谷之间劳作。不少丁夫因为过度劳累、疾病倒在工地，来不及救治的人甚至被直接推填入新填平的山谷之中，上面直接覆盖土石继续修建，整个工程前后死去的役夫数以万计。开皇十五年四月，原本需要耗费十余年才能完成的庞大行宫，仅用了两年零三个月就宣告竣工，一座“崇台累榭、宛转相属”的壮丽宫殿，突兀地出现在麟游的青山之间。

隋文帝第一次巡幸仁寿宫时，看到眼前这座极尽壮丽的离宫，又得知工程期间数万役夫死亡的惨状，当场勃然大怒，斥责杨素为了修建宫殿，不惜耗尽民力，等于在全天下人面前为自己积攒怨恨。但杨素很快通过独孤皇后的斡旋，打消了隋文帝的怒气，独孤皇后甚至公开称赞杨素，说他知道帝后二人年事已高，把行宫修建得如此舒适壮丽，是不折不扣的忠孝之举。最终隋文帝不仅没有责罚杨素，反而对他大加赏赐，杨素也靠着这次督造行宫的功劳，进一步巩固了自己在朝中的核心地位。

杨素督造的这座岐州行宫，在隋代被命名为仁寿宫，到了唐代经过唐太宗的扩建，改名为九成宫，成为整个唐代最负盛名的避暑离宫。它见证了隋文帝人生最后的岁月，见证了隋炀帝在宫城之中即位的千古疑云，也留下了由唐太宗撰文、欧阳询书写的《九成宫醴泉铭》书法瑰宝。这座建立在数万役夫尸骨之上的皇家离宫，最终成了整个隋唐时期最具代表性的大型宫殿工程，也让杨素的名字，永远和这座特殊的离宫绑定在了一起。