进入长安以后，李渊按照原先的计划，拥立代王为皇帝，名义上尊炀帝为太上皇，他自己作大丞相，并且由“唐公”升为“唐王”。小皇帝只是一块招牌，一切军政大权，都掌握在李渊手中。

李渊刚进入长安，从西边传来了紧急军情，割据陇西(今甘肃省东南部)的薛举，军队发展到号称三十万，图谋进攻长安。他的儿子薛仁杲已经率军进攻离长安不远的扶风了。

李渊在长安立足未稳，一个强大的对手就打上门来，形势严重啊!

薛举，祖上是河东汾阴(今山西万荣县)人，他父亲时，迁家到金城(今甘肃兰州市)。薛家财富万贯，和当地豪强来往密切，在陇西很有势力。此人膀大腰圆，异常凶悍，武艺高强，尤其精于射箭。他本来是金城府的军官，六一七年四月，趁天下大乱的时机，杀死金城的长官，割据陇西，起初自称西秦霸王，当年七月，改称皇帝，极力扩张势力。不久，他的儿子仁杲，率兵攻开天水，薛举把都城从金城迁到那里。十二月，薛军图谋夺取长安，派薛仁杲等率兵东进，包围了扶风，气势非常嚣张。

扶风在长安西边，离长安不远，李渊知道这对自已是极大的威胁，如果不尽快击退薛举，就不可能在长安站得住脚。于是李渊派李世民率领精锐部队，去迎击薛仁杲。双方在扶风展开激战，薛军被李世民的军队打得大败，匆忙逃回天水。

薛举本来气势汹汹，一败之后，就泄了气。他担心李世民长驱追赶，来端他的老窝儿，曾经产生投降的想法。其实，李渊刚刚占领长安，还没有站稳脚跟，李世民又担心在潼关的屈突通会向刘文静发动进攻，所以，击溃薛仁杲以后，并没有穷追。

六一八年三月，隋炀帝在江都被他的大臣杀死。既然这个“太上皇”完蛋了，李渊就迫使小皇帝让位给他，在五月二十日正式登上皇帝的宝座，建立了唐朝，年号是武德，他就是唐高祖。李渊立建成为太子，世民为秦王，在太原留守的元吉为齐王。在这之前，屈突通在屡次战败之后，已经投降了李渊。