割据马邑的刘武周，打败隋军，占据了皇帝的另一个行宫，一个汾阳宫(在今山西静乐县北)。李渊觉得机会来了，正好利用它做为招兵的理由。而且，他还要设法让王威、高君雅不仅不怀疑，而且赞成，李渊把众位将官召集起来，商量事情。他先说道:“我们没有尽到守土保民的职责，让刘武周占据了汾阳宫，丢失了皇上的行宫，这可是不得了的事情。

如果不能赶快打败刘贼，夺回汾阳宫，咱们都可能遭到毁家灭族的处罚!今天特意请诸位来商量，请大家各谈高见，看该怎么办?”副留守高君雅刚在马邑吃了败仗，虽然隋炀帝没有处罚他，但这总是一个心病。现在汾阳宫又丢失了，他和王威副留守都有责任，当然害怕皇上怪罪下来。因而，他俩一再请求李渊说:“唐公功高望重，善于用兵，还是请您赶快说怎么办吧，我们都听您的。”

李渊摆出十分为难的样子说:“用兵打仗，一举一动都必须受朝廷指挥。可是，现在叛贼近在几百里之内，皇上却远在三千里以外的江都。从江都到这里，道路艰难险阻，又有多处盗贼隔着，咱们的军情不能及时上禀( bing)，军令也不能及时下达。军情瞬息万变，咱们却不能机动灵活地处置。

在这种情况下，要守土保民，打垮叛贼，实在没有办法。”王威和高君雅说:“现在是非常时期，按照常规办事，如果等到奏准朝廷以后再办，岂不误了国家大事！大人是一方的长官，又是皇上的亲戚，只要是为了平贼，来不及禀报皇上，就自己作主好了。李渊就是要王威、高君雅说出这样的活。看到这两个笨蛋上了自己的圈套，他心申暗暗高兴。但是，表面上李渊即十分严肃地反对说:“不报告皇上，自已作主，那怎么行?”经过大伙七嘴八舌地劝说请求，李渊才装出非常勉强的样子说:“既然大家都是这样的意思，为了国家，我就权作主张吧。

要打刘武周,咱们这点兵是不行的，因此，我决定首先招募军队。”大家都表示同意，李渊的目的达到了。李渊指派李世民和已经出狱的刘文静等到各地募兵。打刘武周是保呆乡守士，不比远征高丽，因此，来应兵的人很多，几乎将近一万人。