李渊的文书到了离太原不远的西河郡，那里的副长官高德儒大怒，公然表示反对。他说:“这不明明是造反吗?”李渊决定攻打西河，给胆敢不听号令的人一点颜色瞧瞧。六月初五，李渊命令大儿子建成和老二世民率领军队，向西河进发。

建成和世民率领的军队，很多都是新招募来的，还没有来得及训练。但是，这两个年轻将领都很能干，也很有信心。李世民知道，作为第一次军事行动，关系极其重大。打胜了，会提高全军的信心，大大鼓舞土气。反之，开局就输，那是很危险的。他决心拼尽全力，打好这一仗。李世民哥俩一路上和士卒同甘共苦，而且注意军队的纪律，不准骚扰百姓，蔬菜水果都必须出钱购买，不许随便乱拿。大军到了西河，立即把城包围了起来。但是，老百姓有事必须进城的也不禁止。因此，这支军队比较得民心。攻城的时候，李世民和建成身先士卒，带头冲杀，士气大振，很快攻进了城，俘虏了高德儒。李世民命令把高德儒拉来，

当众训斥道:“你欺上瞒下，捏造吉祥的征兆向皇上奏报，讨皇上的欢心，因而升官得赏。我们大兴义兵，就是要杀像你这样的坏蛋。”说完之后，立即把他斩首示众。除首犯高德儒之外，李世民兄弟不妄杀一人，而且贴出告示，叫一般官员和百姓都安心照旧干自己的事。

建成和世民等只用了九天的时间，就胜利返回了太原。攻打西河这一仗影响很好，方圆百里的百姓都高兴地说，这才是仁义的队伍啊!旗开得胜，李渊认为这是很好的兆头，他信心满怀地对将领们说道:“照这样用兵打仗，可以横扫天下”

接着，李渊正式亮出了义军的名号，组织了大将军府。李渊由留守改称大将军。军队称为“义士”。一共编为六支，分为左三军和右三军。李世民被任命为右领军大都督,统帅右三军。李建成则担任左领军大都督，统帅左三军。其余像裴寂、刘文静等，也就任命为重要的将官。

李渊派刘文静出使突厥，请始毕可汗派军队帮助。李渊交代刘文静道:“突厥军队喜欢抢掠。不好约束，请来容易，送走因难。我们请他们出兵帮助，只是为了壮大声势，使其他武装集团知道。突厥是支持我们的，因而不敢和我们作对。这样几百突厥军，队就够了，多了就要给老百姓带来祸患。”