大业十三年（617年），农历二月到六月，招兵买马、肃清太原、驱赶突厥，然后七月筑台誓师，正式起兵“匡复隋室”。李渊仅靠3万人起兵，而且同年十一月九日就攻入长安，才用时区区4个月。十一月十三日，傀儡皇帝杨侑（杨广之孙）封李渊为唐王、大丞相、尚书令；李建成为唐王世子；李世民为京兆尹，改封秦国公；封李元吉为齐国公，可以说李氏父子完全控制了关中局势。
义宁二年（618年），农历三月隋炀帝杨广兵败江都；农历五月傀儡皇帝杨侑被迫以“禅让”的方式将至尊宝座让给了李渊。从李世民筹划起义、想方设法“逼迫”李渊同意起兵、募兵买马等等，到李渊正式称帝，前前后后只花了十五个月。
历代王朝筑基之速莫过于此，而李渊之所以获得如此成功，不是说他比汉之刘邦或明之朱元璋更厉害，除了他成为了关陇世家的代理人之外，还有一个原因，那就是他有一群优秀的手下和儿子。
在急速崛起的路上，李渊豪不吝啬，见人就封国公，而李世民在这个过程中，积累了无数的功劳，等李渊称帝时，李世民被封为尚书令、右翊卫大将军，进封秦王。当时李唐朝初建，疆域只限于关中和河东一带，尚未完成全国的统一，因此，李渊让李世民开府自治，组建了天策府，手下一堆文臣武将，长孙无忌、房玄龄、杜如晦、尉迟敬德、侯君集等。命令李世民带领天策府四处征战，逐步消灭各地割据势力。所以等到武德四年，已经贵为“天策上将”的李世民，给李渊出了难题。
早在武德元年，李渊让李建成入住太子东宫，李世民就憋着一口气，因为李渊曾说“晋阳起兵”李世民有奇功，要立他为太子，结果这下反悔了。
武德三年，李元吉都接受李渊的命令，入住太极宫（长安皇宫禁苑）的武德殿，而李世民也无法再抗拒，最终入住了太极宫承乾殿（李世民长子就叫李承乾）。这一行为，预示着天策府的分崩离析，这也是李渊在暗示李世民无缘太极宫御座，并且也是李渊在实施逐步瓦解庞大的天策府和回收李世民的兵权的手段。
武德四年，李世民再次发兵重创窦建德余部刘黑闼和山东的徐圆朗。但是次年六月（武德五年），逃往突厥的刘黑闼，引突厥军队在山东作乱。这次李渊没有再次派李世民出征，而是委派太子李建成出征。
因为太子洗马魏徵对李建成说：“虽然您贵为太子，随陛下起兵征战有功，立唐后常驻宫内为陛下分忧处理政务，但若论军功和威望远远不及秦王，现在天下即将一统，刘黑闼气数将尽，只要刘黑闼伏诛，天下尽入李唐，何不相陛下请立无上功勋。”于是李建成听从魏征的建议，请求去征讨刘黑闼。
同年十二月李建成于魏州大获全胜，并向李渊献上刘黑闼首级，太子平定山东、击败了最后一股军阀势力，为天下统一立下大功。这又代表着李渊进一步遏制李世民的权势和扶持太子李建成。
