公元617年，天下大乱，农民起义军蜂起云涌，统治阶级内部也分崩离析。李渊在其次子李世民等人策划下，决定起兵反隋。李渊派晋阳令刘文静诈作敕书，征发太原等 4郡民众 20—50 岁的工男全部为兵，进攻高丽。以此大造舆论，扰乱民心，因而人心惶惶，思乱者益多。2 月，马邑人刘武周起兵杀太守王仁恭，自称天子 ，国号定阳。李渊遂以讨伐刘武周为名，自行募兵，四出活动，收揽人才。李渊的这一行动引起忠于隋炀帝的副留守王威和高君雅的怀疑。他们阴谋在太原郊外晋祠祈雨时，诱骗李渊参加，伏兵杀害。晋阳乡长刘世龙与高君雅相好，窃知其谋。告之李渊。李渊决定先发制人。5 月15 日，李渊诬告其副手、炀帝亲信王威、高君雅以"潜引突厥入侵"为由，将他们入狱。17 日，突厥数万兵士果真侵犯晋阳，很多人皆以为这是王威、高君雅所为。李渊乘机把天威、高君雅杀掉，宣布自己大举义兵，是为了安定天下。同时，李渊又卑词厚礼讨好突厥人，并与之相结，以安后方。李渊得到突厥的支持后，公开打出反隋旗子，于公元 617 年（大业十三年）6 月，传檄诸郡，称"义兵"。
公元618年3月，炀帝被杀后，死讯传到长安，李渊为之"痛哭"。5月，隋恭帝被迫禅位，李渊在太极殿即皇帝位，国号唐。改郡为州，以太守为刺史。废隋大业律令，继续隋之科举制度。
第一，先取陇、蜀（今甘肃、四川），再东争中原，南下江淮，收拾全国混乱局面。
公元618 年6 月，以次子李世民为西讨元帅，与金城（今甘肃兰州市）薛举父子战于泾州（今甘肃泾川县），经5个月苦战，薛仁二杲战败投降。西秦亡。唐得陇西之地。次年 5 月，擒凉王李轨，又得河西之地。在此之前，派使者至巴蜀得四川之地。
第三，出关东伐。主要目标一是洛阳王世充（国号郑），二是江陵萧铣（国号梁），三是河北宪建德（国号夏）;其次是江淮杜伏威、辅公祐。
公元 621 年 5月，李世民在虎牢（今河南荥阳县）擒获窦建德，王世充亦降。10 月赵王李孝恭俘萧铣，灭梁。同年，又平岭南，江淮杜伏威和幽州的罗艺也先后入朝。至此，基本削平隋将割据称霸、农民起义军称雄一方的全国四分五裂之状态，成了大统一局面。
