公元617年，隋炀帝在第三次征讨高句丽的战争中失利，大量隋军主力被消耗在辽东战场，而长时间的征讨高句丽战事，耗尽了大隋帝国的国力，国内遂爆发了大规模的反隋起义。一些隋朝的地方实力派也趁机做大，大隋帝国陷入土崩瓦解之中。
公元618年，隋朝太原留守李渊趁天下大乱之机在自己的大本营太原起事，李渊刚起事时，手里可谓是拿着一手王炸，众所周知，不管干什么事业，最重要的就是人才，特别是信得过的人才，但李渊似乎得到了上天眷顾，一出场就自带光环，李渊有三个儿子，分别是李建成、李世民、李元吉，那都是文武双全的优质人才，特别是上阵父子兵，在创业初期，没有什么比血缘关系靠谱。凭着自己团队的优势，李渊迅速占领隋朝的都城长安，夺取关中基地，有了问鼎天下的基础，之后在长安称帝，建立大唐帝国，中国历史上最光芒万丈的大唐时代开启。
但此时的大唐只是天下众多割据势力的一股，彼时，农民出身的起义军领袖窦建德占据河北、原隋朝军阀王世充占据中原，原隋朝贵族李密占据山东、原隋朝将领宇文化及占据扬州的江淮地区，而广大的江南地区则在萧宪的控制下主。为了统一天下，李渊加快大唐武装力量的建设，因为李渊长期与突厥作战，深知骑兵的重要性，于是在建国伊始，国库不充裕的情况下，依然尽最大可能组建了一支3500人的重甲骑兵部队，因为这些骑兵都身着玄甲（黑色盔甲），遂称之为玄甲军。此外李渊还让自己的次子李世民为玄甲军的统帅，全权指挥这支大唐最精锐的突击部队，在李世民的调教下，玄甲军即将迎来自己的巅峰时刻。
大唐立国后，关东（潼关以东）局势也发生了剧烈的变化，李密集团和宇文化及集团被王世充集团和窦建德集团攻灭，关东地区只剩下王世充和窦建德互相对峙，大唐与他们形成了三足鼎立的局面。唐军也曾几次出征关东，但都收效不大，长此以往，三足鼎立的局面将彻底固定，这是大唐不愿看到的局面。为了毕其功于一役，武德三年(公元620年)七月，在大唐立国后的第三年，李渊以李世民为统帅，率领10余万精锐唐军杀出潼关，开始了统一天下的征程。唐军一出关，沿途的王世充军队纷纷归降，唐军隋顺利推进到王世充的大本营洛阳城下。洛阳是曾经隋朝的东都，城市规模不亚于长安，城防工事完备、城内有大量的粮草物资、城墙高大坚固，唐军一时间只得望城兴叹。于是改变战术，以围困代替攻城。
就在唐军围困洛阳的时候，王世充派遣使者到河北寻求窦建德的帮助，窦建德本着唇亡齿寒的觉悟，更重要的是也想掺一掺中原这蹚浑水，于是答应了王世充的请求，亲率10万大军往洛阳城下的唐军袭来。消息传到唐军军中，李世民迅速召集众将商议对策，众将都建议暂时班师回关中，避开窦建德的锋芒，以待今后再做图谋。但李世民认为，此时洛阳已经是精疲力尽，一旦放弃太过可惜，他力排众议，决定在洛阳地区与窦建德和王世充两大集团决战。而最关键的就是要阻挡窦建德与王世充汇合，李世民查看地图后，决定在虎牢关阻击窦建德大军，他将唐军主力留在洛阳城下继续围困王世充，自己亲率3500名玄甲军将士，到虎牢关阻击窦建德的10万大军。
李世民在窦建德之前抢先占据虎牢关，待窦建德抵达关前，李世民决定主动攻击，打击窦建德的士气。窦建德大军被玄甲军的突袭打蒙了，阵型大乱，李世民瞅准时机，直奔窦建德中军，生擒窦建德，窦建德10万大军见主帅被擒，瞬间崩溃，玄甲军趁势进击，大破之。李世民将窦建德用囚车押到洛阳城下，城头上的王世充，见到窦建德见状后，最后的抵抗意志也崩溃了，遂开门投降。虎牢关之战，李世民用自己高超的指挥艺术，一战灭2国，结束了天下纷乱的局面，而此战中居首功的无疑便是那支彪悍的玄甲军。《资治通鉴》记载："秦王世民选精锐千馀骑，皆皂衣玄甲，分为左右队，使秦叔宝、程知节、尉迟敬德、翟长孙分将之。每战，世民亲被玄甲帅之为前锋，乘机进击，所向无不摧破，敌人畏之。
虎牢关之战后，大唐统一了天下，玄甲军也一战而红，成为声动天下劲旅。玄武门之变中，以玄甲军为主体的800秦王府（李世民）卫士，力挫东宫（太子李建成）和齐王府（齐王李元吉）的3000精锐长林兵，为李世民登基立下汗马功劳。李世民即位后，鉴于玄甲军恐怖的战斗力，对其进行了拆分。一部分成为皇宫近卫部队"百骑"，长期驻扎在皇宫附近只在内部实行轮换而不离开京城，只接受李世民的指挥。另一部分，则划归兵部，在大唐攻灭宿敌东突厥战役中，唐军名将亲率3000骑兵（其中主力便是那支玄甲军），长途奔袭，翻越阴山，生擒东突厥单于颉利可汗，一战灭亡东突厥，让大唐的声望响彻环宇，其中玄甲军又起到中流砥柱的作用。
诚可谓，赳赳武夫，国之干城。
