朱元璋建立明朝后，对于军队管理，开始下起了一番苦功。明朝以武力平定天下，不可避免的，会出现武将仗着功劳最大，飞扬跋扈的情况。而且，除了少数人，大部分武将都不会自我约束。
最典型的例子，就是开国将军蓝玉。他在自己家里很多庄奴，还认了很多干儿子，培植自己的私人势力，做了很多违反的事情。因为侵占民田，御史去责问时，蓝玉直接把御史逐出。
这种事情的发生，对于朱元璋来说，就是一声警钟。他必须设立一套制度，可以用来管理军队，约束武将的行为。在刘伯温的帮助下，朱元璋把全国的军队整编为卫所，从京城到地方，都设立卫所。
卫所中，士兵实行屯田自养的政策，从而为国家节省军费开支。在兵力配置上，朱元璋在京城地区，驻扎了六十万，其余地区分别驻扎一百五十万。也就是说，当时的兵力侧重京师。
为了防止军权过分集中在某位大臣手中，朱元璋又废除过去设立的大都督府，改设五军都督府。不过，五军都督府并没有掌握所有兵权。它们主要掌握军籍、训练和军政。
至于军官的任免、升迁、军令调动等，则交给兵部负责。所以，明朝初年有一句话，叫做“兵部有出兵之令，而无统兵之权，五军有统兵之权，而无出兵之令。”
不过，兵部并没有权责过问五军都督府的事务。否则，视为违制。也就是说，在明朝初期，当时整个国家的最高军事指挥官是五军都督府最高长官左、右都督，以及兵部尚书。
在明朝初年那种崇尚武力的氛围中，五军都督府的最高长官左、右都督，级别都高于兵部尚书。左、右都督的官阶都为正一品，兵部尚书为正二品。
跟兵部以科举选中的人才不同，五军都督府的人选，都是那些功臣宿将。这个做法，有利有弊。功臣宿将大多亲身参与战争，对战争肯定更为熟悉。但是弊端也很明显，就是后继乏人。
不过，在朱元璋后期，明朝兵权曾短暂过渡到各地藩王手中。但是，在建文帝朱允炆登基后，又着手削藩，打压武将地位，提高六部尚书的品级。
到了永乐皇帝时期，五军都督府虽然地位很高，但实权已经开始归到兵部手里。五军都督府的很多职权都被不断裁撤，而兵部的权力是在不断上升的。
兵部掌握的职权，包括皇帝、皇后、皇太后出行时车驾排列，礼仪排场，以及宫廷守卫。京城军队的操练，以及其他大小军政，都归兵部掌管。
不过，在永乐皇帝时期，五军都督府，依然极有分量。真正让五军都督府开始衰落的，还是明朝中期，正统年间发生的土木堡之战。公元1449年，住在北京的正统皇帝朱祁镇接到蒙古瓦剌率军入侵的消息。于是，在宦官的怂恿下，决定亲征蒙古。
为了打赢这场战争，皇帝把几乎把最好的家底都搬空了。除了各样武器，还有那些功臣宿将，文武大臣。因为愚蠢的指挥，明朝军队行军至土木堡时，被蒙古军队击败。很多大臣在这场战役中阵亡。
这些人中，有一些是亲身参加战争，凭着自身军功得到官爵的。甚至还有朱棣时期的名将，如英国公张辅。也有功臣宿将的后代，如平乡伯陈怀。这些人都是五军都督府的支柱力量，他们的去世，对于五军都督府的力量，无疑是一个巨大的打击。
而在土木堡之变后，兵部尚书于谦开始统率京城防务，抵御蒙古军队入侵。此时，于谦掌管的兵权，不仅是兵部，包括五军都督府的兵权，也被囊括在内。
于谦去世后，兵部的权力，依然没有下降，反而地位开始越发重要。在过去，五军都督府还有掌管武将提拔选任，军队操练的职权。到了明朝中后期开始，各地都司卫所呈送给朝廷的奏报，都是直接跳过五军都督府。
至于操练军队，也不归五军都督府管辖。因为这些权力，都交给巡抚，以及下层军官负责。五军都督府实际被架空了。而这些人也不向五军都督府负责，而是向总督，或者朝廷兵部汇报。所以，到明朝中后期，朝廷实际的最高军事机构，已经成了兵部掌管，而不是五军都督府了。
