就在谢安、王坦之等人千辛万苦地熬到野心勃勃的桓温逝世时，来自北方苻坚前秦日益沉重的军事压力也使得陈郡谢氏这个东晋最后一个士族领袖不得不重新梳理与谯国桓氏的关系，思索抵御外敌之道。
公元357年，前秦的苻坚在权力斗争中先下手为强，凭借着杀戮登上了天王的宝座。 特别是在苻坚重用汉人王猛之后，前秦的国力在一系列的封建进程中突飞猛进。并先后向南攻占了东晋的梁（今陕西汉中）、益（今四川成都）二州，向北并吞鲜卑拓跋代国，向西则兼并了前凉、远征西域，真正意义上的统一了北方。
尽管王猛生前极力劝谏苻坚不要进攻东晋，但野心勃勃的苻坚仍然将觊觎的目光投向了长江，意图以挥鞭断流之势统一天下。
（值得注意的是前秦的统治根基并不是传统帝国所拥有的庞大编户齐民而是以氐羌等部落和以坞堡等形式组织起来的各地豪强。前秦更像是这些地域性、族群性政治集团的盟主，这也是前秦军事行动大败后迅速崩溃的根本原因）
哪怕东晋门阀在内部的互相牵制之下难以真正意义上地取得北伐成功，但这些累世公卿、武断乡曲的门阀士族绝对拥有着对危机时局的敏锐嗅觉。
就在苻坚对东晋虎视眈眈的同时，长江下游以由谢氏家族垄权的东晋小朝廷同样意识到了前秦崛起所带来的巨大威胁。一方面，哪怕桓谢两家存在严重的利益分歧，作为谢氏家族代表人物的谢安依旧竭力调和桓谢两大家族关系，为即将爆发的战争作准备。而桓氏家族作为顶级门阀士族的一员，出于维护门阀士族本身的利益，同样也在积极的备战。另一方面，东晋朝廷陆续派出桓嗣、王蕴、谢玄等世家代表人物外出当任刺史、都督军事，从而构建抵御北方军事进攻的防线。
但很显然，东晋朝廷所能依靠的主要军事力量——世兵制，已经在偏安的太平氛围和士兵逃籍中走向了衰落，难以对抗前秦南征北战的劲旅。意识到这一点的谢安决定任命谢玄招纳流民、组建新军。
综合考虑之下，新军采用了传统的募兵制。并且为了继续压制长江南岸原有的江南豪族，在军队组建的重大问题上，谢氏等侨姓门阀依旧选择了仅仅在京口、广陵等侨姓流民聚居地招纳士兵。因为京口在东晋时期被世人别称为北府，这支新军也就被世人称作了北府兵。
而它的优点也是显而易见的。一方面，逃难而来的侨姓流民与北方政权往往有着血海深仇，作战效死。另一方面，能够跨越长江南渡的难民也有着强健的体魄和顽强意志，完美符合传统士兵的招纳要求。就这样，在驻扎京口的谢玄广泛地从当地的流民中招纳士兵、将才时，流民刘裕刘牢之也就在这个时候开始崭露头角。
饱受瞩目的北府军倒也没有辜负满朝公卿的期待。公元378年，也就是北府兵成立的第二年，迫切完成统一大业的前秦天王苻坚就开始分三路合围襄阳，投入高达17万的兵力。意图一举拔掉东晋在长江北岸的各个州郡，为大军南渡做准备。秦晋淮南之战就此爆发。然而，有谢玄带领、自广陵起兵的北府兵四战四胜，全歼敌军，一举粉碎了前秦的战略意图。
但相对于强横的前秦，一切都还只是世纪大战的开胃菜。
公元383年，就在桓冲倾十万荆州兵伐秦，以牵制秦军、减轻对下游的压力的同时，苻坚直接从全国各地抽调共计112万的庞大军队再次发起了进攻。寿阳、郧城以及硖石相继的陷落后，自以为胜券在握的苻坚甚至派出了曾经东晋的官员朱序以“大势所趋”前往劝降。没成想，朱序却是“身在曹营心在汉”。到达晋军营帐的朱序反而为晋军深刻分析利弊、力劝当时晋军的水师主将谢石趁前秦的主力未到主动发起进攻。
后来，谢玄在谢石的建议下率先派遣刘裕率领五千北府兵兵奇袭洛涧，斩获无数，揭开了淝水大战的序幕。随着战局的僵持，晋军与秦军开始对峙于淝水。也正是在这时，苻坚做出了一个大胆决定：接受晋军建议，“半渡而击”。而就在秦军无序后撤时，朱序等人和晋军谍报在秦军阵后大叫：“前线的秦军败了！”这支来自北方各处，由各地豪强、部落组成的庞大联军就这样迎来了自己的末路。
喜闻乐见的是，就是这支起于流民武装的北府兵中最后却诞生了新王朝的缔造者，彻底结束了“皇帝垂拱，门阀当权，流民出力”的东晋王朝。
