提起北府军，大概都会想到谢安、谢玄。但这支战斗力强大的北府军，第一次组建却与谢氏无关。
公元322年，随着八王之乱的扩大化，西晋被蜂涌而入的五胡灭亡，胡人军队在北方大肆屠戮，大量汉人跟着晋室南迁。山东一带的大族郗鉴率领族人和私人武装南逃，在逃亡的过程中不断招募青州、徐州一带的流民入伍，他的私人武装渐渐扩大，变为一支具有相当实力的军队。郗鉴的初衷和大多数悲惨的汉人一样，只不过是为了躲避战乱，但是他没有想到，自己无意中创建的一支私人武装，最后竟然演化为左右东晋政局的举足轻重的力量。
而这支军队，就是日后赫赫有名的北府军。
一、 王敦叛乱
东晋南渡后，开国之君晋元帝并没有自己的军队，全靠琅琊王敦、王导兄弟的武装帮助其立国。因此后来东晋的形势，在政治上表现为大族共治，“王与马，共天下”是其典型形态。田余庆先生将之总结概括为门阀政治，因其概括到位阐发精微，遂被治史者奉为圭臬。晋元帝司马睿的政治班底是其受封琅琊王时的势力，渡江后得到琅琊王氏的大力支持，王氏之后，颍川庾氏、谯国桓氏、陈郡谢氏等士族相继控制东晋政局，在皇室与大族对抗妥协的斗争中，各士族之间还存在千丝万缕的联系和斗争。同时，以顾、陆、朱、张为代表的江南土著士族被北来的皇室和大族压制，两者之间也存在不同程度的对抗。这些政治矛盾一直在不断酝酿积累，有时爆发为士族内部的战争，有时转化为对外战争。
就在北府军刚刚具备雏形时，东晋内部便爆发了内乱——王敦叛乱。晋元帝刚立国时，王敦、王导兄弟一内一外夹辅朝政，王敦控制了荆州（今湖南湖北）、扬州，王导则在朝中主政。王敦为人嚣张，晋元帝不甘为其所制，遂在建康外围征发和部署军队，命令亲信周顗、戴若思分别掌握两支部队。王敦对这种赤裸裸的挑战行为不能容忍，公元322年，遂自荆州举兵东下，攻陷都城建康，晋元帝无可奈何，当年年底忧愤而死。王敦虽然在军事上完全压制了皇室和其他士族，可以凭借枪杆子篡晋自立。但是当时南渡士族为维护自身利益，都不希望王氏一家独大。王导也明白王氏还没有具备禅代的条件，他便在叛军进攻建康时，亲率王氏一族子弟在皇宫外请罪。王敦看到这样的局面，深恐陷于众叛亲离的境地，只得返回荆州，继续遥控朝局。这是王敦第一次叛乱。
郗鉴
此时郗鉴已将其部曲迁移至合肥，并在实质上获得东晋政府的承认，因而专心在合肥编练军队。得益于东晋初年军队和行政体制的崩坏，郗鉴实际上成为合肥的军政一把手，统管当地的军事、人事、财政大权，这为北府军扩充力量带来极大便利。当时晋军力量体系主要分为中军、外军、州郡兵和私兵部曲。中军的职责主要是保卫皇帝和中央，其驻扎地在皇城内部和京城外围，其主管将军是中军将军。外军的主要职责是弹压地方，对外征战，主要接受都督的管辖，都督制始于曹魏，西晋沿袭这一制度，晋武帝出于防范外军都督拥兵作乱的考虑，曾一度将属于军队系统的都督和属于行政系统的刺史分开，实行都督管军，刺史管行政。这一制度，同时也与州郡兵的罢废有关。西晋建立后，国内没有大的战事，中央统治力威慑力很强，晋武帝决定罢州郡兵，但实际上州郡武装力量仍不同程度存在。所以有争论说，晋武帝罢州郡兵实质是剥夺刺史管军制度，因而出现了短暂的都督与刺史分治军政的局面。但到了晋惠帝时期，随着宗室诸王对各王国控制的加强，诸侯王与中央分庭抗礼，都督的权力逐渐加大，很多地方出现都督兼管军政的局面。这种趋势，推动西晋走向内乱，同时也规范形成了贯彻东晋历史一百多年的军事体制。
北府军系由士族建立的地方军队，属于郡国兵。在东晋时代，作为中央政权基本实力的皇帝宿卫军和京师主力部队早已衰弱不堪，取而代之的是由各大州士族所掌握的外军，在实力配置上也变为外军强而中军弱。所以当王敦叛乱时，缺少中央宿卫军的晋元帝丝毫没有抵抗能力。
二、忠心护主的郗鉴
郗鉴此人对晋室怀有忠义之心，他对王敦叛乱之举痛心疾首，但苦于自身实力太弱，没办法南下帮助建康讨平叛乱，于是加强北府军的建设，开始更大规模的招募北来流民。晋代的兵役制度，起初继承三国的世兵制，即从军者世代为兵，父死子继，兄亡弟补。到了后来，世兵军户地位逐渐卑微化，很多世兵实际上成为贵族和大将的奴仆，世兵户逃亡现象愈演愈烈，兵员难以补充，这种征兵制度难以为继。晋军于是不得不用征兵制来补充，征兵制是一种面向全体成年男丁的征兵制度，但是这种制度能否施行取决于国家的控制力，东晋时户口隐匿和人民流亡现象严重，在藉的民丁数量很少，而且在征战频繁的条件下，临时征集的民丁训练时间少，作战能力很弱，所以世兵制度此时也不是主流。诸般形势演化，使得募兵制成为北府军征兵的主要方式。募兵制即面向广大成年民丁，设置较高的入伍条件，募集想从军而体质又较强的兵员。郗鉴最初在山东组建本家部曲，包括其后在合肥招募流民为兵，其主要来源是从山东、河北、河南、两淮逃亡而来的汉人流民，郗鉴开出较高的应募条件，同时又保证这些流民的生命安全，为他们提供可以生活的环境，军队规模越来越大。正当北府军实力逐步壮大时，东晋再次爆发了内战——第二次王敦叛乱。
晋元帝死后，其子司马绍即位，是为晋明帝。晋明帝对父亲为王敦气死耿耿于怀，图谋消灭王敦。他惩于晋元帝手中无兵因而失败的教训，希望引入一支强军来对抗王敦。于是便想借助郗鉴的军事力量，他任命郗鉴为兖州刺史，都督扬州江西诸军事，镇合肥。
王敦对晋明帝的意图洞若观火，再次举兵东下进攻建康，顺便还上书中央，迫使朝廷召郗鉴到建康任职，从而使北府军将帅分离，阻止其渡江参战。郗鉴自己的部曲都远在合肥，无法引军入援，但他知道流民部队战斗力较其他部队为强，于是建议召苏峻、刘遐等流民帅带兵入援。
此时形势依然严峻，无论是北府军，还是苏峻等人的流民军，都没有实战经验，不知能否挡住王敦大军。不料天赐其便，已是风烛残年的王敦不久病死，王导身在建康，不敢回荆州领军，荆州军群龙无首，苏峻、刘遐趁势发起进攻，取得了一系列胜利，王敦经营多年的荆州势力遭到毁灭性打击，第二次王敦叛乱以中央胜利告终。
这场战争打完，晋明帝深感手中无兵的痛苦，于是任命郗鉴都督徐兖青三州军事、兖州刺史、假节，镇广陵。郗鉴在合肥的部曲遂得以迁至京口。晋明帝的意图再明显不过，以北府军为皇室外援，防范再次发生王敦式的叛乱。然而晋明帝对流民部队的猜忌并不因郗鉴的忠诚而稍有减少，郗鉴的北府军毕竟不能直接过江而入建康。这也是晋元帝父子对流民军的一贯态度，以祖逖之忠，凭收复河南之功，尚且不见容于晋元帝，何况他人。事实上这种态度也不无道理，晋室没有强大的中军，这使得皇帝不可能对任何一支外军放心。而这种担心，在北府军刚刚到达京口后，就变成了事实。
三、流民帅再次叛乱
流民帅苏峻发动叛乱。
在平定王敦之乱后，苏峻因功被任命为历阳（今安徽和县）内史，即历阳郡守。王敦死后，王氏领军人物王导虽然没有被杀，但地位大不如前。政治新星颍川庾亮以帝舅身份执政（庾亮妹妹系晋明帝之妃，晋成帝之母），庾亮对这支与建康近在咫尺的流民军很不放心，想削去苏峻的兵权，苏峻立刻联合祖约（祖逖之弟）起兵反叛。庾亮发各州兵勤王平叛，但出于防范其他流民军借平叛再度控制中央的考虑，他严令北府军不得渡江参战。郗鉴隔岸观火，眼见苏峻、祖约攻陷建康而不敢南下入援。后来庾亮联合温峤、陶侃合力打败苏峻，庾亮引咎自责，不再居朝执政，请求出镇豫州，王导又执掌了中央权柄。
郗鉴和北府军没有参与战争，反而趁机进一步加强自身建设，通过不断训练逐步提高战斗力。军队训练内容，除演习列队阵法外，还要进行实战演习，其历时从七八天到十天不等。同时，因为地近建康，北府军的后勤军械供应也较在合肥时期有了进一步改善。北府军所需的物资主要有两大类，一是兵器和车船等装备，二是粮秣。中央力量较强时，这些物资本应由中央政府统一供应，然而东晋时代迥异于前代，中央政府力量衰弱已极，所控制范围不出三吴，因此制造兵器、装备的“作部”，主要由各州当政的士族控制，军器制造完毕后，除极少部分上交中央外，大多数存入地方州郡的武库，一旦战争爆发便自行取用。粮秣供应也是如此，北府军所需粮食、被服多为青州、徐州、兖州（上皆为东晋侨置州）本地所产，当然京口地近京师，中央政府有时也供应一部分。但大多数情况下，东晋政府是无力顾及外军的。例如南渡之初，袓逖请求北伐，晋元帝心有余而力不足，虽然口头同意祖逖北伐，但一不给兵，二不给粮，祖逖慨然应允，自筹钱粮，自募兵士，居然也组建起一支数万人的北伐军，打下了黄河以南的广大土地。北府军此时的情形，与祖逖是别无二致的。
纵观从王敦到苏峻的三次叛乱，郗鉴及北府军实质上是置身事外的。东晋立国之初，各大士族分别握有强兵，互相征战，都是朝不保夕。而这三次叛乱，客观上将东晋各派兵力进一步削平，各派互相制衡的态势越发明显。北府军在这一过程中却没有受到丝毫削弱，反而在郗鉴的苦心经营下，从一支名不见经传的小部队，慢慢成长壮大为能够左右政局的重要力量。
事实也证明了这一点。庾亮出镇豫州，对居中执政的王导很是不满，欲谋举兵入京废掉王导。荆州刺史陶侃，平定苏峻之乱后实力膨胀，也想东下入京废王导。但二者的军事实力已远不如当年的王敦，而北府军多年养精蓄锐，已不能再视若无睹了。陶侃、庾亮在决策之前均向郗鉴咨询废王导之事，一则试图与之联合，二则探明北府军的政治态度。郗鉴出于维护大族共治的局面，坚决反对再度举兵反抗中央。陶、庾忌惮北府军的实力，虽蠢蠢欲动而终于不敢举兵。北府军不发一兵而屈人之兵，足见其潜力之深、影响之大。
四、军权旁落
公元339年，北府军的开山人物郗鉴在病逝，军权由其子郗愔接掌。此后遂成为惯例，掌握京口兵权的不是郗氏子弟就是故将。东晋中央为了保持局面的稳定，对徐兖青三州特别是京口的人事并不多做干预，而是刻意保持郗氏势力在京口的存在，以使中央始终能够借重这支忠于中央的军队威慑各士族。
但这一形势随着桓温的崛起，发生了急剧的变化。
变化的源头是士族力量的消长。庾亮兄弟去世后，其势力也渐渐衰落，曾是庾氏门下将领的谯国桓温势力逐渐壮大。桓温担任荆州刺史，全盘继承了庾氏在荆州的力量，但因为其宗族子弟没有人在朝中任显职，虽然实力强劲，却没有达到王敦当年军政皆专的局面。桓温为提升其威望，先后两次率荆州之众北伐，第一次在354年，北伐前秦，桓温率晋军一度打破长安城，因为粮运不继和诸路协同出现问题而退兵；第二次在356年，桓温北伐姚襄（割据河南山西一带的羌族势力），并成功收复旧都洛阳。其声望渐渐超越诸士族，与中央的矛盾也越发显现，但桓温忌惮北府军这一存在，不敢贸然举兵威胁建康。
桓温北伐
北府军虽未参与东晋历次内战，但徐州流民历来骁勇好斗，其所组成的流民部队战斗力非常强悍，桓温就曾说：“京口酒可饮，兵可用。”因而解决京口的异己力量，扫清控制中央的绊脚石，成了桓温念兹在兹的心结。
公元369年，桓温发动第三次北伐。这次北伐的真正重心其实仍在于解决桓温和中央的矛盾，一方面，桓温企图再次通过北伐提高威望，为篡夺帝位积累资本，另一方面，借这次机会彻底解决北府兵的问题。大军出发前，桓温邀请徐州都督郗愔一同襄赞北伐事宜。此前，庾氏忌惮北府势力时，也曾要求北府兵向北移驻，以便更直接与北方作战，但郗鉴始终不同意北移。桓温的意图与庾氏相同，然而郗愔政治野心不大，不欲与桓温相争，在桓温的裹挟和儿子郗超的怂恿之下，让出了京口的兵权，北府军被分解编入桓温军中。京口的镇守权也落入桓温手中，至此，这一阶段的北府兵终于告一段落。
