在西晋灭亡之后，司马睿在南方建立起了东晋，此时北方虽然已经陷落，但是西晋作为一个曾经的大一统王朝，其拥护者还是有的，更何况是在胡人的统治之下，如辽西鲜卑段匹磾、辽东鲜卑慕容廆、并州刘琨、河南李矩、郭默和还没有南撤的北方人民所建立起来的坞堡势力都是反抗力量。
此时的北方胡人内部也不是一片和谐，曾经的奴隶在经过自己的奋斗终于走上了自己曾经不敢想的位置，随之而来的就是野心的滋长。在刘聪死后，子其子刘粲继立，史称隐皇帝。刘粲继位后，因其荒淫无度，沉湎酒色，置朝政于不顾，悉数将其交由外戚靳准决断，因此一月后刘粲就被靳准诛杀。此时的汉赵政权就如同西晋八王之乱时一样，虽然没有彻底的撕破脸皮，那也是箭在弦上，北方的大地上再次存在三方势力——石勒、刘曜、靳准。
在靳氏之乱被平定后，石勒占据着平阳不松手，刘曜此时只能迁都长安称帝，称前赵，同年十一月（319年）石勒也称帝，于襄国即赵王位，正式建立赵，史称后赵。随着石勒的正式反叛，前赵丧失东土，独存西境，势力大损。此时正是北伐的好时机。
但是此时的南方也存在相当大的问题，东晋作为西晋的政治上的延续，虽然国家是建立起来了，内部确实矛盾重重。东晋更像是一个由世家大族拼凑起来的一个朝廷，是按照谁的股份多，谁的话语权就强大，而且东晋靳延续了西晋残酷的政治斗争。
北方的世家大族和南方的世家大族本来就是为了抵抗来自胡人的威胁而在一起的，并且“王与马共天下”换来的是北方士族身居高位，那么南方的士族自然而然的就受到利益上的损害，所以此时司马睿更多的任务是平衡双方的矛盾。
祖逖虽然一心想要北伐，但是却无法得到支持。在一次求见元帝司马睿中说到：“晋室之乱，非上无道而逃民怨叛也。由藩王争权，自相诛灭，遂使戎狄乘隙，毒流中原。”“今天下既被残酷，遗黎思本，人有奋击之心，但悉无所凭倚。”“大王诚能命将帅，使若逖等执殳前驱，上为国家雪耻，下为百姓请命，则郡国豪杰必因风响起，沉溺之民欣於来苏也。”“扫洒中原，清复寰宇，此千载之一时，愿大王图之。”最后看祖逖话都说到这个份上了。司马睿给了祖逖一个奋威将军、豫州刺史的空头衔和千人的粮饷，三千匹布。随后祖逖带着自己的家族武装数百人，毅然决然地踏上了北伐之路！
虽然司马睿没有在人力、物力、财力上给予支持，但是北伐的名声就是一个非常有力的武器。西晋在北方统治虽然崩溃，但在胡汉民众之中还有巨大的号召力。并且此时北方的反抗力量都将“尊奉晋室”作为提升自身政治影响，获取民众支持的有力武器。中原汉族百姓也普遍有反抗胡族统治的民族意识。
而且祖逖是奉司马睿之命出师北伐，所代表的就是当时的东晋朝廷，有着无与伦比的正统性，在北方各路反抗力量中有着无法代替的作用，而且反对祖逖就是反对晋室，所带来的后果是非常严重的，所以祖逖在北伐时面对层层坞堡，能够快速拿下，获取坞堡的支持，能够快速打通北伐道路的原因。在之后的时间里，趁着北方石勒和刘曜两人内斗，祖逖收复了黄河以南的大部分地方，并且形成了和刘琨南北相互夹击的局面。
但是当北伐有点起色的时候，刘琨失败了，逃亡幽州被杀。同时东晋内部不安分因素也在蠢蠢欲动，此时的司马睿已经不甘心当一位傀儡皇帝，东晋的朝廷实际上被琅琊王氏所掌握的，内有王导、外有王敦。所以此时的司马睿对内开始重用寒门子弟，比如刁协、刘隗等人，对外以刘隗为镇北将军，戴渊为征西将军，同时司马睿命戴渊接替祖逖。大业未酬，头上便先来了一个管自己的。
从这里我们也不难看出，东晋朝廷对祖逖也不放心，祖逖手中的兵都是自己的部曲，属于私军，有着强烈的个人印记，东晋不愿意也不敢将这样一支强大的军事力量放弃。同时曾经的队友王敦整天也在嚷嚷着造反的事情，而司马睿手中缺少的就是一支强大的军事力量，所以就派人来夺取了祖逖的军权。
祖逖看到这里，仿佛看到了西晋灭亡时也是这样，外有强劲的胡人，内有不安分的臣子，相互争权夺利，此时的祖逖觉得收复北方无望后，忧愤成疾，病死军中。而在祖逖死后，其弟祖约接管军队，但是难以抵挡后赵，最终北方再次被攻陷。
