在安史之乱爆发之后，唐朝将西北地区的河西以及陇右两个镇的精兵全都东调平定当时的战乱，而吐蕃去趁机入侵占据了唐朝的西北大片面积的土地，这个地方近百万的唐人被吐蕃人所控制，那时他们被称为落蕃人。
但让人没有想到的是唐朝竟然开始猜忌张议潮，朝廷认为他的队伍庞大，对朝廷来说是一种危险，于是便开始对他采取了限制的措施，刚开始的时候，朝廷让他们退出了归义军所占领的凉州，然后派遣了天平军去驻守凉州，名义上说是为了防止吐蕃的残余势力，实际上他是为了防止归义军。然后唐朝又开始下令让归义军的管辖区从十一个州缩小到了五个州。
可是张议潮非常希望朝廷能够接纳他们，让他们重新恢复对于西北的治理，于是他便上书给朝廷说，这些朝廷所排斥的人，其实他们都是唐朝西北战士的后裔，只是他们在安史之乱之后被吐蕃人给奴役了，如果朝廷能够真心的接纳他们，他们便可以回归到汉人的身份，唐朝也可以重新恢复以前对西北的统治方法。
可想而知，朝廷对于这些人以及张议潮本人都是不信任的，对于那些已经被吐蕃奴役的人们更是不能接受了，所以最终就导致了双方谈判崩裂，让他们与朝廷成为了敌人，最后凉州也成了归义军和吐蕃的联合阵营。
进入了朝廷的张议潮最终也因为抑郁而死，最后归义军的内部也产生了动乱，张淮深也被杀死了，归义军的势力由此开始衰落，而这时候的唐朝也逐渐走向了灭亡的道路。
