公元1140年，岳家军在朱仙镇大败金兀术，抗金形势一片大好。岳飞准备乘胜追击，打出了“直捣黄龙，迎回二圣”的旗号。这可把宋高宗赵构给吓坏了，如果岳飞真的迎回了二圣，那他的地位就尴尬了。他的父亲可以退休当太上皇，他的哥哥就不好办了。到时候如果他不把皇位让给哥哥，名义上不顺；但真要让他让出皇位，那就等于要了他的命。
李牧深知这次战争关系到赵国的生死存亡，而赵葱又决不是王翦的对手。为了赵国的安危着想，他以“将在外，君命有所不受”为由拒绝回朝。这样一来，赵王更坚信李牧有二心，于是设了一个圈套将他给杀害了。当时李牧统领的是赵国全部的精锐，尚且不能自保，何况岳飞当时只有岳家军这一支部队呢？如果当时他拒不回京，就等于公然和朝廷对抗，不管他接下来作何选择，朝廷都不会再供给他军饷和粮草。而且还极有可能派军队包围岳家军，到时岳飞将进退两难，或许正是为了避免出现这种局面，岳飞才不得已班师回朝。
