1141年，赵构与秦桧合谋，解除了岳飞的兵权，随即将岳飞投入大理寺治罪，岳飞由抗金英雄，一夜之间沦为阶下囚。1142年1月，岳飞被赵构和秦桧以“莫须有”的谋反罪名，杀害于风波亭，年仅39岁。文天祥评价说：“岳先生，我宋之吕尚也。建功树绩，载在史册，千百世后，如见其生！”那么，岳飞死后，秦桧是怎样处置岳飞家人的呢？
关于岳飞就义后，其家人的下落，很多野史笔记中都有记载，可以清晰地看到秦桧处置岳飞家人的手段之狠。据南宋王明清《玉照新志》记载，岳飞就义后，其亲属一部分被流放到岭南，一部分被流放到闽北，皆是蛮荒穷困之地，条件非常恶劣，生活十分艰苦。
岳飞三子岳霖曾作《鄂国金佗稡编》，其中有许多在大难临头的时亲人去向的详细记载。如岳飞继室李娃，曾与岳飞生下岳霖、岳震、岳霆三个儿子。岳飞死后，李娃被秦桧逐至岭南，受尽磨难，岳飞案昭雪后，她带领三个儿子北归。
岳飞与前妻刘氏所生次子岳雷，岳飞死后，岳雷被遣送到广东惠州拘管，到父亲平反时，他已经在流放之地含恨死去。岳飞去世时，三子岳霖才12岁，四子岳震才7岁，五子岳霆才3岁，都随母亲流放蛮荒，受尽苦难。
值得一提的，是传说中的岳飞次女岳银瓶，当他听说父兄冤死，刚烈的她抱银瓶投井而死，想以死为父兄鸣冤，死时年仅13岁，后人尊称她“银瓶小姐”。
其实，在秦桧在清算岳飞亲属的同时，还有很多人为讨好皇帝和宰相而落井下石：比如，岳飞的部属姚岳。姚岳，陕西人，南宋初，陕西陷落，姚岳逃到四川，时任潭州知州兼权荆湖东路安抚使的岳飞，因自己姓岳，母亲姓姚，一次偶遇姚岳，立即辟为幕僚，引为亲信，二人曾在一起有过共事经历，姚岳后来调离。
岳飞下狱后，姚岳却矢口否认曾为岳飞属官。为了进一步与岳飞划清界线，他还向宋高宗上书，建议将地名中有“岳”字的岳州改为纯州，其节镇岳阳军改为华容军。宋高宗竟然接受了这一荒唐建议，将岳州改为纯州，将岳阳军改为华容军。真是，有怎样的昏君，就有怎样的奸臣。
南宋王英孙《岳王墓》诗曰：“埋骨西湖土一丘，残阳荒草几经秋。中原望断因公死，北客犹能说旧愁。”一门忠烈，人口凋零，让人叹息。
