事情的经过大概是这样的，在熙宁八年正月的山东沂州，有人告发前馀姚县主簿、徐州人李逢密谋反叛，谋反案惊动皇帝神宗后，派人两次调查，没想到竟牵扯到了赵世居。原因是赵世居曾“收留李逢，阅读图谶，语涉悖乱”，特别是办案人员还从赵世居收藏的书中发现了一部《攻守图术》，于是便确定了其“图畿袄妄书”“访天子变异，伺国家休咎”等罪名，同时还指控赵世居长得貌似太祖。案子传到神宗那里，自然不会放过，结果赵世居等七人被杀，子孙免死但被监禁，并被从玉牒中除名，其兄弟、叔伯、侄子都遭到降级，妻子、女儿、儿媳发到禁寺中出家为尼。可见，宋神宗对太祖一支的提防之心是非常重的。
最后，到了徽宗朝，太宗一支终于遭到重创，全族男女几乎被女真人一网打尽，男的成为奴隶，女的成为金人的玩物和女奴，可算是报应不浅。“靖康之变”重创太宗一支后，却为太祖一支带来了转机，在赵构创建南宋，拼命努力也生不出儿子的情况下，不得不重新把皇位传回给太祖的七世孙赵昚（赵德芳之后），终于还了亏欠了100多年的债，宋太宗和宋高宗的这“一夺和一还”，真是好不耐人寻味！
