靖康之变北宋灭亡以后，赵构逃到江南建立起了南宋。经过和金朝的多年战斗，到绍兴和议以后，南宋的疆域基本固定下来，在让出了河东、河北、陕西、淮北等地以后，勉强保住了半壁江山。
此时的南宋其实已经接受了北方沦陷的现实，不过为了显示自己并没有忘记光复中原的雄心壮志，南宋还是把临安称为“行在”，而不是京师，意思是皇帝只是暂时驻跸在此，总有一天还是要返回东京汴梁的。南宋皇陵为什么荡然无存，不为人知
为了显示自己的决心，南宋前期在临安一直没有大兴土木修建皇城，只是在原来临安府衙的基础上进行了一些扩建，而且主要宫殿都继续用当初汴梁皇城内的名字，以示不忘本。有趣的是，因为新皇城规模太小，宫殿数量有限，没有原来那么多，所以在使用时，只好一殿多用﹐做什么事挂什么牌子。像平时处理政务的文德殿﹐举行大典时就挂上大庆殿的牌子，设宴时挂上紫宸殿的牌子，殿试挂集英殿的牌匾，祭祀时又改为明堂殿。
而在身后事上，南宋皇室也是同样如此。
根据《会稽志》卷六《陵寝》记载，公元1131年，哲宗废后孟氏病重将死时留下遗诰，希望自己死后不下葬，就近选择一个地方暂时存放，等战事平息再送回河南巩义的皇陵下葬。
殓以常服，不得用金玉宝贝，权宜就近择地攒殡，候军事宁息，归葬园陵，所制梓宫，取周吾身，勿拘旧制，以为他日迁奉之便。
朝臣们也纷纷上奏，认为不修建规模宏大的皇陵下葬，改为修建暂时存放棺木的“攒宫”，存放孟皇后和以后死去的皇室成员棺木，有朝一日克复中原以后再归葬。
帝后陵寝，今存伊洛，不日复中原即归附矣，亦以攒宫为名，佥以为当。
赵构同意了这个建议，并最终选定在绍兴附近修建攒宫，此后南宋皇室也照样处理。
攒宫既然只是暂时存放棺木之所，和此前历朝历代的皇陵相比自然要逊色很多，不仅没有神道石刻，墓室深度也大多只有五六尺，最深不过十几尺，陵上建筑也大为简化。皇帝、皇后尚且如此，那些妃子的棺木，处理方式就更为简单，大多直接寄放在临安 绍兴的寺庙里。
应该说，南宋皇室在复兴中原这件事上，面子上的功夫做得还是很到位的。可惜在杀了岳飞以后，南宋再也没了光复北方的实力，因此不修皇城和皇陵，最后也只是成了一个面子功夫。而后期几个皇帝也忘了攒宫的初衷，在下葬时陪葬丰厚，这也给自己带来了祸患。
南宋灭亡以后，陵园开始还有人守护，没有遭到太大的破坏。但是至元十四年(公元1277年)，杨琏真迦出任江南释教总摄以后，听说南宋陵园内墓葬丰厚，于是在上任次年就纠集当地僧人和暴徒赶到绍兴，大肆挖掘南宋皇帝的陵墓。
杨琏真迦首先挖开了宁宗、理宗、度宗、杨后等陵墓，所获丰厚。而理宗的尸体因为用水银防腐，更是被倒吊在树上三天三夜以沥取水银，头颅也被杨琏真迦砍下制成酒器，可谓悲惨至极。此后尝到甜头的杨琏真迦又挖开了徽宗、高宗、孝宗、光宗等人的陵墓，整个陵园基本被破坏殆尽。
杨琏真迦把陵园掠夺干净以后，还将高宗等人的尸骨收集在一起，混上牛马骨头一起烧成灰，修塔镇压。只有守陵官罗铣找到机会抢救下一些遗骸。另外据说绍兴人唐珏曾经带人在夜间偷偷潜入园中，将南宋诸帝尸骨换出，另外找地方埋好，才得以保全，不过这一说法是否属实，已经难以考证。
明朝建立以后，朱元璋下令修复南宋皇陵。不过因为陵园原本规模就不大，破坏又比较彻底，加上明朝初建时财力有限，所以修复后的南宋皇陵也比较简单，除了将帝王遗骸按照宋朝遗留的《攒宫图》归葬原处外，只修建了围墙、孝宗和理宗陵上的享殿、碑亭等部分建筑物，其他的都未修复。
此后战乱时期这里又多次遭到破坏，等到了解放的时候，南宋皇陵已经只剩下了一些被多次盗掘的墓穴、孝理两陵的享殿和部分残破的墓冢、墓碑、祭桌，所以后来虽然采取了一些保护措施，但是所留过于有限，自然也就不大为人所知了。
