公元626年，李世民在帝都长安城宫城玄武门附近射杀皇太子李建成、齐王李元吉，史称玄武门之变，当时唐高祖李渊正在宫内，听说事变之后，大为恼火，但是又没有办法，于是就问手下的谋臣，他的大臣就对他说，李世民功德无量，履历战功，况且他手下文武将众多，应该把他列为太子，最后李渊采纳了大臣的意见，封李世民为太子。
从今以后军国事务，无论大小全部由太子处决。李世民的雄才岂会安心做太子，仅仅两个月之后，便逼迫父亲退位，自己登基成了皇帝，是为唐太宗，顺利继位的李世民没有被喜悦冲昏头脑，他深知自己必须处理好与父亲的关系，才能保证政局的稳定，思来想去，即位于东宫显德殿，从此就在显德殿起居听政。李渊则继续留在太极宫居住。
虽然太极宫当时作为主殿，但是缺少了百官的朝贺，顿时冷清了不少，李渊的心里也是倍感失落。加上夏天，太极宫地势低洼，宫内气候闷热潮湿，于是李渊以喜欢清静为由，向李世民提出要搬去城西的宏义宫去住的要求，李世民听到父亲的要求之后暗暗得意，心想等父亲走了，自己就可以名正言顺地搬去太极宫。
就在李世民春风得意时，李渊入住宏义宫的事在朝野引起了非议，大臣们却告诉他，不应该让太上皇搬到宏义宫。原来，这宏义宫的规模比太极宫小许多，宫中的陈设、排场也远不如太极宫，更重要的是，此宫原本为李渊赏赐给李世民的住所，希望他重视太上皇的居住状况，李世民听后觉得有理。于是决定在长安城北苑中的龙首原高地，为父亲李渊修建避暑行宫。
公元634年，大明宫开始兴建，然而，工程才刚刚开始，没想到李渊就过世了。这座宫殿的修建随着太上皇的离世也停了下来。然而28年后，唐高宗李治下令重建大明宫,李渊死后，群臣为他上谥号大武皇帝，庙号高祖。贞观九年十月，安葬于献陵，其妻窦氏也加号太穆皇后祔葬。
李渊一直老老实实安安分分地做他的太平太上皇，在平时的日常生活中，李世民自然不会亏待他，毕竟他是他的父亲，只要他不复辟。可是，虽然如此，李渊仍为了自己能够安稳终生，尽量少的结交大臣，免得唐太宗猜忌自己。这对父子至死也没有像寻常百姓那样心情坦荡地生活过，对于晚年的李渊来说无疑是老人最大的悲哀。
