自从回到了长安的兴庆宫之后，他渐渐走出了往日的伤痛。而且依旧有那么多熟悉的人陪伴在他的身边，比如内侍监高力士、龙武大将军陈玄礼、玉真公主，宫女如仙媛、内侍王承恩，还有那些能歌善舞的梨园子弟。他们把纷纷扰扰的天下阻挡在兴庆宫的宫墙之外，共同为太上皇营造了一个自在、安逸、温馨、祥和的晚年。
由于兴庆宫毗邻市井，所以只要李隆基的身影出现在长庆楼上，从楼下经过的长安父老就会主动停下脚步，对他顶礼膜拜。每当这种时候，李隆基就会忙不迭地吩咐宫人在长庆楼下当街摆设筵席，用精美的宫廷酒食招待那些父老。如果有朝廷官员从长庆楼下经过并向太上皇行礼，那他们的待遇那就更好了。太上皇会请他们上楼设宴款待。席间往往还有玉真公主和如仙媛等人作陪。被太上皇请吃饭的官员那也不少。比如羽林大将军郭英义，还有剑南道入京奏事的官员等等。
与各色人等的交往让李隆基感到了充实。来自方方面面的见闻和信息，也让足不出户的太上皇增加了对外界的了解。总之李隆基对自己的退休生涯总体上那还是满意的。虽然说丧失了爱情，但他学会了封存记忆并努力寻找新的生活乐趣。虽然丧失了天使大权，但他学会了调整心态并按照新的方式生活。
然而他万万没想到，这种自在平静的生活竟然会在上元元年七月戛然而止。因为有个人闯进了他的生活，并且强行把他赶出了兴庆宫。那是谁有这么大的胆子，居然敢动太上皇呢？是谁有这么大的权力，居然能对太上皇实施暴力逼迁呢？这个人就是当权宦官李辅国。
众所周知，这个李辅国是拥立唐肃宗继位的主要功臣之一。唐肃宗继位之后，李辅国一手遮天，俨然已经成为帝国的二号人物。之所以唐肃宗会给他那么大的权利，那原因也很简单。就是要通过他更有力地控制文武百官，从而巩固自己的统治。而在如何安置太上皇这件事儿上，唐肃宗和李辅国不谋而合。唐肃宗怕老皇帝搞政变，李辅国则是为了报复。
李辅国出身卑贱，早年是高力士手下养马的小厮。虽然他现在已经是权倾朝野，可在高力士眼里，他终究只是一个暴发户，是个得志便猖狂的小人。要让高力士去捧他的臭脚，拍他的马屁，门都没有。更何况，在高力士看来，就算你李辅国现在真的很牛逼，可你的主子是李亨。我的主子是太上皇，我跟你井水不犯河水，你走你的阳关道，我过我的独木桥。也许高力士的看法是对的。李辅国确实是个小人。可高力士却忘了一句古训，“宁得罪十个君子，咱们不得罪一个小人”。正因为李辅国是个睚眦必报的小人，你才更要捧着他免得他为难你。
于是上元元年的夏天，怀恨已久的李辅国终于爆发。他对肃宗说，太上皇住在兴庆宫，每天都和外人交往。尤其是高力士、陈玄礼这些人，日夜聚众密谋。恐怕会对陛下不利。如今事态已经很严重了。李辅国说了这么一大堆，无非就是想暗示太上皇想复辟。唐肃宗闻言，脸上露出了惊讶之色。但唐肃宗不愿意相信太上皇有意如此。李辅国说，太上皇固然没有这个意思，可他身边那些贪图富贵的小人，那就难说了。陛下您贵为天下之尊，凡事应当从社稷大计出发，把祸乱消灭于萌芽状态。再者说，那兴庆宫与市井坊间杂处，不宜让上皇居住。依臣所见，不如奉迎上皇回太极宫。唐肃宗听后，没有回答。数日之后，李辅国又率六军将士进入内殿，一起向肃宗叩头，强烈要求迎请太上皇入住太极宫。唐肃宗被迫无奈，只得点头。
上元元年七月，李辅国再次矫诏，以唐肃宗的名义邀请太上皇游玩。唐玄宗带着高力士和几个侍从就离开了兴庆宫。没想到，这次一离开，今生今世他将再也没有机会回到兴庆宫了。唐玄宗一行走到瑞武门时，在此埋伏多时的李辅国突然带着500名骑兵冲了出来将唐玄宗等人团团围住。李辅国策马走到玄宗面前，宣布迎太上皇迁居大内。自从这个马嵬驿事变之后，唐玄宗已经很久没见过这种阵势了。如今他手下无兵无权，可怜一代帝王却被一个太监欺负。
