李隆基的晚景凄凉，都是咎由自取。
在收复长安之后，唐肃宗派遣使者去蜀地迎接李隆基回京，但这个时候李隆基并没有马上回京，因为收复长安的消息到达凤翔之后，肃宗让使者向李隆基表示自己愿意退回东宫做太子，李隆基听到使者这样说，自然不敢轻易表态，因此不愿意回到长安，直到肃宗再下一表，表示长安收复，要接太上皇回京，李隆基方才愿意回京。
肃宗虽然将李隆基接回长安，但是他对李隆基存有非常强烈的戒心。首先，当李隆基到达凤翔的时候，肃宗便将随行护送的六百禁军全部收缴军械，改为肃宗自己的三千骑兵来保护。
等到李隆基到达咸阳，肃宗亲自前去迎接，脱去黄袍，换上紫袍，抱住李隆基的脚失声痛哭，李隆基取来黄袍亲自为他披上，上演了一出父慈子孝的图景——大唐的诸位皇帝，个个戏都演得不错。李隆基一番表演之后，回到了兴庆宫，给肃宗加了个“光天文武大圣孝感皇帝”，“孝感”二字，用得极好。肃宗不甘示弱，也马上给爸爸加了一个“太上至道圣皇天帝”的尊号，天伦之乐，都向百官和百姓表演得淋漓尽致了。
此时的李隆基，还仅仅只是思念杨玉环。贺怀智的沾染了杨玉环香气的头巾让他思念，高力士、红桃等人也让他垂泪，女伶谢阿蛮得杨贵妃所赐的金粟装臂环让他老泪纵横，还不涉及父子之间的复杂感情。
直到李隆基想要用隆重的礼仪改葬杨玉环时，他和肃宗的矛盾才彻底显现。
因为龙武将士诛杀杨国忠，如果将杨贵妃改葬，岂不是否认诛杀杨氏兄妹的正义之举吗？如果否认了这一点，那岂不是否认了参加马嵬事变的肃宗吗？如果否认了马嵬事变，那岂不是等于否认了肃宗登基的合法性吗？这是肃宗绝对不会接受的。但肃宗又不好公开反对这件事，只好由礼部侍郎李揆出面反对，李揆不久就升任宰相，可见肃宗的真正态度。
李隆基在无法公开改葬的情况下，只好私自派太监去马嵬改葬杨玉环。这件事加大了他与肃宗之间的嫌隙。此外，李隆基住在兴庆宫，他经常登上长庆楼向外观望，路过的百姓看到他也大呼万岁，他又经常赐些酒食给百姓，被肃宗认为是收买人心，李隆基又召见过郭英乂，郭英乂时任羽林大将军，掌管禁军，引起了肃宗的警觉，肃宗因此调离郭英乂，并让李辅国将李隆基通过非常方式移居到太极宫的甘露殿。
李隆基认为肃宗此举是受到李辅国的蛊惑，其实是肃宗因为当年做太子的时候受到的种种迫害，因此对李隆基完全不信任所致。肃宗自做了太子之后，处境一直非常艰难，而在天宝年间连接发生的几次大案，都是李林甫针对他而为的，就是因为李亨的政治基础薄弱，几乎遭遇灭顶之灾。这一切虽然都是李林甫所为，但若没有李隆基对李亨的防范，李林甫是不可能制造冤狱的。
除此之外，李亨在日常生活中也是处处小心谨慎，生怕惹怒了李隆基，巨大的压力之下，两鬓斑白有如老人。多年来的小心翼翼，让他对李隆基极度防范，这自然也是可以理解的，玄宗首先因为武惠妃杀死了“三庶人”，又在李亨被立为太子之后防范他培植自己的势力，现在晚景凄凉，不过是三十年河东三十年河西罢了。后来高力士被流放到了巫州，李隆基的另一亲信陈玄礼被强迫退休，也离开了他。此外侍奉李隆基的两个宦官王承恩和魏悦也被流放，过去侍奉他的宫女也被全部换人。
自此，李隆基身边再无任何亲信，并且终此一生，再也没有走出过宫门一步，过着一种变相软禁的生活。肃宗从李隆基进太极宫起仅在上元二年的冬至去见过他，两人再未见面。李隆基对自己晚年的遭遇可以说是始料未及的，加上对杨玉环的思念，很快就死在了太极宫神龙殿。
