李世民对褚遂良怀有好感，李世民曾对长孙无忌说：“褚遂良耿直，有学术，竭尽所能忠诚于朕，若飞鸟依人，自加怜爱。贞观二十三年（公元649年）唐太宗在弥留之际，将长孙无忌与褚遂良召入卧室，对二人说：“卿等忠烈，简在朕心。昔汉武寄霍光，刘备托诸葛，朕之后事，一以委卿。太子仁孝，卿之所悉，必须尽诚辅佐，永保宗社。”对太子李治说：“有长孙无忌和褚遂良在，国家之事，我就放心了。”于是命令褚遂良起草诏书。唐贞观二十三年（公元649年）阴历六月，李治继皇帝位，封褚遂良为河南县公，次年，又升为河南郡公，后借故把他贬为同州刺史。三年后，高宗又把他召回身边，征拜为吏部尚书，同时监修国史，加光禄大夫，又兼为太子宾客。唐永徽四年（公元653年），又升为尚书右仆射，执掌朝政大权，这是他政治生涯中的顶峰。
唐永徽六年（公元655年），在是否立武昭仪为皇后的斗争中，褚遂良与长孙无忌强烈反对任何废黜王皇后的企图。高宗召太尉长孙无忌、司空李绩、尚书左仆射于志宁以及褚遂良进官商议废后立后之事。褚遂良发了一通议论，给皇帝泼了一瓢冷水。而他的那种不要命的态度——将官笏放在台阶上，同时也把官帽摘下，叩头以致于流血——更使皇帝大为恼火，让士兵把他强行拉了出去。而坐在皇帝后边的武氏则恨不得立刻将他处死。在关键的时候，善于迎合旨意的李绩却说了一句话：“此乃陛下家事，不合问外人。”这一来既改变了唐王朝的命运，也将褚遂良等人推入了悲剧的深渊。
武则天在唐永徽六年（公元655年）阴历十月被册封为皇后，褚遂良也被新皇后赶出朝廷，到潭州任都督。唐显庆元年（公元656年）元旦，武后的儿子李弘（公元652年—公元675年）被立为太子。唐显庆二年（公元657年）春天，褚遂良调到离京师极远的今广西的桂州去任都督。同年晚些时候，武则天则与许敬宗、李义府一起，诬告中书令来济、门下侍中韩瑗与在广西的褚遂良共谋反叛。晚年的褚遂良又一次被贬—这一次是被贬到中国本土以外的越南河内西南一带，褚遂良在绝望之中，写了一封信给高宗，向他求情诉说自己曾长期为高祖与太宗效劳，最坚决地支持高宗继位等等，结果仍是无济于事。庆四年（公元659年），禇遂良在流放之中孤独地死去，时年六十三岁；在他死后的两年多时间里，武则天等人还没有放过他，一方面把他的官爵削掉，另一方面把他的子孙后代也流放到他死的地方。
神龙元年(705年)，武则天的生命走到了尽头，即褚遂良死后四十六年，她下了道遗诏：“其王、萧二族及褚遂良、韩瑗等子孙亲属当时缘累者，咸令复业。”将褚遂良等人画于凌烟阁之上，以示他与唐初的开国英雄们有同样的功劳。这相当于给当初因反对自己而遭受迫害的褚遂良等人平反，鸟之将死其鸣也哀，人之将死其言也善。褚遂良是武则天一生唯一个有愧于他，让她临死前都不能忘的男人。
