1370年，朱元璋以李善长为左丞相，可李善长位极人臣后骄横跋扈，于是不满的朱元璋打算将其替换便召刘伯温询问丞相人选问题，当他问胡惟庸如何时，刘伯温以驾车比喻，指出胡惟庸还没有发挥他的本性，一旦他大权在握必会爆发极强的破坏力，得知此事的胡惟庸从此对刘伯温恨之入骨。随后朱元璋便要以刘伯温为丞相，刘伯温深知朱元璋这要要借他这把刀杀李善长便一再推辞引起了朱元璋的不满，于是他顺势告老还乡。
胡惟庸面圣说道：“茗洋为王气所在之地，刘伯温欲将其据为己有便侵扰百姓致使爆发民变”，朱元璋一面对胡惟庸表现出对刘伯温的不满，一面传书给刘伯温向他告知此事，刘伯温知道这是一个信号，如果没有一个合理的反应将会遭到灭顶之灾，他为了让皇帝放心连夜赶到京城，从此再也没有离开。
1375年1月下旬刘伯温染病，右丞相胡惟庸将此事告知朱元璋，朱元璋授意他带御医前去为刘伯温诊病，刘伯温按御医诊病后开的药方吃药后病情不但没有好转反而更加严重。2月中旬刘伯温抱病觐见，婉转禀告胡惟庸曾带御医来探视他，按御医之方服药后更加不适，朱元璋只说了些安慰的话，这令刘伯温彻底寒了心。3月下旬刘伯温由其子陪同返乡。4月刘伯温死去当天，他告诉儿子皇帝心中最隐秘的目的：“皇上为人城府极深，他打压功臣清洗对皇权有威胁的人，而胡惟庸只是他手中的一枚棋子，他任其作威作福不闻不问只是在等待时机将其毁灭，而他毁灭的不是胡惟庸一个人而是另有所图”，随后他嘱咐儿子待胡惟庸死后将他手写的绝笔信递交圣上。
当朱元璋在刘伯温的绝笔奏折中看到涂节所奏中胡惟庸毒杀刘伯温的罪名赫然在列时，他感慨万千，叹到：“刘先生不愧是神算子，一切事尽在你的掌握之中，朕不如也”，而刘伯温当初建议他不要在凤阳建都和提防北元残余的建议也在后来得到了印证，15年后朱元璋赐刘伯温后人金书铁券，凭此可以免一次死罪。正德八年，朝廷赠刘伯温为太师，谥号文成，嘉靖十年配享太庙。
