洪武四年，57岁的李善长因病向朱元璋辞官。但此时，朝廷上下都对他的辞官表示深度的“怀疑”甚至是有些羡慕。怀疑他归隐的心是否真实，而羡慕的是他居然能全身而退。李善长的辞官，朱元璋其实从内心来说是很高兴的，因为身边少了一个这样骄横的大臣。要知道，晚年的李善长因为权力变大，自己也变得骄横起来。这让太祖，也就是朱元璋十分反感。
这一次，李善长主动提出归隐。朱元璋以他辅佐有功为名，毫不犹豫的赏赐临濠地若干顷，设置守坟户一百五十家，赐给佃户一千五百家，仪仗士二十家。生活也算是无忧了。但是过了一年又回来了。没想到的是，8年以后，他还是去向朱元璋请辞，这一次不是单纯的养病了，而是真正的安度晚年了。但与其说是安度晚年还不如说是为了保命！
晚年的朱元璋喜欢杀伐，他总是将一些当朝的开国大臣清除干净，而李善长怎会想不到这一点。于是他便提前一步向朱元璋请辞，准备颐养天年。朱元璋呢？也很高兴，因为这些开国大臣在宫里影响的是他的皇权，所以不能将他们都留在宫里，要么杀，要么放出去。对于李善长，朱元璋是选择放出去的。并将张士诚在杭州的一座大宅子赏给了他。
李善长到了杭州以后，开始饮酒作乐，李府整日都是歌舞升平，好不热闹。六十五岁的李善长还纳了一个十六岁的女孩做小妾。举办婚礼那天，几乎全城的乡绅都来给他祝贺，就连胡惟庸，这个当朝的相国也来了。
这件事情不就便传到了朱元璋和大臣的耳朵里，朱元璋笑着说：“这个李善长，堕落了。”但是胡惟庸对此却有新的看法，他说：“李老师，这可是大智慧呀！（真乃大智慧之人啊）”
为何呢，因为李善长既然归隐，只有做出一些堕落的事情，朱元璋才会不烦他，才会放过他。如果他在家里闭门不出，什么也不做，反而让朱元璋猜疑。
但是，李善长即便是这样小心翼翼的，也不能阻止朱元璋杀他的脚步。
洪武二十三年，朱元璋在追查胡惟庸党的时候，将李善长给挖了出来，并将他处死，时年76岁。
