根据《明史》的记载，李善长是因为与胡惟庸关系密切，在明知胡惟庸意图谋反的情况下，却首鼠两端，知情不报，犯了大逆之罪，被朱元璋赐死。同时，朱元璋又诛杀了李善长家属七十余人，仅仅留下了李善长之子驸马李琪，以及李琪的两个儿子李芳、李茂，并下旨取消了李氏后人世袭李善长爵位的权利。
原本，李善长善终的机会还是很大的，毕竟曾经是朱元璋钦定的明朝开国第一功臣。
李善长自幼喜爱读书，才能出众，投靠朱元璋后，被朱元璋任命为了掌书记（类似现在的机要秘书），不被信任担任不了这个职务。李善长主要负责后勤供应，参与军机谋划，以及替朱元璋招揽人才。李善长做得有声有色，进一步取得了朱元璋的信任。特别是义军首领郭子兴曾听信流言，猜忌朱元璋，夺了朱元璋军权。而李善长却谢绝了郭子兴的邀请，选择继续追随朱元璋。这让李善长在朱元璋心中的地位，进一步巩固提升。
李善长善于内政、后勤，以及调和大臣、将领之间的关系。同时，他还精通律法，与刘基一起制定了律令。明朝建立后，李善长被朱元璋钦定为功臣第一，“制词比之萧何，褒称甚至”。李善长刚投靠朱元璋时，曾建议朱元璋学汉高祖刘邦，必能统一天下。现在，朱元璋把李善长比作萧何，可见君臣之间的情义之深厚。只是，朱元璋要远比刘邦霸道，而李善长在自保方面，却远远弱于萧何，最终的悲剧也就无法避免了。
朱元璋不但将功臣第一的位置留给了李善长，还将李善长晋封到了大臣之首的位置，加封李善长太师，韩国公，任命其为中书省左丞相。同时，还赐予李善长丹书铁券，免除李善长两死，免其子一死。但是，朱元璋的重用，也让生性苛刻、善妒的李善长开始急剧膨胀。
李善长对于那些凡是冒犯过自己，或者自己看不上的官员，统统弹劾罢免。在制定法令时，还曾当众辱骂过刘基。罢免官员的事情，应该主要看谁的意愿？当然是皇帝朱元璋。辱骂朝廷重臣，这通常也是皇帝才能干的事情，李善长越界了。
朱元璋开始厌恶李善长的专横跋扈，甚至于开始考虑废除相位，不再设立。只是，事情总有个渐进的过程，朱元璋此时的想法并不强烈，因此，李善长暂时躲过一劫。
朱元璋继续赏赐李善长，还提拔李善长的弟弟李存义，以及李存义的两个儿子李伸、李佑为官。朱元璋觉得还不够，又将临安公主下嫁李善长之子李祺。朱元璋为什么要如此厚待李善长？主要还是看重李善长，想挽回李善长的忠心，谦恭，以及回报。但是，李善长却做错了。
朱元璋曾经因病十日不能上朝。作为朝廷重臣，还是亲家的李善长却不前往看望。这即使是在普通百姓之家，也会让人难过了，更不要说君臣之间了。而且，驸马李祺也是六日不来探望，被询问时，还拒不认罪。朱元璋因为某些原因，自尊心应该是很强的，而且很看中某些礼法方面的事情，是最看不得别人对他不敬的。汤和就曾因为酒后失言，说了几句不满的话，被朱元璋责备了很久，甚至还给写到了丹书铁券之上，更不要说李善长父子的行为了。只是，朱元璋念在李善长的功劳，仅仅给予小惩，还是希望李善长回头的。
后来，胡惟庸案发，有人告发李善长的弟弟李存义父子，是胡惟庸的同党。李存义之子李佑娶了胡惟庸的侄女，应该一并诛杀。朱元璋特别下旨，免除李存义父子死罪，安置崇明。结果，李善长却没有到朱元璋面前感激涕零，表示感谢。这让朱元璋更加厌恶李善长不知感恩，不敬他这个皇帝。
之后，李善长又大兴土木建造府邸，并且未请示朱元璋，就从汤和那里借了三百卫士帮助府邸建造。汤和悄悄告诉了朱元璋。朱元璋此时已经憋火了。没多久，李善长的亲戚丁斌，因罪要被流放新疆，李善长却屡次上书请求赦免。不要说朱元璋了，即使是名普通人做李善长的领导，这时候也应该极其不满了。后果么，自然也很清楚了。
朱元璋起了杀心，就以丁斌为突破口，先迫使丁斌告发李存义父子曾与胡惟庸密谋造反，然后，再牵连到李善长。供状中说，胡惟庸曾让李存义劝说李善长一起谋反，并许给李善长淮西王的爵位。后来，胡惟庸又亲自去劝说犹豫中的李善长，而李善长仅仅答复：“吾老矣。吾死，汝等自为之！”话说墙倒众人推，众大臣见状，也纷纷开始揭发李善长的罪状。然后，朱元璋有了“合理、合法的理由”，从容赐死了李善长，并诛杀李善长的族人七十余口。
而实际上呢，李善长并非死于意图谋反，知情不报。朱元璋因为看够了李善长、杨宪、胡惟庸这些宰职大臣的专权跋扈，以及汪广洋的天天摸鱼不作为，已经非常厌恶丞相这个职位。朱元璋是想要废除相位，这才是根本原因。毕竟，专权的宰相抢了皇权，不作为的宰相，在朱元璋看来，就是浪费国家俸禄，毕竟朱元璋是贫苦出身，是比较节俭的。所以，不管是专权也罢，还是隐忍不作为也罢，在朱元璋这里都行不通。
如果李善长如果能够学习汤和、徐达，多谦卑谨慎一点，多感恩一点，多在乎朱元璋一点，特别是主动提出废除丞相的职位，那么他得以天年应该是不难的。毕竟李善长去世时，已经76岁，而且是洪武二十三年。这么多年，朱元璋都容忍了，再容忍几年又有何妨。只是，李善长同杨宪、胡惟庸一样，太贪婪富贵权力，最终没有善终。而终朱元璋一朝，所有的文职宰相，也没有一个得到好下场的。
