1362年2月7日，胡大海视察金华时暴死于八咏楼。听闻消息后，朱元璋悲痛不已，亲令徐达杖杀凶手蒋英，告慰胡大海英灵。在说到胡大海时，朱元璋难掩伤感：
“胡大海是一介武人，没有读过书，可他却不乱杀、不抢掠、不焚烧，是百年难遇的良将。”
然而，就在四年前，朱元璋还不顾众臣反对，将胡大海的长子胡三舍乱刀砍死。而在胡大海死后，他的次子胡关柱也随即被杀。那么胡大海是不是如朱元璋所说的那样“百年难遇”呢？他的死与朱元璋有什么关系？朱元璋又为何执意诛杀他的长子呢？
胡大海与邓愈是老乡，同是安徽泗县人。1353年，朱元璋率领淮西二十四将南下定远，另立山头。在招抚张家堡散兵后，胡大海慕名来投。
胡大海是农民出身，不识字，但身材高大魁梧，极有威严。朱元璋初次见他，就大为赞赏，将他与徐达并称。在不到两年的时间里，胡大海就成了与“左翼元帅”徐达媲美的“右翼统军元帅”。
当时，朱元璋带着常遇春等人击败缪大亨，攻占滁州，正欲夺取和州。胡大海就自告奋勇，担任前部先锋，领兵3000人率先进军。行至半路后，胡大海突施妙计，令众军改换元军服饰，打着犒赏的名义兵临和州城下，骗过和州守卫，顺利攻占和州。
1357年，邓愈、胡大海占领徽州后不久，“苗将”杨完者领兵十万来攻。作为元末名将，杨完者在平定红巾军叛乱过程中屡立战功，多次击败张士诚。可在徽州城下，胡大海率军左冲右突，如入无人之境，竟让杨完者十万大军溃散逃命。
徽州之战大胜杨完者后，胡大海趁势猛攻元军地盘，在建德又一次击溃杨完者，俘虏元军数万人。而杨完者在胡大海的连续进攻下，左支右绌，狼狈不堪，没过多久就自缢身亡了。
自建德起，邓愈、胡大海进军浙江，将朱元璋的势力范围延伸到浙东地区。胡大海虽目不识丁、五大三粗，可他对文人却极为崇拜。攻占婺州后，胡大海四处寻找浙东大才，在得知朱升位居此处后，胡大海立刻将他引荐给朱元璋。而朱升也为朱元璋提供了“高筑墙、广积粮、缓称王”的九字方针，让朱元璋在元末乱世得以站稳脚跟，徐图发展。
在攻下婺州后，胡大海领兵进占诸暨。在诸暨一战中，胡大海仅用三千人马就俘虏了元军四千，可见其作战勇敢。
当时，张士诚对诸暨也有觊觎之心。胡大海占领诸暨后，张士诚以吕珍为大将围攻诸暨，欲夺取朱元璋的胜利果实。吕珍虽是张士诚麾下三位猛将之一，可在与胡大海的较量中，却不曾占据上风。
于是，吕珍想到了一个狠毒的主意，他秘密派人占据河流堰口，欲效仿关云长“水淹七军”，将胡大海及兵士淹死在诸暨城中。然而，胡大海早已识破吕珍的计谋，在吕珍占领堰口后不久，胡大海就趁夜出发，夺取了堰口，并放水反灌了吕珍大营。吕珍“搬起石头砸自己的脚”，遭受水淹后狼狈不已，部下淹死大半，不得不向胡大海求和。
俗话说：“打蛇不死，自遗其害。”作为谋士，王恺所言非虚。可胡大海却说：
“我已与他折箭发誓，若是违背诺言，就是不守信用，若是纵而再击，更是没有武德。”
因此，胡大海不顾王恺劝谏，执意放吕珍回去。生逢乱世，狡诈、卑鄙之徒比比皆是，胡大海能以信义为先，既是幸运，又是他的不幸。虽然他的部下对他的行为大为赞赏，钦佩有加，可在小人看来，这是一个击败胡大海的最合适的渠道。
占领浙东后，胡大海依旧为朱元璋寻觅良士。浙东四大名士的刘基、宋濂、叶琛、章溢能够投奔朱元璋，为他效力，全部来自胡大海的功劳。尤其是朱元璋请不动刘基，想要放弃时，仍是胡大海持续上疏劝谏，才诱使朱元璋第二次派人拜访。
因此，在朱元璋麾下效力的胡大海与其他军将相比，一直是一个“另类”。他在前线冲锋陷阵，所向无前，而在攻占城池后，又扮演文人的角色，收罗贤才，上表举荐。正是因为胡大海七年来不断为朱元璋输送文臣、谋士，才得以让他在鄱阳湖大战前规划好取胜的条件。
然而，正是处州这块军事重地，夺走了胡大海的性命。昔年，胡大海攻占严州时，蒋英、刘震、李福三位苗将趁机拜投在胡大海麾下。胡大海虽心思细腻，却又豪爽大度，见蒋英三人孔武有力，且主动投诚，因此并未详查就留在自己身边。
可蒋英等人早已与张士诚勾结在一起，暗中谋划多年。他们利用胡大海宽厚的性格为己所用，打入军队内部。在胡大海视察金华时，蒋英趁机邀请胡大海前往八咏楼观看弩弓。而在胡大海动身前往途中，蒋英又密令手下钟矮子跪拜于地，状告蒋英杀人。胡大海不明所以，欲详细询问时，蒋英突然从袖中掏出准备好的铁锤，猛击胡大海头部，以致他头骨碎裂，当场死亡。
胡大海的次子胡关柱和他的谋士王恺也在此次叛乱中相继被杀。由于胡大海掌管整个浙东，他的死对朱元璋是一个巨大的打击。若不是李文忠临机应断，突袭金华，浙东地区必将被张士诚完全吞并。
胡大海有两个儿子，他的次子胡关柱与他一起阵亡在金华，而他的长子却死于朱元璋之手。当时，胡大海领兵征讨绍兴，他的长子胡三舍留守婺州。可在留守期间，胡三舍不顾朱元璋的命令，公然酿造酒水，在军中引起巨大喧哗。
听闻消息后，朱元璋当即将胡三舍捉拿到应天，并要处以极刑。可是他的谋士却以胡大海拥兵在外为由，力劝朱元璋不要如此做。然而，朱元璋不顾众人反对，仍旧一意孤行，将胡三舍乱刀砍死。在胡三舍死后，朱元璋曾说：
“宁肯胡大海叛我，也不能违反我的军令。”
朱元璋的所作所为不过是借用胡三舍的人头“杀鸡骇猴”，毕竟作为胡大海的儿子，他的死亡带来的威慑作用远远大于普通的士兵。而他深知胡大海的为人，绝不会因为胡三舍的死而怨恨于他。
因此，在朱元璋、蒋英的联手操控下，胡大海绝嗣了。胡大海死后不久，朱元璋就命徐达围剿蒋英，将其活捉后，杖杀于胡大海墓前，以祭英灵。
朱元璋一生铁石心肠，可在谈及胡大海、冯国用、廖永安时，每每泪如雨下。他曾多次引用胡大海话的告诫子孙：
“我是武人，不知书，却知三件事，不乱杀人，不抢掠妇女儿童，不焚毁房屋农田。”
多年后，胡大海的养子胡德济跟随徐达北伐蒙元，在遭遇元军途中却畏惧不前，以致惨败。当时徐达斩杀了胡德济麾下的副将、参军，却将胡德济送往京城。由于胡德济是胡大海在世间唯一的亲人，朱元璋不仅没有处置他，反而将他调任陕西，担任都指挥使。可见，在朱元璋心中，胡大海仍是他最信赖的将领之一。
