1355年，朱元璋认为和州太小，要谋发展还是需要找一个富饶的地方做根据地，冯国胜（冯胜）向朱元璋建议，渡过长江占领集庆（富裕的南京），朱元璋被这个建议打动，决定攻击集庆。
但朱元璋的军队不是步兵就是骑兵，水军是朱元璋军队的短板。刚好七月巢湖水军过来投靠朱元璋，水军头目俞通海召集了上千条小渔船，朱元璋的军队登上巢湖水军的船只，从和州东渡长江，到达对岸的采石，常遇春率军冲杀，攻克采石，军队在朱元璋率领下再破太平。进入太平，朱元璋重申军纪，严禁掳掠，有个别兵士犯禁，立即处死，因此，朱元璋的军队受到当地百姓的拥护。
由于船只差，而且集庆城防难攻，朱元璋在八月和九月连续两次攻击集庆，都被元军击败，郭天叙和张天祐都战死了，朱元璋顺理成章地成为了都元帅。
1356年三月，平江（江苏苏州）的张士诚在长江三角洲地带对江南元军发起攻势。朱元璋抓住机会，亲自带兵分三路进攻集庆，用了十天时间攻破了集庆，朱元璋进城后，下令安抚百姓，改集庆为应天府。
小明王韩林儿得知朱元璋攻下集庆后，升朱元璋为枢密院同佥，不久又升为江南等处行中书省平章。
