明太祖在打败陈友谅、张士诚的战争中，刘基出了不少计策。由于他足智多谋，得到明太祖的信任。明太祖把他比做西汉初年的张良。民间传说把刘伯温看作一个“未卜先知”的人物。
朱元璋当吴王的时候，江南发生了一场旱灾。刘基掌管天文，朱元璋问他为什么发生大旱，怎样才能求上天下雨。刘基说：“天一直不下雨，因为牢狱里关押的人有冤枉。”朱元璋信了刘基的话，派他去查牢监里关的犯人。刘基一查，果然有不少冤案。他向朱元璋奏明后，平反了冤案，把错抓的人放了。求雨和平反本来是毫不相干的两码事。刘基也不可能有求雨的法术。不过他懂得天文，可能观测到气象要发生变化，就借这个机会劝谏朱元璋平反冤案。果然不出几天，乌云密布，接着就下了一场透雨。刘基趁朱元璋高兴的时候，又劝他制定法律，依法办事，防止错杀无辜的人。
明太祖即位以后，叫刘基做御史中丞，负责司法工作。刘基严格执法。有一次，丞相李善长的一个亲信犯了法。李善长是明王朝开国功臣，又是明太祖的同乡，势力很大。但是刘基不顾李善长的阻挠，奏明明太祖，把那个亲信杀了。这件事当然招来了李善长的怨恨。正巧这一年，京城又逢到大旱，明太祖十分着急。刘基乘机跟明太祖说：“战争中的死亡将士，他们的妻子需要抚恤；一些在筑城中死亡的工匠，尸骨还暴露在田野上，没人收埋。把这些事办了，说不定能下雨。”明太祖一心求雨，当然很快批准了刘基的要求，抚恤了将士妻子，掩埋了工匠的尸骨。刘基虽然办了一件好事，但是靠这种办法劝谏，毕竟靠不住。这一次，他的预测不准，过了十天，还是烈日当空，一滴雨也没下。
这可使明太祖生了气，再加上李善长在旁边说坏话，叫刘基不能不害怕。这时候，他妻子在家乡得病死去。刘基请个假回老家青田，过着隐居生活。
