1360年,被朱元璋請至應天,任謀臣,展現一個非常成功的兵法家的才能。劉基針對當時形勢,向朱元璋提出避免兩線作戰、各個擊破建策,被采納。輔佐朱元璋集中兵力先後滅陳友諒、張士誠.等勢力。
1367年,參與制定朱元璋的滅元方略,并得以實現。共參與軍機八年,籌劃全局。
1370年,為嘉勉劉基的功榮,授命劉基為弘文館學士。十一月朱元璋大封功臣,本想封劉基為丞相,但劉基一再推脫,隻好作罷。因此申請還鄉。朱元璋授命他為開國翊運守正文臣、資善大夫、上護軍,并封為誠意伯。
盡管劉伯溫說得都是大道理,不過他心裡應該明白,讓他出來收拾李善長,既是利用,也是試探他的忠誠度。他一旦受命或可減輕朱元璋的猜疑,然而,唇亡則齒寒,此例一開,以後朱元璋對待開國功臣元老就會換另外一副面孔,此等不義之舉,按劉伯溫的個性是絕不可為的。
正因為如此,第二年他就請退,告老還鄉了。