在追隨朱元璋以前，劉伯溫一直過著隱居或半隱居式的生活，他一邊教書育人，一邊研習兵法、天文、文學等。

這年，朱元璋手下一個叫胡大海的人聽說處州附近有幾個隱士很有才能，便命人去請，這其中就包括后來幫朱元璋一統(tǒng)江山的劉伯溫。其他幾個人一請就到，唯獨劉伯溫不肯來。胡大海又派人去請，劉伯溫還是不到。于是胡大海向朱元璋報告了此事，朱元璋聽后很感興趣，雖然他做不到像劉備那樣三顧茅廬，但他對人才同樣求賢若渴，他立即派了孫炎再去請，還帶了許多禮品。誰知這個劉伯溫不知好歹，硬是不給朱元璋面子，為表決心，他還回贈了一把寶劍。孫炎可沒有胡大海的耐心，他給劉伯溫帶了一句話：“劍當獻天子，斬不順命者?！眲⒉疁厥莻€聰明人，他知道，如若自己再端著，恐怕只能做刀下鬼了。

要說劉伯溫沒有野心，這肯定是假話，要不然，他也不會多次參加元朝的科舉考試，也不會盡職盡責地當了五年的縣丞。其實，他蟄居鄉(xiāng)野，一方面是為了觀察形勢的發(fā)展，另一方面也在等待機會。當時，江浙的義軍有三大陣營，分別為張士誠、陳友諒、朱元璋。其中，陳友諒的勢力最大，朱元璋的勢力最弱，在形勢不明朗的情況下，最好的辦法就是等待。因此，他不想這么快就做出選擇。

投靠朱元璋后，劉伯溫一直很少發(fā)言，這其中主要有幾個原因，一則，自己初來乍到，人微言輕。二則，尚未取得朱元璋的信任，鋒芒太露只會引火燒身。三則，沒有大的戰(zhàn)事，不足以展現(xiàn)自己的才能。劉伯溫這樣做是對的，朱元璋手下的謀士沒人將他放在眼里，自然也沒人排擠他，陷害他。當然，劉伯溫的隱忍不是懦弱，而是為顯露做準備，他追求的是“不鳴則已，一鳴驚人”。

機會終于來了，至正二十年，陳友諒率精銳大舉來犯，以朱元璋的實力根本無法與之抗衡。應天（南京）城內一片慌亂，朱元璋急詔手下謀士，商議破敵之策。平日里那些自詡才智過人、神機妙算的謀士，此刻都沒了主意，他們有的主張投降，有的主張放棄應天，但就是沒人主張御敵。面對陳友諒強大的軍事實力，不要說那些謀士，就連朱元璋本人也十分忌憚。

就在這時，劉伯溫站了出來，他大聲地斥責道：“那些主張投降或逃跑的人應該抓來殺掉，敵人未到，你們就被嚇成這個樣子，也太丟主公的臉面了?！贝蠹叶及涯抗馔断蛄藙⒉疁?，心想，難道這人不怕死嗎？劉伯溫沒有理會他們，又接著說道：“陳友諒雖然強大，但他驕橫，且不擅陸戰(zhàn)，只要誘敵深入，再以伏兵擊之，陳必敗?！边@是一個大冒險，謀士輸不起，朱元璋更輸不起，何去何從，實在難以定奪。劉伯溫見大家都不吱聲，只好嘆息著說：“如果失去應天，我們又能去哪兒呢？要走你們走，我誓與應天共存亡。”

都說患難之時見真情，在這生死存亡之際，劉伯溫能夠勇敢地站出來，并做出這樣一番表態(tài)，怎能不讓朱元璋感動呢？更何況，劉伯溫的話說到了朱元璋的心坎上，他從一個放牛娃、一個要飯的和尚奮斗到今天不容易，逃，就意味著失去現(xiàn)有的一切，與其這樣，不如放手一搏。劉伯溫給了朱元璋勇氣，也給了朱元璋信心。后來，朱元璋依照劉伯溫之計，果然大破陳友諒，從此，劉伯溫成了朱元璋的左膀右臂，備受尊敬和恩寵。