1961年1月底，胡喬木為中央工作會(huì)議起草《中共中央關(guān)于認(rèn)真進(jìn)行調(diào)查工作問題給各中央局，各省、市、區(qū)黨委的一封信》。胡喬木寫完文件，就遵毛澤東之命赴湘調(diào)查。毛澤東的目的是要他們?nèi)マr(nóng)村獲得第一手材料以“駁斥國內(nèi)外敵人和黨內(nèi)右傾機(jī)會(huì)主義分子，或者不明真相抱著懷疑態(tài)度的人們對(duì)于人民公社的攻擊、污蔑和懷疑”，從而“長自己的志氣，滅他人的威風(fēng)”。然而，胡喬木送上來的材料卻讓他大失所望。

毛澤東要胡喬木去調(diào)查，證明右派分子的話講錨了，而胡喬木匯報(bào)上來的材料恰恰說明右派分子的話沒講錯(cuò)。不過，毛澤東并沒有因?yàn)楹鷨棠緟R報(bào)上來的材料不符合自己的要求而責(zé)怪他，反而對(duì)胡喬木報(bào)送的材料十分重視，自己的家鄉(xiāng)比1959年回去時(shí)間題嚴(yán)重多了。毛澤東將此信和材料批轉(zhuǎn)給湖南省委第一書記張平化，要他印發(fā)給全省三級(jí)干部會(huì)議討論；隨后又寫信給汪東興，讓汪東興打電話給湖北省委書記王任重和王延春，“幫助湖南同志解決一些問題”，并讓汪東興將此信轉(zhuǎn)給還在湖南調(diào)查的胡喬木。

然而，胡喬木卻把毛澤東對(duì)家鄉(xiāng)問題的重視當(dāng)作毛澤東又想反“左”的信號(hào)。于是1961年5月，當(dāng)胡喬木結(jié)束調(diào)查趕回北京向主席匯報(bào)時(shí)，他談到了反“左”的問題。談話中，胡喬木為廬山會(huì)議糾“左”未能持續(xù)下去而深感遺憾。他還談到廬山會(huì)議時(shí)‘的一件事，就是當(dāng)時(shí)劉少奇曾經(jīng)想提出寫個(gè)反“左”文件的建議。形勢已經(jīng)如此，毛澤東自然說不出什么，他只是說：“啊，有這回事！”

胡喬木的這次談話直接影響了他后來的政治生涯。不久，中央召開會(huì)議，就在這次會(huì)議上，胡喬木向毛澤東匯報(bào)廬山會(huì)議期問劉少奇準(zhǔn)備建議搞一個(gè)反“左”文件的事傳了出去。這件事引起劉少奇對(duì)胡喬木極大的反感。在會(huì)議上，劉少奇嚴(yán)厲地批評(píng)了胡喬木。結(jié)果，會(huì)議還沒結(jié)束，胡喬木的老毛病——神經(jīng)衰弱犯了，且來勢兇猛以至于無法工作，不得已，他向中央寫了報(bào)告，提出長期病休。