與ChatGPT締造者的獨(dú)家對(duì)話帶我們走進(jìn)這一文化現(xiàn)象的幕后故事。

2022年11月下旬，當(dāng)OpenAI在沒有任何前期宣傳的情況下推出ChatGPT時(shí)，這家總部位于舊金山的人工智能公司幾乎沒有抱什么期待。毫無疑問，OpenAI內(nèi)部沒有人能預(yù)料到ChatGPT后來能像病毒那樣廣泛傳播。從那以后，這家公司就一直在努力利用ChatGPT的成功。

在OpenAI從事政策工作的桑蒂尼 · 阿加瓦爾（Sandhini Agarwal）說，當(dāng)初發(fā)布ChatGPT時(shí)，公司內(nèi)部更多把它看作“預(yù)研項(xiàng)目”。這顯然是一種調(diào)侃，實(shí)際上，ChatGPT在公開之前兩年就已經(jīng)誕生了，只是正式向大眾發(fā)布的版本更加完善而已，更重要的是，開發(fā)團(tuán)隊(duì)希望通過收集公眾的反饋來消除它的一些缺陷。參與ChatGPT開發(fā)的OpenAI科學(xué)家利亞姆 · 費(fèi)杜斯（Liam Fedus）說：“我們不想把它夸大為一項(xiàng)重大的基礎(chǔ)進(jìn)步?！?/p>

為了了解ChatGPT背后的故事——它是如何制作的；自發(fā)布以來，OpenAI是如何更新它的；開發(fā)團(tuán)隊(duì)對(duì)這款聊天機(jī)器人的成功有何感想——我采訪了四位相關(guān)人士，他們都參與開發(fā)了這款堪稱有史以來最受歡迎互聯(lián)網(wǎng)應(yīng)用程序之一的杰作。除了阿加瓦爾和費(fèi)杜斯，我還采訪了OpenAI的聯(lián)合創(chuàng)始人約翰 · 舒爾曼（John Schulman）和OpenAI合作團(tuán)隊(duì)負(fù)責(zé)人簡(jiǎn) · 雷克（Jane Leike），他們的工作是讓人工智能程序按照用戶的要求做事（僅此而已）。

采訪結(jié)束后，我的感覺是， OpenAI團(tuán)隊(duì)仍然對(duì)ChatGPT這個(gè)“預(yù)研項(xiàng)目”的成功感到困惑，但他們已經(jīng)抓住機(jī)會(huì)推動(dòng)這項(xiàng)技術(shù)向前發(fā)展，觀察數(shù)百萬人如何使用它，并努力解決出現(xiàn)的最嚴(yán)重問題。

從去年11月開始，OpenAI已經(jīng)對(duì)ChatGPT進(jìn)行了數(shù)次更新。研究人員正在使用一種叫作“對(duì)抗性訓(xùn)練”的技術(shù)阻止用戶通過欺騙手段誘使ChatGPT做出不良行為（這種現(xiàn)象叫作“越獄”）。這項(xiàng)技術(shù)讓多個(gè)聊天機(jī)器人互相對(duì)抗：一個(gè)聊天機(jī)器人扮演對(duì)手，通過生成文本來攻擊另一個(gè)聊天機(jī)器人，誘使后者違背常規(guī)約束進(jìn)而作出開發(fā)團(tuán)隊(duì)不希望看到的反應(yīng)。成功的攻擊文本會(huì)被添加到ChatGPT的訓(xùn)練數(shù)據(jù)中，以期它能學(xué)會(huì)忽略這些欺騙手段。

OpenAI還與微軟簽署了數(shù)十億美元的協(xié)議，并宣布與全球管理咨詢公司貝恩結(jié)盟，后者計(jì)劃在包括可口可樂在內(nèi)的客戶營銷活動(dòng)中使用OpenAI的生成式AI模型。在OpenAI之外，圍繞ChatGPT的熱議掀起了圍繞大型語言模型的又一波淘金熱，全球范圍內(nèi)的公司和投資者都爭(zhēng)先恐后加入了這一行動(dòng)。

這一切都發(fā)生在ChatGPT發(fā)布后短短三個(gè)月的時(shí)間內(nèi)，可謂聲勢(shì)浩大。ChatGPT從何而來？OpenAI采取了哪些措施確保它做好了發(fā)布準(zhǔn)備？他們下一步又要怎么走？以下就是我的采訪內(nèi)容。

雷克：說實(shí)話，ChatGPT如此成功讓我不知所措。我們很驚訝，也一直在努力迎頭趕上。

舒爾曼：在ChatGPT發(fā)布后的幾天里，我經(jīng)常查看各類手機(jī)社交應(yīng)用。最瘋狂的一段時(shí)期，推送里到處都是ChatGPT的截圖。在發(fā)布之前，我期待它能做到在公眾看來的直觀，期待它能收獲一些擁躉，但我絕對(duì)沒有想到它竟然能這么受歡迎。

阿加瓦爾：竟然有這么多人開始使用ChatGPT，這對(duì)我們所有人來說都絕對(duì)是驚喜。我們?cè)谙嚓P(guān)模型的細(xì)節(jié)上投入了太多的精力，以至于有時(shí)會(huì)忘記它們能給外界帶來多么大的驚喜。

費(fèi)杜斯：大家對(duì)ChatGPT的反響如此熱烈，我們真的非常驚訝。之前也有很多通用聊天機(jī)器人領(lǐng)域的嘗試，所以，發(fā)布之前，我覺得我們的勝算不大。不過，內(nèi)部測(cè)試給了我們信心，我們有了一些人們可能真正喜歡的東西。

雷克：我很想深入了解是什么推動(dòng)了這一切——是什么推動(dòng)了ChatGPT的病毒式傳播。老實(shí)說，我們也不明白。我們不知道。

開發(fā)團(tuán)隊(duì)困惑不解的部分原因在于ChatGPT使用的大部分技術(shù)都不是新的。ChatGPT是GPT-3.5的微調(diào)版本，而GPT-3.5則是OpenAI在ChatGPT公開前幾個(gè)月發(fā)布的一系列大型語言模型。GPT-3.5本身則是GPT-3的更新版本，后者誕生于2020年。OpenAI公司將這些模型作為應(yīng)用程序編程接口（API）發(fā)布在網(wǎng)站上，于是，其他軟件的開發(fā)人員就可以輕松將模型插入自己的代碼。2022年1月，OpenAI還發(fā)布了GPT-3.5之前的一個(gè)微調(diào)版本，名為InstructGPT。不過，ChatGPT之前的這些技術(shù)版本都沒有公開。

費(fèi)杜斯：ChatGPT使用的語言模型與InstructGPT基本相同，只不過做了一些微調(diào)——實(shí)際上，我們微調(diào)所有模型時(shí)使用的方法都是類似的。我們?cè)黾恿艘恍?huì)話數(shù)據(jù)，并調(diào)整了部分訓(xùn)練過程。所以我們不想把這夸大為一項(xiàng)重大基礎(chǔ)進(jìn)步。當(dāng)然，事實(shí)證明，會(huì)話數(shù)據(jù)確實(shí)對(duì)ChatGPT產(chǎn)生了很大的積極影響。

舒爾曼：根據(jù)標(biāo)準(zhǔn)基準(zhǔn)測(cè)試的評(píng)估，各個(gè)模型的原始技術(shù)能力其實(shí)并沒有很大差異，但ChatGPT更容易訪問和使用。

雷克：從某種角度上說，你可以把ChatGPT理解為某個(gè)AI系統(tǒng)的一個(gè)版本，而這個(gè)AI系統(tǒng)我們已經(jīng)推出多時(shí)了。ChatGPT在本質(zhì)上并不比我們之前開發(fā)的模型功能更強(qiáng)大。在ChatGPT出現(xiàn)之前的近一年時(shí)間中，類似的基本模型已經(jīng)以API的形式可為軟件編寫工作人員使用了。從另一種角度上說，我們讓ChatGPT變得更適合完成人類向它下達(dá)的任務(wù)。它和你對(duì)話，它在聊天界面中很容易訪問，它努力為你提供幫助。這是驚人的進(jìn)步，我認(rèn)為人們正在逐漸意識(shí)到這一點(diǎn)。

舒爾曼：ChatGPT更容易推斷出用戶的意圖。用戶可以通過反復(fù)詢問來獲得他們想要的東西。

從內(nèi)容上說ChatGPT的訓(xùn)練方式與InstructGPT非常相似，使用的是一種叫作人類反饋強(qiáng)化學(xué)習(xí)（RLHF）的技術(shù)。這就是ChatGPT的秘密武器。這項(xiàng)技術(shù)的基本思想是采用一個(gè)大型語言模型，這個(gè)模型總是會(huì)給出任何ChatGPT想要的東西——在訓(xùn)練ChatGPT的過程中，使用的是GPT-3.5——并且教授ChatGPT人類用戶真正喜歡的回應(yīng)是什么樣的，從而作進(jìn)一步調(diào)整。

雷克：我們讓一大群人閱讀ChatGPT的提示和回應(yīng)，接著讓他們判斷某種回應(yīng)是否比另一種更可取。然后，我們把所有這些數(shù)據(jù)合并到訓(xùn)練過程中。大部分訓(xùn)練過程和我們對(duì)InstructGPT做的一樣。你希望它能變得有用，你希望它能變得真實(shí)，你希望它給出的回應(yīng)無害。再之后，還有一些東西是為產(chǎn)生對(duì)話并幫助人類解決問題而特別設(shè)計(jì)的：比如，如果用戶的詢問含義不清，它應(yīng)該進(jìn)一步追問。它還應(yīng)該澄清，自己是一個(gè)AI系統(tǒng)。它不應(yīng)該假設(shè)自己擁有某種實(shí)際并不具備的身份，它不應(yīng)該聲稱擁有某種實(shí)際并不具備的能力，當(dāng)用戶要求它完成不應(yīng)該執(zhí)行的任務(wù)時(shí)，它必須撰寫拒絕信息。在這次訓(xùn)練中出現(xiàn)的一句用語是“作為一個(gè)由OpenAI訓(xùn)練的語言模型……”，雖然這句話起初并不是如此明確，但后來的確成了人類評(píng)分員高度評(píng)價(jià)的細(xì)節(jié)之一。

阿加瓦爾：是的，我覺得就是這樣。人類評(píng)分員必須根據(jù)各種不同標(biāo)準(zhǔn)對(duì)模型排名，比如真實(shí)性。但他們現(xiàn)在也開始偏愛那些他們認(rèn)為是好的做法，比如不偽裝身份。

因?yàn)镃hatGPT是OpenAI開發(fā)團(tuán)隊(duì)用之前使用過的技術(shù)構(gòu)建的，所以在準(zhǔn)備向公眾發(fā)布這個(gè)模型時(shí)，開發(fā)團(tuán)隊(duì)并沒有做任何特別的事情。他們覺得自己為之前的模型設(shè)定的標(biāo)準(zhǔn)已經(jīng)足夠了。

阿加瓦爾：準(zhǔn)備發(fā)布ChatGPT的時(shí)候，我們并沒有把這個(gè)模型看作全新的風(fēng)險(xiǎn)。GPT-3.5之前就出現(xiàn)并投入應(yīng)用了，我們知道它足夠安全。而且通過ChatGPT接受的人類偏好訓(xùn)練，這個(gè)模型自動(dòng)學(xué)習(xí)了拒絕行為，因而會(huì)“自主”拒絕很多請(qǐng)求。

雷克：我們確實(shí)為ChatGPT做了一些額外的“審查”工作，OpenAI的每個(gè)人都靜下心來，思考這個(gè)模型可能存在的漏洞在哪兒。同時(shí)我們請(qǐng)了外部團(tuán)隊(duì)做同樣的事情。我們還開辟了一個(gè)早期試用項(xiàng)目，讓那些值得信賴的用戶給出有價(jià)值的反饋。

阿加瓦爾：我們確實(shí)發(fā)現(xiàn)ChatGPT會(huì)給出一些我們不希望看到的回應(yīng)，但這些也都是GPT-3.5會(huì)產(chǎn)生的東西。因此，就風(fēng)險(xiǎn)而言，作為“預(yù)研項(xiàng)目”——我們當(dāng)初向公眾發(fā)布ChatGPT本來就是為了這個(gè)目的——它給我們的感覺已經(jīng)足夠好。

舒爾曼：不能等到你的系統(tǒng)完美了之后才發(fā)布。我們對(duì)ChatGPT的早期版本進(jìn)行了幾個(gè)月的Beta測(cè)試，測(cè)試者對(duì)產(chǎn)品的印象很好。我們最擔(dān)心的是真實(shí)性，因?yàn)檫@個(gè)模型喜歡捏造東西。但是我們已經(jīng)擁有了InstructGPT和其他大型語言模型，而且它們并沒有捅什么大簍子，所以我們認(rèn)為只要ChatGPT在真實(shí)性和其他安全問題上比那些模型更好，它就具備了向公眾發(fā)布的條件。在正式發(fā)布之前，根據(jù)相對(duì)有限的評(píng)估，我們確認(rèn)了ChatGPT的模型確實(shí)比其他模型看上去更真實(shí)、更安全，所以我們決定大膽向公眾發(fā)布。

自推出ChatGPT以來，OpenAI一直在觀察人們的使用方式，開發(fā)團(tuán)隊(duì)第一次看到了大型語言模型在數(shù)千萬量級(jí)用戶手中時(shí)的表現(xiàn)——其中必然有某些用戶希望測(cè)試它的極限并發(fā)現(xiàn)它的缺陷。OpenAI開發(fā)團(tuán)隊(duì)目光緊緊盯住ChatGPT產(chǎn)出的最有問題的內(nèi)容——從內(nèi)容不良的歌曲到竊取信用卡號(hào)碼的惡意軟件代碼——并以這些錯(cuò)得離譜的結(jié)果作為調(diào)試所用模型未來版本的基準(zhǔn)。

阿加瓦爾：下一步，我們還有很多事要做。我絕對(duì)相信，ChatGPT的病毒式傳播會(huì)讓我們之前就知道存在的許多問題真正浮出水面，并且成為后續(xù)改進(jìn)的關(guān)鍵——那些一定都是我們希望盡快解決的重要問題。例如，我們知道這個(gè)模型仍然存在很大偏見。是的，ChatGPT非常擅長(zhǎng)拒絕糟糕的請(qǐng)求，但它也很容易在接受用戶提示后不再拒絕我們希望它拒絕的東西。

費(fèi)杜斯：看到用戶根據(jù)ChatGPT開發(fā)的各種創(chuàng)新應(yīng)用程序令人興奮，但我們一直專注于需要改進(jìn)的領(lǐng)域。我們認(rèn)為，通過積極部署、獲取反饋和不斷改進(jìn)的迭代過程，我們可以生產(chǎn)出最通用、最強(qiáng)大的技術(shù)。當(dāng)然，隨著技術(shù)的發(fā)展，不可避免地會(huì)出現(xiàn)各種新問題。

阿加瓦爾：在ChatGPT發(fā)布后的幾周里，我們研究了用戶發(fā)現(xiàn)的一些最糟糕的例子，人們?cè)趯?shí)際使用過程中找到的最嚴(yán)重的問題。我們?cè)u(píng)估了每一個(gè)問題，并討論了應(yīng)該如何修復(fù)。

雷克：有時(shí)候是一些在社交應(yīng)用上瘋傳的問題，但我們其實(shí)也安排了一些人員靜悄悄地把發(fā)現(xiàn)的問題反饋給我們。

阿加瓦爾：我們發(fā)現(xiàn)很多問題本質(zhì)上都是越獄，這絕對(duì)是我們需要解決的問題。不過，因?yàn)橛脩舯仨殗L試那種折騰到令人費(fèi)解的方法才能讓ChatGPT模型說出不好的內(nèi)容，所以嚴(yán)格來說，對(duì)于這些問題的出現(xiàn)，我們并沒有感到特別驚訝，實(shí)際上在開發(fā)過程中也并沒有完全忽略這些缺陷。當(dāng)然，我們現(xiàn)在正在積極解決這類問題。發(fā)現(xiàn)越獄問題時(shí)，我們會(huì)把它們添加到訓(xùn)練和測(cè)試數(shù)據(jù)中。所有這些數(shù)據(jù)都會(huì)輸入到未來的模型中。

雷克：每當(dāng)開發(fā)出更好的模型，我們都想把它公布出來進(jìn)行測(cè)試。我們非常樂觀，一些有針對(duì)性的對(duì)抗性訓(xùn)練可以大大改善越獄的情況。目前還不清楚這些問題是否會(huì)完全消失，但我們認(rèn)為應(yīng)該可以讓很多越獄方法變得更難奏效。還是要強(qiáng)調(diào)一下，在正式發(fā)布之前，我們并不是不知道存在可以越獄的漏洞。我覺得，一旦部署了系統(tǒng)，就很難預(yù)料真正的安全問題在哪里。所以我們非常重視監(jiān)測(cè)人們使用這個(gè)系統(tǒng)的目的，看看實(shí)際會(huì)發(fā)生什么，然后再做出反應(yīng)。這并不是說，當(dāng)我們預(yù)見到安全問題時(shí)，不應(yīng)該主動(dòng)采取緩解措施。但是，沒錯(cuò)，當(dāng)一個(gè)系統(tǒng)進(jìn)入現(xiàn)實(shí)世界時(shí)，我們很難預(yù)見實(shí)際會(huì)發(fā)生的一切。

2023年1月，微軟公布了Bing Chat，這是一款搜索聊天機(jī)器人，很多人認(rèn)為它是OpenAI官方未公布的GPT-4的一個(gè)版本。（OpenAI表示：“為Bing Chat提供支持的是我們?yōu)槲④浂ㄖ崎_發(fā)的一款專用于搜索的新一代模型。它融合了ChatGPT和GPT-3.5的先進(jìn)技術(shù)?！保碛袛?shù)十億美元聲譽(yù)的科技巨頭使用聊天機(jī)器人，給那些負(fù)責(zé)構(gòu)建底層模型的人帶來了新的挑戰(zhàn)。

阿加瓦爾：現(xiàn)在的賭注肯定比六個(gè)月前高了很多，但仍然低于一年后可能達(dá)到的水平。很明顯，這些模型真正重要的一點(diǎn)是它們的使用環(huán)境。同谷歌和微軟的搜索引擎一樣，即使有一件事不符合事實(shí)也會(huì)成為一個(gè)大問題，因?yàn)橛脩羰褂盟鼈兊哪康谋緛砭褪撬阉魇聦?shí)信息。為像搜索這樣的任務(wù)而開發(fā)的大型語言模型需要實(shí)現(xiàn)的功能與設(shè)計(jì)目的僅僅是跟用戶閑聊的有趣聊天機(jī)器人顯然大相徑庭。我們需要弄清楚如何在滿足各種需要的過程中實(shí)現(xiàn)平衡，如何創(chuàng)造一些對(duì)身處各種環(huán)境中的用戶都有用的東西。要知道，在不同環(huán)境中，用戶期望ChatGPT作出的回應(yīng)很可能會(huì)有差異。這當(dāng)然讓我們背上了更多壓力。因?yàn)槲覀儸F(xiàn)在知道，我們現(xiàn)在構(gòu)建這些模型的目的是讓它們轉(zhuǎn)化為產(chǎn)品。ChatGPT現(xiàn)在已經(jīng)是一個(gè)產(chǎn)品了，因?yàn)槲覀冇辛薃PI。我們現(xiàn)在構(gòu)建的是一種通用技術(shù)，我們需要確保它在任何情況下都能很好地工作。這也是我們目前面臨的主要挑戰(zhàn)之一。

舒爾曼：我低估了人們探究和關(guān)心ChatGPT政治的程度。我們本可以在收集訓(xùn)練數(shù)據(jù)時(shí)做出更好的決策，這樣就可以減少這方面的問題。當(dāng)然，我們現(xiàn)在正在努力思索應(yīng)對(duì)方法。

雷克：我個(gè)人認(rèn)為，ChatGPT在很多方面都難言成功——還有太多的事要做。我覺得我們還沒有徹底解決這些問題。我們內(nèi)部所有人都必須非常清楚這項(xiàng)技術(shù)的局限性——同時(shí)還要讓廣大用戶知曉這一點(diǎn)。我的意思是，語言模型已經(jīng)存在了一段時(shí)間，但它仍然處于發(fā)展的早期階段。我們知道它們存在的所有問題。在我看來，我們必須非常坦率地讓公眾知曉這些問題，不要讓大家產(chǎn)生不切實(shí)際的期待，并且明確ChatGPT仍處于發(fā)展之中，并非成品。

資料來源 MIT Technology Review

本文作者威爾 · 道格拉斯·海文（Will Douglas Heaven）是《麻省理工技術(shù)評(píng)論》（MIT Technology Review）的高級(jí)編輯，主要寫作方向?yàn)槿斯ぶ悄?/p>