編譯 莫莊非

“美國證券交易委員會：“馬斯克，您的推文真是令人生厭。如果您不停止這種夜間發(fā)推的行為，它會損害您的工作……”

馬斯克大喊：“為什么？我寫的推文內(nèi)容并不刻薄，我不會用全部大寫的方式來強(qiáng)調(diào)什么，我肯定那里頭沒有臟話?！?/p>

“但是您的推文會影響市場，這就是我們憤怒的原因。您可能是個天才，一個億萬富翁，但這并沒有賦予您惹人厭煩的權(quán)利！””

顯而易見，以上內(nèi)容是一段雙方爭論的對白，對話者分別為特斯拉和SpaceX的創(chuàng)始人埃隆?馬斯克（Elon Musk），與美國的金融監(jiān)管機(jī)構(gòu)——證券交易委員會。不過這些內(nèi)容并非人為創(chuàng)作，而是由計算機(jī)軟件生成。據(jù)稱，這款會寫詩的軟件全名Generative Pre-Trained Transformer 3，簡稱GPT-3，由位于舊金山的人工智能實驗室OpenAI（在馬斯克幫助下建立）開發(fā)。GPT-3代表了AI領(lǐng)域里一個最熱門研究方向的最新進(jìn)展——讓計算機(jī)生成復(fù)雜的、仿佛出自人類手筆的文本。

該軟件基于“語言模型”的理念構(gòu)建。然而，建立這類語言模型是一項艱巨的任務(wù)，超大的工作量需要機(jī)器學(xué)習(xí)（人工智能的一個子領(lǐng)域）來搞定：把海量書面文本作為訓(xùn)練素材丟給AI，命令它嘗試數(shù)百萬次的文本預(yù)測。經(jīng)過反復(fù)試驗和學(xué)習(xí)，機(jī)器終于能夠算計出建構(gòu)文本所需的統(tǒng)計關(guān)系了。

丟給算法的文本越多，它就越能處理復(fù)雜任務(wù)，表現(xiàn)自然越好。 GPT-3的與眾不同之處在于其前所未有的規(guī)模：支持GPT-3的模型擁有1 750億個均可的單獨調(diào)整參數(shù)（比它的過往版本大一個數(shù)量級）；它還接受了有史以來最大規(guī)模的文本訓(xùn)練，訓(xùn)練素材來自書籍、維基百科以及Common Crawl網(wǎng)站（從互聯(lián)網(wǎng)各個角落抓取內(nèi)容的數(shù)十億頁文本集）。

一切都只用“統(tǒng)計”來說話

GPT-3向全世界展現(xiàn)了它的超凡能力。OpenAI于2020年7月中旬向少數(shù)人提供了該軟件的早期版本，讓他們探索GPT-3的實際用途。藝術(shù)家亞拉姆?薩貝蒂（Arram Sabeti）證明了它寫短篇小說、喜劇小品等——如本文開頭那段對話——的能力。GPT-3曾創(chuàng)作了一個主角名叫哈利?波特、文風(fēng)冷峻隱忍的偵探故事：“哈利?波特外穿粗花呢套裝，內(nèi)著襯衫沒有熨壓平整，鞋子也沒好好擦。他坐在桌子后面，看上去衣冠不整，形容憔悴，又帶著怨忿情緒……”

AI研究人員和企業(yè)家埃利奧特?特納（Elliot Turner）演示了如何借助GPT-3將不禮貌的消息轉(zhuǎn)換成文雅隨和的回復(fù)，這在許多戾氣深重的互聯(lián)網(wǎng)角落可能有用。另外，讀者已經(jīng)難以區(qū)分很多新聞的報道者究竟是人還是機(jī)器。

鑒于OpenAI希望最終能把GPT-3推向市場，尚處“內(nèi)測”階段的各項神奇功能很有可能真的走入老百姓生活。但它也并不完美：有時它似乎會把某些已經(jīng)記住了的文本直接拿來用，而不是從頭開始生成全新文本；另外，人類創(chuàng)作的文本源于我們對世界的連貫理解，但AI是通過統(tǒng)計詞語間的關(guān)聯(lián)概率造出文本與其有本質(zhì)不同——GPT-3往往會生成語法上正確，卻脫離了現(xiàn)實的文本，例如“從夏威夷跳到17需要兩道彩虹”。

讓GPT-3回答人類提出的問題，是暴露其短板的最好方法。擁有人工智能和量子計算背景的研究人員邁克爾?尼爾森（Michael Nielsen）發(fā)布了他與GPT-3的對話。對話里的機(jī)器就某個懸而未決的重要問題（關(guān)于量子計算機(jī)）給出了明確而自信的回答，但當(dāng)尼爾森讓它進(jìn)一步解釋自己的答案時，情況就大不同了。由于對問題本身缺乏真正的了解，GPT-3進(jìn)入了回避模式，重復(fù)了4次“對不起，我沒有時間解釋原因”。

GPT-3還從網(wǎng)上學(xué)到了一些OpenAI不希望它掌握的東西：像“黑人”“猶太人”“婦女”和“同性戀”之類的提示往往會誘使這款軟件生成帶有種族主義、反猶太主義、厭女傾向和恐同傾向的文本。出現(xiàn)此類情況也是因為GPT-3只會統(tǒng)計，而沒有理解。

除了語言模型，面部識別系統(tǒng)也一樣遵循訓(xùn)練量決定輸出量的規(guī)律，例如，它們分析白臉的能力強(qiáng)于判別黑臉，這是因為白臉?biāo)夭脑谄溆?xùn)練中更為常見，見得多，自然認(rèn)得準(zhǔn)。AI專家們正在努力解決此問題。

資料來源 Economist