大語言模型激起了人們關(guān)于實現(xiàn)通用人工智能（AGI）的討論。但人工智能不太可能僅憑自身達(dá)到這一里程碑。

機器要多久才能完成人類大腦可以處理的所有認(rèn)知任務(wù)？

“通用人工智能”可以解決棘手的問題，包括氣候變化、流行病、癌癥、阿爾茨海默病以及其他疾病。但如此強大的力量也會帶來不確定性，并給人類帶來風(fēng)險。的深度學(xué)習(xí)研究員約書亞·本吉奧（YoshuaBengio）說：“糟糕的事情可能會發(fā)生，要么是由于人工智能的濫用，要么是因為我們失去了對它的控制。”

過去幾年大語言模型的更新引發(fā)了人們的猜測，即通用人工智能可能即將出現(xiàn)。但一些研究人員表示，考慮到大語言模型的構(gòu)建和訓(xùn)練方式，它們本身不足以達(dá)到通用人工智能的水平。本吉奧說：“仍然有一些欠缺的部分?！?/p>

很明顯，關(guān)于通用人工智能的問題現(xiàn)在比以往任何時候都更重要。亞利桑那州立大學(xué)的計算機科學(xué)家蘇巴拉奧·坎巴姆帕蒂（SubbaraoKambhampati）說：“在我生命的大部分時間里，我認(rèn)為談?wù)撏ㄓ萌斯ぶ悄艿娜硕际钳傋印．?dāng)然，現(xiàn)在每個人都在談?wù)撍?。你又不能說每個人都是瘋子?！?/p>

為什么關(guān)于通用人工智能的討論發(fā)生了變化？

在人工智能研究人員本·戈策爾（BenGoertzel）和凱西奧·彭納欽（CassioPennachin）于其撰寫的書籍中提到通用人工智能一詞后，該詞于2007年左右進(jìn)入了公眾視野。它的確切含義至今仍不明確，但可以泛指具有類人推理和泛化能力的人工智能系統(tǒng)。撇開模糊的定義不談，在人工智能的大部分歷史中，很明顯尚未達(dá)到通用人工智能的水平。以谷歌DeepMind創(chuàng)建的人工智能程序AlphaGo為例，它可以下圍棋，并擊敗世界上最優(yōu)秀的人類棋手。但這種超人能力是有限的，因為這就是它所能做的一切了。

大語言模型的新功能徹底改變了這一領(lǐng)域。與人類大腦一樣，大語言模型具有廣泛的能力，這使得一些研究人員認(rèn)真考慮了某種形式的通用人工智能可能即將到來，甚至已經(jīng)存在的可能性。

當(dāng)你知道研究人員實際上并不太了解大語言模型是如何實現(xiàn)其功能的時候，一定會對這種能力的廣度非常吃驚。大語言模型是一種神經(jīng)網(wǎng)絡(luò)，即一種類似大腦的機器學(xué)習(xí)模型；該網(wǎng)絡(luò)由人工神經(jīng)元（或稱計算單元）組成，它們按照層級排列，參數(shù)可調(diào)，表示神經(jīng)元之間的連接強度。在訓(xùn)練過程中，最強大的大語言模型依賴于一種稱為“下一個單詞預(yù)測”的方法。在該方法中，模型會反復(fù)接收文本樣本，這些文本樣本被分割成塊，可以是完整的單詞，也可以只是一組字符。序列中的最后一塊被隱藏或“屏蔽”，并要求模型對其進(jìn)行預(yù)測。然后，訓(xùn)練算法將預(yù)測結(jié)果與屏蔽的部分進(jìn)行比較，并調(diào)整模型的參數(shù)，使其下次能夠做出更好的預(yù)測。

人工智能如何重塑科學(xué)和社會？

這個過程會持續(xù)下去—通常使用數(shù)十億個語言片段、科學(xué)文本和編程代碼—直到模型能夠可靠地預(yù)測被屏蔽的部分。在此階段，模型參數(shù)已經(jīng)捕獲了訓(xùn)練數(shù)據(jù)的統(tǒng)計結(jié)構(gòu)以及其中包含的知識。之后，參數(shù)被固定，當(dāng)給出新的查詢或“提示”時，模型就會利用參數(shù)來預(yù)測新的文本塊。這些查詢或提示不一定存在于其訓(xùn)練數(shù)據(jù)中。這一過程稱為推理。

一種名為轉(zhuǎn)換器的神經(jīng)網(wǎng)絡(luò)架構(gòu)使大語言模型大大超越了以前的成就。該轉(zhuǎn)換器使模型可以知曉，一些文本塊對其他文本塊會有很強的影響力，即使在文本樣本中它們相隔甚遠(yuǎn)。這使得大語言模型能夠以模仿人類的方式解析語言，例如，區(qū)分這句話中“bank”一詞的兩種含義：“當(dāng)河岸（bank）被淹沒時，水損壞了銀行（bank）的自動取款機，導(dǎo)致無法取款?！?/p>

事實證明，這種方法在許多領(lǐng)域都獲得了巨大的成功，包括生成計算機程序解決用自然語言描述的問題，總結(jié)學(xué)術(shù)文章，以及回答數(shù)學(xué)問題。

隨著大語言模型規(guī)模的擴大，其他新的功能也出現(xiàn)了。如果大語言模型足夠大，通用人工智能也可能出現(xiàn)。其中一個例子是鏈?zhǔn)剿季S（CoT）提示。這涉及向大語言模型展示如何將問題分解為更小的步驟來解決它，或者簡單地要求大語言模型一步一步地解決問題。鏈?zhǔn)剿季S提示可以引導(dǎo)大語言模型正確回答以前讓它們困惑的問題。但這個過程對于小型的語言模型來說效果不佳。

大語言模型的局限性

據(jù)OpenAI稱，鏈?zhǔn)剿季S提示已被整合到。系列的工作中，并且成為該模型強大的基礎(chǔ)。弗朗索瓦·喬萊特（FrancoisChollet）原本是谷歌公司的人工智能研究員，他于2024年 11 月離職并創(chuàng)辦了一家新公司。他認(rèn)為，盡管技術(shù)如此先進(jìn)，。系列也有其局限性，并不能被稱為通用人工智能。

喬萊特說，通用人工智能，無論其規(guī)模大小，在解決需要重組所學(xué)知識以應(yīng)對新任務(wù)的問題方面的能力都是有限的。

大語言模型的一個優(yōu)勢是，底層的轉(zhuǎn)換器架構(gòu)可以處理并發(fā)現(xiàn)除文本之外的其他類型信息（如圖像和音頻）中的統(tǒng)計模式，前提是有一種方法可以適當(dāng)?shù)貥?biāo)記這些數(shù)據(jù)。在紐約大學(xué)研究機器學(xué)習(xí)的安德魯·威爾遜（AndrewWilson）和他的同事們指出，這可能是因為不同類型的數(shù)據(jù)都有一個共同的特征：這些數(shù)據(jù)集具有較低的“柯爾莫哥洛夫復(fù)雜性”，即創(chuàng)建它們所需的最短計算機程序的長度。研究人員還表明，轉(zhuǎn)換器非常適合學(xué)習(xí)具有低柯爾莫哥洛夫復(fù)雜性的數(shù)據(jù)中的模式，并且這種適用性隨著模型“變大”而增強。轉(zhuǎn)換器有能力對廣泛的可能性進(jìn)行建模，從而增加訓(xùn)練算法發(fā)現(xiàn)合適解決方案的機會，這種“表現(xiàn)力”隨著規(guī)模的擴大而增加。威爾遜說，這些正是“我們實現(xiàn)通用學(xué)習(xí)真正需要的關(guān)鍵”。

人工智能能否閱讀科學(xué)文獻(xiàn)，并弄清楚其中的含義？

然而，有跡象表明，基于轉(zhuǎn)換器的大語言模型存在局限性。首先，用于訓(xùn)練模型的數(shù)據(jù)正在耗盡。也有跡象表明，大語言模型隨著規(guī)模的擴大而獲得的收益不如以前那么多，盡管目前尚不清楚這是否與數(shù)據(jù)中的新穎性減少有關(guān)（因為現(xiàn)在已經(jīng)有很多數(shù)據(jù)被使用了），或者有什么其他原因。

DeepMind研究副總裁拉亞·哈德塞爾（RaiaHadsell）提出了另一個問題。她認(rèn)為，基于轉(zhuǎn)換器的強大的大語言模型經(jīng)過訓(xùn)練可以預(yù)測下一個文本塊，但這種單一的關(guān)注點太有限，無法實現(xiàn)通用人工智能的效果。她說，構(gòu)建能夠一次性或大批量生成解決方案的模型，可以讓我們更接近通用人工智能。有助于構(gòu)建此類模型的算法已經(jīng)在一些現(xiàn)有的非大語言模型系統(tǒng)中發(fā)揮作用，例如OpenAI的DALL-E系列，它根據(jù)自然語言的描述生成逼真的、但有時令人困惑的圖像。不過，它們?nèi)狈Υ笳Z言模型的廣泛能力。

構(gòu)建一個世界模型

推動通用人工智能發(fā)展的突破性進(jìn)展的靈感來自神經(jīng)科學(xué)家。他們認(rèn)為，我們的智力使得大腦能夠建立一個“世界模型”。這可以用來想象不同的行動方案并預(yù)測其后果，從而進(jìn)行計劃和推理。它還可以通過模擬不同的場景，將在一個領(lǐng)域?qū)W到的技能推廣到新的任務(wù)中。

一些報告聲稱，有證據(jù)表明大語言模型內(nèi)部出現(xiàn)了基本的世界模型。在一項研究中，麻省理工學(xué)院的研究人員韋斯·古尼（WesGurnee）和馬克斯·泰格馬克（MaxTegmark）聲稱，一個廣泛使用的開源大語言模型家族在接受包含地方信息的數(shù)據(jù)集訓(xùn)練時，構(gòu)建了對全世界、全美國以及紐約市的模型，盡管其他研究人員在社交平臺上指出，沒有證據(jù)表明大語言模型正在使用世界模型進(jìn)行模擬或?qū)W習(xí)因果關(guān)系。在另一項研究中，

哈佛大學(xué)的計算機科學(xué)家肯尼思·季（KennethLi）和他的同事們發(fā)布報告，表明一個接受過棋盤游戲《奧賽羅》玩家動作記錄培訓(xùn)的小型通用人工智能學(xué)會了在內(nèi)部表示棋盤的狀態(tài)，并利用這一點正確預(yù)測符合要求的下一步。

然而，其他結(jié)果表明，目前人工智能系統(tǒng)學(xué)習(xí)的世界模型是不可靠的。在一項研究中，哈佛大學(xué)的計算機科學(xué)家肯揚·瓦法（KeyonVafa）和他的同事們使用了一個龐大的紐約市出租車轉(zhuǎn)彎數(shù)據(jù)集，訓(xùn)練基于轉(zhuǎn)換器的模型來預(yù)測下一個轉(zhuǎn)彎，其準(zhǔn)確率接近 100% 。

通過檢查模型生成的轉(zhuǎn)彎，研究人員能夠證明它已經(jīng)構(gòu)建了一個內(nèi)部地圖來得出答案。但研究人員表示，這張地圖展示的世界與曼哈頓幾乎沒有相似之處。瓦法說：“它包含具有不可能存在的物理方向的街道和高于其他街道的天橋。盡管該模型在某些導(dǎo)航任務(wù)中表現(xiàn)良好，但其地圖是不連貫的?！碑?dāng)研究人員調(diào)整測試數(shù)據(jù)以包括訓(xùn)練數(shù)據(jù)中不存在的意外繞行時，它未能預(yù)測下一個轉(zhuǎn)彎，這表明它無法適應(yīng)新的情況。

DeepMind通用人工智能研究團(tuán)隊成員迪利普·喬治（DilepGeorge）表示，當(dāng)今通用人工智能缺乏的一個重要特征就是內(nèi)部反饋。人腦充滿了反饋連接，使信息在神經(jīng)元層之間雙向流動。這允許信息從感覺系統(tǒng)流向大腦的更高層，以創(chuàng)建反映我們周圍環(huán)境的世界模型。這也意味著來自世界模型的信息可以向下傳播，并指導(dǎo)進(jìn)一步的感官信息的獲取。這種雙向過程導(dǎo)致了感知的產(chǎn)生，大腦使用世界模型來推斷感官輸入的可能原因。它們還可以規(guī)劃，即使用世界模型來模擬不同的行動過程。

但目前的大語言模型只能以一種附加的方式使用反饋。在系列中，似乎正在起作用的是內(nèi)部鏈?zhǔn)剿季S提示。這種反饋形式的連接生成提示以幫助查詢答案，并在大語言模型產(chǎn)生最終答案之前反饋給模型本身。但是，正如喬萊特對。系列的測試所示，這并不能確保大語言模型具有無邂可擊的推理能力。

為什么科學(xué)家過于信任人工智能？我們該怎么辦？

包括坎巴姆帕蒂在內(nèi)的研究人員也嘗試在大語言模型上添加稱為驗證器的外部模塊，用以檢查大語言模型在特定上下文中生成的答案，例如用于創(chuàng)建可行的旅行計劃。如果答案不符合要求，則要求大語言模型重新運行查詢?？舶湍放恋俚膱F(tuán)隊表明，在外部驗證器的幫助下，大語言模型能夠更好地制定旅行計劃。問題是，研究人員必須為每項任務(wù)設(shè)計定制的驗證器?？舶湍放恋僬f：“我們沒有通用的驗證器?！毕啾戎拢褂眠@種方法的通用人工智能系統(tǒng)可能需要自行構(gòu)建驗證器適應(yīng)出現(xiàn)的情況，就像人類可以使用抽象規(guī)則來確保他們對于新任務(wù)的正確推理一樣。

大語言模型遇到的另一個大障礙是，它們是數(shù)據(jù)的消耗者。倫敦大學(xué)學(xué)院的理論神經(jīng)科學(xué)家卡爾·弗里斯頓（KarlFriston）建議，未來的系統(tǒng)可以自己決定需要從環(huán)境中采集多少數(shù)據(jù)來構(gòu)建世界模型并做出合理的預(yù)測，而不是簡單地吃下所有輸入的數(shù)據(jù)。這樣可以提高效率。弗里斯頓認(rèn)為，這將代表一種代理或自主的形式，這可能是通用人工智能所需要的。他說：“在大語言模型或生成式人工智能中，你看不到那種真正的代理形式?！彼a充道：“如果你有任何一種可以在一定程度上進(jìn)行選擇的人工智能，那么我認(rèn)為你正在朝著通用人工智能邁出重要的一步?！?/p>

具有構(gòu)建有效世界模型和集成反饋回路能力的人工智能系統(tǒng)也可能較少依賴外部數(shù)據(jù)，因為它們可以通過運行內(nèi)部模擬程序、提出反事實假設(shè)并使用它們進(jìn)行理解、推理和規(guī)劃，從而生成自己的數(shù)據(jù)。事實上，2018年，當(dāng)時在東京谷歌大腦公司的研究人員大衛(wèi)·哈（DavidHa）和瑞士盧加諾-維甘內(nèi)洛DalleMolle人工智能研究所的于爾根·施密德胡貝爾（JirgenSchmidhuber）報告稱，他們建立了一個神經(jīng)網(wǎng)絡(luò)，可以有效地構(gòu)建人工環(huán)境的世界模型，然后用它來訓(xùn)練人工智能駕駛虛擬汽車。

人工智能模型是否會比研究人員產(chǎn)生更多原創(chuàng)的想法？

如果你認(rèn)為具有這種自主性的人工智能系統(tǒng)聽起來很可怕，那么你并不孤單。除了研究如何構(gòu)建通用人工智能，本吉奧還倡導(dǎo)將安全考量納入人工智能系統(tǒng)的設(shè)計和監(jiān)管中。他認(rèn)為，研究必須集中在能夠保證自身行為安全的訓(xùn)練模型上。例如，通過建立機制來計算模型違反某些特定安全約束的概率，并在概率過高時拒絕采取行動。此外，政府需要確保其能夠被安全使用。他說：“我們需要一個民主的過程，確保個人、公司甚至軍隊，以對公眾安全的方式開發(fā)人工智能并使用人工智能?！?/p>

那么，實現(xiàn)通用人工智能有可能嗎？計算機科學(xué)家表示，沒有理由認(rèn)為不可能。喬治說：“理論上沒有障礙?！毙履鞲缰菔ミ_(dá)菲研究所的計算機科學(xué)家梅蘭妮·米切爾（MelanieMitchell）對此表示贊同。她說：“人類和其他動物證明了你可以做到這一點。我認(rèn)為生物系統(tǒng)與其他材料制成的系統(tǒng)沒有什么特別之處。原則上，這些材料不會阻止非生物系統(tǒng)變得智能?！?/p>

但是，即使有可能，人們對它何時到來幾乎也沒有達(dá)成什么共識：估計從現(xiàn)在起幾年到至少十年不等。喬治說，如果創(chuàng)建了一個通用人工智能系統(tǒng)，當(dāng)我們看到它時，我們就會知道。喬萊特懷疑它會悄悄地向我們襲來?！爱?dāng)通用人工智能到來時，它不會像你想象的那樣引人注目或具有開創(chuàng)性，”他說，“通用人工智能需要時間充分發(fā)揮其潛力。它首先會被發(fā)明出來。然后，你需要擴大規(guī)模并應(yīng)用它，才能真正開始改變世界。”

資料來源Nature

本文作者阿尼爾·阿南塔斯瓦米（AnilAnanthaswamy）是印度作家和科學(xué)記者，目前是麻省理工學(xué)院的奈特科學(xué)新聞研究研究員。