編譯 高地雪

1945年，就在美國于新墨西哥州沙漠進行第一次核彈試驗之前，參與制造核彈的物理學家之一恩里科 ? 費米（Enrico Fermi）和他的科學家同事們打了個賭：爆炸的熱量是否會在大氣中引發(fā)核大火？若果真如此，這場大火會只摧毀新墨西哥州嗎？還是說整個世界都會被它吞噬？（這次核試驗并不像費米惡作劇式的賭注所暗示的那么輕率：另一位物理學家漢斯 ? 貝特計算過，幾乎絕不可能產(chǎn)生這樣的火海煉獄。）

如今，對“存在性風險”的擔憂并不僅僅存在于軍事科學家內(nèi)部——存在性風險指那些對整個人類物種而非人類個體構(gòu)成威脅的風險。核戰(zhàn)爭、核冬天、瘟疫（無論是新冠病毒這樣的自然瘟疫還是人為因素導致的瘟疫）、小行星撞擊等都有可能消滅大部分乃至全體人類。最新的末日威脅則是人工智能。2023年5月，該領(lǐng)域的一群杰出人士簽署了一封只有一句話的公開信，信中寫道：“減輕人工智能帶來的人類滅絕風險，應該與大流行病和核戰(zhàn)爭等其他影響社會的大規(guī)模風險一同成為全球性的優(yōu)先事項?！?/p>

但什么程度的擔憂才算得上理性呢？7月10日，包括芝加哥聯(lián)邦儲備銀行的經(jīng)濟學家埃茲拉 ? 卡格爾（Ez r a K a rge r）和賓夕法尼亞大學的政治學家菲利普 ? 泰特洛克（Philip Tetlock）在內(nèi)的一個研究團隊發(fā)表了一篇研究手稿，試圖通過系統(tǒng)地調(diào)查兩類不同的專家來闡明這個問題。調(diào)查的第一類是主題專家，或者說“領(lǐng)域?qū)＜摇?，也就是核?zhàn)爭、生物武器、人工智能和人類滅絕本方面的專家。另一組接受調(diào)查的則是“超級預測者”，這是一群在各種話題上（從選舉結(jié)果到戰(zhàn)爭爆發(fā)）都有準確預測記錄的通用預測家。

研究人員招募了89名超級預測者、65名領(lǐng)域?qū)＜液?5名更廣泛地研究“滅絕風險”的專家。被召集的“先知”們要考慮兩種不同類型的災難，其中對“災難”的定義是僅殺死世界上10%的人口，也即大約8億人的事件。（作為對比，第二次世界大戰(zhàn)估計導致了當時全球20億人口中約3%的人喪生。）對“滅絕”的定義則是消滅了所有人、最多只留下5 000個幸運（可能也是一種不幸）的生還者的事件。

我們要走一起走

研究人員要求這兩組人員估計各種事件發(fā)生的可能性，從人工智能導致滅絕或核戰(zhàn)爭這樣的末日事件，到諸如人工智能的能力是否會產(chǎn)生令人擔憂的進步這樣較小的問題——這類進步也許會成為通往未來災難道路上的路標。

這項研究得出的最引人注目的結(jié)論是，對于未來，那些在有關(guān)存在性風險的公共對話中傾向于起主導作用的領(lǐng)域?qū)＜宜坪醣瘸夘A測者更為悲觀。專家們估計，到2100年，發(fā)生災難的可能性約為20%，滅絕的可能性約為6%，而超級預測者給出的概率分別是9%和1%。

這個巨大的分歧掩蓋了一些有趣的細節(jié)。在考慮人工智能帶來的風險時，兩組之間的差異是最大的。超級預測者估計，到21世紀末，人工智能導致災難的可能性中位數(shù)為2.1%，人工智能導致滅絕的可能性中位數(shù)為0.38%。相比之下，人工智能專家認為這兩種事件發(fā)生的概率分別為12%和3%。在談到大流行病時，對于自然發(fā)生的疾病帶來的風險，超級預測者比領(lǐng)域?qū)＜腋鼮楸^。

其中最有趣的結(jié)果或許在于，盡管兩組人在風險的確切大小上存在分歧，但無論是在考慮災難或滅絕時，他們都認為人工智能是最大的擔憂。參與這項研究的超級預測者丹 ? 梅蘭德（Dan Mayland）說，人工智能的風險被如此強調(diào)的原因之一在于，它在核武器等其他風險上起到了“力量倍增器”的作用。就像核戰(zhàn)爭或小行星撞擊一樣，人工智能（比如說，以武裝機器人的形式出現(xiàn)）可以直接殺死人類。但它也可以用來磨利另一位劊子手的斧頭。例如，如果人們使用人工智能來輔助設(shè)計更強大的生物武器，那對隨后發(fā)生的任何災難而言，它就是間接但根本的原因。

然而，盡管超級預測者對人工智能持悲觀態(tài)度，但他們的態(tài)度相對而言也不是那么確定。世界已經(jīng)與核武器共存了近80年。核戰(zhàn)爭尚未發(fā)生，這為預測它未來是否可能發(fā)生提供了寶貴的數(shù)據(jù)。至少從“人工智能”這個詞當前的意義來說，它比核武器新得多?，F(xiàn)代、強大的機器學習模型的出現(xiàn)可以追溯到21世紀10年代初期，而且該領(lǐng)域仍在快速發(fā)展。這樣一來，作為預測基礎(chǔ)的歷史數(shù)據(jù)就要少得多了。

泰特洛克博士在預測未來的問題上做了大量工作。正是他首先發(fā)現(xiàn)并命名了“超級預測者”，這是一群似乎在各個領(lǐng)域都非常擅長預測未來發(fā)展的人。這些人有一些共同的特點，比如謹慎、數(shù)字化的思維，以及對可能使他們誤入歧途的認知偏差的意識。盡管超級預測者缺乏特定的專業(yè)知識，但有扎實可靠的記錄表明，他們在從金融到地緣政治的技術(shù)領(lǐng)域都有過優(yōu)于專家的出色表現(xiàn)。

兩組人員之間的差異，在一定程度上反映出了他們心中世界運作模式的不同。災難性風險不僅取決于一項技術(shù)的復雜或強大程度，還取決于人類對它的反應。例如，在冷戰(zhàn)初期的恐慌過后，美國和蘇聯(lián)這兩個世界上最大的核大國開始了合作。像“莫斯科-華盛頓熱線”、彼此檢查武器的協(xié)議以及旨在限制核武庫規(guī)模的條約等舉措都有助于降低核戰(zhàn)爭的風險。

但是對于社會將如何應對人工智能造成的小規(guī)模損害，超級預測者和人工智能專家的觀點非常不同。超級預測者傾向于認為，這種損害將促使更嚴格的審查和監(jiān)管出臺，以避免過后出現(xiàn)更大的問題。相較之下，領(lǐng)域?qū)＜覄t傾向于認為，哪怕已經(jīng)了造成真正的危害，商業(yè)和地緣政治動機仍可能會壓倒對安全問題的擔憂。

超級預測者和專家們對于智能本身的極限也持有不同看法。參與這項研究的另一位超級預測者克里斯特 ? 莫雷爾（Kjirste Morrell）簡單地說：“要殺光所有人可不是件容易的事?！彼赋?，這樣做可能需要一定程度的與物理世界互動的能力……要想達到這一點，多半需要在機器人技術(shù)方面取得很大的進步。

當然，這種預測的根本問題在于，與反復發(fā)生的低風險事件（如預測股價走勢或選舉結(jié)果）不同，我們永遠沒有辦法知道哪一方更接近真正的風險水平。但是，如果超級預測者們?nèi)绱松瞄L預測，而專家們又有如此豐富的專業(yè)知識，那么你至少可以期待這兩個群體會相互影響彼此的信念。

解讀符文

這項研究試圖通過小組討論、對優(yōu)質(zhì)論點提供金錢獎勵等方式鼓勵這種相互勸說。然而——這也許令人驚訝——雙方都堅決地堅持自己的立場。（一位人工智能專家認為“審議疲勞”是問題所在，換句話說，雙方都已因為此前被要求做出的所有預測而筋疲力盡了。）

如果有了新的證據(jù)，改變想法或是預測者們所謂的“更新先例”可能會變得更容易一些。因此，卡格爾博士和泰特洛克博士希望能收集些新證據(jù)。他們要求目前這項研究的參與者回答另一組關(guān)于一系列“早期預警指標”的問題，這些指標將表明世界是否正在走向一種或另一種災難性情景。例如，大型人工智能訓練中使用的計算機能量也許可以被用來跟蹤該領(lǐng)域的總體進展。決定核武器控制條約最終命運的可能會是另一個因素。這些較短期的問題中有一部分將在2024年和2030年之前得到解決，希望它們能夠讓我們大致明白應該更認真地對待哪一方的預測，從而搞清楚我們應該擔憂到什么程度。