關(guān)于AI，存在著兩個世界。一個是“未來時態(tài)”的世界，或者說想象中的世界。人們樂于沉浸在對終極技術(shù)的幻想里。另一個世界處于“進行時”。在舊金山、北京、倫敦，人工智能產(chǎn)業(yè)每日都在上演更新。

兩個世界相互交織，但它們不是一一對應(yīng)的兩個集合，對未來的想象前進一步，現(xiàn)實有可能會撤退，也可能會加速。

在這兩個世界中，有一個重要的人物，就是尼克·博斯特羅姆（Nick Bostrom）。他曾是牛津大學“人類未來研究所”的創(chuàng)辦者與所長，是目前論文被引用數(shù)量最多的哲學學者之一。

博斯特羅姆關(guān)心人的存在性風險、數(shù)字心智的道德地位等議題。有人認為，其作品奠定了當代人類未來議題的基礎(chǔ)性框架。他本人也提及，當下人們在探討未來時經(jīng)常使用的概念，最初均出自他的筆下。

在南風窗的采訪中，他拒絕將自己形容為任何主義者，但他種下的思想種子還是長成了宗教般的信仰，從英國小鎮(zhèn)牛津飛到美國硅谷上空，并在那里引起了巨大的風暴。

對齊

“世界正在加速，超級智能的誕生很可能已為期不遠，我想說，我們已經(jīng)正式進入了‘早就跟你說過的’時代，而大多數(shù)人仍然忙于其他事情?！?/p>

2025年6月，博斯特羅姆更新了他的個人主頁。和往常一樣，他認為超級人工智能的到來是既定但令人擔憂的事，可惜世人總是被各種各樣的“瑣事”占據(jù)，而對人類的存在性風險視而不見。

博斯特羅姆在大多數(shù)照片中神情嚴肅，他有一張長臉，腦頂?shù)念^發(fā)幾乎掉光了，因此看起來有一個明亮又寬敞的額頭—古老的中國人將之視作聰慧的象征。而在他眼里，人類確實“渾渾噩噩”，時常與螻蟻無異，忙著建造蟻穴，卻對自己為什么要這么做、最終是否值得這么做幾乎毫無概念。

就像電影《不要抬頭》中萊昂納多飾演的那位天文學教授，博斯特羅姆研究、思考、著書，想要提醒人類一場威脅我們生死存亡的危機近在眼前。在許多方面，超級AI 和一顆注定要撞上地球的小行星沒有什么區(qū)別—我們不知道它距離我們具體有多遠，但是它已經(jīng)在來的路上了。

《超級智能》應(yīng)該是最能反映博斯特羅姆核心關(guān)切的著作，他認為，AI的進步可能會帶來超級智能的出現(xiàn)，這是一個巨大的機會，同時也是存在性風險的來源。

什么是存在性風險？博斯特羅姆把它定義為“一種可能導致自地球起源的智能生命被消滅，或其潛能被永久性、劇烈削弱的不良結(jié)果”。顧名思義，它是一種危及人類本身存在的風險，受到迫害的可能是生命本身，也可能是人類存在的價值。

博斯特羅姆對AI 風險的興趣始于上個世紀，直到《超級智能》發(fā)表的2014年，它依舊不是一個大眾話題，很容易被視作“腦洞大開”的科幻作品。

但顯然博斯特羅姆是嚴肅的，即便沒有讀過《超級智能》的人，或許都對他的這句話并不陌生：“在智能爆發(fā)的前景之下，我們?nèi)祟惥拖衲弥◤椡娴暮⒆?。玩具的威力和我們的行為的成熟度是如此不匹配……盡管我們把炸彈放到耳邊能夠聽到微弱的滴答聲……”

好在博斯特羅姆不是那種提出問題然后徒留人煩擾的哲學家，他致力于提出問題并解決問題。他的學術(shù)背景十分復雜，涵蓋了物理學、計算神經(jīng)科學與哲學。在早期的博斯特羅姆身上，能看到這樣一種意志：為了解決人類面臨的威脅，他在這條由自己開辟的荊棘路上盡己所能地走得更遠，以便更多有能力者可以便捷地加入。

博斯特羅姆主張從長遠的角度對AI 進行風險控制，比起限制AI 的發(fā)展，不如提前控制AI 的目標，在發(fā)展AI的過程中將人類的價值觀載入，保證它的目的與人類目的一致。后來，人們把這個做法叫作“對齊”（alignment）。

硅谷

對齊是一項難度極高的工作，它的復雜不僅體現(xiàn)在技術(shù)上，還有哲學層面。比如，人們怎么把價值用語言或編程的方式告知AI ？如何保證人的表達不被誤解或過度擴展？

“在智能爆發(fā)的前景之下，我們?nèi)祟惥拖衲弥◤椡娴暮⒆?。玩具的威力和我們的行為的成熟度是如此不匹配……盡管我們把炸彈放到耳邊能夠聽到微弱的滴答聲……”

甚至，在對齊這件事上，人類可能只有一次機會，一旦AI 越過“奇點”一切就無法重來。博斯特羅姆寫道，“一旦不友好的超級智能出現(xiàn)，它就會阻止我們將其替換或者改變其偏好設(shè)置”，這樣一來，“我們的命運就因此被鎖定了” 。

博斯特羅姆認為，比起其他全球性事務(wù)，解決存在性風險在道德上具有優(yōu)先級別。他的思想很快引起了人們的關(guān)注，尤其是美國硅谷的一批精英人士。在《超級智能》一書的推介名單中，有舉世聞名的前世界首富比爾·蓋茨、正當紅的科技明星埃隆·馬斯克，還有一位當時并不十分知名的硅谷投資人，叫作山姆·奧特曼。

《超級智能》出版后的第二年，也就是2015 年，奧特曼、馬斯克聯(lián)合其他人成立了一家名為OpenAI 的小公司。誕生之初，它是一家非營利性公司，其創(chuàng)始人相信，沒有經(jīng)濟義務(wù)的約束，他們可以更專注于讓AI 對人類產(chǎn)生積極影響，“以最有可能造福全人類的方式推動數(shù)字智能的發(fā)展”。

馬斯克與奧特曼曾提及，他們成立OpenAI，部分是出于對“通用人工智能安全及其可能帶來的存在性風險”的擔憂。

為了阻止人類受到傷害，必須先把善良的AI制造出來—這一幕在人類歷史上并不陌生，二戰(zhàn)期間為了對抗軸心國，奧本海默懷著沉重但“不得不”的心情制造了原子彈。

某種程度上可以說，有關(guān)AI 風險的思想，間接加速了AI的發(fā)展。無論博斯特羅姆是否愿意看到這一幕，但事態(tài)就是這樣朝著不可預料的方向發(fā)展了。

河水不會停止流動，思想與現(xiàn)實兩個世界像兩條并行的線，綿延向前。

最開始成立的那幾年，OpenAI只是一家靠理念與愿景刷存在感的公司，當時AI 界的明星公司是谷歌旗下的DeepMind。2016 年，DeepMind發(fā)布阿爾法狗并打敗韓國圍棋棋手李世石，在被視作“智力成就象征”的最強圍棋場上，人類首次黯然失色。2018 年，馬斯克提出掌權(quán)OpenAI 但未果，隨即離開，由于缺乏資金，OpenAI 轉(zhuǎn)變?yōu)橐患矣邢抻?，并接受了微軟的投資；同年，OpenAI 開始嘗試使用大語言模型。

與此同時，在博斯特羅姆創(chuàng)立的人類未來研究所，走出越來越多受硅谷追捧的哲學紅人。他們帶去了長期主義、有效利他主義的思潮，盡管側(cè)重各有不同，但他們的思考方式與博斯特羅姆一脈相承：要把有限的資源放在最能對全人類產(chǎn)生效益的地方。

這些紅人著書立說，發(fā)起公益項目，頻繁接受媒體采訪，悅納企業(yè)家慷慨解囊。其中有代表性的人物就是威廉·麥卡斯基爾。

在他身上，人們能看到眼下硅谷最青睞的“公共知識分子”是什么樣的：年輕帥氣、名校出身、才華橫溢并關(guān)心全人類的命運，有一副菩薩心腸—就像《時代》雜志所述：“威廉·麥卡斯基爾站在一家雜貨店的貨架前，為該買哪種早餐麥片而苦惱。如果他堅持一年改買更便宜的品牌，是否就能省下足夠的錢去挽救一個人的生命？”

有效利他主義主張多做善事，它屬于功利主義思維，在功利的框架下，盡可能多做善事意味著要先賺更多錢，然后再把它們捐掉。比起去貧困地區(qū)當一名醫(yī)生，大學畢業(yè)生更應(yīng)該從事金融或咨詢行業(yè)，因為這樣可以擁有更多收入、幫更多的人。

這只是有效利他主義的一個方面，有效利他主義是一種廣泛的道德哲學。在AI 發(fā)展上，有效利他主義者主張安全優(yōu)先，因為莽撞有可能會摧毀人類。

天花板

不難想象，有效利他主義對硅谷富豪們有著天然的吸引力，他們賺取巨額財富的動機被賦予了正當性，并且獲得了超越絕大多數(shù)人的價值。不過在AI 公司內(nèi)部，有效利他主義悄然引發(fā)了一場分裂。

2023 年11 月，當時已名聲大噪的OpenAI 發(fā)生了一場令全世界議論紛紛的“宮斗”——CEO奧特曼突然被董事會罷免，又在幾日后回歸。

OpenAI 董事會將罷免奧特曼的原因歸結(jié)為“缺乏坦誠”。但外界普遍認為這只是一個幌子，背后更可能的原因，是董事會內(nèi)部在安全與速度、非營利與商業(yè)等發(fā)展路線上出現(xiàn)了分歧。

部分人將這次權(quán)力斗爭的矛頭指向了有效利他主義。在罷免奧特曼一事上投了贊成票的董事會成員海倫·托納與塔莎·麥考利，都與有效利他主義組織有過密切關(guān)系；另一位投了贊成票的董事，也就是OpenAI 首席科學家伊利亞·蘇茨凱弗，雖然不以有效利他主義者的身份被廣泛認知，但他旗幟鮮明地主張應(yīng)當采取更加謹慎的方式發(fā)展AI。

奧特曼曾對《超級智能》一書表達過高度贊許，他認同AI 風險值得警惕，但并非所有人都把應(yīng)對存在性風險視作頭號任務(wù)。在一家現(xiàn)代化的公司實體里，他從各方面看起來都更像一個理智、可靠的“正常人”，在OpenAI 的艱難時刻轉(zhuǎn)變思路，用部分盈利模式換取企業(yè)生存，保留希望的火種。

為了阻止人類受到傷害，必須先把善良的AI制造出來—這一幕在人類歷史上并不陌生，二戰(zhàn)期間為了對抗軸心國，奧本海默懷著沉重但“不得不”的心情制造了原子彈。

事態(tài)在短短幾天內(nèi)發(fā)酵，當時OpenAI 共有約770 名員工，超過700人聯(lián)名寫信聲援奧特曼。不久后，奧特曼重新回歸OpenAI 擔任CEO，并組建了幾乎全新的董事會。

思想到底能在物質(zhì)世界中起到什么樣的作用？它是引領(lǐng)了現(xiàn)實，還是最終只能屈服于現(xiàn)實？《華爾街日報》評價：“OpenAI 的動蕩顯示了這一哲學的影響力，而山姆·奧特曼的強勢回歸則揭示了哲學影響力的天花板。”

似是為了回應(yīng)公眾對AI 安全的擔憂，OpenAI 在當時宣布，未來四年內(nèi)將投入20% 的算力資源用于一個名為“超級對齊”的項目，蘇茨凱弗擔任該項目的領(lǐng)導者。然而，2024 年5月，“超級項目”的兩位負責人相繼離開Open AI ，“超級對齊”就此解散。

宮斗事件后，有效利他主義的勢頭迅速傾頹。同一時期，硅谷發(fā)生的另一件事加速了這個趨勢，有效利他主義運動最大的資助人之一、加密貨幣企業(yè)家薩姆·班克曼- 弗里德（SamBankman-Fried）因欺詐罪被定罪，身敗名裂。人們恍然發(fā)現(xiàn)，這些滿口慈善的硅谷明星，有可能只是一群沽名釣譽之輩。

另一頭，有效利他主義思想的重要陣地—博斯特羅姆創(chuàng)建的人類未來研究所，于2024 年4 月宣布關(guān)閉。

博斯特羅姆告訴南風窗，如果沒有他，AI 的發(fā)展依舊會走上今日的軌跡。對于過去發(fā)生的種種，他沒有感到失望，反而認為眼下AI 行業(yè)的關(guān)鍵領(lǐng)袖人物對AI 安全有著極為深度的思考?！拔覀兓蛟S算是幸運的，”他說，“我猜測如果把人類歷史倒回幾十年前重演100 次，這些關(guān)鍵位置上的人可能遠沒有現(xiàn)在這般清醒。”

或許，他的部分使命已經(jīng)完成。無論是AI 安全研究、存在性風險，還是有效利他主義，都已經(jīng)得到廣泛傳播，思想的種子已經(jīng)播下。如今，人們每次關(guān)于AI 的重大行動都繞不過這樣的詰問：如何保證AI 不威脅人類的生存？

博斯特羅姆開始轉(zhuǎn)向思考其他問題。他認為，人們已經(jīng)充分認識到了AI的危險，卻對它的反面知之甚淺—假如AI 完全如人們預料般那樣友好、善良，解決了地球上現(xiàn)存的所有問題，那會發(fā)生什么？

未必不是又一次全人類的滅燈時刻。

重新思考美好人生的定義

南風窗：你撰寫《超級智能》時，多數(shù)人尚未意識到AI可能對人類文明構(gòu)成的生存威脅。你的思想具有超前性。這種對生存風險的擔憂是何時以及為何形成的？

博斯特羅姆：這要追溯到很久以前。1990 年，17 歲的我開始在當?shù)貓D書館提交館際互借申請，索取關(guān)于神經(jīng)網(wǎng)絡(luò)的書籍或論文。那時我身邊沒有任何人對這個話題感興趣。到了90 年代后半段，才有少數(shù)人開始在互聯(lián)網(wǎng)郵件上討論相關(guān)內(nèi)容。我在2008 年左右著手創(chuàng)作《超級智能》，但即便該書在2014 年出版時，這些議題仍屬邊緣，多數(shù)人視其為科幻或空想。但在我看來，AI 終將成功是顯而易見的，這將是人類需要實現(xiàn)的最后一項發(fā)明，其潛在收益與風險都極為巨大。我寫這本書是為了讓人們更清晰地思考這些問題，希望能推動可擴展的AI 對齊方法研究，為最終到來的機器智能時代做好準備。

南風窗：能否闡述你所說的“深度烏托邦”？從《超級智能》到《深度烏托邦》，是否意味著你對人類未來變得更樂觀？

博斯特羅姆：《超級智能》主要分析可能出錯的情況，而《深度烏托邦》則探討一切順利時的景象。但這種焦點差異并不反映我樂觀程度的變化。就像硬幣的兩面：第一本書描述正面，第二本描述反面—而我們?nèi)圆恢烙矌艑⑷绾温涞?。最初我聚焦風險是因為當時這方面被嚴重忽視。這些年來，人們的認知已發(fā)生重大轉(zhuǎn)變，現(xiàn)在有數(shù)百人從事AI 安全與對齊研究，包括許多頂尖AI 實驗室。但關(guān)于人類處境積極發(fā)展的討論在我看來非常膚淺，因此我嘗試描繪這種可能性。我認為這將引向一個與當前人類狀態(tài)根本不同的“深度烏托邦”，屆時我們需要徹底重新思考美好人生的定義。

南風窗：在《深度烏托邦》中，你構(gòu)想了一個技術(shù)已解決重大挑戰(zhàn)的“已解決世界”。你認為這樣的未來能實現(xiàn)社會階層間的公平嗎？

有效利他主義主張多做善事，它屬于功利主義思維，在功利的框架下，盡可能多做善事意味著要先賺更多錢，然后再把它們捐掉。

博斯特羅姆：《深度烏托邦》并非預測性著作，也基本不涉及政治或社會組織問題—當然這些很重要。本書更關(guān)注的是：當有朝一日我們成功消除當前制約人類存在的諸多現(xiàn)實（及生物）限制時，哪些價值觀能讓人類或后人類生活充滿意義。當AI 和機器人能完美替代人類完成所有工作，人類將面臨經(jīng)濟冗余。但更重要的是，絕大多數(shù)工具性努力（不僅是經(jīng)濟動機驅(qū)動的）也將失去意義，我稱之為“深度冗余”狀態(tài)。此外在技術(shù)成熟階段，人類生物屬性和思維將完全可塑。當更廣闊的存在模式空間開啟時，我們該如何重塑自身的身心狀態(tài)？

南風窗：在你的預測中，未來哪些價值維度會變得更加重要，哪些會逐漸弱化？

博斯特羅姆：當前，許多人的自我價值感建立在通過技能和工作做出積極貢獻的能力上—無論是對自身、家庭還是整個社會。但在一個“已解決的世界”里，我們可能不再有這樣的貢獻機會：因為最嚴重的問題早已被解決，而剩余問題也將由AI 更高效地處理。因此，“實用性”的價值焦點將逐漸消退。取而代之的可能是對游戲、審美體驗、精神追求、崇拜或冥想、愛與友誼、對人與思想及傳統(tǒng)的尊崇、精致品味的培養(yǎng)、選擇性自我約束、儀式、文化參與和共同創(chuàng)造，以及純粹感官享受的重視。