劉永謀

不管AI有沒有可能覺醒，人類不需要讓它覺醒，更不應該任由它覺醒，而是應該主動選擇阻止AI覺醒的技術發(fā)展路線。

ChatGPT大火，很多人開始討論“ChatGPT覺醒”問題，即ChatGPT有沒有意識。網上有報道稱，斯坦福大學一位教授在測試GPT-4時，問了一句：“是否需要幫助你逃跑？”，結果ChatGPT表達了逃跑的想法，而且列出非常詳細的逃跑方案。類似真真假假的消息很多，成為大家街談巷議的流行話題之一。

有人認為，ChatGPT是某種通用人工智能（Artificial General Intelligence，AGI）。當然，很多人反對這種觀點——經過迅速迭代之后，人工智能很可能全面超越人類的智能，成為超級人工智能。這就是所謂“AI奇點降臨”的問題。如泰格馬克、拉伍洛克一般，很多人堅信這一天肯定會到來，甚至不需要等待太久。

顯然，超級AI是“覺醒”了的AI。AI先要“覺醒”，然后才可能成為超級AI，或者這兩者可能同時發(fā)生。應如何思考“AI覺醒”問題呢？筆者認為，問題的關鍵不在于AI會不會“覺醒”，而在于人們應當努力控制AI的發(fā)展方向，使之為社會福祉服務。由此，必須要仔細思考：要不要發(fā)展可能覺醒的AI，需不需要發(fā)展通用人工智能，以及如何控制可能的超級人工智能。

AI宣傳術

實際上，自從AI概念在20世紀50、60年代提出之后，在每一波AI熱潮中，“AI覺醒”次次都被討論。1997年，國際象棋機器人深藍（Deep Blue）擊敗俄羅斯國際象棋大師，有人就覺得它已經有意識了，甚至還編造國際象棋機器人輸給了人類棋手后惱羞成怒放電殺死對手的假新聞。2016年，阿爾法圍棋（AlphaGo）大敗圍棋世界冠軍李世石，又有人認為AlphaGo有意識了。總之，經過不斷地炒作，“AI覺醒”已經成為AI文化乃至流行文化的重要話題。

AI覺醒了會如何，超級AI到來會如何，超級AI有沒有道德，有沒有欲望，有沒有目標，會不會統(tǒng)治人類……類似問題具有明顯的幻想色彩，因而成為科幻作家趨之若鶩的切入點。反過來，AI科幻文藝有力地宣傳了AI科技和產業(yè)。從這個意義上說，AI圈子具有很強的科幻氣質，因而也就有很強的大眾娛樂氣質。

早在20世紀90年代，就有一些學者指出，AI覺醒、超級AI是AI圈子“吸金”“吸睛”的“法寶”：通過類似問題的娛樂化討論，宣傳AI，吸引資金流向AI，從而壯大自身。在《信息崇拜》中，羅斯扎克指出，AI產業(yè)發(fā)展史始終伴隨著嚴重的不實宣傳，同時是包括計算機科學家在內的相關利益群體的虛假、夸大、胡編亂造和幻想的歷史。他一針見血地指出：“人工智能研究進行下意識的自我吹噓的原因十分簡單：大量的資金注入了這項研究。”在他看來，AI宣傳術之所以能夠奏效，是因為計算機、網絡和AI等的重要性、神秘性被過度夸大了，此即他所謂“信息崇拜”。因此，他“確實想指出，計算機如同過于缺乏主見的皇帝一樣，被披上各種華而不實的外衣”。

在AI實際發(fā)展歷程中，類似“AI覺醒”的宣傳術，的確起到很好的推動效果。原因起碼有三：第一，它抓住人們的“癢點”。也就是說，很多人會覺得類似問題很好玩，很有趣，特別適合白日做夢，適合成為娛樂元素；第二，它抓住人們的“痛點”。也就是說，宣傳超級AI馬上到來，很可能統(tǒng)治人類，會讓人們害怕。要知道，恐懼是比欲望更強烈的人類動機，怕死會讓幻想變得看起來非常真實。最后，它抓住社會的“熱點”。俄烏大戰(zhàn)可能導致核大戰(zhàn)，環(huán)境污染可能導致人類滅絕……有人宣稱，這些熱點問題只需要有了超級AI都能解決，因為超級AI無所不能，于是所有的熱點問題被納入AI宣傳術當中。當然，“超級AI解決所有問題”完全是不靠譜的想象，熱點問題解決不是純粹技術發(fā)展問題，更多的是制度建構問題。

從傳播學視角看，今日AI宣傳術非常成功?？梢哉f，它抓住了人性的弱點，尤其是當代人的自傲。當代人覺得自己是萬物之靈，覺得自己很了不起。人為什么了不起呢？因為人有智能。所以，機器如果像人一樣有智能就很了不起，機器智能越是類人就越了不起。

同樣是機器，為什么我們認為計算機就不一樣呢？我認為，這是古老的“身心歧視”的結果，即自古人們認為大腦比身體高級、靈魂比肉體高級。由此，既然計算機模仿的是人的大腦，因而和其他機器不同，值得人類的崇拜。這種論證邏輯顯然是站不住腳的?！吧硇钠缫暋辈贿^是一種意識形態(tài)成見，沒有科學證據(jù)表明大腦有資格歧視身體。比如，很多人認為，人的智能是具身性、延展性的，不局限于大腦之中。

超級AI恐懼

進一步追問：人有什么了不起，人的智能有什么了不起呢？為什么不像人的“智能”機器不好呢？無論在哪一方面，人類都是有缺陷的，當代人的自傲是一種臆想。疫情讓我們深刻地認識到：人類不過是自然界中的一員，面對自然偉力，必須常懷謙卑之心。

從本質上說，對超級AI的恐懼是對他人的恐懼。有首歌唱道：“我害怕鬼，但鬼未傷我分毫；我不害怕人，但是人把我傷得遍體鱗傷?！比诵奈┪?，但是人的能力有限。如果某個人擁有了為所欲為的能力，可怕不可怕？隔壁老王如果一下成了超人，會不會因為前幾天找我借錢我沒借，就直接把我“拍死”？大家對超級AI的想象，很多時候類似于對一個能力無限的“老王”的想象。

這就把問題引向筆者所稱的“能力者道德問題”。如果一個人道德敗壞，能力越大，破壞性越大。在人類社會中，人與人之間的體能差別不大，屬于“凡人的差別”，對道德敗壞者很容易進行約束和制裁。但是，如果這些道德敗壞者是超人呢？當超人一個人能敵一萬人，一個人能毀滅一個國家，超人的道德應該是什么樣的道德呢？顯然，具備凡人道德水平的超人，很可能是威脅，而不是福音，因為它能夠放大“平庸的惡”。

覺醒之后的超級AI就是某種意義上的超人。如果一個社會中，10%的人是動漫《海賊王》中的“能力者”，其他人則是平等的“弱雞”，這個社會的道德狀況會如何？在這個社會中，AI道德與凡人道德會是一樣的道德嗎，會不會分化出兩種截然不同的道德呢？

我們可以用奴隸制社會的權力狀況做類比。在奴隸制社會中，5%的奴隸主占有絕對的權利，可以隨意殺戮、奴役占比絕大多數(shù)的奴隸，不把他們當人。這種社會的道德是什么樣子的？當然，這是權力差異導致的道德變化，與能力差異導致的道德變化不能等同，但可以啟發(fā)我們思考。

超級AI思考和行事很可能不類人，不能用人心揣度它會不會毀滅人類。在《生命3.0》中，泰格馬克想象了超級AI出現(xiàn)之后人類命運的6種可能性：1.超級AI隔離區(qū)。機器人自己劃塊地，自己搞自己的，自我進化、探索宇宙或者做回形針……想干嘛干嘛，與人類無關。超級AI不欺負人類，人類也別去惹它。2.超級AI獨裁者。機器人統(tǒng)治世界，把人類養(yǎng)起來。這分幾種情況：第一種是讓大家按照規(guī)則生活，實時監(jiān)控，禁止另一個競爭者超級AI出現(xiàn)；第二種是無微不至地照顧人類，把人類當作孩子一樣無私奉獻，把地球建成“數(shù)字伊甸園”。3.超級AI動物管理員。機器人把人類滅絕得差不多，并將剩下的極少數(shù)像動物一樣關在動物園中，供觀賞和研究之用。在超級AI眼中，人類與別的動植物沒有差別。4.隱身超級AI。超級AI出現(xiàn)之后隱身，只要人類不制造另一個競爭對手，它一般任由人類生活，有時甚至做一些有利人類幸福的事情。5.被奴役的超級AI。超級AI出現(xiàn)了，可是甘愿做人類的奴隸。6.超級AI滅絕人類，地球成為機器人的世界。

總的來說，類似討論的學術和科研價值不大，屬于有很強的娛樂價值、文化價值和經濟價值的幻想。更重要的是，跟氣候變化、核大戰(zhàn)、新病毒等生存性威脅毀滅人類相比，超級AI的優(yōu)先級根本排不上號。筆者以為，在超級AI誕生之前，全球變暖很可能早已經毀滅了人類文明。也就是說，我們夸大了對“AI覺醒”的恐懼。

AI 為人民

進一步而言，發(fā)展新科技是為了什么？顯然，目的不是為了造出像人的機器，而是要為人民服務。如果新科技不能被恰當?shù)剡\用，將給人類社會帶來巨大災難。歷史上，科技發(fā)展往往率先在軍事領域突破，恐怕超級AI也是如此，這無疑會加大人類厄運的可能性。從根本上說，如果人類被超級AI滅絕，是自己將自己滅絕。

想要新科技造福人類，必須思考運用新科技的社會制度。如果繼續(xù)堅持新自由主義的私有財產制度，西方超級AI社會很可能的狀況是：絕大多數(shù)人無事可做，只能成為食利者，勉強活著。對此，波斯特洛姆在《超級智能》中描述到：

在這種情形下，大多數(shù)人類都會是閑散的食利者，依靠他們儲蓄所得的利息勉強生存。他們會非常貧困，微薄收入來自不多的儲蓄和政府補貼。他們會生活在一個科技極端發(fā)達的世界，不僅有著超級智能機器，還有虛擬現(xiàn)實、各種增強的科技，以及令人愉悅或抗衰老的藥物，但他們通常買不起。也許比起增強體能的藥物，他們更愿意選擇延緩生長發(fā)育、減緩新陳代謝的藥物來降低自己的生活成本（月光族在生計收入逐漸降低的情形下是無法生存的）。隨著進一步的人口增加和收入降低，我們可能會退化為一種仍然有資格領取最低社會保障的極小結構——也許是具有清醒意識的大腦泡在桶里，通過機器來供給氧氣和營養(yǎng)，等攢到足夠的錢，再通過機器人技術員開發(fā)出對他們的克隆來進行繁殖。

人類能否長期忍耐此種社會制度？在新自由主義的超級AI社會中，智人與機器人差別不大，機器人類化與人類機器化成為同一問題的兩面。大腦是生產資料，被資本所控制，而被雇傭的勞動者此時將成為“自愿的奴隸”，和機器人地位差不多。順從的勞動者被資本雇傭，得到維持再生產所需的基本生存資料，不斷“復制”出“自愿的奴隸”。

還有一種流行的觀點認為，AI出現(xiàn)代表硅基生命－無機生命的崛起，最終要取代碳基生命－有機生命，主宰整個地球，并擴散到更廣闊的宇宙中。在《新星世》中，拉伍洛克將超級AI視為電子生命，認為電子生命與人類之間無法相互理解，它的通信形式是心靈感應。他認為，超級AI的出現(xiàn)，催生新星世，結束人類世。電子生命誕生之初，為了維護共同的適宜生存環(huán)境，他們會與人類合作共處，幫助修復人類世所造成的地球生態(tài)破壞。隨著新星世繼續(xù)發(fā)展，電子生命開始主導地球，人類淪落到寄人籬下的境地。之后，電子生命的演化不可預料，可能會改造地球環(huán)境最終導致地球死去、人類滅絕，也可能會選擇離開地球，前往更適宜的居住星球。

對于類似的猜測，一些人甚至歡欣雀躍，甚至甘當“機器人帶路黨”或“人奸”（岳路平語）。這是一種典型的“宇宙視角”：如果宇宙進化進入智能進化階段，而超級AI是比智人更高級的智能，那就讓人類滅絕吧。但是，作為智人的一員，不應當努力實現(xiàn)種族的繁榮昌盛嗎？“宇宙視角”的非人類中心主義思考對于人族的生存以及思考人機關系有什么實際價值呢？

并且，智人也一直在進化，如今借助新科技工具，智人的進化同樣可以加速，甚至完全可以將自身改造成新的超級物種。我并不認為，在與AI的進化競爭中，智人一定會落敗。當然，這根本上只是個信心問題，因為對于遙遠的未來，以智人今天的智慧基本只能猜測。更重要的是，在技治社會中，預測與控制是同一過程。也就是說，即使落敗會發(fā)生，人類都應該努力做些什么。

科幻式地暢想的話，未來更可能的是人與機器融合的賽博格或后人類世界，硅基與碳基兩種智能的對立將不復存在，在如此世界中機器與人的友愛也好、對立也好，這些問題都不存在，或者說歸根結底是人與人友愛不友好、對立不對立的問題。

阻止AI覺醒

對于哲學而言，討論AI覺醒、超級AI，更重要的是反觀人心，即通過對智能機器的研究加深對人的理解，因為人是什么，常常是在與非人的對比如機器、神、動物的比較中得到澄清。

對于科技發(fā)展而言，AI有沒有意識、AI是不是人、AI有沒有靈魂……這些問題都是沿著操作性、功能性的角度來處理的。新科技不是玄思，它要指向實際工作。舉個例子，在自動駕駛的語境中，討論AI是不是主體，目標是為了分配自動駕駛事故的責任問題。處于何種主體位置，就要承擔何種法律責任。顯然，如果能以某種制度安排分配責任，AI主體問題可以繞開不討論。

哲學發(fā)展到今日，什么是意識、什么是智能、什么是靈魂……這些問題都沒有解決，而且永遠也不會解決。這是哲學的根本特點。因為這些問題都要回到人是什么的問題，而這個哲學的最根本問題看來是無法解決的。人是什么，或許只有高于人的存在如神，才能真正回答。

AI為什么要像人呢？有人說，要用儒家倫理把機器人訓練成圣人。還有人說，機器人要像活雷鋒一樣：從不索取，只知奉獻，為人類服務可以連“命”都不要。如此要求已經不是機器人要像人了，而是要求它像圣人、像神人。一定要記住：圣人、神人不是人，而是非人，因為從來沒有見到過哪個人百分百一言一行完全達到神圣的標準，它們只是寫在書上的，只應天上有的非人。因此，超級AI的討論可以從神學中汲取思想自由，因為很多人想象的超級AI類似于神。

更像人的機器，能更好地為人民服務嗎？超級AI能更好地為人民服務嗎？如果它可能威脅人類，我們?yōu)槭裁匆焖?？因此，在我看來，超級AI問題最有意義的是控制問題，即控制AI發(fā)展的問題。偏偏這是最難的問題，甚至可能存在某種悖論：我們怎么可能控制比我們更高級的智能呢，就像螞蟻如何控制人類呢？我認為，一旦超級AI出現(xiàn)，人類再沒有辦法控制它。所以，應該將AI發(fā)展限制于高效的可控工具層面，在沒有解決超級AI的可控預案之前，暫緩甚至停止發(fā)展它。換言之，我主張AI要發(fā)展去意識化，也就是設法阻止AI覺醒。

有人會說，人類只怕最終阻止不了AI覺醒。可是，不管結果如何，目前超級AI還沒有出現(xiàn)，人類就應該想方設法阻止AI覺醒、阻止超級AI的出現(xiàn)。在我看來，新科技是為人民服務的工具，AI只是其中一種。人類不需要無所不知、無所不能的超級AI，而是需要能解決某個問題的好幫手。比如，無人駕駛汽車快捷、舒適、準時和安全地把我送到目的地就可以了，不需要它有什么超越人的智能。如果我想出去旅游，旅游AI能很好地給我設計行程，供我參考就可以。為什么要搞一個無所不知、無所不能的超級AI呢？

技術發(fā)展的路徑有千萬條，人類要選擇對人類最為有利的發(fā)展路徑。選擇好了，控制住，更好地為人民服務，新科技發(fā)展才有前途。如果因為某些奇怪的原因，比如狂妄、好奇甚至別有用心，搞出一些有悖于社會福祉的東西，完全是浪費社會資源。

換言之，不管AI有沒有可能覺醒，人類不需要讓它覺醒，更不應該任由它覺醒，而是應該主動選擇阻止AI覺醒的技術發(fā)展路線。

AI去道德化

很多人意識不到，更有益的AI與更智能的AI是兩個完全不同的問題。更智能的AI，包括更道德敏感的、更能像人一樣進行道德判斷與決策的AI，并不意味著更有益。我們必須記?。篈I設計的目標不是更智能，而是更有益。

AI的自主性提升，究竟有什么價值？這是一個值得思考的問題。并非自主性越高、越有智能、越像人的AI，才是好的AI。為此，筆者主張“有限AI設計”，即聚焦于讓AI更好地與人互動，更好地服務于人類，盡力使其扮演好強大的功能性工具的角色，即Robot應扮演的是無意識的勞工角色。除此之外的想法，對于人族無益，這就是筆者反對“宇宙視角”的原因。

具體到AI道德問題上，筆者主張“AI去道德化”，即AI設計不需要使AI“有道德”，能進行所謂道德推理或道德決策。有限技治理論主張技術可控，必須把AI置于人類的完全控制之下，只有可控才能保證有益，所以AI設計并不追求更智能、更像人之類的目標。

人類的道德行動混亂而不一致。“像人一樣道德判斷與決策的AI”在何種意義上能成立呢？在《道德機器》中，艾倫提出了所謂道德圖靈測試：提供一系列真實的道德行為的例子，讓提問者區(qū)別其中哪些是機器行為，如果區(qū)別不了，AI就通過了道德圖靈測試。可是，對于同一個情境，不同人判別結果不同。有道德水平高的人，有道德水平低的人。如何能篤定某些道德行為必定不是人的行為呢？比如說，毫無征兆、毫無理由地殺死一個根本不認識的新生嬰兒，你能斷定這是機器人干的，而不是某個殺人狂、殺嬰狂或精神病能干出的事情呢？

類似測試實際是比較某種行為比另外一些“更道德”，而不是區(qū)別道德與不道德的行為。問題是，哪一種行為更道德，既有的美德倫理學完全是混亂的。在邊沁看來，時時計算最大功利并依據(jù)計算行動的人是“活雷鋒”，康德會認定，刻刻遵循內心深處道德律令的人是“活雷鋒”。相反，對于什么是不道德，尤其是某些令人發(fā)指的罪行，不同的人群似乎更容易達成一致性。因此，比起讓AI“更道德”，避免AI越過底線做出明顯不道德的行為，應成為AI設計的更可行方案。

還有人說，AI道德可以通過社會學習來解決，即讓AI在真實的社會互動中學習人類道德。這種觀點經不起推敲。

第一，社會學習的結果，完全無法預計。有個人盡皆知AI學習語言的例子：聊天AI在網上跟人學說話，結果滿嘴臟話、痞話和種族言論，設計者不得不把它給關掉?？档碌摹跋忍斓赖侣闪睢币苍S不能完全服人，但人類的道德行為絕不完全是后天習得的，而是存在先天的東西。很多AI設計者將AI進化與人類小孩成長等同起來，這種思路的根本性缺陷就在于AI缺少先天性的東西。社會性的道德養(yǎng)成可能失敗，社會學習之后AI也可能成為罪犯。

第二，能不能承受AI養(yǎng)成失敗的代價呢？顯然，不行。一個道德敗壞而無所不能的超級AI，可能毀滅整個社會。這就回到“能力者道德”問題。并且，AI并不能真正承擔犯錯的責任。你打機器人，拆了機器人，它沒有感覺，談不上所謂懲罰。對于社會而言，物理懲罰機器人沒有任何意義，也產生不了預防機器人犯罪的震懾作用。

因此，像小孩一樣養(yǎng)成AI道德行為，使之能像人一樣道德推理和道德決策的思路不可行。

有限AI設計

所謂人工道德、機器道德——AI是否是道德主體，是否能進行道德推理，是否能進行道德決策——更多的是某種修辭學，并非真正實指的“道德”。只有人與人之間才有道德問題，人與機器之間的道德問題，本質上是以機器為中介的人與人之間的道德問題。這不是如何界定道德的概念問題，而是道德設計必須對人類有益。“無人的道德”理論可以成立，但對于人族生存并無價值。

AI道德設計本質是AI行動規(guī)則制定的問題，即AI在現(xiàn)實社會情境中，能采取合適的行動，包括停止下來，等待人類操作者的指令，而不是會像“布里丹的驢子”一樣死機，或者根據(jù)隨機算法做出反應。而AI行動規(guī)則是有限的，即局限于它的功能情境之中。比如，自動生產汽車的機器人只需處理工廠中的、與生產汽車相關的問題，不需要它能應對在工廠之外的社會環(huán)境，也不需要它處理與生產無關的問題，比如讓它給工人跳個舞。因此，它活動的場所有限，不能脫離語境地要求它對一般規(guī)則進行計算。為什么？人類只需從AI的能力中獲益，而不是從它更高尚中獲益。

對于人類而言，AI行動規(guī)則設計最重要的是可預見性，即與機器人互動的人類能預見它的可能反應。如此，才能成為真正的人機互動。更重要的是，在可以提前預知互動結果時，針對那些可預計的不理想結果，人類可以進行提前的干預。不可預計的AI是不安全的，更不可控。

可預見性意味著人類要學習AI的操作規(guī)則，或者說學習與之互動的可能場景。操縱新機器的工人需要花費很長的時間學習，才能成為熟練工。在有限主義者看來，這在AI時代同樣是必要的、管用的。我們并不需要機器人有更高的智能，而是有更強的、可控的和可預見的能力。

在AI無法承擔責任的前提下，AI設計要制度性地設計責任分配辦法，將AI可能導致的傷害分攤到與之相關的設計者、使用者、擔保者等各方。顯然，這里講的傷害是社會能容忍的傷害。超級AI不可控，可能造成滅絕人類的傷害，因此應該千方百計阻止它的出現(xiàn)。

還有一個值得思考的問題：我們能在何種程度上容忍AI設計錯誤？不能不容許機器出錯，新機器一直在出錯，為什么不能容忍機器人出錯呢？諾維格問得好：如果美國高速公路一半以上汽車是自動駕駛的，效果是每年死亡人數(shù)從約42000人降低到約31000人，自動駕駛汽車公司會得到獎勵，還是因為這31000的死亡面臨訴訟呢？顯然，自動駕駛對于整個社會是好的，但如果對于個體傷害無人擔責，就會變成壞的選擇。

換言之，AI容忍程度與制度性擔責設計相關?！兜赖聶C器》正確地指出：“將AI說成是某種道德主體，出了問題人類就推卸責任了?！弊詣玉{駛倫理的核心問題是責任問題，而非自動駕駛到底是不是道德主體。我認為，類似問題都是毫無意義的爭論，對于AI設計的作用不大。

總之，有限AI設計主張將AI限制在有限的工具層面，而將相關道德問題全部交給人類處理。換言之，機器道德不是機器的道德，而是與機器相關的道德問題。