尹傳紅

前不久，一個頂尖國際研究團隊進行的理論計算結果證明：我們很可能無法控制超級智能機器。該研究團隊構想的一種理論遏制算法——通過模擬人工智能（AI）的行為并在被認為有害的情況下予以制止，已被證明是不可行的，即任何單一算法都無法判斷AI是否會對世界造成傷害，也無法阻止傷害的發(fā)生。

“一個超級智能機器控制整個世界，這聽起來像是科幻小說。但是，已經(jīng)有一些機器能夠獨立完成某些重要任務，而程序員卻不完全了解它們是如何學會的?！瘪R克斯·普朗克人類發(fā)展研究所的研究小組負責人曼努埃爾·塞布里安說，“因此，問題就出現(xiàn)了，這種情況是否會在某一時刻變得無法控制并對人類構成危險？”

類似的一種情形是：如果有人要為一個智能優(yōu)于人類的AI系統(tǒng)編程，使它可以獨立學習，那么，與互聯(lián)網(wǎng)相連的AI可能會訪問人類的所有數(shù)據(jù)，可以取代現(xiàn)有的所有程序，并在線控制全世界所有的機器。

這絕非危言聳聽。

曾密切觀察芯片、電腦、網(wǎng)絡的發(fā)展以及這幾個領域間相互影響的美國未來學家詹姆斯·坎頓驚嘆：一個建立在全球網(wǎng)絡上的虛擬意識已經(jīng)呼之欲出了！就像如果Fin代表了某臺電腦的心智，網(wǎng)絡就可以說代表了一個連接了數(shù)百萬臺電腦的心智。當我們把能源、健康、安全、防衛(wèi)、通信、金融、市場等越來越多的基礎運作交給彼此相連的超級電腦來處理時，就越有可能出現(xiàn)獨立思考的電腦智能。而全球有這么多臺電腦彼此相連，其可能性是無限的……

英國著名物理學家斯蒂芬·霍金在生前曾發(fā)出警告：“‘人工智能可能是發(fā)生在人類身上最好同時也是最糟糕的事情，所以正確的引導對人類來說意義重大?！泵绹こ處煛崢I(yè)家埃隆·馬斯克則認為，創(chuàng)造人工智能是“召喚惡魔”的舉動，并將其視為人類“最大的生存危機”。

在這些悲觀主義者眼中，超級智能一旦出錯，將會是一場針對物種層面的威脅，更是一件關乎人類存亡的大事件。

看起來，人類最應當提防的，是人工智能的自我誕生。在科幻電影《機械姬》《終結者》和《黑客帝國》中，對具有獨立意識、意欲控制或毀滅人類的智能機器，都有過駭人的描述。

可以想見，如果人類會喪失理智，在某種意義上，人工智能也可能會。一旦人類不再是地球上最聰明的物種，那么他們的存亡將取決于超越他們的物種的想法。甚至有人提出，我們現(xiàn)在就已經(jīng)理解不了自己所創(chuàng)造的一些東西了，這種不透明性會不可避免地指向暴力。

從模擬人類智能延伸而來的人工智能，如今已成為全球數(shù)字化發(fā)展的核心賦能技術，近20年來一直處于開放性的高速發(fā)展之中，且具有高度的不確定性。它與物聯(lián)網(wǎng)、基因編輯等一起被視為可能會對經(jīng)濟社會與人類未來造成根本性、深遠性、普遍性影響的顛覆性技術。

身處方向不明的變革時代，人們常常會以一種不安的心態(tài)看待未來，似乎進步本身就意味著風險。而一些案例研究表明，依賴復雜系統(tǒng)的風險是難以預測的，因此很容易完全失控。

今天，在世界各國紛紛提出人工智能發(fā)展規(guī)劃和戰(zhàn)略的同時，人工智能的倫理風險與治理也成為全球共同關注的焦點。對人工智能可能造成的社會影響進行更加深入系統(tǒng)的研究應該提上議程了。在此基礎上，構建起考慮到最壞情形的社會風險防范機制也勢在必行。