袁藝

當(dāng)前，信息化戰(zhàn)爭形態(tài)正由“數(shù)字化+網(wǎng)絡(luò)化”的初級階段，向“智能化+類人化”的高級階段加速演進(jìn)，以戰(zhàn)斗機(jī)器人為典型代表的智能武器將主宰未來戰(zhàn)場。我國著名人工智能專家李德毅院士，把智能機(jī)器人比作是集汽車、新能源、移動(dòng)通信、衛(wèi)星定位導(dǎo)航、移動(dòng)互聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)，乃至人文藝術(shù)等多個(gè)學(xué)科、多種技術(shù)于一身的人造精靈，是人類走向智慧生活的重要伴侶。依此類推，未來的戰(zhàn)斗機(jī)器人則可視為將軍們麾下無懼死亡、勇往直前的人造忠誠戰(zhàn)士。

正如聰明的孩子往往更加調(diào)皮和不聽話一樣，武器智能化一旦超過一定程度，“聰明過了頭”，就會存在自作主張、失去控制，甚至危及人類自身安全的危險(xiǎn)。人類面臨著既要利用武器高度智能化帶來的可以替人打仗的無比好處，又要回避武器高度智能化帶來的巨大失控風(fēng)險(xiǎn)，軍事技術(shù)和武器發(fā)展由此陷入一個(gè)兩難困境。

智能武器的失控風(fēng)險(xiǎn)

據(jù)稱“Robot”（機(jī)器人）一詞，是由捷克作家卡雷爾·恰佩克在1921年的科幻作品《羅薩姆的機(jī)器人萬能公司》中首創(chuàng)，原意是“農(nóng)奴式被強(qiáng)迫的勞動(dòng)者”，用來稱呼那些造反的機(jī)器仆人?？梢哉f，從一開始，機(jī)器人失控對人類的威脅，就成為人類心中揮之不去的心理陰影。

人類對機(jī)器人失控的擔(dān)心，不僅反映在科幻小說和影視作品中，還反映在很多學(xué)者嚴(yán)肅認(rèn)真的學(xué)術(shù)探討中。《機(jī)器人戰(zhàn)爭——機(jī)器人技術(shù)革命與21世紀(jì)的戰(zhàn)爭》的作者彼得·W·辛格就認(rèn)為，機(jī)器人控制世界需要四個(gè)基本條件：第一，機(jī)器人必須獨(dú)立，能夠不依賴人類而自我補(bǔ)充能量、修復(fù)和再造；第二，機(jī)器人必須在智力上勝過人類，但不具有人類好的品質(zhì)（如同情心或道德觀念）；第三，機(jī)器人必須具有生存本能，以及控制其周圍環(huán)境的某種興趣和意志；第四，人類必須不能有介入機(jī)器人決策的有效控制界面，人類必須沒有能力決定、干涉，甚至影響機(jī)器人的決策與行動(dòng)。從發(fā)展趨勢來看，這四個(gè)基本條件在技術(shù)上都沒有不可逾越的紅線。因此，從理論上講，如果不采取有效措施，智能武器失控是完全有可能的。

與民用機(jī)器人相比，軍用機(jī)器人失控的危害性更大，有人甚至擔(dān)心，軍用機(jī)器人會不會成為“人類終結(jié)者”。這一擔(dān)心，不是杞人憂天，更不是天方夜譚。人是萬物之靈，靈就靈在“有腦子”。人之所以能控制老虎，不是人比老虎強(qiáng)壯，而是人比老虎聰明。機(jī)器人的體能、技能超過人類并不可怕，但如果機(jī)器人的智能超過人類，人類還能不能控制這種比人類還“聰明”的機(jī)器人，那就不好說了。

智能武器失控的可能形式

不同自主程度的智能武器失控的形式是不一樣的，造成的危害也不盡相同。大致分析，智能武器失控的情況可能主要有以下幾種。

智能武器因發(fā)生故障而失控。在民用機(jī)器人方面，因機(jī)器人故障而出人命的事早有發(fā)生。1985年，蘇聯(lián)發(fā)生了一起家喻戶曉的智能機(jī)器人棋手殺人事件。全蘇國際象棋冠軍古德柯夫同機(jī)器人棋手下棋連勝3局，機(jī)器人棋手突然向金屬棋盤釋放強(qiáng)大的電流，在眾目睽睽之下將這位國際大師擊倒，這應(yīng)該是智能機(jī)器人發(fā)生故障導(dǎo)致的。

隨著機(jī)械制造水平和智能化程度的提高，未來智能武器出現(xiàn)機(jī)械故障的可能性減小，但出現(xiàn)軟件故障的可能性大增。

武器系統(tǒng)因軟件故障而導(dǎo)致的事故并不鮮見。2005年，美國空軍幾架戰(zhàn)斗機(jī)在一次編隊(duì)飛行時(shí)，一架戰(zhàn)斗機(jī)突然自動(dòng)向地面重要設(shè)施發(fā)射了一枚導(dǎo)彈，并造成嚴(yán)重事故。經(jīng)查明，事故原因是飛機(jī)的火控系統(tǒng)電腦出了故障。2011年，在美軍幾次軍演和值勤過程中，三軍通用戰(zhàn)場態(tài)勢分析系統(tǒng)多次發(fā)生軟件故障不能正常工作，出現(xiàn)黑屏、無法顯示友軍信息、無法完成態(tài)勢合成，甚至出現(xiàn)運(yùn)行中斷、死機(jī)等故障，導(dǎo)致戰(zhàn)場態(tài)勢無法及時(shí)更新、融合，作戰(zhàn)打擊方案無法按時(shí)生成。

智能武器受到復(fù)雜電磁環(huán)境干擾而失控。據(jù)一名剛從伊拉克歸來的美軍軍士描述，他的“魔爪”機(jī)器人如果受到無線電干擾，就會出現(xiàn)“行為異?！?。另一名軍士講述，如果他的機(jī)器人沒有信號，就會“變得古怪”。按理說，如果由于某種原因使得信號受到干擾或被中斷，機(jī)器人應(yīng)該停止行動(dòng)才對。當(dāng)追問軍士“古怪”究竟是什么意思，他回答說：“它會偏離道路，沖你而來，四面旋轉(zhuǎn)等等?！蔽磥響?zhàn)爭中，戰(zhàn)場電磁環(huán)境只會變得越來越復(fù)雜，智能武器能不能適應(yīng)復(fù)雜電磁環(huán)境，能不能在強(qiáng)烈電子干擾條件下，實(shí)時(shí)接收人類指令并精準(zhǔn)執(zhí)行作戰(zhàn)任務(wù)，這都需要經(jīng)過大量的試驗(yàn)和實(shí)戰(zhàn)檢驗(yàn)后才能得出結(jié)論。

智能武器也可能因?yàn)榕袛嗍д`而出現(xiàn)失控。戰(zhàn)場上的敵我識別不僅對于人類士兵來說是件難事，對于智能武器來說同樣也不好解決。美國軍方一位機(jī)器人項(xiàng)目負(fù)責(zé)人說：“機(jī)器人戰(zhàn)士可以發(fā)現(xiàn)一個(gè)人并確定他的位置，然后殺死他。但問題是，怎樣才能不誤傷自己人。對于人類來說，區(qū)分?jǐn)橙撕妥约憾己茈y，更何況機(jī)器人?！?/p>

事實(shí)上，人工智能控制的武器由于判斷失誤，已經(jīng)造成巨大慘案。1988年7月3日的波斯灣，美國海軍“文森尼斯”號巡洋艦正在海上游弋執(zhí)行巡邏任務(wù)。該艦因裝備了自動(dòng)化程度極高的新型“宙斯盾”防空系統(tǒng)，綽號為“機(jī)器人巡洋艦”。這時(shí)，該艦突然發(fā)現(xiàn)一架伊朗民航的A300客機(jī)將飛過上空。雖然艦上防空系統(tǒng)處于半自動(dòng)模式，但電腦系統(tǒng)將客機(jī)識別為伊朗空軍的F-14戰(zhàn)斗機(jī)，結(jié)果艦長授權(quán)開火，發(fā)射“標(biāo)準(zhǔn)”防空導(dǎo)彈擊落了客機(jī)，造成機(jī)上290人全部遇難，包括60多名12歲以下的兒童。

智能武器因無限自我繁殖而失控。自我繁殖可能是未來納米級智能武器的一種高級功能。納米機(jī)器人借助陽光、塵土、海水等物質(zhì)和能量，可像細(xì)菌一樣自我繁殖。殺不絕的納米機(jī)器人軍團(tuán)自然是威力無窮，但一旦失去控制，后果也是不堪設(shè)想的。據(jù)專家估計(jì)，一個(gè)失去控制的正在自我復(fù)制的納米機(jī)器人，完成130個(gè)復(fù)制周期只需要3個(gè)半小時(shí)，考慮到納米機(jī)器人向外移動(dòng)擴(kuò)張等因素，最多只需數(shù)周時(shí)間就可以摧毀地球上的一切生物。

智能武器因具備獨(dú)立意識反叛人類而失控。從目前來看，普通電腦的運(yùn)算結(jié)果仍然是明確和可以預(yù)見的，因而是可控的，但未來隨著人工智能水平的持續(xù)提高，特別是具備自學(xué)習(xí)和自進(jìn)化能力后，電腦的“智商”不斷提高，極可能出現(xiàn)類似人類“思想”的高級思維活動(dòng)，以及只有人類才具備的喜怒哀樂、自我認(rèn)同、妒忌羨慕、征服欲望等復(fù)雜情感。那么，運(yùn)算結(jié)果就可能是不確定和不可預(yù)測的，正是這種隨機(jī)的不確定性思維，潛伏著機(jī)器人威脅人類安全的危險(xiǎn)因素。這就是未來高級智能武器可能失控的內(nèi)在技術(shù)原理。目前，科學(xué)家正在制造可以產(chǎn)生類似人類無意識反應(yīng)的機(jī)器人，機(jī)器人在緊張時(shí)會出汗，聽到恐怖故事時(shí)甚至?xí)痣u皮疙瘩，這或許是機(jī)器人邁向具備人類思想意識的第一步。

應(yīng)對智能武器失控的措施

未來高度智能化的機(jī)器，可能為人類帶來巨大福祉，也可能為人類帶來滅頂之災(zāi)，人類即將進(jìn)入歷史上可能最好也可能最壞的時(shí)代。對于高度智能化的武器會不會成為“人類終結(jié)者”，人們或許還存在分歧，但對于必須采取各種措施限制和避免智能武器濫用武力這一點(diǎn)，各方意見高度一致。

著名科幻小說家艾薩克·阿西莫夫1940年在其經(jīng)典小說《我，機(jī)器人》中，首先提出了“機(jī)器人三原則”，即：機(jī)器人不應(yīng)傷害人類；機(jī)器人必須聽從人類的命令，除非該命令與第一定律相悖；機(jī)器人必須保護(hù)自己，除非這種保護(hù)與以上兩條相矛盾?！皺C(jī)器人三原則”雖然有預(yù)見性地制定了機(jī)器人與人類相處的基本準(zhǔn)則，但主要適應(yīng)于民用的服務(wù)型機(jī)器人，如果應(yīng)用到戰(zhàn)斗機(jī)器人身上，還需要做很大的修改才能適應(yīng)。例如，戰(zhàn)斗機(jī)器人應(yīng)該在達(dá)成作戰(zhàn)目的的前提下，以最小傷害程度殺傷敵人，能不奪人性命解決問題就不要使用致命性武器；戰(zhàn)斗機(jī)器人必須堅(jiān)決聽從己方指令去消滅敵人，不能聽從敵方指令，或受外部環(huán)境干擾而改變己方指令；戰(zhàn)斗機(jī)器人必須保護(hù)自己，但接到己方要求其自毀指令時(shí)除外。為努力做到上述幾點(diǎn)，始終把智能武器關(guān)在人類“控制圈”內(nèi)，研究人員還真想出了不少點(diǎn)子。

首要和保底的手段，就是在智能武器中嵌入獨(dú)立于其自身控制系統(tǒng)的自毀模塊。在智能武器走出生產(chǎn)線即將正式啟動(dòng)之前，就要設(shè)置好這種“后門”式的自毀模塊。一旦智能武器失去控制，人類可以不受外部環(huán)境或智能武器自身干擾，實(shí)時(shí)啟動(dòng)自毀程序，實(shí)現(xiàn)智能武器不可逆轉(zhuǎn)的徹底死機(jī)或主機(jī)殉爆。這一辦法，對于“低智商”的智能武器是可行的。將來一旦出現(xiàn)更加“聰明”的智能武器，能夠“意識”到這一自毀模塊的存在，它可能就會想方設(shè)法地去除或干擾自毀模塊，因此必須確保自毀模塊的隱蔽性和可靠性。

在智能武器控制軟件中加入倫理控制程序。智能武器的指揮控制中樞是電腦，而電腦的“智商”全靠預(yù)編軟件來實(shí)現(xiàn)，在智能武器控制軟件中加入倫理控制程序來限制智能武器的行為，從理論上講，可以避免其“胡來”。美國佐治亞理工學(xué)院移動(dòng)機(jī)器人實(shí)驗(yàn)室的羅納德·阿金，設(shè)計(jì)了名為“潛在行動(dòng)的多維數(shù)學(xué)決策空間”的控制程序，作為戰(zhàn)斗機(jī)器人的“道德適配器”。這套融合了人類悔恨、同情、內(nèi)疚等情緒的控制程序，將機(jī)器人攜帶的武器系統(tǒng)根據(jù)殺傷力分組，每組武器都有特定的愧疚臨界值?！暗赖逻m配器”可根據(jù)傳感器接收到的數(shù)據(jù)和情報(bào)，把機(jī)器人所有可能的行動(dòng)分為“道德的”和“不道德的”兩種，并根據(jù)需要選擇適當(dāng)?shù)奈淦飨到y(tǒng)。機(jī)器人在使用大威力武器前，必須經(jīng)過“道德適配器”的審核，只有當(dāng)使用武器的愧疚臨界值低于標(biāo)準(zhǔn)值才可使用。

精確選擇智能武器的目標(biāo)打擊部位。2006年，美國國防部長辦公室下屬機(jī)構(gòu)——國防安全工作小組，研究討論了如何通過允許“武裝自主系統(tǒng)”“開火摧毀敵方武器系統(tǒng)而非疑似作戰(zhàn)人員”的做法，以減輕人們對潛在“機(jī)器人殺手”的種種擔(dān)憂。換言之，機(jī)器人應(yīng)該朝坦克或吉普車開火，而不是朝里面的人開火。約翰·S·坎寧是美國海軍水面作戰(zhàn)中心的首席工程師，也是該小組成員之一。他說：“我們的武裝無人系統(tǒng)的設(shè)計(jì)，要能自動(dòng)識別、瞄準(zhǔn)我們的敵人所用的武器，并能使武器而不是使用這些武器的敵人失效或者遭到摧毀。這樣，我們就有可能解除對我們構(gòu)成威脅的部隊(duì)的武裝，卻不必殺死相關(guān)人員。”隨著人工智能的發(fā)展，電腦的模式識別能力將有極大提高，智能武器完全可以把單獨(dú)的武器和作戰(zhàn)人員區(qū)分開來。

只給智能武器配備非致命性武器，把殺人武器交到機(jī)器人手中始終讓人不放心，因此有人認(rèn)為，如果要給機(jī)器人配備武器，那也應(yīng)該配備非致命性武器。這些武器不是用來摧毀或者殺戮，而是用來讓目標(biāo)失去戰(zhàn)斗力但并不對其造成永久性傷害。正如美國陸軍戰(zhàn)爭學(xué)院教授史蒂文·梅茨所講的那樣，“機(jī)器人技術(shù)和非殺傷性手段，這兩者的結(jié)合極其重要。這樣，你可以命令系統(tǒng)只是制服目標(biāo)，剩下的事情交給警察，而不是‘將目標(biāo)全部殺死，后事交由上帝處理?！边@一辦法應(yīng)該說是完全可行的，未來戰(zhàn)爭中失能性武器的可選擇范圍很大，對人員可使用“腦控武器”“嘔吐射線”武器、次生波武器、被稱為“痛苦射線”的定向能“主動(dòng)拒止系統(tǒng)”、網(wǎng)罩武器，甚至發(fā)射橡皮子彈的警用武器等非致命性武器，對裝備可使用電磁脈沖武器、網(wǎng)絡(luò)攻擊武器、高功率微波武器、致發(fā)動(dòng)機(jī)熄火的阻燃泡沫彈等非爆炸性武器。從某種意義上說，新機(jī)理、新概念武器為智能武器的失控問題提供了很好的解決方案。