摘 要：人工智能在全球性范圍內(nèi)投入使用之前，需要以可控的方式確保其系統(tǒng)的安全性。受應(yīng)用環(huán)境的復(fù)雜性和不確定性、執(zhí)行目標(biāo)的不明確性、人機(jī)交互等因素的影響，人工智能可能面臨著巨大的安全挑戰(zhàn)。本文從人工智能技術(shù)的本質(zhì)和其安全治理現(xiàn)狀出發(fā)，分析了人工智能可能存在的風(fēng)險(xiǎn)并提出了些許建議以供參考。

關(guān)鍵詞：人工智能；風(fēng)險(xiǎn)；安全治理

中圖分類號：TP18 文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2018）06-0184-03

Abstract：Before artificial intelligence is put into use on a global scale，the security of its system needs to be ensured in a controllable way. Artificial intelligence may face huge security challenges due to the complexity and uncertainty of the applied environment，the uncertainty of the execution target，and the interaction of human-computer interaction. Starting from the essence of AI technology and the current situation of its safety management，this paper analyzes the possible risks of AI and puts forward some suggestions for reference.

Keywords：artificial intelligence；risk；safety governance

1 人工智能技術(shù)簡介

最近，人工智能話題很火，無論是硅谷的創(chuàng)業(yè)公司、大學(xué)及科研機(jī)構(gòu)還是世界科技巨頭谷歌、微軟及百度等都紛紛在人工智能領(lǐng)域投入大量人力、物力做前瞻性的研究，而科技媒體也不斷將人工智能的話題放在頭條位置。很顯然，當(dāng)前一股席卷全球的人工智能熱潮正撲面而來。

人工智能是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)。人工智能是計(jì)算機(jī)科學(xué)的一個(gè)分支，它企圖了解智能的實(shí)質(zhì)，并生產(chǎn)出一種新的能以人類智能相似的方式做出反應(yīng)的智能機(jī)器，該領(lǐng)域的研究包括機(jī)器人、語言識別、圖像識別、自然語言處理和專家系統(tǒng)等。人工智能從誕生以來，理論和技術(shù)日益成熟，其應(yīng)用也在不斷擴(kuò)大?？梢栽O(shè)想，未來人工智能帶來的科技產(chǎn)品將會是人類智慧的“容器”。

人工智能是對人的意識、思維的信息過程的模擬。人工智能并不是人的智能，但能像人那樣思考，也可以超過人的智能。人工智能在20世紀(jì)70年代被稱為世界三大尖端技術(shù)（空間技術(shù)、能源技術(shù)和人工智能）之一，也被認(rèn)為是21世紀(jì)三大尖端技術(shù)（基因工程、納米科技和人工智能）之一。目前，幾乎每個(gè)人都在說人工智能，但很多人并不清楚人工智能的定義究竟是什么。人工智能之所以難以定義，其主要原因是人類還沒有弄清楚究竟什么是智能，自然也就無法從它所覆蓋的內(nèi)容來下定義。

人工智能是一項(xiàng)前瞻性的科學(xué)研究，自信息技術(shù)產(chǎn)生以來，人們在這一領(lǐng)域進(jìn)行了長期的科學(xué)探索和技術(shù)攻堅(jiān)，新思想、新觀念、新理論、新技術(shù)不斷涌現(xiàn)，人工智能已成為未來科學(xué)技術(shù)革命的重要發(fā)源地。人工智能被稱為人類歷史上的第四次工業(yè)革命，前兩次工業(yè)革命將人類從體力勞動(dòng)中解放出來，第三次工業(yè)革命通過信息技術(shù)將全世界緊密地聯(lián)系在一起，而人工智能則是要將人類從繁重的腦力勞動(dòng)中解放出來。人工智能可能是最后一個(gè)需要運(yùn)用人類自身智慧去攻克的領(lǐng)域。

如果從學(xué)科界定的角度來定義的話，人工智能（學(xué)科）是計(jì)算機(jī)科學(xué)中涉及研究、設(shè)計(jì)和應(yīng)用智能機(jī)器的一個(gè)分支。它的近期目標(biāo)是研究用機(jī)器來模仿和執(zhí)行人腦的某些智能功能，并開發(fā)相關(guān)的理論和技術(shù)。

2 人工智能的可能風(fēng)險(xiǎn)分析

人類文明正處于人工智能的威脅之下。如果對人工智能控制不當(dāng)，人類可能面臨災(zāi)難性的后果。開發(fā)一個(gè)不友好的人工智能要比開發(fā)友好的人工智能容易得多。前者可能很不友好、不穩(wěn)定甚至?xí)θ祟悺?/p>

2.1 人工智能對人身安全可能造成的危害

用機(jī)器來執(zhí)行人腦的功能是件好事，它能讓人從一些重復(fù)性的勞動(dòng)中解放出來，然而并不是所有機(jī)器在所有情況下都能按照最初設(shè)定好的功能完美運(yùn)行。

歷史上已發(fā)生數(shù)次“機(jī)器人暴走事件”，最早的一次可能發(fā)生在1972年一間離波士頓不遠(yuǎn)的實(shí)驗(yàn)室里，當(dāng)時(shí)這個(gè)實(shí)驗(yàn)室在研制PUMA（可編程通用裝配機(jī)器手），并成功研制出了一個(gè)原型手臂，這個(gè)原型手臂沉重且難以控制，必須固定于桌子上才能穩(wěn)定?？赡苁怯捎诰幊体e(cuò)誤，一天這個(gè)手臂開始前后振動(dòng)。隨著沖量的加大，桌子也開始劇烈振動(dòng)，并開始隨著手臂的擺動(dòng)在房間中顛簸前進(jìn)，差點(diǎn)重傷了一名當(dāng)時(shí)在實(shí)驗(yàn)室專心工作的研究生。

隨著京東送貨無人機(jī)的亮相，可以預(yù)見的是，未來將會有更多的智能產(chǎn)品（無人駕駛汽車、智能醫(yī)療產(chǎn)品等）融入社會當(dāng)中，若這些產(chǎn)品被別有用心之人通過網(wǎng)絡(luò)攻陷，那么其對于使用者的人身安全的危害是不可估量的。

2.2 人工智能對社會安全可能造成的危害

人工智能促進(jìn)了計(jì)算機(jī)工業(yè)網(wǎng)絡(luò)的發(fā)展，同時(shí)也帶來了勞動(dòng)就業(yè)問題。由于未來的人工智可能能夠代替人類進(jìn)行各種技術(shù)工作和腦力勞動(dòng)，將會使一部分人不得不改變工種甚至失業(yè)。人類一方面希望人工智能能夠代替人類從事各種工作，另一方面又擔(dān)心人工智能的發(fā)展會引起新的社會問題。近十多年來，社會結(jié)構(gòu)正在發(fā)生一些變化，即人與機(jī)器的社會結(jié)構(gòu)將會被人與機(jī)器人的社會結(jié)構(gòu)所取代，很多本來由人承擔(dān)的工作將由機(jī)器人來承擔(dān)，因此，人們將不得不學(xué)習(xí)怎樣與機(jī)器人相處，以適應(yīng)這種社會結(jié)構(gòu)的變化。

人工智能技術(shù)的崛起將導(dǎo)致失業(yè)潮的出現(xiàn)已基本成為行業(yè)的共識。在“世界經(jīng)濟(jì)論壇”2016年年會上，基于對全球企業(yè)戰(zhàn)略高管和個(gè)人的調(diào)查發(fā)布的報(bào)告稱，未來五年機(jī)器人和人工智能等技術(shù)的崛起，將導(dǎo)致全球15個(gè)主要國家的就業(yè)崗位減少710萬個(gè)，其中2/3將屬于辦公和行政人員。萊斯大學(xué)計(jì)算機(jī)工程教授摩西·瓦迪曾表示，今后30年計(jì)算機(jī)可以從事人類的所有工作，他預(yù)計(jì)，2045年的失業(yè)率將超過50%。

2.3 人工智能對隱私可能造成的危害

隨著越來越多的廠商介入智能家居產(chǎn)業(yè)，并紛紛推出自己的智能家居生態(tài)系統(tǒng)，智能家居產(chǎn)品在高速發(fā)展中隱藏著的巨大安全挑戰(zhàn)也逐漸暴露出來。伴隨著智能家居產(chǎn)品的互聯(lián)互通的發(fā)展趨勢，任何一臺設(shè)備受到攻擊感染，其他設(shè)備也會被波及。根據(jù)2016年Vormetric公司對美國智能家居安全性的民意調(diào)查，超過半數(shù)的美國人擔(dān)心自己的智能家居的安保、攝像頭系統(tǒng)會遭受黑客攻擊，52%的受訪對象表示擔(dān)心類似于亞馬遜Echo智能家居系統(tǒng)處在黑客攻擊的危險(xiǎn)之中。2016年我國“3·15”晚會上，智能設(shè)備遭“劫持”的問題已經(jīng)被曝光。

2.4 人工智能對法律倫理的挑戰(zhàn)

隨著人工智能的不斷發(fā)展，未來的機(jī)器人將會具有自主性和認(rèn)知特性，也即具有從經(jīng)歷中學(xué)習(xí)并獨(dú)立自主地做出判斷的能力，而且可以實(shí)質(zhì)性地調(diào)整其行為，由此，從機(jī)器人的侵害行動(dòng)中產(chǎn)生的法律責(zé)任成為一個(gè)重大問題。機(jī)器人的自主性越強(qiáng)，就越難將其當(dāng)成是其他主體（比如制造商、所有人、使用者等）手中的簡單工具，這反過來使得既有的責(zé)任規(guī)則開始變得不足，因而需要新的規(guī)則。

3 人工智能安全治理現(xiàn)狀

人工智能發(fā)展至今已逾60年，雖仍在初創(chuàng)期，但隨著人工智能研究逐漸升溫，各國政府與研究機(jī)構(gòu)正為AI的未來勾畫越發(fā)清晰的發(fā)展圖景。AI的發(fā)展正從浪漫的憧憬中走出，走向真實(shí)的未來。在此過程中，各種治理力量也需要以或前或后的步伐緊跟其上。以目前最為成熟且應(yīng)用前景最為明朗的無人駕駛為例，美國的無人駕駛技術(shù)之所以這樣發(fā)達(dá)，很大程度上來源于政策與制度的及時(shí)更新與支撐，截至2017年，美國內(nèi)華達(dá)州、加利福尼亞州、密歇根州、紐約州、華盛頓州等決定開放自動(dòng)駕駛公路測試。而我國在2017年7月才在上海開放國內(nèi)首個(gè)“國家智能網(wǎng)聯(lián)汽車試點(diǎn)示范區(qū)”，這種封閉式的模擬環(huán)境測試，對于無人駕駛技術(shù)的提升并非最優(yōu)選擇，但因?yàn)槿狈ｉT的法律法規(guī)賦予無人駕駛車以上路許可和相應(yīng)的責(zé)任規(guī)則，公路測試智能在當(dāng)下讓位于封閉式的基地測試。

當(dāng)前的政府仍主要作為戰(zhàn)略布局者參與到人工智能的治理之中，如美國在2016年10月出臺《國家人工智能研究和發(fā)展戰(zhàn)略計(jì)劃》與《為人工智能的未來做好準(zhǔn)備》，我國在2016年5月出臺《“互聯(lián)網(wǎng)+”人工智能三年行動(dòng)實(shí)施方案》。但除了路線規(guī)劃與方針指引外，各國尚未有體系化的監(jiān)管制度，僅在像無人駕駛與無人機(jī)等相對成熟的領(lǐng)域出臺過零星的規(guī)制措施。這首先來源于產(chǎn)業(yè)的不成熟，也同樣根源于技術(shù)的復(fù)雜性與高門欄，使得公共政策的制定者尚難以深入了解現(xiàn)有的人工智能技術(shù)及風(fēng)險(xiǎn)，而止于觀望狀態(tài)。然而，科技公司作為主導(dǎo)方雖然擁有最多的知識資源及風(fēng)險(xiǎn)的預(yù)見與處理能力，但當(dāng)人工智能真正走出科幻電影來到現(xiàn)實(shí)生活中時(shí)，若沒有外部力量的監(jiān)督，也很難為消費(fèi)者接受而大規(guī)模投產(chǎn)。外部監(jiān)管的延遲與無力，商業(yè)自治的非中立性與缺乏權(quán)威，是多元治理主體面對新興科技需要共同協(xié)力破解的困局。

4 人工智能安全治理建議

由于人類的設(shè)計(jì)不當(dāng)和不安全操作引發(fā)了切爾諾貝利核電站災(zāi)難，日本福島核電站災(zāi)難也是因?yàn)槿祟惖牧畠r(jià)設(shè)計(jì)和位于海嘯多發(fā)海岸附近等低成本地理位置而引發(fā)的。如果以上錯(cuò)誤是人工智能造成的，那么就不是造成有限的災(zāi)難，而是會成為終結(jié)我們文明的災(zāi)難。

4.1 提高可解釋性和透明度

基于深度學(xué)習(xí)的許多算法對于使用者來說是不透明的。在很多領(lǐng)域例如健康護(hù)理，醫(yī)生需要對在治療過程中的特殊治療方法進(jìn)行合理性解釋。AI技術(shù)為很多決策提供了合理性解釋，但是不夠準(zhǔn)確。研究者需要研發(fā)更加透明的決策體系，從而為用戶提供決策推理的合理解釋。

4.2 建立互信

為了獲取信任，AI系統(tǒng)的設(shè)計(jì)者需要建立用戶友好型的交互式界面，同時(shí)確保AI系統(tǒng)的準(zhǔn)確性和可信賴性。目前對于AI系統(tǒng)的一個(gè)重要挑戰(zhàn)是軟件制造技術(shù)品質(zhì)的不一致性。隨著人類與AI系統(tǒng)的聯(lián)系越來越緊密，在該領(lǐng)域的互信挑戰(zhàn)也面臨越來越大的挑戰(zhàn)。

4.3 增強(qiáng)核實(shí)和驗(yàn)證

在AI系統(tǒng)的核實(shí)和驗(yàn)證方面需要建立新的方法?！昂藢?shí)”是確立一個(gè)滿足形式要求的系統(tǒng)；“驗(yàn)證”是確立一個(gè)滿足用戶操作需求的系統(tǒng)。對于已經(jīng)自動(dòng)運(yùn)行了一段時(shí)間的系統(tǒng)，系統(tǒng)設(shè)計(jì)者或許沒有考慮到在各種環(huán)境中可能遇到的情況，因此需要系統(tǒng)擁有自我檢測、自我診斷和自我修復(fù)的功能以確保其可信賴性。

4.4 布置對抗攻擊的安全戰(zhàn)略

AI體系為了應(yīng)對各種事故，需要具備預(yù)防惡意網(wǎng)絡(luò)攻擊的措施。安全工程需要了解該體系的脆弱性以及有可能進(jìn)行攻擊的人。AI在網(wǎng)絡(luò)安全體系中的運(yùn)用需要高度的自治能力，這需要未來進(jìn)行進(jìn)一步的研究

4.5 實(shí)現(xiàn)長期的AI安全和價(jià)值一致

AI系統(tǒng)最終的目的是實(shí)現(xiàn)“循環(huán)的自我提高”。軟件的改進(jìn)是通過軟件自身修復(fù)完成的，而非由人類完成的。為了達(dá)成這一目標(biāo)，我們需要進(jìn)一步研究可以用來檢測人類設(shè)計(jì)的目標(biāo)與AI系統(tǒng)行為是否一致的自我監(jiān)測技術(shù)及使用者的目標(biāo)等。

參考文獻(xiàn)：

[1] [美]Kalman Toth.人工智能時(shí)代 [M].北京：人民郵電出版社，2017.

[2] Jerry Kaplan.人工智能時(shí)代 [M].杭州：浙江人民出版社，2016.

[3] 陳芳，余曉潔.人工智能簡明知識讀本 [M].北京：新華出版社，2017.

[4] 周志敏，紀(jì)愛華.人工智能——改變未來的顛覆性技術(shù) [M].北京：人民郵電出版社，2017.

作者簡介：李政東（1997.08-），男，漢族，浙江杭州人，本科。研究方向：電子科學(xué)與技術(shù)。