1 引言

2016年3月，隨著“Alpha Go”（譯做“阿爾法狗”，是由美國(guó)谷歌公司研發(fā)的一款圍棋人工智能程序）以4比1擊敗圍棋世界冠軍李世石，人工智能熱潮再次興起。人工智能正作為一種“賦能”技術(shù)，已向安防、金融、醫(yī)療等傳統(tǒng)行業(yè)滲透應(yīng)用，改變著我們的生產(chǎn)生活方式。人工智能在未來(lái)社會(huì)中將扮演至關(guān)重要的角色。然而，隨著無(wú)人汽車、智能語(yǔ)音助手、智能安防產(chǎn)品的落地應(yīng)用，人工智能發(fā)展所帶來(lái)的安全問(wèn)題也不斷暴露，應(yīng)引起我們高度重視。

2 人工智能發(fā)展情況概述

人工智能的概念最早是由美國(guó)科學(xué)家麥卡錫在1956年的達(dá)特茅斯會(huì)議上提出的，他認(rèn)為“人工智能就是要讓機(jī)器的行為看起來(lái)就像是人所表現(xiàn)出的智能行為一樣”。隨著時(shí)間的推移和科技的不斷發(fā)展，人工智能經(jīng)過(guò)了3次發(fā)展浪潮，現(xiàn)在正在進(jìn)入第4次浪潮。目前普遍被人們認(rèn)可的人工智能定義是“人工智能是用機(jī)器模仿和實(shí)現(xiàn)人類的感知、思考、行動(dòng)等人類智力與行為能力的科學(xué)與技術(shù)，目標(biāo)在于模擬、延伸、拓展人的智慧與能力，使信息系統(tǒng)或機(jī)器勝任一些以往需要人類智能才能完成的復(fù)雜任務(wù)”。

現(xiàn)在這一階段，是以日本推出AIBAO機(jī)器狗為啟動(dòng)標(biāo)志，以“AlphaGo”戰(zhàn)勝李世石為引爆點(diǎn)，在算法、算力和數(shù)據(jù)3大內(nèi)在因素的驅(qū)動(dòng)下，在與安防、金融、制造等行業(yè)深入融合下，出現(xiàn)的一次智能化變革浪潮。目前來(lái)看，人工智能雖仍屬于潛能釋放階段，但其優(yōu)勢(shì)已得到逐步顯現(xiàn)。

一是人工智能正在改變部分行業(yè)的生產(chǎn)運(yùn)作模式。隨著人工智能的發(fā)展應(yīng)用，正在推動(dòng)產(chǎn)業(yè)從生產(chǎn)方式到管控模式的變革。以制造業(yè)為例，由“機(jī)器換人”，將可以實(shí)現(xiàn)工廠的24h無(wú)停歇生產(chǎn)制造，可實(shí)現(xiàn)產(chǎn)品的規(guī)格化、標(biāo)準(zhǔn)化、批量化，最大限度地提升勞動(dòng)效率和生產(chǎn)效益。據(jù)埃森哲預(yù)測(cè)，在人工智能的幫助下，人們將能更有效地利用時(shí)間，到2035年，在人工智能的推動(dòng)下，我國(guó)勞動(dòng)生產(chǎn)率有望提高27%。

二是人工智能正在改變?nèi)藗兊娜粘Ｉ罘绞?。在人工智能的?qū)動(dòng)下，語(yǔ)音語(yǔ)義、計(jì)算機(jī)視覺等技術(shù)應(yīng)用更加成熟，智能化人機(jī)交互軟硬件不斷出現(xiàn)，語(yǔ)音識(shí)別、人臉識(shí)別等技術(shù)已經(jīng)廣泛應(yīng)用于智能客服、遠(yuǎn)程開戶、實(shí)名認(rèn)證等方面，使得人們的生活更加便捷。例如微眾銀行和騰訊云合作，利用人工智能技術(shù)，通過(guò)在手機(jī)上安裝的APP程序，僅需20s就能判斷開戶者與身份證持有者是否為同一人，使得用戶可以不用到銀行柜臺(tái)就能辦理各種銀行業(yè)務(wù)。

三是人工智能將驅(qū)動(dòng)社會(huì)向更高層級(jí)發(fā)展。人工智能正在將人類從簡(jiǎn)單重復(fù)的勞動(dòng)中解放出來(lái)，使得人們有更多的時(shí)間去追求更高層級(jí)的生活體驗(yàn)。例如，谷歌公司正在研發(fā)的無(wú)人駕駛汽車，就是在計(jì)算機(jī)視覺技術(shù)、傳感器與高精度地圖等人工智能軟硬件配合協(xié)作下，實(shí)現(xiàn)的在公路網(wǎng)上的自動(dòng)行駛，使人們可以從“駕駛”的工作中解放出來(lái)，在車內(nèi)空間中開展辦公、休閑等活動(dòng)，極大地提升了時(shí)、空利用率。

總的來(lái)看，現(xiàn)階段的人工智能是一種“賦能”技術(shù)，可以應(yīng)用于生產(chǎn)生活的各個(gè)方面，有效提高效率和質(zhì)量，必將在今后的社會(huì)中發(fā)揮重要作用。

3 人工智能安全問(wèn)題現(xiàn)狀

隨著人工智能的推廣應(yīng)用，特別是在金融、制造、交通等關(guān)系國(guó)家和人們生命安全的重要基礎(chǔ)領(lǐng)域的應(yīng)用，人工智能的安全問(wèn)題也顯得尤為重要。

（1）人工智能類產(chǎn)品暫時(shí)無(wú)法擺脫傳統(tǒng)的信息安全問(wèn)題

人工智能本質(zhì)上是一種信息通信技術(shù)，需要運(yùn)行在一定的信息系統(tǒng)環(huán)境中，這就意味著基于人工智能的應(yīng)用也面臨著傳統(tǒng)的信息安全問(wèn)題。比如，基于人工智能的人臉識(shí)別算法已相對(duì)成熟，并在門禁、考勤等系統(tǒng)中應(yīng)用，但是黑客仍可利用系統(tǒng)自身漏洞、獲取管理員權(quán)限等方式實(shí)現(xiàn)入侵，使得人臉識(shí)別的功能失去意義。此外，現(xiàn)有的人工智能產(chǎn)品往往采用“終端+云端”的模式，云端的接口往往直接暴露在公共網(wǎng)絡(luò)環(huán)境下，或比較容易被找到，一旦發(fā)生拒絕服務(wù)攻擊，將使得整個(gè)產(chǎn)品陷入癱瘓狀態(tài)。

（2）諸多人工智能產(chǎn)品設(shè)計(jì)研發(fā)中安全考慮不足

現(xiàn)有的人工智能產(chǎn)品大多是基于機(jī)器學(xué)習(xí)或深度學(xué)習(xí)算法，而這些算法需要大量數(shù)據(jù)來(lái)訓(xùn)練模型，利用算法對(duì)輸入數(shù)據(jù)變化的敏感性，攻擊者可對(duì)輸入數(shù)據(jù)進(jìn)行干擾生成對(duì)抗樣本誘使人工智能系統(tǒng)產(chǎn)生錯(cuò)誤輸出，進(jìn)而達(dá)到攻擊的效果。在2016年的DefCon會(huì)議上，來(lái)自360公司的團(tuán)隊(duì)就利用對(duì)抗樣本攻擊成功控制特斯拉自動(dòng)駕駛汽車；利用人工智能記錄數(shù)據(jù)細(xì)節(jié)的特點(diǎn)，可實(shí)施反向攻擊以獲取敏感信息，例如Fredrikson等人成功從面部識(shí)別系統(tǒng)恢復(fù)出訓(xùn)練數(shù)據(jù)集中特定用戶的圖像。

（3）人工智能亦“矛”亦“盾”，存在濫用風(fēng)險(xiǎn)

人工智能是一種通用技術(shù)，天生沒(méi)有“正”、“反”的屬性，但卻可能被用于不同的方面。一方面，人工智能正在被用于軍事領(lǐng)域，成為了得力的“殺人”工具，這種不需要人類操控就能自動(dòng)運(yùn)行的武器一旦“失控”，后果將不堪設(shè)想。在聯(lián)合國(guó)特定常規(guī)武器公約會(huì)議上，一位演講者介紹了一款迷你無(wú)人機(jī)，能夠自主飛行，且裝有小型爆炸物，通過(guò)人臉定位沖向目標(biāo)，引爆爆炸物，實(shí)現(xiàn)一擊致命，充分展示了這種人工智能“武器”的強(qiáng)大威力。另一方面，人工智能正在被用于黑灰色產(chǎn)業(yè)，為黑灰色產(chǎn)從業(yè)人員開展“刷單”、“撞庫(kù)”等惡意行為提供了方便。例如，驗(yàn)證碼是存在于各種網(wǎng)絡(luò)入口的“守門員”，可以起到防止機(jī)器大規(guī)模注冊(cè)，防止機(jī)器暴力破解等作用。但是，利用人工智能技術(shù)可輕松識(shí)別圖形、語(yǔ)音驗(yàn)證碼，將使驗(yàn)證碼的防御功效大打折扣。目前，已有安全研究人員成功使用谷歌提供的Web Speech API（語(yǔ)音識(shí)別服務(wù)）來(lái)破解它自己的reCaptcha聲音驗(yàn)證碼。

4 國(guó)際上對(duì)人工智能安全問(wèn)題的關(guān)注情況

目前，人工智能技術(shù)還屬于前沿科技，相關(guān)產(chǎn)品也處在嘗試性應(yīng)用階段，對(duì)其安全問(wèn)題的研究也處于初期階段。但人工智能的安全風(fēng)險(xiǎn)已引起相關(guān)國(guó)家、國(guó)際組織、科技巨頭公司、學(xué)術(shù)界等多方的關(guān)注和重視。

（1）歐美等發(fā)達(dá)國(guó)家將人工智能上升到國(guó)家戰(zhàn)略高度，并將安全問(wèn)題作為重要研究方向

美國(guó)政府在2016年發(fā)布的《國(guó)家人工智能研究與發(fā)展策略規(guī)劃》和《為人工智能的未來(lái)做好準(zhǔn)備》兩份重要報(bào)告中，都將“確保人工智能系統(tǒng)的安全可靠”、“安全和控制”、“人工智能和網(wǎng)絡(luò)安全”作為美國(guó)人工智能戰(zhàn)略中的重點(diǎn)方向。同年6月，歐盟召開專門會(huì)議，討論人工智能立法問(wèn)題，認(rèn)為人工智能機(jī)器人也受法律約束，必須依法繳稅，同時(shí)可以享有養(yǎng)老金。

（2）部分國(guó)際組織、學(xué)術(shù)機(jī)構(gòu)意識(shí)到人工智能所面臨的安全和倫理問(wèn)題，呼吁人們予以關(guān)注

國(guó)際標(biāo)準(zhǔn)化組織IEEE于2016年發(fā)布《合倫理設(shè)計(jì)：利用人工智能和自主系統(tǒng)最大化人類福祉的愿景》，提出科技人員在人工智能研發(fā)過(guò)程中應(yīng)遵循的人工智能安全倫理原則及實(shí)施建議，并鼓勵(lì)在人工智能研發(fā)過(guò)程中，優(yōu)先考慮安全和倫理問(wèn)題。谷歌、OpenAI、加州大學(xué)伯克利分校、斯坦福大學(xué)的科學(xué)家聯(lián)合發(fā)表了《人工智能安全性的具體問(wèn)題》一文，認(rèn)為有必要在人工智能研究中對(duì)安全問(wèn)題進(jìn)行驗(yàn)證，從而以切實(shí)可行的方法，設(shè)計(jì)安全可靠的人工智能系統(tǒng)。

（3）一些科技巨頭公司投入重金，開展人工智能安全方面的研究

特斯拉和SpaceX太空探索技術(shù)公司的CEO埃隆·馬斯克向FutureofLifeInstitute（FLI）捐贈(zèng)1000萬(wàn)美金專門用于保證人工智能安全性的研究。

5 政策與建議

近年來(lái)，我國(guó)政府先后出臺(tái)了《“互聯(lián)網(wǎng)+”人工智能三年行動(dòng)實(shí)施方案》、《新一代人工智能產(chǎn)業(yè)發(fā)展規(guī)劃》、《促進(jìn)新一代人工智能產(chǎn)業(yè)發(fā)展三年行動(dòng)計(jì)劃（2018—2020年）》等文件，黨的十九大報(bào)告指出要“加快建設(shè)制造強(qiáng)國(guó)，加快發(fā)展先進(jìn)制造業(yè)，推動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能和實(shí)體經(jīng)濟(jì)深度融合”，足可見人工智能在我國(guó)經(jīng)濟(jì)社會(huì)中的戰(zhàn)略高度。然而，人工智能是一把“雙刃劍”，我國(guó)在人工智能安全方面的努力還遠(yuǎn)遠(yuǎn)不夠，需要高度重視安全問(wèn)題，否則可能無(wú)法享受其帶來(lái)的智能化“紅利”，反而會(huì)造成嚴(yán)重的社會(huì)問(wèn)題。

因此，需要充分認(rèn)清人工智能的本質(zhì)和特點(diǎn)，制定較為完善的法律政策要求，建立精確、精細(xì)的技術(shù)管理手段，確保人工智能的可管可控，以便更好地利用人工智能，發(fā)揮其價(jià)值作用，從而帶來(lái)技術(shù)上的創(chuàng)新與變革。建議我國(guó)政府、學(xué)術(shù)機(jī)構(gòu)及產(chǎn)業(yè)界聯(lián)手協(xié)作，共同應(yīng)對(duì)人工智能帶來(lái)的安全問(wèn)題。

一是應(yīng)研究推進(jìn)我國(guó)人工智能相關(guān)的法律法規(guī)建設(shè)。歐盟、日本等人工智能技術(shù)起步較早的地區(qū)和國(guó)家，已經(jīng)意識(shí)到機(jī)器人和人工智能進(jìn)入生活將給人類社會(huì)帶來(lái)的安全與倫理問(wèn)題，并已著手開展立法探索，如2016年5月，歐盟法律事務(wù)委員會(huì)發(fā)布《就機(jī)器人民事法律規(guī)則向歐盟委員會(huì)提出立法建議》的報(bào)告草案，探討如何從立法角度避免機(jī)器人對(duì)人類的傷害。我國(guó)也應(yīng)當(dāng)盡快開展相關(guān)研究，明確重點(diǎn)領(lǐng)域人工智能應(yīng)用中的法律主體以及相關(guān)權(quán)利、義務(wù)和責(zé)任，建立和完善適應(yīng)智能時(shí)代的法律法規(guī)體系。

二是制定倫理準(zhǔn)則，完善人工智能技術(shù)研發(fā)規(guī)范。當(dāng)人工智能系統(tǒng)決策與采取行動(dòng)時(shí)，人們希望其行為能夠符合人類社會(huì)的各項(xiàng)道德和倫理規(guī)則，而這些規(guī)則應(yīng)在系統(tǒng)設(shè)計(jì)和開發(fā)階段，就需被考慮并被嵌入到人工智能系統(tǒng)。因此，需要建立起人工智能技術(shù)研發(fā)的倫理準(zhǔn)則，指導(dǎo)機(jī)器人設(shè)計(jì)研究者和制造商對(duì)一個(gè)機(jī)器人做出道德風(fēng)險(xiǎn)評(píng)估，并形成完善的人工智能技術(shù)研發(fā)規(guī)范，以確保人工智能系統(tǒng)的行為符合社會(huì)倫理道德標(biāo)準(zhǔn)。

三是應(yīng)研究建立人工智能產(chǎn)品的評(píng)估體系和準(zhǔn)入標(biāo)準(zhǔn)。應(yīng)盡快組織人工智能產(chǎn)業(yè)鏈上的各方專家，共同梳理研究我國(guó)人工智能應(yīng)用及標(biāo)準(zhǔn)化需求，并積極與ITU、ISO等國(guó)際標(biāo)準(zhǔn)化組織溝通對(duì)接，圍繞人工智能產(chǎn)品的研發(fā)、生產(chǎn)和使用等環(huán)節(jié)，建立評(píng)估體系和準(zhǔn)入標(biāo)準(zhǔn)。對(duì)涉及國(guó)家政治、經(jīng)濟(jì)、國(guó)防、社會(huì)公共安全的人工智能信息系統(tǒng)的引進(jìn)和建立，應(yīng)建立行政審核機(jī)制，引導(dǎo)采用自主品牌的產(chǎn)品和技術(shù)。

四是建立監(jiān)管體系，強(qiáng)化人工智能技術(shù)和產(chǎn)品的監(jiān)督。由于智能系統(tǒng)在使用過(guò)程中會(huì)不斷進(jìn)行自行學(xué)習(xí)和探索，很多潛在風(fēng)險(xiǎn)難以在研發(fā)階段或認(rèn)證環(huán)節(jié)完全排除，因此加強(qiáng)監(jiān)管對(duì)于應(yīng)對(duì)人工智能的安全、隱私和倫理等問(wèn)題至關(guān)重要。建議在國(guó)家層面建立一套公開透明的人工智能監(jiān)管體系，實(shí)現(xiàn)對(duì)人工智能算法設(shè)計(jì)、產(chǎn)品開發(fā)、數(shù)據(jù)采集和產(chǎn)品應(yīng)用的全流程監(jiān)管，加強(qiáng)對(duì)違規(guī)行為的懲戒，督促人工智能行業(yè)和企業(yè)自律。