李新瑜　張永慶

內(nèi)容提要 伴隨技術(shù)的日益成熟以及與各行業(yè)融合的不斷深入，人工智能在給公眾、行業(yè)和社會帶來便利和機遇的同時也暴露出一系列潛在的社會風(fēng)險。基于人工智能產(chǎn)業(yè)鏈的研究視角，人工智能風(fēng)險分別表現(xiàn)為基礎(chǔ)層面的機器倫理風(fēng)險、算法歧視風(fēng)險和數(shù)據(jù)應(yīng)用風(fēng)險，技術(shù)層面的網(wǎng)絡(luò)安全風(fēng)險和人機互動風(fēng)險，應(yīng)用層面的系統(tǒng)性風(fēng)險、法律制度風(fēng)險和社會福利風(fēng)險。為全面有效地防范人工智能風(fēng)險，一方面應(yīng)從研發(fā)技術(shù)層以研發(fā)人員作為內(nèi)部風(fēng)險防范的起點，構(gòu)建多層次的防范機制，并營造理性積極的社會輿論環(huán)境，另一方面應(yīng)從行業(yè)應(yīng)用層結(jié)合不同的行業(yè)應(yīng)用實際構(gòu)建“人工智能+”的風(fēng)險防范體系。最后，在當前世界各國激烈的人工智能發(fā)展競賽中，作為人工智能發(fā)展的領(lǐng)先大國，中國也應(yīng)在監(jiān)管模式、立法進程及全球治理中樹立前瞻性思維，增強人工智能領(lǐng)域的影響力和話語權(quán)，為全球人工智能風(fēng)險防范提供參考。

關(guān)鍵詞 人工智能 產(chǎn)業(yè)鏈 風(fēng)險構(gòu)成 風(fēng)險防范

〔中圖分類號〕F49;TP18 〔文獻標識碼〕A 〔文章編號〕0447—662X（2020）04—0047—11

如今我們生活在一個智能化的時代，人工智能作為工業(yè)4.0、物聯(lián)網(wǎng)的應(yīng)用基礎(chǔ)，被廣泛應(yīng)用于資源與環(huán)境、零售與物流、工業(yè)制造、醫(yī)療保健、城市建設(shè)等各個領(lǐng)域，給行業(yè)和生活帶來革命性的改變。人工智能技術(shù)如智能語音、機器視覺等日漸成熟，人工智能與邊緣計算、5G技術(shù)的融合也進入加速發(fā)展期，社會公眾對人工智能的了解逐步深入并廣泛認同其廣闊的發(fā)展前景。但是，隨著人工智能技術(shù)和系統(tǒng)的融合被賦予更多的感知能力和自主水平，數(shù)字化和智能化等場景應(yīng)用的不斷增多，也引發(fā)了大量與人工智能安全和風(fēng)險有關(guān)的負面問題，如虛構(gòu)語音詐騙、智能設(shè)備劫持、智能網(wǎng)絡(luò)攻擊、自動駕駛事故、個人信息泄露等。因此在人工智能技術(shù)普及應(yīng)用的當前，關(guān)于人工智能的風(fēng)險分析和風(fēng)險防范值得社會關(guān)注和警惕。

一、文獻綜述

技術(shù)本身是中性的。從本質(zhì)上看，人工智能對安全、經(jīng)濟和社會的影響主要取決于其使用方式。從其正面影響看，人工智能在生活中應(yīng)用的不斷深入，如圖像和語音識別、翻譯、會計、推薦系統(tǒng)和客戶支持等，使得公眾生活享受到極大便利。同時，人工智能在各行業(yè)不斷突破創(chuàng)新，如無人駕駛的研發(fā)、生產(chǎn)過程中的智能化改造、金融領(lǐng)域內(nèi)的科技創(chuàng)新、智慧城市的布局和建設(shè)等。利用人工智能加強決策、重塑商業(yè)模式和生態(tài)系統(tǒng)、提升客戶體驗，給行業(yè)帶來了新的發(fā)展機遇。①研究可見，人工智能的應(yīng)用能夠降低生產(chǎn)和經(jīng)營成本，提升企業(yè)生產(chǎn)績效，推動產(chǎn)業(yè)結(jié)構(gòu)升級，催生了新的經(jīng)濟增長點。②從人工智能的負面影響看，相關(guān)研究主要聚焦于智能化與勞動力市場和收入分配的關(guān)系。③縱觀歷史，人們一直擔(dān)心機械化、計算機以及當前的人工智能和機器人等會扼殺就業(yè)機會，引發(fā)技術(shù)性失業(yè)。由于智能系統(tǒng)重組生產(chǎn)過程，從短期看中等技能的工作被自動化取代的可能性更高，低端和高端技能的勞動力留存下來，導(dǎo)致就業(yè)極化現(xiàn)象。④由于基礎(chǔ)設(shè)施和數(shù)據(jù)應(yīng)用的分布差異，人工智能在不同國家、不同行業(yè)的推進并非同步，因此也會加劇行業(yè)和區(qū)域的不均衡發(fā)展，⑤進一步導(dǎo)致收益分配的失衡。

關(guān)于人工智能造成的安全隱患和社會風(fēng)險，根據(jù)全球風(fēng)險研究院的調(diào)查，全球人工智能項目研究主要分布于學(xué)術(shù)機構(gòu)和企業(yè)，多數(shù)項目都沒有積極地解決人工智能的安全問題，學(xué)術(shù)項目在安全方面尤其缺乏。⑥根據(jù)自主學(xué)習(xí)程度，人工智能可以分為弱人工智能、強人工智能、超人工智能三個級別。目前人工智能的研究和開發(fā)主要限于單項任務(wù)、完成人類指令，都屬于弱人工智能。有學(xué)者指出，雖然目前的人工智能仍處于弱人工智能階段，但是一旦機器能與人類的一般智力相匹敵可能會迅速超越人類，對社會產(chǎn)生巨大威脅，出現(xiàn)所謂的“超級人工智能”。⑦來自科技界的許多杰出人士，如特斯拉首席執(zhí)行官埃隆·馬斯克將人工智能稱為“召喚惡魔”，比爾·蓋茨認為人類應(yīng)該擔(dān)心人工智能帶來的威脅，計算機科學(xué)家史蒂夫·奧莫亨德羅、默里·沙納漢和大衛(wèi)·麥卡萊斯特警告稱人類應(yīng)保持對超越人類智慧的智能系統(tǒng)的控制權(quán)，否則人工智能可能會帶來生存風(fēng)險。⑧美國智庫“新美國安全中心”發(fā)布報告將人工智能風(fēng)險分為脆弱性、不可預(yù)測性、弱可解釋性、違反規(guī)則法律、系統(tǒng)事故、人機交互失敗、機器學(xué)習(xí)漏洞被對手利用七個方面。2018年世界人工智能大會提出人工智能安全風(fēng)險包括網(wǎng)絡(luò)安全風(fēng)險、數(shù)據(jù)安全風(fēng)險、算法安全風(fēng)險、信息安全風(fēng)險、社會安全風(fēng)險和國家安全風(fēng)險。麥肯錫2019年4月發(fā)布的《面對人工智能的風(fēng)險》研究報告中提出數(shù)據(jù)應(yīng)用、技術(shù)問題、安全障礙、模型偏差和人機互動等因素都會引發(fā)人工智能風(fēng)險。雖然有眾多研究機構(gòu)或?qū)＜覍θ斯ぶ悄茱L(fēng)險做出解釋或分類，但人工智能技術(shù)本身的特殊性及其應(yīng)用場景的差異性決定了不同行業(yè)應(yīng)用人工智能產(chǎn)生的風(fēng)險具有明顯的異質(zhì)性。比如在金融科技領(lǐng)域和無人駕駛領(lǐng)域，人工智能風(fēng)險的預(yù)防、發(fā)生、引發(fā)的后果以及解決方案存在極大區(qū)別。如何在最優(yōu)化利用人工智能技術(shù)的同時規(guī)避人工智能風(fēng)險，成為每個行業(yè)亟待解決的問題。

針對人工智能的監(jiān)管和治理，我國多數(shù)學(xué)者基于公共政策角度提出了相應(yīng)的對策建議，⑨期望維護社會安全的同時填補人工智能制度方面的空白，確保人工智能發(fā)展和應(yīng)用的規(guī)范化。區(qū)別于以往研究，本文結(jié)合人工智能產(chǎn)業(yè)鏈對其風(fēng)險構(gòu)成進行分類評述，在全面系統(tǒng)分析風(fēng)險的基礎(chǔ)上提出風(fēng)險防范的機制和措施，并進一步在國家層面從監(jiān)管模式、立法和全球合作三方面對我國防范人工智能風(fēng)險提出對策建議。

二、人工智能產(chǎn)業(yè)鏈及其風(fēng)險構(gòu)成分析

1.人工智能的發(fā)展、應(yīng)用及產(chǎn)業(yè)鏈分析

（1）人工智能的發(fā)展和涵義

1956年，計算機科學(xué)、心理學(xué)和經(jīng)濟學(xué)的研究人員如馬文·明斯基、西摩·派珀特、約翰·麥卡錫、赫伯特·西蒙和艾倫·紐維爾等人在達特茅斯會議上率先提出人工智能的概念。人工智能在20世紀90年代重新流行并迅速發(fā)展，目的在于復(fù)制并在模式識別和預(yù)測方面進行改進（前人工智能時代的計算機在計算和數(shù)據(jù)處理方面已經(jīng)優(yōu)于人類），包括人臉識別（來自視覺數(shù)據(jù)）、語音識別（來自聽覺數(shù)據(jù)）、識別日常數(shù)據(jù)中的抽象模式，以及依據(jù)過去的經(jīng)驗和當前的信息做出決策。人工智能領(lǐng)域的突破主要得益于硬件和算法的進步，研究重心表現(xiàn)為人工智能的機器學(xué)習(xí)方法（使計算機和算法能夠從大量數(shù)據(jù)中學(xué)習(xí)、預(yù)測和執(zhí)行任務(wù)）和深度學(xué)習(xí)（如神經(jīng)網(wǎng)絡(luò)，提高機器學(xué)習(xí)效率、進行統(tǒng)計推斷和優(yōu)化）。

（2）我國人工智能的應(yīng)用及產(chǎn)業(yè)鏈分析

我國人工智能技術(shù)起步雖晚，但是發(fā)展迅速。2017年，人工智能首次寫入政府工作報告，中央明確提出“加快人工智能等技術(shù)研發(fā)和轉(zhuǎn)化”，隨后2018年的政府工作報告再次指出“加強新一代人工智能研發(fā)應(yīng)用”，2019年的政府工作報告提出“深化大數(shù)據(jù)、人工智能等研發(fā)應(yīng)用”的關(guān)鍵詞。在國務(wù)院印發(fā)的《新一代人工智能發(fā)展規(guī)劃》中，系統(tǒng)部署了我國人工智能領(lǐng)域的發(fā)展，提出到2020年人工智能總體技術(shù)和應(yīng)用與世界先進水平同步，到2025年人工智能核心產(chǎn)業(yè)規(guī)模超過4000億元，到2030年人工智能理論、技術(shù)與應(yīng)用總體達到世界領(lǐng)先水平。

根據(jù)世界知識產(chǎn)權(quán)組織（WIPO）統(tǒng)計，從2013年到2016年中國的人工智能專利申請數(shù)量以年均20%的速度增長。根據(jù)《中國新一代人工智能科技產(chǎn)業(yè)發(fā)展報告（2019）》，截至2019年2月我國人工智能企業(yè)數(shù)量達到745家，位列世界第二，主要集中于北京、上海和廣東。企業(yè)廣泛分布于18個應(yīng)用領(lǐng)域（見圖1），融資規(guī)模也在逐年擴大，2018年融資規(guī)模達1311億元（見圖2）。當前，我國人工智能核心產(chǎn)業(yè)的規(guī)模已超過1000億元，帶動相關(guān)產(chǎn)業(yè)規(guī)模超1萬億元。其中，浙江、江蘇、廣東的人工智能相關(guān)產(chǎn)業(yè)規(guī)模預(yù)計2020年分別可達到5000億元、1000億元和3000億元。

基于人工智能的涵義及其在行業(yè)中的應(yīng)用，人工智能產(chǎn)業(yè)鏈體現(xiàn)在三個層面（見圖3）：首先，基礎(chǔ)層是人工智能發(fā)展的基礎(chǔ)，涉及數(shù)據(jù)的收集與運算，包括芯片、傳感器、大數(shù)據(jù)與云計算;其次，技術(shù)層是人工智能發(fā)展的核心，依托基礎(chǔ)層的數(shù)據(jù)資源和運算平臺進行海量識別訓(xùn)練和機器學(xué)習(xí)建模，以開發(fā)面向不同領(lǐng)域的應(yīng)用技術(shù)，目前最熟知的包括感知智能和認知智能;最后，通過結(jié)合不同的行業(yè)背景，將人工智能應(yīng)用于實踐，實現(xiàn)與行業(yè)的深度融合以及不同場景的應(yīng)用。未來，隨著深度學(xué)習(xí)、計算機視覺、語音識別等人工智能技術(shù)的快速發(fā)展，人工智能與終端和垂直行業(yè)的融合將持續(xù)加速。我國人工智能企業(yè)布局側(cè)重于技術(shù)層和應(yīng)用層，截至2019年2月，應(yīng)用層人工智能企業(yè)占比為75.2%，技術(shù)層企業(yè)占比為22.0%，基礎(chǔ)層企業(yè)占比為2.8%。

圖1 中國人工智能企業(yè)的主要應(yīng)用領(lǐng)域分布

圖2 2012-2018年中國人工智能領(lǐng)域融資額（單位：億元）

圖3 人工智能產(chǎn)業(yè)鏈

2.基于產(chǎn)業(yè)鏈的人工智能風(fēng)險構(gòu)成分析

人工智能是由軟硬件設(shè)備、大數(shù)據(jù)、算法及其呈現(xiàn)出的具體技術(shù)和場景應(yīng)用構(gòu)成的綜合體。區(qū)別于以往技術(shù)，人工智能最明顯的特征是具有自主性。人工智能的自主性所帶來的風(fēng)險一方面表現(xiàn)為預(yù)見性問題，另一方面表現(xiàn)為控制問題。為全面系統(tǒng)分析人工智能風(fēng)險，下面從基礎(chǔ)層、技術(shù)層和應(yīng)用層三個維度對影響社會生產(chǎn)或者使公眾生活遭受損失的相關(guān)風(fēng)險進行分類評述。

（1）基礎(chǔ)層面的風(fēng)險構(gòu)成分析

①機器倫理風(fēng)險

人工智能的倫理問題一直是科技界和學(xué)術(shù)界討論的焦點。如美國佛羅里達州法庭使用的預(yù)測系統(tǒng)，調(diào)查發(fā)現(xiàn)黑人被系統(tǒng)預(yù)測再次犯罪的幾率比其他族裔高出45%，黑人被預(yù)測再次暴力犯罪的幾率比其他族裔高出77%，刑事審判中的風(fēng)險評分系統(tǒng)在結(jié)果中對黑人存在偏見。當智能機器人陪伴和幫助老年人時，必須遵循相應(yīng)的文化規(guī)范執(zhí)行特定的任務(wù)，日本已經(jīng)推出能識別人的情感并與人交流的機器人Pepper，但長期與機器人交流會產(chǎn)生過度依賴等問題。為解決人工智能應(yīng)用中的社會關(guān)系和社會認同等問題，瓦拉赫提出，軟件代理和機器人應(yīng)該被灌輸明確的道德原則來管理其行為。機器倫理主要通過融合規(guī)范倫理、人工智能和其他學(xué)科的見解，試圖在機器中將倫理推理模型編碼化，以確保符合倫理的機器行為以及探索人類倫理的本質(zhì)和可計算性，旨在創(chuàng)建能夠做出適當?shù)赖逻x擇的人工智能系統(tǒng)。但是世界范圍內(nèi)各國的道德規(guī)范并不存在統(tǒng)一的標準，并且難以量化。道德哲學(xué)沒有發(fā)現(xiàn)令人滿意的人類價值觀的形式化，人工智能實施中面臨道德困境的“電車難題”，由于倫理的本質(zhì)、計算代理的局限性和世界的復(fù)雜性等因素存在，導(dǎo)致機器倫理在某些情況下增加道德行為的概率無法保證。

②算法歧視風(fēng)險

人工智能技術(shù)上的盲點和偏見會導(dǎo)致特定人群成為系統(tǒng)“偏見”和“歧視”的受害者。在瀏覽網(wǎng)頁時，算法會根據(jù)用戶偏好推薦個性化、定制化信息，破壞了信息的多樣性，剝奪了個人自主決定權(quán)，產(chǎn)生信息繭房效應(yīng)。一些互聯(lián)網(wǎng)公司運用大數(shù)據(jù)技術(shù)區(qū)分不同的目標客戶群體，由此產(chǎn)生價格歧視。谷歌的廣告定位算法存在性別歧視，當搜索20萬美元薪水的行政職位時，模擬男性用戶組收到1852個招聘廣告，而模擬女性用戶僅收到318個廣告。引起算法歧視主要源于兩個層面：一是算法的公平性。人類決策會受到有意或者無意的偏見以及信息不充分等主客觀因素的影響。二是算法的可解釋性。人工智能最大的問題為“黑盒風(fēng)險”，即運算過程的不透明性和不可解釋性。算法的不透明性通常源于三方面：企業(yè)為維護商業(yè)秘密和競爭優(yōu)勢或緣于國家機密而進行的自我保護，受到編寫（和讀取）代碼和算法設(shè)計等專業(yè)技能所限而產(chǎn)生的不透明性，以及實際操作中海量數(shù)據(jù)和復(fù)雜的多組件系統(tǒng)導(dǎo)致的不透明性。

③數(shù)據(jù)應(yīng)用風(fēng)險

數(shù)據(jù)是人工智能應(yīng)用中最重要的運算和決策基礎(chǔ)。隨著來源于網(wǎng)絡(luò)、社交媒體、移動設(shè)備、傳感器和物聯(lián)網(wǎng)等方面的非結(jié)構(gòu)化數(shù)據(jù)越來越多，個人數(shù)據(jù)常被過度采集，加劇了隱私泄露的風(fēng)險。根據(jù)中國消費者協(xié)會2018年的調(diào)查報告，85.2%的人遇到過信息泄露的情況。在臉書的數(shù)據(jù)泄露事件中，劍橋分析公司通過關(guān)聯(lián)分析的方式獲得了海量的美國公民用戶信息，包括膚色、性取向、智力水平、性格特征、宗教信仰、政治觀點以及酒精、煙草和毒品的使用情況。如果對獲取的數(shù)據(jù)進行惡意篡改，通過污染訓(xùn)練數(shù)據(jù)改變分類器分類邊界，或者采用反饋誤導(dǎo)方式，利用用戶反饋機制發(fā)起攻擊，直接向模型輸入偽裝的數(shù)據(jù)或信息，會誤導(dǎo)人工智能做出錯誤判斷。當人工智能訓(xùn)練數(shù)據(jù)遭到污染時，在自動駕駛領(lǐng)域可導(dǎo)致車輛違反交通規(guī)則甚至造成交通事故，在軍事領(lǐng)域，通過信息偽裝的方式可誘導(dǎo)自主性武器啟動或攻擊，從而帶來毀滅性風(fēng)險。

（2）技術(shù)層面的風(fēng)險構(gòu)成分析

①網(wǎng)絡(luò)安全風(fēng)險

由于人工智能的自動化以及強大的數(shù)據(jù)分析能力，越來越多的個人、家庭、企業(yè)和政府利用網(wǎng)絡(luò)安全檢測體系對抗網(wǎng)絡(luò)安全威脅與網(wǎng)絡(luò)異常。但是美國電氣和電子工程師協(xié)會（IEEE）的《人工智能與機器學(xué)習(xí)在網(wǎng)絡(luò)安全領(lǐng)域的應(yīng)用》報告指出，人們面臨著有組織的全球范圍內(nèi)的大規(guī)模網(wǎng)絡(luò)攻擊。人工智能技術(shù)的開源框架和組件由于缺乏嚴格的測試管理和安全認證，可能存在漏洞和后門等安全風(fēng)險，一旦被攻擊者惡意利用，會危及人工智能產(chǎn)品的完整性和可用性。如公眾生活中常常見到的黑客對網(wǎng)絡(luò)漏洞的“攻擊”、“僵尸”網(wǎng)絡(luò)的出現(xiàn)、屢禁不止的釣魚網(wǎng)站、個人隱私的泄露等，類似的網(wǎng)絡(luò)安全威脅在不斷發(fā)生。網(wǎng)絡(luò)犯罪利用比以往成本更低的人工智能技術(shù)執(zhí)行各種惡意的任務(wù)，對開放的、易受攻擊的端口進行掃描，或是通過電子郵件的自動組合，竊取個人數(shù)據(jù)或企業(yè)機密，利用釣魚網(wǎng)絡(luò)的自動化提高攻擊的效率。當前，人工智能系統(tǒng)與眾多行業(yè)領(lǐng)域的深度融合，涌現(xiàn)出許多無人值守系統(tǒng)，若一些重要的人工智能系統(tǒng)被入侵或劫持，將會威脅到社會公共安全。

②人機互動風(fēng)險

隨著智能語音、網(wǎng)聯(lián)汽車、視頻圖像身份識別等技術(shù)的發(fā)展及其所帶來的日趨豐富的應(yīng)用場景，實際運用中會引發(fā)感知認知風(fēng)險。2016年3月，微軟公司的人工智能聊天機器人TAY上線僅一天就被“教壞”，成為一個集反猶太人、性別歧視、種族歧視等于一身的“不良少女”。美國制片公司猴爪（Monkeypaw）利用名為“深度仿真”的人工智能技術(shù)，通過替換人臉制作了一段奧巴馬嚴厲批評現(xiàn)任美國總統(tǒng)特朗普的虛假視頻。④支付領(lǐng)域中的人臉識別功能方便了公眾的支付和消費，但被惡意盜取人臉信息后進行“隔空盜刷”問題也開始逐漸出現(xiàn)。2019年8月，一款名為“ZAO”的人工智能換臉軟件風(fēng)靡社交媒體，只需提供一張人臉照片，就可以將選定視頻中的人物面部替換掉生成新的視頻片段，引發(fā)個人信息安全保護、肖像權(quán)、版權(quán)等安全隱患。

（3）應(yīng)用層面的風(fēng)險構(gòu)成分析

①系統(tǒng)性風(fēng)險

現(xiàn)代通訊技術(shù)及交易的高科技程度、全球經(jīng)濟一體化和金融全球化的發(fā)展趨勢以及人工智能技術(shù)的普及，為系統(tǒng)性風(fēng)險的溢出創(chuàng)造了條件。如今互聯(lián)網(wǎng)環(huán)境日益龐雜，越來越多的物聯(lián)網(wǎng)設(shè)備從各種渠道獲取信息，當由人工智能導(dǎo)致的風(fēng)險發(fā)生時，由于網(wǎng)絡(luò)上信息的不對稱性和響應(yīng)的不及時，會出現(xiàn)放大的倍數(shù)效應(yīng)。人工智能帶來的系統(tǒng)性風(fēng)險存在外部性，當某個節(jié)點突發(fā)問題，原本可能只屬于某個市場的動蕩會通過網(wǎng)絡(luò)體系迅速蔓延，發(fā)生級聯(lián)效應(yīng)，進而會影響到世界其他地區(qū)的貿(mào)易和金融局勢。

②法律制度風(fēng)險

隨著人工智能系統(tǒng)變得越來越強大、復(fù)雜和自治，控制和監(jiān)督問題將會出現(xiàn)。謝勒指出，人工智能系統(tǒng)帶來的風(fēng)險可能會被證明是法律體系難以應(yīng)對的。例如當前的醫(yī)療人工智能技術(shù)已經(jīng)成熟，但依然難以得到推廣，其主要原因就在于“AI+醫(yī)療”方面的法律處于缺失狀態(tài)，隱私泄露問題、數(shù)據(jù)丟失問題、違規(guī)使用問題等諸多因素制約了醫(yī)療人工智能的發(fā)展。如果沒有完善的法律保障和規(guī)范，人工智能與產(chǎn)業(yè)的深度融合只能是紙上談兵。一般來說，法律法規(guī)的監(jiān)管分為事前和事后兩個階段。人工智能的研發(fā)具有與一般商品生產(chǎn)不同的特點，比如研發(fā)人員和地理位置上的分散性和不明確性、研發(fā)過程的不透明性等，使得傳統(tǒng)的監(jiān)管方法并不適合處理與人工智能和自主機器相關(guān)的風(fēng)險，導(dǎo)致事前監(jiān)管會非常困難。而人工智能的自主性引發(fā)風(fēng)險的預(yù)見性和可控性的難度，也使事后監(jiān)管失效。并且人工智能技術(shù)應(yīng)用的行業(yè)領(lǐng)域不同，采用統(tǒng)一的標準去判斷也有失公允。

③社會福利風(fēng)險

人工智能的發(fā)展和應(yīng)用導(dǎo)致的社會福利風(fēng)險主要表現(xiàn)為加劇失業(yè)和社會分化。基于人工智能的自動化系統(tǒng)會逐步取代一些程序化的工作崗位，如文員、服務(wù)生等。但在就業(yè)人口被壓縮的情況下，人工智能應(yīng)用所帶來的勞動生產(chǎn)率提高很難轉(zhuǎn)化為勞動力工資收入的普遍增長。與行業(yè)融合的過程中，一些擁有較好的數(shù)據(jù)信息積累且生產(chǎn)過程適宜人工智能技術(shù)介入的行業(yè)（如制造業(yè)的流水線加工組裝等），能夠在較短的時間內(nèi)獲得較大的發(fā)展空間，由此導(dǎo)致行業(yè)分化趨勢也更加明顯。

三、構(gòu)建防范人工智能風(fēng)險的機制和措施

尤德科夫斯基提出了友好人工智能的概念，旨在促進人工智能系統(tǒng)做出對人類有益且無害的行為。如果人工智能是以犧牲社會利益為代價的話，那么它就不應(yīng)由于設(shè)計者的私利而設(shè)計。從本質(zhì)來說，人工智能研發(fā)設(shè)計的目標在于通過將智能化的技術(shù)應(yīng)用于生產(chǎn)和生活中，造福于社會公眾，同時促進各行業(yè)領(lǐng)域的創(chuàng)新升級，最終實現(xiàn)全世界的科技進步和福利提升。具體表現(xiàn)在以下四個方面：第一，考慮長期性和可持續(xù)性;第二，考慮社會凝聚力，包括就業(yè)、資源共享、包容和社會認同;第三，兼顧公眾權(quán)力以及歷史、社會、文化和倫理價值觀念;第四，考慮環(huán)境影響或國際關(guān)系的全球性制約因素。

1.從研發(fā)技術(shù)層面構(gòu)建防范人工智能風(fēng)險的機制

（1）以研發(fā)人員作為內(nèi)部風(fēng)險防范的起點

從防范風(fēng)險的角度來看，人工智能的挑戰(zhàn)在于其研發(fā)方式。人工智能系統(tǒng)的設(shè)計可在不同的地方和時間進行，而不需要任何有意識的協(xié)調(diào)，同時內(nèi)部研發(fā)工作可能處于保密狀態(tài)。危險的人工智能的目的性設(shè)計會包括所有其他類型的安全問題，最危險和最難防范的就是故意制造的惡意人工智能。對研發(fā)人員實施相應(yīng)的約束或激勵機制，或通過倫理道德培訓(xùn)施加影響，可有效促進研發(fā)人員主動追求安全有益的人工智能。

第一，約束機制。在人工智能研發(fā)過程中，必須采用某些有益的設(shè)計，例如驗證、有效性、安全性和控制權(quán)等，同時考慮避免負面影響，強化可擴展的監(jiān)督和安全開發(fā)。約束機制的設(shè)計需要注意：必須經(jīng)過精心設(shè)計和反復(fù)驗證，設(shè)計有效的人工智能約束機制需要人工智能領(lǐng)域的專家和決策者之問的密切互動;由于技術(shù)本身的與時俱進，約束機制需要不斷更新。

第二，激勵機制是讓研發(fā)人員保留設(shè)計自由，通過制定特定設(shè)計的獎勵或懲罰，將開發(fā)者推向不同的設(shè)計方向。比如為有益的人工智能研究提供資金支持，或者為應(yīng)對負面的人工智能后果，由人工智能公司承擔(dān)責(zé)任支付賠償?shù)?。激勵機制也可采取其他形式，如社會表揚或批評、行業(yè)促進或制裁。其優(yōu)勢表現(xiàn)在，通過給人工智能研發(fā)人員或企業(yè)更多的自由，更容易實現(xiàn)其所追求的設(shè)計目標，易于在群體中產(chǎn)生良好的示范效應(yīng)。

第三，倫理道德培訓(xùn)。建立完善、系統(tǒng)的培訓(xùn)機制，促進研發(fā)人員樹立良好的倫理道德價值觀念。首先，由人工智能專家、心理學(xué)與哲學(xué)等學(xué)科研究人員共同參與制訂符合人工智能倫理的培訓(xùn)內(nèi)容（權(quán)利、責(zé)任、人類福利、公平等），形成一套完善的培訓(xùn)體系;其次，在高校中將倫理和安全的相關(guān)課程列入人工智能、數(shù)據(jù)科學(xué)或計算機相關(guān)專業(yè)必修課，加強對相關(guān)專業(yè)倫理道德的學(xué)習(xí);最后，考慮對人工智能從業(yè)人員進行涉及倫理道德的崗前培訓(xùn)，設(shè)置從業(yè)門檻，加強從業(yè)人員倫理道德責(zé)任的認識。

（2）構(gòu)建多層次的人工智能風(fēng)險防范機制體系

關(guān)于數(shù)據(jù)應(yīng)用方面的風(fēng)險防范，需要從國家層面出臺數(shù)據(jù)信息監(jiān)管制度去規(guī)范數(shù)據(jù)信息的獲取行為和渠道。2018年5月歐盟正式執(zhí)行《通用數(shù)據(jù)保護條例》（GDPR），該制度在獲得用戶許可、處理兒童數(shù)據(jù)和敏感數(shù)據(jù)方面對企業(yè)提出了嚴苛的要求，此外還明確規(guī)定了數(shù)據(jù)主體（消費者）的修改權(quán)、被遺忘權(quán)、限制處理權(quán)等權(quán)利。歐盟條例的實施為公眾的數(shù)據(jù)提供了安全保護，為企業(yè)規(guī)范使用數(shù)據(jù)信息提供了依據(jù)，為其他國家提供了借鑒和參考的范本?？傊?，人工智能中的數(shù)據(jù)安全治理是一個系統(tǒng)性工程，需要從法規(guī)、標準、技術(shù)、行業(yè)等各個層面尋求應(yīng)對策略，并需要監(jiān)管方、政策制定者，人工智能開發(fā)商、制造商、服務(wù)提供商，以及網(wǎng)絡(luò)安全企業(yè)的共同協(xié)作。

關(guān)于算法歧視方面的風(fēng)險防范可以通過兩個途徑：第一，確保訓(xùn)練數(shù)據(jù)集的時效性、全面性和廣泛性，避免輸入數(shù)據(jù)單一和片面;第二，確保算法的可解釋性和透明性，避免黑盒操作，必要時由行業(yè)主管部門對算法進行審查或備案。谷歌團隊發(fā)布了一項名為“概念激活向量測試（TCAV）”的新技術(shù)，能夠直觀顯示神經(jīng)網(wǎng)絡(luò)模型運算所依據(jù)的概念和比重。技術(shù)目標是將支撐模型的變量以人類能夠理解的高級概念表現(xiàn)出來，并顯示各種概念的權(quán)重，當把技術(shù)運用于涉及現(xiàn)實的識別模型上時，能夠清晰地判定該模型是否涉及歧視。總之，該技術(shù)不僅在技術(shù)層面解決了算法的可解釋性問題，而且即便是沒有任何技術(shù)背景的普通人也可了解算法的運作標準，進而能夠及時解決算法偏見和歧視問題。由此可見，今后科技的發(fā)展方向一方面是智能技術(shù)的不斷創(chuàng)新以及與行業(yè)的深度融合，另一方面也向算法的公開性、透明性和可解釋性方向發(fā)展。

關(guān)于機器倫理方面的風(fēng)險防范，阿西莫夫曾提出著名的“機器人三原則”，即不傷害人類、服從人類指揮和保護自己。但隨著人工智能技術(shù)的不斷創(chuàng)新發(fā)展，機器人三原則已經(jīng)不適用當前復(fù)雜的社會環(huán)境。目前處理人工智能倫理問題的關(guān)鍵是首先由各國共同商討基準的倫理道德標準，然后再根據(jù)本國的倫理道德實際，在全球認可的機器倫理基準框架下制訂本國的機器倫理設(shè)計標準。目前各國提出的機器倫理設(shè)計原則大都停留在理論階段，在實際的人工智能倫理設(shè)計中可以考慮的方式是，基于不同的道德情境把倫理規(guī)范編程，應(yīng)用時作為基準來衡量各種道德選擇的可接受性，或者給智能機器創(chuàng)造體驗和學(xué)習(xí)環(huán)境，讓機器逐漸學(xué)會可接受的道德規(guī)范和行為準則。

關(guān)于網(wǎng)絡(luò)安全方面的風(fēng)險防范，需要從法律和政策、人為因素、軟硬件、算法和數(shù)據(jù)、可操作性等領(lǐng)域協(xié)同響應(yīng)，共同推進。政府與行業(yè)間應(yīng)緊密協(xié)作推出受到市場接受的、由監(jiān)管部門認證的智能產(chǎn)品。監(jiān)管機構(gòu)對科研和運營要加以保護，建立行業(yè)間的合作組織，不斷提升人工智能技術(shù)的創(chuàng)新水平，利用人工智能技術(shù)保障網(wǎng)絡(luò)安全，以標準化的、嚴格監(jiān)管的方式實現(xiàn)對技術(shù)的安全運用。同時要增強網(wǎng)絡(luò)安全人員的能力，以靈活、高速地應(yīng)對未知威脅，進行網(wǎng)絡(luò)安全預(yù)警，落實應(yīng)急處置工作。

（3）營造理性防范風(fēng)險的社會輿論環(huán)境

社會輿論主要指企業(yè)有責(zé)任和義務(wù)警告用戶，智能系統(tǒng)可能會扭曲運行結(jié)果。營造良好的社會輿論環(huán)境，首先是企業(yè)應(yīng)基于社會責(zé)任標注風(fēng)險提示，如個人數(shù)據(jù)信息的收集、影響、危害，有必要要求系統(tǒng)保持中立和公平;其次公眾應(yīng)具備風(fēng)險意識，對人工智能相關(guān)技術(shù)和產(chǎn)品做出合理判斷和決策;最后，需要國家層面的引導(dǎo)，在法律層面規(guī)范企業(yè)行為，保護用戶權(quán)益。由此可見，構(gòu)建積極理性的社會輿論環(huán)境需要消費者、生產(chǎn)者和國家三方的共同參與。

2.從應(yīng)用層面構(gòu)建人工智能與行業(yè)相結(jié)合的風(fēng)險防范體系

隨著越來越多的行業(yè)與人工智能深度融合，在實現(xiàn)行業(yè)創(chuàng)新、提升行業(yè)效率和利益的同時，也對行業(yè)提出了全新的挑戰(zhàn)。構(gòu)建行之有效的風(fēng)險管理體系應(yīng)該結(jié)合行業(yè)特征，在行業(yè)的風(fēng)險觀念和偏好框架下重構(gòu)適合人工智能操作的工作流程和處理方式。從應(yīng)用層構(gòu)建防范人工智能風(fēng)險的控制體系，需要重點考慮兩點：第一，考慮人工智能的具體算法操作中所面臨的技術(shù)問題，涉及開發(fā)、測試和部署人工智能系統(tǒng)基礎(chǔ)模型和數(shù)據(jù)的實際應(yīng)用;第二，結(jié)合人工智能技術(shù)嵌入的組織和制度環(huán)境，考慮行業(yè)環(huán)境的特殊性。綜上，“人工智能+”的風(fēng)險防范體系可歸納為三個階段（見圖4）。

首先，事前階段涉及與具體行業(yè)應(yīng)用相關(guān)聯(lián)的人工智能系統(tǒng)的開發(fā)、設(shè)計和部署。此階段需要人工智能研發(fā)人員與行業(yè)專家的密切合作，通過更具針對性和實操性的研發(fā)，最大限度地杜絕初期階段人工智能系統(tǒng)存在的風(fēng)險和漏洞。其次，事中階段涉及人工智能技術(shù)的具體行業(yè)應(yīng)用，根據(jù)人工智能技術(shù)介入行業(yè)應(yīng)用的自動化程度進一步細分為短期、中期和長期。短期內(nèi)，由于自動化程度較低，人工智能技術(shù)表現(xiàn)為反應(yīng)式指導(dǎo)，根據(jù)問題系統(tǒng)會基于既定的規(guī)則運算然后給出結(jié)果或解決方案。短期風(fēng)險主要來自于人工智能系統(tǒng)做出預(yù)測的可靠性和可解釋性，包括系統(tǒng)所訓(xùn)練的數(shù)據(jù)與預(yù)測環(huán)境之間的匹配程度，以及理解和解釋機器學(xué)習(xí)系統(tǒng)如何進行預(yù)測。中期內(nèi)，人工智能系統(tǒng)自動化程度較高，系統(tǒng)根據(jù)大量的訓(xùn)練數(shù)據(jù)集進行周期性訓(xùn)練，得出的測試結(jié)果相對準確。中期風(fēng)險表現(xiàn)在人類對智能系統(tǒng)的過度依賴，或由大量歷史數(shù)據(jù)訓(xùn)練完成的機器學(xué)習(xí)系統(tǒng)在操作中難以適應(yīng)快速變化的現(xiàn)實環(huán)境。長期內(nèi)，人工智能系統(tǒng)的自動化程度最高，系統(tǒng)能夠主動識別問題并采取最優(yōu)方法進行積極干預(yù)。長期風(fēng)險表現(xiàn)為系統(tǒng)的自主性帶來的風(fēng)險，如自主發(fā)現(xiàn)實現(xiàn)預(yù)期目標的新方法，或通過不安全的方法去實現(xiàn)設(shè)定目標。最后，事后階段涉及相關(guān)風(fēng)險發(fā)生后的法律制度規(guī)范和保障，包括風(fēng)險評價、責(zé)任判定、懲罰補償?shù)?。為了保證行業(yè)風(fēng)險控制體系的時效性和敏捷性，數(shù)據(jù)、算法的動態(tài)更新機制和風(fēng)險、信息的循環(huán)反饋機制應(yīng)時刻貫穿于整個過程。

伴隨人工智能技術(shù)的不斷更新以及外部政策環(huán)境的不斷變化，系統(tǒng)管理員與研發(fā)人員應(yīng)保持密切溝通配合以防范系統(tǒng)性風(fēng)險的產(chǎn)生，同時規(guī)范人工智能技術(shù)的應(yīng)用，防止出現(xiàn)技術(shù)濫用風(fēng)險。針對由于人工智能技術(shù)的應(yīng)用而帶來的社會福利損失，可通過增加對中等技能勞動力的技能培訓(xùn)的力度，降低失業(yè)風(fēng)險，同時拓寬就業(yè)渠道，要求企業(yè)開展靈活多樣的再就業(yè)方式。

圖4 “人工智能+”的風(fēng)險防范體系

四、我國人工智能風(fēng)險防范的對策建議

1.采取多主體多層次的監(jiān)管模式

人工智能的研發(fā)設(shè)計和應(yīng)用涉及公民團體、社會組織、學(xué)術(shù)機構(gòu)、產(chǎn)業(yè)界、科學(xué)界、政府部門等多個領(lǐng)域，因此對人工智能的監(jiān)管應(yīng)采取多主體多層次治理的模式。在研發(fā)技術(shù)層面由地方科技部門對關(guān)于人工智能技術(shù)研發(fā)的高?；蛘咂髽I(yè)進行備案并實施監(jiān)管，涉及重大研發(fā)項目應(yīng)向國家科技部門備案。在行業(yè)應(yīng)用層面，行業(yè)自律和監(jiān)督是醫(yī)療、制造、礦業(yè)、交通、教育、金融等眾多行業(yè)的關(guān)鍵治理工具，應(yīng)由相應(yīng)的行業(yè)主管部門和所屬行業(yè)協(xié)會共同監(jiān)管。

2.加快人工智能領(lǐng)域的立法進程

面對機遇與挑戰(zhàn)并存的人工智能技術(shù)，技術(shù)發(fā)展與法規(guī)制訂必須齊頭并進，才能為研發(fā)和產(chǎn)業(yè)應(yīng)用實踐提供強有力的法制保障。當前我國的人工智能發(fā)展政策在網(wǎng)絡(luò)安全和數(shù)據(jù)使用方面，《中華人民共和國網(wǎng)絡(luò)安全法》規(guī)范了對個人信息保護的要求，《中華人民共和國電子商務(wù)法》約束了大數(shù)據(jù)的使用。2019年7月，我國新一代人工智能治理原則正式發(fā)布，旨在發(fā)展負責(zé)任的人工智能。雖然國家層面對人工智能產(chǎn)業(yè)發(fā)展足夠重視，也有多部法律法規(guī)和規(guī)章涉及個人信息保護，但總體分散，涉及細分行業(yè)的法律制度甚至是缺失的。目前國際層面對于人工智能相關(guān)領(lǐng)域的立法工作也都處于探討階段。國家監(jiān)管的內(nèi)容包括倫理、標準、研發(fā)和創(chuàng)新，以及作為指導(dǎo)機器人和人工智能倫理治理框架的行業(yè)、公眾參與等諸多要素。對法律問題的思考應(yīng)當具備前瞻性思維，能夠率先在該領(lǐng)域搶占先機的國家可能會決定其未來的發(fā)展方向，并從中獲得最大的利益。作為人工智能發(fā)展的領(lǐng)先國家，我國應(yīng)該力圖在人工智能立法領(lǐng)域有所突破，加快人工智能領(lǐng)域立法的進程，從人工智能技術(shù)研發(fā)再到行業(yè)推廣實踐，建立信息和數(shù)據(jù)開放標準、界定開放邊界，在應(yīng)用推廣上采用循序漸進的開放原則，并且促進最佳實踐、指南、標準的形成，打造全球科技競爭新的優(yōu)勢。

3.促進人工智能監(jiān)管的全球合作

世界經(jīng)濟論壇（WEF）白皮書指出，技術(shù)革新的快速步伐正在重塑產(chǎn)業(yè)，模糊地理界限，挑戰(zhàn)現(xiàn)有的監(jiān)管框架。防范人工智能風(fēng)險需要利益相關(guān)者的共同努力，采取更具包容性和敏捷性的治理形式共同解決創(chuàng)新所帶來的社會后果。全球?qū)用鎸τ谌斯ぶ悄艿挠行ПO(jiān)管的難點在于，既需要落實在一個國家內(nèi)部有效實施監(jiān)管的問題，也需要促使全球?qū)用娌煌瑖谊P(guān)于監(jiān)管的必要性達成一致意見。考慮到跨國治理的弱點主要表現(xiàn)在超越國家層面建立的監(jiān)管機構(gòu)沒有足夠的軍事和經(jīng)濟脅迫機制去要求各國或機構(gòu)配合調(diào)查甚至對危險行為進行懲罰，因此全球技術(shù)監(jiān)管中應(yīng)制訂跨國協(xié)議，成立國際層面的監(jiān)測和核查機構(gòu)，同時設(shè)置從經(jīng)濟制裁到軍事力量等的強制執(zhí)行機制。在人工智能監(jiān)管的全球合作中，一些重大技術(shù)突破可能會涉及多個國家機構(gòu)、人員和資源的合作，那些可能會對社會產(chǎn)生重大影響的人工智能技術(shù)尤其應(yīng)該受到更嚴格的監(jiān)管，以確保安全、公平地傳播和共享信息技術(shù)。除了對于人工智能研發(fā)領(lǐng)域風(fēng)險的監(jiān)管以外，國際合作還能進一步在人工智能的應(yīng)用層面展開，如醫(yī)療保健、自動化、氣候變化、智能化武器裝備等。設(shè)計安全可控且符合全人類共同利益的人工智能技術(shù)需要各國的共同參與，以制定出有助于促進人工智能研發(fā)并且能夠應(yīng)對風(fēng)險挑戰(zhàn)的國際框架，在全球范圍內(nèi)建立創(chuàng)新和高度自動化的系統(tǒng)，對危險和異常的技術(shù)跡象進行全球監(jiān)測。我國應(yīng)該在人工智能監(jiān)管的全球合作中樹立大國責(zé)任，在高技術(shù)產(chǎn)業(yè)領(lǐng)域增強話語權(quán)和影響力，積極倡議風(fēng)險防范和預(yù)警，并號召國內(nèi)的研發(fā)企業(yè)提供中國方案為人工智能的全球治理提供參考。

責(zé)任編輯：牛澤東