□ 文 葉曉亮 王麗穎 李曉婷

0 引言

當(dāng)前我國面部識(shí)別、語音識(shí)別等人工智能（AI）創(chuàng)新應(yīng)用已進(jìn)入世界前列，世界AI大會(huì)最新發(fā)布的《2020年全球人工智能創(chuàng)新指數(shù)報(bào)告》列出，我國AI創(chuàng)新指數(shù)全球排名第二。但是，安全作為發(fā)展的前提，AI算法“黑盒”問題帶來的安全風(fēng)險(xiǎn)亟待高度重視。中科院、浙江大學(xué)等高校明確指出，由于算法不透明等因素，在醫(yī)療診斷、無人駕駛等領(lǐng)域存在各類安全風(fēng)險(xiǎn)重大隱患，針對(duì)算法“黑盒”相關(guān)研究及AI應(yīng)用安全管控問題迫在眉睫。

1 AI算法“黑盒”存在四大安全風(fēng)險(xiǎn)

AI算法“黑盒”問題是指由于廣泛應(yīng)用在AI產(chǎn)品上的深度學(xué)習(xí)等主流算法模型內(nèi)部結(jié)構(gòu)復(fù)雜、運(yùn)行過程自主性較強(qiáng)且人工無法干預(yù)等因素，在數(shù)據(jù)輸入、模型訓(xùn)練、結(jié)果輸出等方面出現(xiàn)運(yùn)行機(jī)制難以解釋，運(yùn)行結(jié)果無法完全掌控等問題。在實(shí)際應(yīng)用中，AI算法“黑盒”問題體現(xiàn)出四大安全風(fēng)險(xiǎn)：訓(xùn)練數(shù)據(jù)缺乏導(dǎo)致安全缺陷難發(fā)現(xiàn)、模型運(yùn)行自主性及不可解釋性導(dǎo)致運(yùn)行過程難理解、安全測(cè)試標(biāo)準(zhǔn)不統(tǒng)一導(dǎo)致產(chǎn)品安全難掌控、技術(shù)手段探索不足導(dǎo)致安全監(jiān)管難以到位。

1.1 訓(xùn)練數(shù)據(jù)缺乏導(dǎo)致安全缺陷難發(fā)現(xiàn)

目前深度學(xué)習(xí)作為AI技術(shù)的主要算法之一，其特點(diǎn)是通過大量的訓(xùn)練數(shù)據(jù)對(duì)模型訓(xùn)練，最終確保在特定輸入數(shù)據(jù)下通過“黑盒”運(yùn)行，得到更加智能、精準(zhǔn)的輸出結(jié)果。例如智能網(wǎng)聯(lián)汽車需要大量多樣化路況信息和場(chǎng)景訓(xùn)練，才能確保其無人駕駛過程中能夠分場(chǎng)景判斷路況，并相應(yīng)調(diào)整運(yùn)行狀態(tài)。從技術(shù)機(jī)理上看，深度學(xué)習(xí)等算法的安全性與數(shù)據(jù)具有強(qiáng)耦合性，不同數(shù)據(jù)所觸發(fā)的神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)并不相同，測(cè)試結(jié)果也不盡相同。針對(duì)“靜態(tài)”情況下的深度學(xué)習(xí)算法進(jìn)行的安全測(cè)試僅能發(fā)現(xiàn)較少漏洞。另外，神經(jīng)網(wǎng)絡(luò)中往往包含著眾多的隱藏層，只有利用體量足夠大、類型足夠豐富的數(shù)據(jù)進(jìn)行安全測(cè)試時(shí)，“激活”模型中各個(gè)部分，才能測(cè)試出更多的安全漏洞。浙江大學(xué)指出，由于歷史數(shù)據(jù)的偏差，曾發(fā)生過算法對(duì)肺炎患者診斷出錯(cuò)等問題。從產(chǎn)業(yè)實(shí)踐上看，經(jīng)調(diào)研發(fā)現(xiàn)，目前各家科技公司僅利用本公司所搜集的有限數(shù)據(jù)進(jìn)行測(cè)試，各公司宣稱“安全”的AI產(chǎn)品往往具有很多較難發(fā)現(xiàn)的安全漏洞。因此，一旦未經(jīng)充分安全測(cè)試的相關(guān)產(chǎn)品大范圍應(yīng)用于交通、民生、醫(yī)療、甚至軍事等領(lǐng)域，將暗藏錯(cuò)誤推理、錯(cuò)誤決策等較大安全隱患。

1.2 模型運(yùn)行自主性及不可解釋性導(dǎo)致運(yùn)行過程難理解

深度學(xué)習(xí)等算法通常涉及特征提取、特征處理、多次迭代（即多次循壞）等過程。在特征提取階段，該過程往往是由深度學(xué)習(xí)算法自主選擇并進(jìn)行處理，具有不可解釋性；在特征處理階段，經(jīng)提取后的特征需進(jìn)行多次函數(shù)處理，目前業(yè)界仍無法解釋該過程的處理結(jié)果；在迭代階段，深度學(xué)習(xí)迭代次數(shù)及迭代數(shù)據(jù)巨大。例如工程上，深度學(xué)習(xí)算法模型訓(xùn)練圖片時(shí)通常數(shù)據(jù)量是1萬張以上，因此對(duì)該過程進(jìn)行實(shí)時(shí)跟蹤依舊無助于算法模型的解釋性工作，目前尚無有效技術(shù)手段了解內(nèi)部運(yùn)行流程。中國科學(xué)院大學(xué)研究指出，由于算法的解釋性差等原因，通過神經(jīng)網(wǎng)絡(luò)嵌入惡意軟件可以使模型在性能未受影響或影響很小的情況下秘密傳播。

1.3 安全測(cè)試標(biāo)準(zhǔn)不統(tǒng)一導(dǎo)致產(chǎn)品安全難掌控

傳統(tǒng)軟件測(cè)試具備完善的測(cè)試體系，而目前監(jiān)管部門以及各大科技企業(yè)之間暫未形成統(tǒng)一的測(cè)試標(biāo)準(zhǔn)及測(cè)試流程，各個(gè)企業(yè)針對(duì)自身產(chǎn)品的安全性表述往往是“自說自話”，市場(chǎng)上AI產(chǎn)品安全性參差不齊。騰訊朱雀實(shí)驗(yàn)室研究發(fā)現(xiàn)，通過模擬實(shí)戰(zhàn)中的黑客攻擊路徑，擺脫傳統(tǒng)利用“樣本投毒”等攻擊方式，直接控制AI算法模型的神經(jīng)元，為算法模型“植入后門”，可在幾乎“無感”的情況下，實(shí)現(xiàn)完整的攻擊驗(yàn)證。從產(chǎn)業(yè)實(shí)踐上看，經(jīng)調(diào)研發(fā)現(xiàn)，產(chǎn)品上線前，大多數(shù)科技企業(yè)會(huì)針對(duì)產(chǎn)品進(jìn)行大量測(cè)試。但是多家科技公司指出，由于針對(duì)AI產(chǎn)品缺乏統(tǒng)一的測(cè)試標(biāo)準(zhǔn)以及底線要求，隨著傳統(tǒng)網(wǎng)絡(luò)攻擊、數(shù)據(jù)投毒等攻擊手段的升級(jí)，AI算法“黑盒”本身以及其衍生的安全問題將更加突出，產(chǎn)品的安全性將更加難以控制，亟待根據(jù)安全風(fēng)險(xiǎn)變化，與時(shí)俱進(jìn)完善產(chǎn)品測(cè)試標(biāo)準(zhǔn)以及安全測(cè)試公共服務(wù)環(huán)境。

1.4 技術(shù)手段探索不足導(dǎo)致安全監(jiān)管難發(fā)力

產(chǎn)業(yè)監(jiān)管通常包括備案式和主動(dòng)檢查式兩種監(jiān)管模式。目前由于測(cè)試技術(shù)、測(cè)試手段不健全以及算法“黑盒”難題未解決等原因，即使科技企業(yè)將源代碼提交至監(jiān)管部門備案，或者交由第三方機(jī)構(gòu)進(jìn)行安全審查，監(jiān)管部門同樣面臨算法內(nèi)部運(yùn)行機(jī)制不清晰，以及算法運(yùn)行結(jié)果難解釋等問題，導(dǎo)致算法備案、第三方審查等監(jiān)管方式無法發(fā)揮真正的監(jiān)管作用。從產(chǎn)業(yè)實(shí)踐上看，經(jīng)調(diào)研發(fā)現(xiàn)，由于上述技術(shù)難題，監(jiān)管部門只能從算法外側(cè)進(jìn)行初步的安全檢查，難以進(jìn)行更有針對(duì)性的監(jiān)管。可以預(yù)見，即使算法存在“后門”等安全缺陷，且現(xiàn)有監(jiān)管體系在AI發(fā)展過程中存在不足，容易遺漏產(chǎn)品的重大安全風(fēng)險(xiǎn)以及產(chǎn)品應(yīng)用可能引發(fā)的次生風(fēng)險(xiǎn)。中國科學(xué)院大學(xué)發(fā)現(xiàn)，使用真實(shí)的惡意軟件替換AlexNet等AI算法模型中50%左右的神經(jīng)元，該模型的準(zhǔn)確率仍保持在93.1%以上，同時(shí)該被“污染”的模型可成功規(guī)避防病毒引擎的安全掃描。

2 國外在AI算法監(jiān)管方面的實(shí)踐

2.1 “強(qiáng)問責(zé)”頂層規(guī)范算法安全使用

2.1.1 事前鼓勵(lì)算法備案。在算法正式應(yīng)用前，多國政府要求平臺(tái)企業(yè)應(yīng)根據(jù)不同算法的風(fēng)險(xiǎn)等級(jí)，進(jìn)行自我備案或向監(jiān)管部門備案。美國、澳大利亞均要求對(duì)平臺(tái)企業(yè)采取的算法進(jìn)行監(jiān)管，并披露算法細(xì)節(jié)。

2.1.2 事中加強(qiáng)算法安全性舉證責(zé)任。在監(jiān)管部門啟動(dòng)有關(guān)算法調(diào)查和行政處罰中，平臺(tái)企業(yè)承擔(dān)著自證合規(guī)的舉證責(zé)任。臉書前產(chǎn)品經(jīng)理豪根在美國國會(huì)參議院聽證會(huì)上指責(zé)臉書算法的危險(xiǎn)性，公開指出臉書產(chǎn)品存在危害兒童、放大偏見、鼓勵(lì)兩極化等問題，隨后公司高層被要求就算法等問題進(jìn)行解釋。

2.1.3 事后強(qiáng)化算法追責(zé)。當(dāng)企業(yè)自己主動(dòng)提供隱私政策和承諾后，監(jiān)管部門有理由對(duì)其違背自身隱私政策的行為，以“欺騙性貿(mào)易”的名義進(jìn)行處罰。美國聯(lián)邦貿(mào)易委員會(huì)曾因臉書違反自身于2012年作出的企業(yè)隱私政策，對(duì)臉書處以5億美元的罰款。

2.2 “分場(chǎng)景”設(shè)置風(fēng)險(xiǎn)安全管理規(guī)定

2.2.1 對(duì)高風(fēng)險(xiǎn)應(yīng)用場(chǎng)景的算法進(jìn)行嚴(yán)格監(jiān)管和限制。歐盟、美國、德國等主要地區(qū)均對(duì)高風(fēng)險(xiǎn)應(yīng)用場(chǎng)景提出了特別規(guī)范要求，歐盟按照安全風(fēng)險(xiǎn)的高低，將AI應(yīng)用場(chǎng)景分為“最低風(fēng)險(xiǎn)、有限風(fēng)險(xiǎn)、高風(fēng)險(xiǎn)、不可接受的風(fēng)險(xiǎn)”四個(gè)等級(jí)，等級(jí)越高的應(yīng)用場(chǎng)景受到的限制越嚴(yán)格。其中“高風(fēng)險(xiǎn)”應(yīng)用場(chǎng)景主要包括與生物識(shí)別、關(guān)鍵基礎(chǔ)設(shè)施、教育培訓(xùn)、就業(yè)、執(zhí)法、移民、司法民主等領(lǐng)域內(nèi)的應(yīng)用，這類功能在啟用前應(yīng)履行嚴(yán)格義務(wù)，包括嚴(yán)格的風(fēng)險(xiǎn)評(píng)估、通過高質(zhì)量數(shù)據(jù)最大限度降低風(fēng)險(xiǎn)、增加必要的人工監(jiān)督等。美國對(duì)高風(fēng)險(xiǎn)算法也提出了特別的規(guī)制要求，制定關(guān)于“高風(fēng)險(xiǎn)自動(dòng)決策系統(tǒng)”的評(píng)估規(guī)則。德國擬建立從不受監(jiān)督的無害AI系統(tǒng)到完全禁止的危險(xiǎn)系統(tǒng)的五級(jí)監(jiān)管體系。

2.2.2 對(duì)大型科技企業(yè)的算法過程進(jìn)行嚴(yán)格監(jiān)管。美國提出年收入超過5000萬美元或擁有超過100萬用戶的企業(yè)，應(yīng)進(jìn)行算法影響評(píng)估，衡量在開發(fā)、設(shè)計(jì)和訓(xùn)練數(shù)據(jù)過程中，對(duì)算法準(zhǔn)確性、公平性及對(duì)消費(fèi)者隱私和安全的影響。法國要求平臺(tái)企業(yè)為用戶提供推薦排名的方式、影響排名因素等推薦系統(tǒng)的基本信息。

2.2.3 對(duì)涉及個(gè)人數(shù)據(jù)的算法進(jìn)行嚴(yán)格監(jiān)管。歐盟為保障AI環(huán)境下的消費(fèi)者利益，建立了嚴(yán)格的法律框架，如消費(fèi)者權(quán)益保護(hù)法、個(gè)人數(shù)據(jù)保護(hù)法等。美國對(duì)學(xué)生入學(xué)資格篩選、個(gè)人簡歷篩選、信用卡申請(qǐng)等涉及個(gè)人數(shù)據(jù)的AI應(yīng)用場(chǎng)景提出了嚴(yán)格監(jiān)管舉措，要求必須滿足透明度和數(shù)據(jù)安全方面的規(guī)定。

2.3 “爭先導(dǎo)”占領(lǐng)全球AI治理制高點(diǎn)

針對(duì)AI算法監(jiān)管問題，國際間安全治理的爭奪正逐漸白熱化。

2.3.1 國際組織和聯(lián)盟爭相推出AI原則，但體現(xiàn)的價(jià)值管理、規(guī)范方式及約束路徑不同。聯(lián)合國提出應(yīng)對(duì)致命自主武器系統(tǒng)進(jìn)行人類控制原則，并成立專門機(jī)構(gòu)研究算法等治理問題；二十國集團(tuán)提倡以人類為中心、負(fù)責(zé)任的態(tài)度開發(fā)AI；經(jīng)濟(jì)合作與發(fā)展組織提出AI發(fā)展應(yīng)遵守法治、人權(quán)、民主價(jià)值觀和多樣性、公平公正等倫理原則；國際電氣和電子工程師協(xié)會(huì)倡導(dǎo)人權(quán)、福祉、數(shù)據(jù)自主性、有效性、透明、問責(zé)等原則；北約就AI武器化的規(guī)則制定進(jìn)行協(xié)商，強(qiáng)調(diào)負(fù)責(zé)任的使用AI。

2.3.2 美歐等領(lǐng)先國家及地區(qū)爭奪AI治理先導(dǎo)權(quán)。美國提倡自下而上的治理原則，要求培養(yǎng)公眾對(duì)AI應(yīng)用的信任和信心，并強(qiáng)調(diào)AI倫理對(duì)軍事和情報(bào)的作用，發(fā)布了全球首份軍用AI倫理原則；歐盟提倡自上而下的治理原則，強(qiáng)調(diào)建立一個(gè)可信的AI框架，并提出具體可操作的評(píng)估準(zhǔn)則和清單，創(chuàng)建“信任生態(tài)系統(tǒng)”，強(qiáng)化對(duì)科技發(fā)展及應(yīng)用的信心。

2.3.3 企業(yè)加強(qiáng)算法監(jiān)管，爭做產(chǎn)業(yè)健康發(fā)展先頭兵。谷歌、微軟、IBM、臉書、曠視、百度、騰訊等國內(nèi)外科技企業(yè)均提出了企業(yè)層面的AI價(jià)值觀，并設(shè)立了內(nèi)部管理機(jī)構(gòu)，踐行AI倫理原則。其中谷歌、臉書等表示愿公開披露算法細(xì)節(jié)，提供更多透明度和控制權(quán)，接受嚴(yán)格監(jiān)管，不斷改進(jìn)算法。

3 應(yīng)對(duì)舉措

為應(yīng)對(duì)AI算法“黑盒”安全風(fēng)險(xiǎn)，搶占規(guī)則制定的話語權(quán)，我國亟待抓緊完善算法披露及問責(zé)等頂層設(shè)計(jì)，改進(jìn)現(xiàn)有監(jiān)管機(jī)制，提高算法透明度以及安全防護(hù)能力。

3.1 完善算法披露及問責(zé)等制度細(xì)則

一是明確算法輸出結(jié)果的底線要求。針對(duì)AI產(chǎn)品明確數(shù)據(jù)安全、網(wǎng)絡(luò)安全、倫理道德等方面的最低要求。二是在保障企業(yè)商業(yè)及技術(shù)秘密的情況下，明確科技企業(yè)對(duì)開發(fā)及使用的AI算法作最大限度的解釋性說明以及公開披露等強(qiáng)制性義務(wù)。三是完善算法問責(zé)與違法行為懲罰規(guī)定。針對(duì)科技企業(yè)等主體違反行業(yè)道德或相關(guān)法律法規(guī)時(shí)，除一定的經(jīng)濟(jì)處罰措施外，還應(yīng)當(dāng)采取從時(shí)間上或經(jīng)營范圍限制其進(jìn)入市場(chǎng)，甚至剝奪其進(jìn)入市場(chǎng)資格等懲罰措施。

3.2 建立適配當(dāng)前技術(shù)發(fā)展現(xiàn)狀監(jiān)管機(jī)制

一是AI應(yīng)用上線前，企業(yè)應(yīng)向監(jiān)管機(jī)構(gòu)提交算法代碼、企業(yè)內(nèi)部測(cè)試數(shù)據(jù)、測(cè)試環(huán)境、測(cè)試文檔等相關(guān)材料進(jìn)行備案。監(jiān)管部門可聘請(qǐng)第三方機(jī)構(gòu)結(jié)合備案材料以及監(jiān)管機(jī)構(gòu)測(cè)試數(shù)據(jù)集進(jìn)行安全檢測(cè)。二是借鑒歐盟的首部AI法案對(duì)我國應(yīng)用實(shí)行分類分級(jí)管理，破解傳統(tǒng)“一刀切”管理弊端。對(duì)于軍事武器等對(duì)高危領(lǐng)域的AI應(yīng)用實(shí)行嚴(yán)格管控，對(duì)于教育培訓(xùn)、金融服務(wù)等中風(fēng)險(xiǎn)領(lǐng)域?qū)嵭羞m度檢測(cè)，對(duì)于游戲等低風(fēng)險(xiǎn)領(lǐng)域營造較為寬松的監(jiān)管環(huán)境。三是建立公共測(cè)試數(shù)據(jù)環(huán)境支撐行業(yè)監(jiān)管。針對(duì)交通、教育、生產(chǎn)制造等重點(diǎn)領(lǐng)域，鼓勵(lì)公共服務(wù)機(jī)構(gòu)聯(lián)合產(chǎn)業(yè)鏈上下游建立公共測(cè)試環(huán)境，測(cè)試數(shù)據(jù)集中的數(shù)據(jù)體量、種類應(yīng)盡可能全面，尤其應(yīng)包含在極端條件下的測(cè)試用例，例如自動(dòng)駕駛汽車行駛過程中“行人突然出現(xiàn)”等突發(fā)情況。

3.3 提高算法透明度及安全防護(hù)能力

一是重點(diǎn)突破特征關(guān)聯(lián)度較大等情況下的算法不可解釋難題。當(dāng)前可解釋性方法及工具尚處于起步階段，解釋效果較不理想，無法滿足現(xiàn)有需求，亟待建立可解釋性評(píng)價(jià)指標(biāo)體系，提高深度學(xué)習(xí)等算法解釋準(zhǔn)確性和實(shí)時(shí)性。二是鼓勵(lì)業(yè)界開展算法及應(yīng)用相關(guān)風(fēng)險(xiǎn)產(chǎn)生機(jī)制、影響研究。鼓勵(lì)科研單位聯(lián)合企業(yè)界，加強(qiáng)輸入數(shù)據(jù)驗(yàn)證、AI模型攻防對(duì)抗演練等能力建設(shè)，建立AI算法“黑盒”測(cè)試環(huán)境、技術(shù)產(chǎn)品和測(cè)試標(biāo)準(zhǔn)。三是針對(duì)工業(yè)、金融業(yè)等重點(diǎn)領(lǐng)域AI應(yīng)用及風(fēng)險(xiǎn)案例，征集安全解決方案和風(fēng)險(xiǎn)應(yīng)對(duì)預(yù)案，積極在產(chǎn)業(yè)界推廣應(yīng)用。

4 結(jié)束語

在“新基建”等戰(zhàn)略背景下，AI對(duì)我國經(jīng)濟(jì)發(fā)展以及生產(chǎn)生活等各個(gè)方面的賦能作用將不斷凸顯，我國需借鑒國內(nèi)外優(yōu)秀經(jīng)驗(yàn)，管控AI算法“黑盒”相關(guān)風(fēng)險(xiǎn)，積極探索AI可解釋性技術(shù)，推動(dòng)我國AI安全可靠發(fā)展。