張琳琳 王騰

(中國(guó)信息通信研究院安全研究所，北京 100191)

0 引言

人工智能作為引領(lǐng)未來的戰(zhàn)略性技術(shù)，日益成為驅(qū)動(dòng)經(jīng)濟(jì)社會(huì)各領(lǐng)域從數(shù)字化、網(wǎng)絡(luò)化向智能化加速躍升的重要引擎，對(duì)人類文明發(fā)展和社會(huì)進(jìn)步產(chǎn)生廣泛而深遠(yuǎn)的影響，但與此同時(shí)，人工智能技術(shù)的應(yīng)用也帶來了國(guó)家安全、社會(huì)倫理、網(wǎng)絡(luò)安全、數(shù)據(jù)安全、隱私保護(hù)、人身安全等風(fēng)險(xiǎn)挑戰(zhàn)。世界各主要發(fā)達(dá)國(guó)家紛紛布局人工智能發(fā)展戰(zhàn)略規(guī)劃，高度關(guān)注人工智能技術(shù)應(yīng)用發(fā)展及安全風(fēng)險(xiǎn)防范。人工智能標(biāo)準(zhǔn)化工作有利于促進(jìn)人工智能產(chǎn)業(yè)發(fā)展和技術(shù)創(chuàng)新，其中安全標(biāo)準(zhǔn)是人工智能標(biāo)準(zhǔn)體系的重要組成部分， ISO/IEC、ITU-T、ETSI、IEEE、NIST等國(guó)際標(biāo)準(zhǔn)組織積極推進(jìn)人工智能安全標(biāo)準(zhǔn)制定，從不同角度逐步完善人工智能安全標(biāo)準(zhǔn)體系，為防范人工智能安全風(fēng)險(xiǎn)、鼓勵(lì)良性人工智能應(yīng)用、推動(dòng)人工智能產(chǎn)業(yè)有序健康發(fā)展發(fā)揮基礎(chǔ)性、規(guī)范性、指引性作用。

1 人工智能安全國(guó)際標(biāo)準(zhǔn)研究進(jìn)展

1.1 ISO/IEC JTC1

國(guó)際標(biāo)準(zhǔn)組織/國(guó)際電工委員會(huì)的第一聯(lián)合技術(shù)委員會(huì)(ISO/IEC JTC1)中開展人工智能安全標(biāo)準(zhǔn)化的研究組主要為SC42(人工智能)及SC27(信息安全)，工作涉及人工智能安全的標(biāo)準(zhǔn)項(xiàng)目見表1。

表1 ISO/IEC JTC1人工智能安全標(biāo)準(zhǔn)項(xiàng)目概況

SC42于 2017年10月成立，是ISO/IEC中負(fù)責(zé)人工智能標(biāo)準(zhǔn)的首要制定及管理單位，其下轄的WG3可信賴工作組負(fù)責(zé)人工智能安全標(biāo)準(zhǔn)制定[1]，由于傳統(tǒng)信息安全“保密性、完整性、可用性”已難以適應(yīng)新技術(shù)應(yīng)用領(lǐng)域的安全需求，可信賴的概念在安全領(lǐng)域國(guó)際標(biāo)準(zhǔn)工作中日益受到關(guān)注和重視，人工智能可信賴的內(nèi)涵包括可靠性、可用性、彈性、安全性、責(zé)任感、透明度、完整性等。當(dāng)前，SC42可信賴系列標(biāo)準(zhǔn)化工作涵蓋人工智能可信賴概述、人工智能安全風(fēng)險(xiǎn)管理、人工智能系統(tǒng)偏見、人工智能系統(tǒng)對(duì)人身安全功能實(shí)現(xiàn)、神經(jīng)網(wǎng)絡(luò)魯棒性評(píng)估、人工智能倫理等相關(guān)議題。其中，ISO/IEC TR 24028概述了人工智能系統(tǒng)可信賴的基本概念，指出人工智能系統(tǒng)的技術(shù)脆弱性因素及部分緩解措施，提出評(píng)估緩解措施的有效性建議指標(biāo)；ISO/IEC 23894基于通用風(fēng)險(xiǎn)管理指南ISO/IEC 31000，提供了人工智能安全風(fēng)險(xiǎn)管理方法，提出風(fēng)險(xiǎn)評(píng)估應(yīng)考慮的因素，并給出風(fēng)險(xiǎn)應(yīng)對(duì)措施建議；ISO/IEC TR 24027致力于降低人工智能輔助決策系統(tǒng)偏見的影響，并提供了偏見的評(píng)估技術(shù)和方法；ISO/IEC TR 5469提出了實(shí)現(xiàn)人工智能技術(shù)應(yīng)用中人身安全保護(hù)功能的方法；ISO/IEC TR 24029-1、ISO/IEC TR 24029-2系列報(bào)告系統(tǒng)梳理了現(xiàn)有神經(jīng)網(wǎng)絡(luò)魯棒性評(píng)估方法，并為方法的選擇、使用和管理提出建議；ISO/IEC TR 24368提供了人工智能道德和社會(huì)問題概述。截至2021年5月，SC42已發(fā)布ISO/IEC TR 24028、ISO/IEC TR 24029-1兩項(xiàng)人工智能安全技術(shù)報(bào)告，其他標(biāo)準(zhǔn)和技術(shù)報(bào)告均處于在研狀態(tài)。

此外，SC27在信息安全領(lǐng)域已開展多年工作，由于人工智能安全與傳統(tǒng)的信息系統(tǒng)安全具有相關(guān)性，并高度依賴數(shù)據(jù)和算法，因此SC27前期的基礎(chǔ)性信息安全標(biāo)準(zhǔn)、數(shù)據(jù)安全及隱私保護(hù)標(biāo)準(zhǔn)均可為人工智能安全提供參考依據(jù)。同時(shí)，2021年4月，SC27全會(huì)批準(zhǔn)立項(xiàng)新標(biāo)準(zhǔn)研究項(xiàng)目“解決人工智能中的安全威脅和故障的指南”，也體現(xiàn)了由于新技術(shù)的發(fā)展變化，各工作組之間安全標(biāo)準(zhǔn)交叉融合的趨勢(shì)。

1.2 ITU-T

國(guó)際電信聯(lián)盟電信標(biāo)準(zhǔn)化部門(ITU-T)人工智能工作涉及多個(gè)研究組，包括SG17(安全研究)、SG5(環(huán)境與氣候變化)、SG16(多媒體)、SG2(業(yè)務(wù)提供和電信管理的運(yùn)營(yíng)問題)等，涉及人工智能安全的標(biāo)準(zhǔn)項(xiàng)目見表2。

表2 ITU-T人工智能安全標(biāo)準(zhǔn)項(xiàng)目概況

作為安全研究組，SG17高度重視人工智能安全標(biāo)準(zhǔn)制定，于2019年1月21日在瑞士日內(nèi)瓦組織召開人工智能、機(jī)器學(xué)習(xí)和安全研討會(huì)[2]，提出人工智能安全是SG17未來重要的標(biāo)準(zhǔn)化方向，SG17應(yīng)研究各種特定安全和隱私控制的標(biāo)準(zhǔn)差距，解決已確定的威脅和風(fēng)險(xiǎn)，開展標(biāo)準(zhǔn)制定以填補(bǔ)空白。從當(dāng)前的工作來看，SG17已有3份技術(shù)報(bào)告在研，涵蓋機(jī)器學(xué)習(xí)安全應(yīng)用、人工智能技術(shù)應(yīng)用安全管理等方面。其中，TR.cs-ml提出基于機(jī)器學(xué)習(xí)的反垃圾郵件技術(shù)框架；TR.sgfdcml利用全同態(tài)加密技術(shù)為機(jī)器學(xué)習(xí)中的安全推理服務(wù)和數(shù)據(jù)聚合提供安全指導(dǎo)。2021年4月，SG17全會(huì)通過由我國(guó)主導(dǎo)的人工智能安全新立項(xiàng)TR.sec-ai，為人工智能安全技術(shù)應(yīng)用安全管理提供指南。

SG5、SG16、SG2等研究組也部分涉及人工智能安全標(biāo)準(zhǔn)化工作，SG5已發(fā)布標(biāo)準(zhǔn)L.1305，提出數(shù)據(jù)中心基礎(chǔ)設(shè)施管理系統(tǒng)技術(shù)規(guī)范，并考慮了人工智能技術(shù)在數(shù)據(jù)中心管理方面應(yīng)用的安全性；SG16在研項(xiàng)目F.Supp-OCAIB，為區(qū)塊鏈技術(shù)和人工智能技術(shù)融合應(yīng)用安全保護(hù)提供建議；SG2在研項(xiàng)目M.AI-TOM，為人工智能增強(qiáng)型電信運(yùn)營(yíng)管理系統(tǒng)提出框架指南，并考慮了人工智能安全性等相關(guān)問題。

1.3 ETSI

歐洲電信標(biāo)準(zhǔn)化協(xié)會(huì)(ETSI)開展人工智能安全標(biāo)準(zhǔn)化的研究組和委員會(huì)主要為行業(yè)規(guī)范組-保護(hù)人工智能(Industry Specification Group-Securing Artificial Intelligence，ISG-SAI)、行業(yè)規(guī)范組-體驗(yàn)性網(wǎng)絡(luò)智能(Industry Specification Group-Experiential Netwoked Intelligence，ISG-ENI)、技術(shù)委員會(huì)-網(wǎng)絡(luò)安全(Technical Committee-Cybersecurity，TC Cyber)，涉及人工智能安全的標(biāo)準(zhǔn)項(xiàng)目見表3。

表3 ETSI人工智能安全標(biāo)準(zhǔn)項(xiàng)目概況

ISG-SAI成立于2019年，是ETSI專注于人工智能安全的工作組，圍繞人工智能安全問題陳述、威脅分析、數(shù)據(jù)供應(yīng)鏈安全、緩解策略、安全性測(cè)試以及人工智能硬件安全6個(gè)關(guān)鍵主題開展研究。目前，ISG-SAI已發(fā)布2份人工智能安全研究報(bào)告，其中ETSI GR SAI 004描述了以人工智能為基礎(chǔ)的系統(tǒng)安全問題挑戰(zhàn)，也提出了一些實(shí)際安全應(yīng)用與攻擊案例；ETSI GR SAI 005針對(duì)ETSI GR SAI 004中提出的安全問題挑戰(zhàn)提出了一系列緩解措施與指南。后續(xù)，ISG-SAI關(guān)注的重點(diǎn)議題將包括人工智能數(shù)據(jù)安全、完整性和隱私性、透明度、可解釋性、倫理與濫用、偏見緩解等方面。ISG-ENI 、TC Cyber等工作組也從各自標(biāo)準(zhǔn)化研究角度關(guān)注人工智能安全性。其中，ISG-ENI作為網(wǎng)絡(luò)運(yùn)行管理研究組，關(guān)注利用人工智能技術(shù)提供自動(dòng)化網(wǎng)絡(luò)部署的安全性；TC Cyber作為網(wǎng)絡(luò)空間安全技術(shù)研究組，主要關(guān)注人工智能技術(shù)在通用性、基礎(chǔ)性網(wǎng)絡(luò)安全方面的問題挑戰(zhàn)。

1.4 IEEE

電氣與電子工程師協(xié)會(huì)(IEEE)是較早關(guān)注并開展人工智能倫理研究的國(guó)際標(biāo)準(zhǔn)組織，在人工智能安全領(lǐng)域主要關(guān)注人工智能倫理影響分析與設(shè)計(jì)、隱私服務(wù)、數(shù)據(jù)治理、可信性、安全風(fēng)險(xiǎn)評(píng)估、透明性等方面的標(biāo)準(zhǔn)制定。2015年12月，為了探索與解決人工智能倫理與社會(huì)關(guān)注的問題，IEEE發(fā)起“自主和智能系統(tǒng)倫理全球倡議”(IGEAIS)，并分別于2016年、2017年、2019年發(fā)布并更新三版《人工智能道德準(zhǔn)則設(shè)計(jì)》[3]。IEEE SA(IEEE標(biāo)準(zhǔn)協(xié)會(huì))是隸屬于IEEE的國(guó)際標(biāo)準(zhǔn)工作組織，積極開展人工智能安全領(lǐng)域標(biāo)準(zhǔn)化工作，涉及人工智能安全的標(biāo)準(zhǔn)項(xiàng)目見表4。

表4 IEEE人工智能安全標(biāo)準(zhǔn)項(xiàng)目概況

IEEE SA建立了人工智能系統(tǒng)(AIS)社區(qū)，發(fā)布了全球人工智能系統(tǒng)人類福祉計(jì)劃、人工智能系統(tǒng)應(yīng)用風(fēng)險(xiǎn)和影響框架等倡議。在相關(guān)倡議引導(dǎo)下，IEEE SA下轄工作組在安全領(lǐng)域影響力較大的標(biāo)準(zhǔn)工作主要包括IEEE P7000TM系列和P2247TM系列，其中P7000TM系列作為人工智能倫理較為權(quán)威的標(biāo)準(zhǔn)，受到人工智能研究人員的長(zhǎng)期關(guān)注；P2247TM作為深度學(xué)習(xí)、機(jī)器學(xué)習(xí)等技術(shù)要求與評(píng)估指南，為醫(yī)療、工業(yè)、金融等應(yīng)用場(chǎng)景人工智能應(yīng)用與產(chǎn)品提出安全指導(dǎo)。IEEE SA計(jì)算機(jī)學(xué)會(huì)下設(shè)的標(biāo)準(zhǔn)化委員會(huì)(C/SAB)和軟件與系統(tǒng)工程委員會(huì)(C/S2ESC)圍繞人工智能系統(tǒng)設(shè)計(jì)階段倫理、自主系統(tǒng)透明度、算法偏差、數(shù)據(jù)隱私保護(hù)、知識(shí)圖譜等領(lǐng)域開展標(biāo)準(zhǔn)制定。后續(xù)，人工智能系統(tǒng)社區(qū)也將關(guān)注自動(dòng)駕駛、智能城市、工業(yè)人工智能等領(lǐng)域的安全標(biāo)準(zhǔn)化。

我國(guó)在IEEE人工智能安全標(biāo)準(zhǔn)化工作方面取得積極進(jìn)展：2020年6月，微眾銀行牽頭立項(xiàng)可解釋人工智能體系架構(gòu)標(biāo)準(zhǔn)P2894，對(duì)人工智能可解釋性的定義、分類、應(yīng)用場(chǎng)景、性能評(píng)估等進(jìn)行系統(tǒng)性的規(guī)范；2019年8月，我國(guó)牽頭成立IEEE知識(shí)圖譜標(biāo)準(zhǔn)工作組，由中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院專家擔(dān)任主席，推動(dòng)開展P2807知識(shí)圖譜系列標(biāo)準(zhǔn)制定。

1.5 NIST

美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院(NIST)將人工智能作為重點(diǎn)標(biāo)準(zhǔn)領(lǐng)域，于2019年2月發(fā)布《關(guān)于維持美國(guó)在人工智能方面的領(lǐng)導(dǎo)地位的行政命令》(EO 13859)，呼吁聯(lián)邦機(jī)構(gòu)加強(qiáng)與人工智能標(biāo)準(zhǔn)相關(guān)的知識(shí)、領(lǐng)導(dǎo)力和開發(fā)或使用人工智能的機(jī)構(gòu)之間的協(xié)調(diào)，推動(dòng)人工智能系統(tǒng)可信度的重點(diǎn)研究。NIST下設(shè)信息技術(shù)實(shí)驗(yàn)室(Information Technology Laboratory，ITL)，重點(diǎn)關(guān)注人工智能系統(tǒng)的安全性和可信性、社會(huì)和倫理安全、人工智能技術(shù)治理、隱私政策和原則等。NIST涉及人工智能安全的標(biāo)準(zhǔn)項(xiàng)目見表5。

表5 NIST人工智能安全標(biāo)準(zhǔn)項(xiàng)目概況

此外，2020年NIST發(fā)布隱私框架路線圖，提出后續(xù)應(yīng)加強(qiáng)對(duì)人工智能隱私安全的關(guān)注。

2 人工智能安全國(guó)際標(biāo)準(zhǔn)化進(jìn)展總結(jié)及發(fā)展建議

人工智能作為快速發(fā)展變化的新技術(shù)領(lǐng)域，其安全標(biāo)準(zhǔn)制定需要首先明晰概念術(shù)語、提出安全框架、梳理相關(guān)場(chǎng)景、提出安全原則等，并在標(biāo)準(zhǔn)中為未來人工智能安全技術(shù)產(chǎn)業(yè)的發(fā)展指引方向，達(dá)到標(biāo)準(zhǔn)引領(lǐng)技術(shù)進(jìn)步和產(chǎn)業(yè)發(fā)展的作用。當(dāng)前，從各標(biāo)準(zhǔn)化組織工作進(jìn)展來看，人工智能安全國(guó)際標(biāo)準(zhǔn)化工作整體處于初級(jí)階段，標(biāo)準(zhǔn)化的重點(diǎn)方向主要包括基本概念、可信賴框架、評(píng)估方法梳理、安全風(fēng)險(xiǎn)分析、倫理安全原則等，并對(duì)認(rèn)知科學(xué)、評(píng)估測(cè)量、車聯(lián)網(wǎng)應(yīng)用安全、區(qū)塊鏈應(yīng)用安全等后續(xù)人工智能安全潛在重點(diǎn)方向予以鋪墊和考慮，具有基礎(chǔ)性(基礎(chǔ)議題多)、探索性(技術(shù)報(bào)告多)、前瞻性(鋪墊方向多)等特點(diǎn)。

我國(guó)高度重視人工智能安全標(biāo)準(zhǔn)化工作，發(fā)布了《下一代人工智能發(fā)展規(guī)劃》《國(guó)家新一代人工智能標(biāo)準(zhǔn)體系建設(shè)指南》等文件，明確了安全標(biāo)準(zhǔn)作為人工智能標(biāo)準(zhǔn)體系的重要組成部分，提出應(yīng)發(fā)揮標(biāo)準(zhǔn)引領(lǐng)作用，保障我國(guó)人工智能安全。鑒于我國(guó)人工智能技術(shù)應(yīng)用具有一定的國(guó)際領(lǐng)先優(yōu)勢(shì)，我國(guó)應(yīng)積極參與國(guó)際標(biāo)準(zhǔn)化工作，一方面搶占人工智能安全標(biāo)準(zhǔn)化先機(jī)，提升我國(guó)在人工智能技術(shù)應(yīng)用領(lǐng)域的國(guó)際話語權(quán)；另一方面保持國(guó)內(nèi)外標(biāo)準(zhǔn)的協(xié)調(diào)一致，使我國(guó)人工智能安全技術(shù)產(chǎn)業(yè)符合國(guó)際標(biāo)準(zhǔn)相關(guān)要求，有利于我國(guó)人工智能技術(shù)和產(chǎn)品的國(guó)際輸出。

綜合考慮國(guó)際人工智能安全標(biāo)準(zhǔn)化現(xiàn)狀以及我國(guó)人工智能技術(shù)產(chǎn)業(yè)發(fā)展特點(diǎn)，針對(duì)我國(guó)進(jìn)一步深化人工智能安全領(lǐng)域國(guó)際標(biāo)準(zhǔn)化工作，提出兩點(diǎn)建議：一是充分發(fā)揮我國(guó)人工智能技術(shù)應(yīng)用及數(shù)據(jù)規(guī)模優(yōu)勢(shì)，結(jié)合豐富的應(yīng)用領(lǐng)域和多樣化應(yīng)用場(chǎng)景，根據(jù)企業(yè)、高校、研究機(jī)構(gòu)關(guān)注側(cè)重點(diǎn)的差異，精確匹配國(guó)際上多個(gè)標(biāo)準(zhǔn)化組織的重點(diǎn)標(biāo)準(zhǔn)研制方向，有策略地牽頭和參與ISO/IEC(總體性標(biāo)準(zhǔn))、ITU-T(ICT行業(yè)相關(guān)度較高的標(biāo)準(zhǔn))、ETSI(地區(qū)性應(yīng)用指導(dǎo)性標(biāo)準(zhǔn))、IEEE(倫理安全標(biāo)準(zhǔn))等國(guó)際組織的標(biāo)準(zhǔn)化工作，鼓勵(lì)我國(guó)專家在國(guó)際標(biāo)準(zhǔn)組織任職及擔(dān)任國(guó)際標(biāo)準(zhǔn)項(xiàng)目編輯，打造兼具專業(yè)能力與外語水平的復(fù)合型國(guó)際標(biāo)準(zhǔn)專家隊(duì)伍。同時(shí)，鑒于人工智能國(guó)際標(biāo)準(zhǔn)在國(guó)際上具有一定敏感性，在標(biāo)準(zhǔn)化立項(xiàng)和推進(jìn)過程中要秉承積極協(xié)商、靈活應(yīng)對(duì)、推進(jìn)共識(shí)的工作策略，保障國(guó)際標(biāo)準(zhǔn)工作的順利推進(jìn)。二是緊密跟蹤研究國(guó)內(nèi)外人工智能安全標(biāo)準(zhǔn)化工作動(dòng)態(tài)和發(fā)展趨勢(shì)，把握人工智能安全領(lǐng)域國(guó)際標(biāo)準(zhǔn)研究態(tài)勢(shì)和重點(diǎn)方向。建立人工智能重點(diǎn)難點(diǎn)標(biāo)準(zhǔn)合作交流機(jī)制，借鑒各國(guó)在國(guó)際標(biāo)準(zhǔn)組織中的工作經(jīng)驗(yàn)，參考形成我國(guó)人工智能安全國(guó)際標(biāo)準(zhǔn)化工作推進(jìn)策略。充分吸收國(guó)外人工智能安全領(lǐng)域標(biāo)準(zhǔn)研究成果，借助國(guó)際力量豐富和推進(jìn)我國(guó)人工智能安全標(biāo)準(zhǔn)制定，保持國(guó)家/行業(yè)標(biāo)準(zhǔn)與國(guó)際標(biāo)準(zhǔn)之間的協(xié)調(diào)一致，提高我國(guó)標(biāo)準(zhǔn)的先進(jìn)性、規(guī)范性，確保人工智能安全標(biāo)準(zhǔn)能夠及時(shí)滿足人工智能安全保障和新興技術(shù)產(chǎn)業(yè)發(fā)展的需求。

3 結(jié)束語

我國(guó)人工智能產(chǎn)業(yè)規(guī)模、核心企業(yè)數(shù)量?jī)H次于美國(guó)，位居全球第二位，覆蓋技術(shù)平臺(tái)、產(chǎn)品應(yīng)用等多個(gè)環(huán)節(jié)，醫(yī)療影像、智能語音、智能翻譯、自動(dòng)駕駛等產(chǎn)品已達(dá)國(guó)際先進(jìn)水平，智能安防、消費(fèi)無人機(jī)等領(lǐng)域具備國(guó)際競(jìng)爭(zhēng)優(yōu)勢(shì)，未來有望發(fā)展為全球最大的人工智能市場(chǎng)[4]。同時(shí)，由于人工智能技術(shù)應(yīng)用對(duì)數(shù)據(jù)的高度依賴，我國(guó)的數(shù)據(jù)規(guī)模優(yōu)勢(shì)能夠進(jìn)一步助力人工智能技術(shù)應(yīng)用的發(fā)展。高質(zhì)量標(biāo)準(zhǔn)規(guī)范是人工智能得以創(chuàng)新發(fā)展的前提，我國(guó)人工智能標(biāo)準(zhǔn)領(lǐng)域的組織化建設(shè)、標(biāo)準(zhǔn)制修訂等方面已經(jīng)開展大量的工作，具備一定的工作基礎(chǔ)[5]。然而，在人工智能等新技術(shù)領(lǐng)域國(guó)際標(biāo)準(zhǔn)化方面，尚未將有利于我國(guó)技術(shù)產(chǎn)業(yè)發(fā)展的規(guī)則以標(biāo)準(zhǔn)方式推向國(guó)際，并有效融入全球人工智能治理框架。全面了解人工智能安全領(lǐng)域的國(guó)際標(biāo)準(zhǔn)化工作態(tài)勢(shì)，有利于我國(guó)專家有策略地牽頭立項(xiàng)和深度參與國(guó)際標(biāo)準(zhǔn)化工作，發(fā)揮我國(guó)大市場(chǎng)、產(chǎn)業(yè)鏈完備以及數(shù)據(jù)規(guī)模優(yōu)勢(shì)，在新技術(shù)應(yīng)用領(lǐng)域提升數(shù)字空間的國(guó)際影響力。