孔勇 李美桃 王偉 鮑旭華

美國人工智能公司OpenAI于2022年11月30日開放測試ChatGPT，此后ChatGPT風(fēng)靡全球。隨著全球人工智能規(guī)?；ㄔO(shè)和應(yīng)用加速，人工智能基礎(chǔ)設(shè)施、設(shè)計研發(fā)以及融合應(yīng)用面臨的安全風(fēng)險日益凸顯。

2023年1月26日，美國國家標(biāo)準(zhǔn)技術(shù)研究院（NIST）正式發(fā)布《人工智能風(fēng)險管理框架》的1.0版本（以下簡稱“AI框架”），旨在為設(shè)計、開發(fā)、部署和使用人工智能系統(tǒng)的個人和組織提供指南，以幫助管理人工智能的諸多風(fēng)險，并促進(jìn)開發(fā)和使用可信賴和負(fù)責(zé)任的人工智能系統(tǒng)，降低應(yīng)用人工智能技術(shù)的風(fēng)險。該AI框架從2021年7月開始籌備，歷時18個月，經(jīng)過多次草案修改，最終正式發(fā)布。

一、框架概述

AI框架給出了人工智能系統(tǒng)的定義，概述了可信賴人工智能系統(tǒng)的特征，明確了人工智能系統(tǒng)與傳統(tǒng)軟件相比新增的許多獨特的風(fēng)險。AI框架主要內(nèi)容包括兩部分：第一部分探討人工智能相關(guān)風(fēng)險的梳理和框架構(gòu)建方法，第二部分介紹該框架的四個核心功能，即治理、映射、測量和管理，以幫助各個組織在實踐中解決人工智能系統(tǒng)存在的風(fēng)險。

（一）人工智能定義與其獨特風(fēng)險

框架延續(xù)了經(jīng)合組織（OECD）對人工智能的定義，將人工智能系統(tǒng)定義為：一個基于機器的工程或系統(tǒng)，其可以針對特定目標(biāo)生成預(yù)測、建議或決策去影響真實或虛擬環(huán)境，并可在不同程度上自治運行。

盡管已經(jīng)有許多技術(shù)標(biāo)準(zhǔn)和最佳實踐可以幫助減輕傳統(tǒng)軟件信息系統(tǒng)的風(fēng)險，但人工智能系統(tǒng)帶來的安全風(fēng)險在許多方面都是獨特的。與傳統(tǒng)軟件相比，人工智能系統(tǒng)新增的特定風(fēng)險包括：

用于構(gòu)建人工智能系統(tǒng)的數(shù)據(jù)可能不是人工智能系統(tǒng)預(yù)期用途的真實或合理表示。此外，有害的偏見和數(shù)據(jù)質(zhì)量問題可能會影響人工智能系統(tǒng)的可信度，從而導(dǎo)致負(fù)面影響。

人工智能系統(tǒng)很大程度依賴訓(xùn)練任務(wù)的數(shù)據(jù)，通常與此類數(shù)據(jù)的數(shù)量增加具有較大相關(guān)性。同時，用于訓(xùn)練人工智能系統(tǒng)的數(shù)據(jù)集可能會脫離其原始環(huán)境，或者可能會相對于應(yīng)用環(huán)境變得陳舊或過時。

人工智能系統(tǒng)增強的數(shù)據(jù)聚合能力帶來的隱私風(fēng)險。

訓(xùn)練期間有意或無意的改變可能會從根本上改變?nèi)斯ぶ悄芟到y(tǒng)的性能。使用預(yù)先訓(xùn)練的模型來推進(jìn)研究并提高績效，也會增加統(tǒng)計不確定性水平，并導(dǎo)致偏差管理、科學(xué)有效性和再現(xiàn)性問題。

增加了軟件透明度和對再現(xiàn)性的擔(dān)憂。無法預(yù)測或檢測基于人工智能的系統(tǒng)超出統(tǒng)計指標(biāo)的副作用。由于數(shù)據(jù)、模型或概念漂移，人工智能系統(tǒng)可能需要更頻繁地維護和觸發(fā)來進(jìn)行糾正性維護。

（二） 可信賴人工智能特征

AI框架闡明了可信賴的人工智能系統(tǒng)的7個特點，包括：有效和可靠、功能安全、安全和韌性、負(fù)責(zé)任和透明、可理解性和可解釋性、隱私增強、公平和有害偏見管理。

1. 有效和可靠

有效和可靠是可信的必要條件，也是其他可信特征的基礎(chǔ)。國際標(biāo)準(zhǔn)ISO/IEC TS 5723：2022《可信度詞匯》中將“有效性”定義為“通過提供客觀證據(jù)，確認(rèn)特定預(yù)期用途或應(yīng)用的要求已得到滿足”。人工智能系統(tǒng)的應(yīng)用部署設(shè)計本身存在問題，或?qū)Τ銎溆?xùn)練范圍的數(shù)據(jù)和設(shè)置的通用性較差，則會產(chǎn)生人工智能的負(fù)面風(fēng)險，降低其可信度?！翱煽啃浴笔侨斯ぶ悄芟到y(tǒng)在預(yù)期使用條件下和給定時間段（包括系統(tǒng)的整個壽命周期）內(nèi)運行的總體正確性的目標(biāo)。

2. 功能安全

功能安全是指人工智能系統(tǒng)應(yīng)“在規(guī)定的條件下，不會導(dǎo)致人類生命、健康、財產(chǎn)或環(huán)境受到威脅”。不同類型的人工智能安全風(fēng)險的管理工作需要基于所呈現(xiàn)的潛在風(fēng)險的背景和嚴(yán)重程度進(jìn)行定制。構(gòu)成嚴(yán)重傷害或死亡的潛在安全風(fēng)險需要最緊急的優(yōu)先順序和最徹底的風(fēng)險管理流程。

3. 安全和韌性

如果人工智能系統(tǒng)及其部署的生態(tài)系統(tǒng)能夠承受環(huán)境或使用中的意外不利事件或意外變化，或者能夠在內(nèi)部和外部變化面前保持其功能和結(jié)構(gòu)，并在必要時能夠平穩(wěn)地降低安全級別，則可以說人工智能系統(tǒng)具有韌性。常見的安全問題涉及對抗性示例、數(shù)據(jù)中毒以及通過人工智能系統(tǒng)端點過濾模型、訓(xùn)練數(shù)據(jù)等。

4. 負(fù)責(zé)任和透明

可信賴的人工智能取決于問責(zé)制，問責(zé)以透明度為前提。透明度反映了與人工智能系統(tǒng)交互的個人可以獲得關(guān)于人工智能系統(tǒng)及其輸出的信息的程度，無論他們是否意識到自己正在這樣做。有意義的透明度提供了基于人工智能生命周期階段的適當(dāng)級別的信息訪問。當(dāng)人工智能系統(tǒng)發(fā)生不正確或?qū)е仑?fù)面影響的相關(guān)問題時，透明度對于采取何種補救措施是至關(guān)重要的。透明系統(tǒng)不一定是準(zhǔn)確、隱私增強、安全或公平的系統(tǒng)。然而，一個不透明的系統(tǒng)很難具有以上的準(zhǔn)確、安全等特征。因此，負(fù)責(zé)任和透明的特性與其他特征都相關(guān)。

5. 可理解性與可解釋性

可理解性指的是人工智能系統(tǒng)運行機制的表示，而可解釋性是指人工智能系統(tǒng)輸出在其設(shè)計功能目的背景下的含義?？衫斫庑院涂山忉屝怨餐瑤椭褂没虮O(jiān)督人工智能系統(tǒng)的人員以及人工智能系統(tǒng)用戶深入了解系統(tǒng)的功能和可靠性，包括其輸出的合理性?？衫斫夂涂山忉尩娜斯ぶ悄芟到y(tǒng)提供的信息將幫助最終用戶了解人工智能系統(tǒng)的目的和潛在影響。

6. 隱私增強

隱私增強一般指有助于維護人類自主、身份和尊嚴(yán)的規(guī)范和做法。這些規(guī)范和做法通常涉及免于入侵、限制觀察或個人機構(gòu)同意披露或控制其身份的各個方面。與隱私相關(guān)的風(fēng)險可能會影響安全性、偏見和透明度，并與這些其他特征進(jìn)行權(quán)衡。人工智能系統(tǒng)的特定技術(shù)特征可能會減少隱私保護。人工智能系統(tǒng)還可以通過允許推斷來識別個人或關(guān)于個人的隱私信息，從而給隱私帶來新的風(fēng)險。

7. 公平和有害偏見管理

人工智能中的公平包括通過解決有害偏見和歧視等問題來關(guān)注平等和公平。公平的標(biāo)準(zhǔn)可能很復(fù)雜，很難定義，因為不同文化對公平的看法不同，并且可能會因應(yīng)用而改變。通過認(rèn)識和考慮這些差異，組織的風(fēng)險管理工作將得到加強。但是，減輕有害偏見的制度并不一定就是公平的。例如，利用人工智能系統(tǒng)通過數(shù)據(jù)去預(yù)測在不同群體之間可能的特定問題時，由于已有數(shù)據(jù)無法體現(xiàn)殘疾人等未能有效使用數(shù)字現(xiàn)代化能力的人的影響，可能加劇現(xiàn)有的差距或系統(tǒng)偏見。

二、框架構(gòu)建方法

AI框架的主要內(nèi)容之一就是人工智能相關(guān)風(fēng)險的梳理和框架構(gòu)建方法，主要有4方面考量。一是風(fēng)險框架，包括對風(fēng)險、影響、危害的理解與處理，以及人工智能風(fēng)險管理在風(fēng)險度量、風(fēng)險容忍度、風(fēng)險等級排序等方面的挑戰(zhàn)。二是目標(biāo)受眾，理想情況下，AI框架應(yīng)當(dāng)適用于人工智能的全生命周期和多維度活動。三是風(fēng)險和可信度，AI框架要求可信賴的人工智能系統(tǒng)7個特征條件要在不同情境下需要適當(dāng)?shù)娜∩崤c平衡，但人工智能系統(tǒng)可信度始終是首要條件和必備基礎(chǔ)。四是有效性評估，要求組織和用戶定期評估AI框架是否提高了其管理人工智能風(fēng)險的能力，包括但不限于其政策、流程、實踐、實施計劃、指標(biāo)、度量和預(yù)期結(jié)果。

（一）風(fēng)險框架

框架將“風(fēng)險”定義為事件發(fā)生概率和相應(yīng)事件后果的大小或程度的綜合度量。人工智能系統(tǒng)的“影響”可能是積極的，也可能是消極的，或兩者兼而有之。當(dāng)考慮潛在事件的負(fù)面影響時，風(fēng)險是：如果情況或事件發(fā)生，可能產(chǎn)生的負(fù)面影響或危害程度；發(fā)生可能性的函數(shù)。風(fēng)險管理是指在風(fēng)險方面指導(dǎo)和控制組織的協(xié)調(diào)活動。

在追求人工智能系統(tǒng)可信度時，風(fēng)險管理應(yīng)考慮風(fēng)險度量、風(fēng)險容忍度、風(fēng)險等級排序、組織整合四方面因素。

1. 風(fēng)險度量

人工智能系統(tǒng)風(fēng)險在沒有明確定義或充分理解的前提下，很難定量或定性地衡量。人工智能系統(tǒng)風(fēng)險度量的挑戰(zhàn)主要體現(xiàn)在與第三方軟硬件和數(shù)據(jù)相關(guān)的風(fēng)險、可靠度量的可用性、人工智能生命周期不同階段的風(fēng)險、實際操作環(huán)境與測量不同、不可分割性等方面。

與第三方軟硬件和數(shù)據(jù)相關(guān)的風(fēng)險：包括來自第三方數(shù)據(jù)、軟件或硬件本身的風(fēng)險；開發(fā)人工智能系統(tǒng)的組織使用的風(fēng)險度量方法可能與運營和應(yīng)用的組織所使用的風(fēng)險度量方法不一致；開發(fā)人工智能系統(tǒng)的組織可能對其使用的風(fēng)險度量方法不透明。使用第三方數(shù)據(jù)或?qū)⒌谌杰浻布到y(tǒng)集成到人工智能系統(tǒng)中，會使得人工智能系統(tǒng)風(fēng)險度量和管理變得更復(fù)雜。

可靠度量的可用性：目前缺乏對風(fēng)險和可信度的穩(wěn)健和可驗證的度量方法以及對不同人工智能用例的適用性的共識，這是一個人工智能風(fēng)險度量挑戰(zhàn)。例如，測量方法可能過于簡單化、缺乏關(guān)鍵的細(xì)微差別、以意想不到的方式被依賴，或者無法解釋受影響群體和環(huán)境中的差異。

生命周期不同階段的風(fēng)險：在人工智能生命周期的早期階段測量風(fēng)險可能會產(chǎn)生不同于在后期階段測量風(fēng)險的結(jié)果；一些風(fēng)險可能在給定的時間點是潛在的，并且可能隨著人工智能系統(tǒng)的適應(yīng)和發(fā)展而增加。此外，人工智能生命周期中的不同人工智能參與者可能具有不同的風(fēng)險視角。

實際操作環(huán)境與測量不同：雖然在實驗室或受控環(huán)境中測量人工智能風(fēng)險可能會在部署前產(chǎn)生重要的見解，但這些測量可能不同于實際操作環(huán)境中出現(xiàn)的風(fēng)險。

不可分割性：不可分割的人工智能系統(tǒng)會使風(fēng)險度量復(fù)雜化。不確定性可能是由于人工智能系統(tǒng)的不透明性（可理解或可解釋性有限）、人工智能系統(tǒng)開發(fā)或部署缺乏透明度，或人工智能系統(tǒng)固有的不確定性。

2. 風(fēng)險容忍度

風(fēng)險容忍度是指組織或人工智能參與者為實現(xiàn)其目標(biāo)而承擔(dān)風(fēng)險的意愿。風(fēng)險容忍度同樣受到法律或監(jiān)管要求的影響。風(fēng)險容忍度可能受到人工智能系統(tǒng)所有者、組織、行業(yè)、社區(qū)或決策者制定的政策和規(guī)范的影響。隨著人工智能系統(tǒng)、政策和規(guī)范的發(fā)展，風(fēng)險容忍度可能會隨著時間的推移而改變。不同的組織由于其特定的組織優(yōu)先級和資源考慮，可能具有不同的風(fēng)險容忍度。

3. 風(fēng)險等級排序

風(fēng)險管理的思想可以幫助組織了解并非所有人工智能風(fēng)險都是相同的，以便可以根據(jù)風(fēng)險等級有目的地分配相應(yīng)資源。風(fēng)險管理工作可采取行動為評估組織開發(fā)或部署的人工智能系統(tǒng)的可信度制定明確的指南。隨后，應(yīng)根據(jù)評估的風(fēng)險水平和人工智能系統(tǒng)的潛在影響確定政策和資源分配的優(yōu)先級。

4. 組織整合管理風(fēng)險

人工智能參與者在生命周期中的角色不同，就有不同的責(zé)任和意識。人工智能風(fēng)險管理應(yīng)整合并納入更廣泛的企業(yè)風(fēng)險管理戰(zhàn)略和流程，將人工智能風(fēng)險與其他關(guān)鍵風(fēng)險（如網(wǎng)絡(luò)安全和隱私）一起處理，則能夠產(chǎn)生綜合的結(jié)果同時提升效率。組織需要建立和維護適當(dāng)?shù)慕巧?、?zé)任、問責(zé)機制、激勵政策等，通過高層的重視和管理實現(xiàn)有效的風(fēng)險管理，同時需要組織內(nèi)對風(fēng)險認(rèn)識的意識文化變革。此外，實施人工智能風(fēng)險管理框架的中小型組織與大型組織所面臨挑戰(zhàn)會因其能力和資源的不同而不同。

（二）目標(biāo)受眾

AI框架指出，在人工智能全生命周期的不同階段會存在不同的風(fēng)險，人工智能系統(tǒng)全生命周期中的風(fēng)險還受不同階段參與人員的影響。因此，框架旨在讓所有人工智能參與者在整個人工智能生命周期維度中共同努力管理風(fēng)險，從而實現(xiàn)可信賴負(fù)責(zé)任的人工智能。

1. 人工智能系統(tǒng)全生命周期維度

人工智能系統(tǒng)的全生命周期包括規(guī)劃設(shè)計、收集處理數(shù)據(jù)、建立運用模型、驗證和確認(rèn)、部署使用、運營監(jiān)控六個階段。人工智能系統(tǒng)的多維度以人為核心，延伸到數(shù)據(jù)輸入、人工智能模型、任務(wù)輸出、應(yīng)用環(huán)境4個關(guān)鍵維度，重點是對其進(jìn)行測試、評估、驗證和確認(rèn)的TEVV流程。

2. 代表性人工智能參與者

代表性人工智能參與者可以描述為社會組織和具有TEVV特定專業(yè)知識的人工智能參與者。其中社會組織可能包括行業(yè)協(xié)會、標(biāo)準(zhǔn)制定組織、研究人員、民間社會組織、最終用戶以及潛在受影響的個人和社區(qū)。他們能夠成為人工智能風(fēng)險管理的規(guī)范和指南的需求來源；指定人工智能運行的邊界（技術(shù)、社會、法律和道德層面）；促進(jìn)對公民自由和權(quán)利、公平，以及經(jīng)濟相關(guān)的社會價值和優(yōu)先事項等進(jìn)行討論。具有TEVV特定專業(yè)知識的人工智能參與者定期執(zhí)行的TEVV任務(wù)可以提供與技術(shù)、社會、法律和道德標(biāo)準(zhǔn)或規(guī)范相關(guān)的見解，并可以幫助預(yù)測影響、評估和跟蹤風(fēng)險。作為人工智能生命周期中的一個常規(guī)過程，TEVV允許進(jìn)行中期補救和事后風(fēng)險管理。

總之，成功的風(fēng)險管理取決于人工智能參與者的集體責(zé)任感，多樣化的團隊有助于更開放地分享人工智能技術(shù)的想法和假設(shè)。AI框架的成功也需要不同的學(xué)科、專業(yè)和經(jīng)驗的參與人的視角，只有更廣泛的集體視角才能為發(fā)現(xiàn)問題和識別現(xiàn)有風(fēng)險創(chuàng)造機會。

（三） 風(fēng)險和可信度

AI框架概述了人工智能7個可信度特征，它們之間相互影響。任何一個維度的不可信都是不可取的。例如，高度安全但不公平的系統(tǒng)、準(zhǔn)確但不可解釋的系統(tǒng)、增強隱私但不準(zhǔn)確的系統(tǒng)都是不可取的。因此，全面的風(fēng)險管理方法需要在可信度特征之間進(jìn)行權(quán)衡。所有人工智能參與者都有責(zé)任確定人工智能技術(shù)能夠在特定環(huán)境發(fā)揮必要的預(yù)期作用，以及如何負(fù)責(zé)任地使用它。

有效和可靠：部署的人工智能系統(tǒng)的有效性和可靠性通常通過持續(xù)測試或監(jiān)控來評估，以確認(rèn)系統(tǒng)按預(yù)期運行。人工智能風(fēng)險管理工作應(yīng)優(yōu)先考慮將潛在負(fù)面影響降至最低，并保證在人工智能系統(tǒng)無法自我糾正錯誤的情況下能夠進(jìn)行人為干預(yù)。

功能安全：在生命周期中必須考慮功能安全，并盡早開始規(guī)劃和設(shè)計，以防止可能導(dǎo)致系統(tǒng)危險的安全故障。人工智能系統(tǒng)功能安全的其他實用方法通常涉及嚴(yán)格的模擬和域內(nèi)測試、實時監(jiān)控，以及關(guān)閉、修改或人為干預(yù)偏離預(yù)期功能的能力。

安全和韌性：通過防止未經(jīng)授權(quán)的訪問和使用的保護機制，可以保持機密性、完整性和可用性的人工智能系統(tǒng)是安全的。NIST網(wǎng)絡(luò)安全框架和風(fēng)險管理框架中的指南適用于此處。安全和韌性是相關(guān)但不同的特征。雖然韌性是指在發(fā)生意外不利事件后恢復(fù)正常功能的能力，但安全性包括韌性，還包括避免、防范、響應(yīng)或從攻擊中恢復(fù)的能力。

負(fù)責(zé)任和透明：在尋求對人工智能系統(tǒng)的結(jié)果負(fù)責(zé)時，應(yīng)考慮人工智能參與者的作用。與人工智能系統(tǒng)相關(guān)的風(fēng)險和責(zé)任關(guān)系在文化、法律、部門和社會背景中有著廣泛的不同。當(dāng)后果嚴(yán)重時，人工智能開發(fā)人員和部署人員應(yīng)考慮主動調(diào)整其透明度和問責(zé)制做法。同時，保持訓(xùn)練數(shù)據(jù)的來源并支持將人工智能系統(tǒng)的決策歸因于訓(xùn)練數(shù)據(jù)子集，可以有助于提高透明度和問責(zé)制。

可理解與可解釋性：缺乏可解釋性可以通過描述人工智能系統(tǒng)的功能來避免該風(fēng)險發(fā)生，并根據(jù)用戶的角色、知識和技能水平等個人差異進(jìn)行描述。透明度、可理解性和可解釋性是相互支持的不同特征。透明度可以回答系統(tǒng)中“發(fā)生了什么”的問題?？衫斫庑钥梢曰卮稹叭绾巍痹谙到y(tǒng)中做出決策的問題?？山忉屝钥梢曰卮鹣到y(tǒng)做出決策的“原因”及其對用戶的意義。

隱私增強：用數(shù)據(jù)最小化等人工智能的隱私增強技術(shù)，可以支持人工智能系統(tǒng)的隱私增強設(shè)計。當(dāng)然，在數(shù)據(jù)稀疏等特定條件下，隱私保護技術(shù)可能會導(dǎo)致準(zhǔn)確性的損失，從而影響某些領(lǐng)域中關(guān)于公平性和其他值的決策。

公平和有害偏見管理：NIST確定了需要考慮和管理的三大類人工智能偏見：系統(tǒng)性、計算和統(tǒng)計性、人類認(rèn)知性。偏見以多種形式存在，雖然偏見并不總是一種負(fù)面現(xiàn)象，但人工智能系統(tǒng)可能會因數(shù)據(jù)和算法而增加偏見的速度和規(guī)模，使對個人、群體、社會的傷害永久化和擴大化。偏見與社會中的透明度和公平觀念密切相關(guān)。

（四）有效性評估

AI框架要求組織和用戶定期開展有效性評估，涉及對政策、流程、實踐、實施計劃、指標(biāo)、度量和預(yù)期結(jié)果的定期評估，以確定其管理人工智能風(fēng)險的能力是否提高。NIST將與其他機構(gòu)合作制定評估AI框架有效性的指標(biāo)、方法和目標(biāo)，并廣泛分享成果信息。

通過有效性評估，用戶將得益于以下方面能力的增強：一是加強人工智能風(fēng)險的治理、映射、測量和管理流程，并清晰記錄結(jié)果；二是提高對可信度特征、社會技術(shù)方法和人工智能風(fēng)險之間的權(quán)衡；三是制定系統(tǒng)調(diào)試和部署應(yīng)用的明確流程；四是制定政策、職責(zé)、實踐和程序，以改善與人工智能系統(tǒng)風(fēng)險相關(guān)的組織問責(zé)工作；五是加強組織文化，優(yōu)先識別和管理人工智能系統(tǒng)風(fēng)險和潛在影響；六是在組織內(nèi)部和組織之間更好地共享信息，包括風(fēng)險、決策過程、責(zé)任、常見缺陷、TEVV實踐和持續(xù)改進(jìn)方法等；七是增強人工智能系統(tǒng)的TEVV和應(yīng)對相關(guān)風(fēng)險的能力。

三、框架核心功能

AI框架的另一個主要內(nèi)容就是介紹其4個核心功能，即治理、映射、測量和管理，以幫助組織在實踐中解決人工智能系統(tǒng)的風(fēng)險。這些功能進(jìn)一步細(xì)分為類別和子類別。其中，治理適用于組織人工智能風(fēng)險管理流程的所有階段，映射、測量和管理功能可應(yīng)用于人工智能系統(tǒng)特定環(huán)境和人工智能生命周期的特定階段。

（一）治理

治理是貫穿人工智能系統(tǒng)風(fēng)險管理全過程、與其他三項功能有交叉的基礎(chǔ)性功能，對治理的持續(xù)關(guān)注是對人工智能系統(tǒng)全生命周期實行有效風(fēng)險管理的內(nèi)在要求。強有力的治理可以推動和加強內(nèi)部實踐和規(guī)范，以促進(jìn)組織風(fēng)險管理。通過治理可以確定使命、目標(biāo)、價值觀、文化和風(fēng)險承受能力的總體政策；高級領(lǐng)導(dǎo)層為組織內(nèi)的風(fēng)險管理以及組織文化奠定基調(diào)；建立治理政策中描述的結(jié)構(gòu)、系統(tǒng)、流程和團隊；管理層將人工智能風(fēng)險管理的技術(shù)方面與政策和運營保持一致；文檔可以提高透明度，改進(jìn)人工審核流程，并加強人工智能系統(tǒng)團隊的問責(zé)制。

治理功能具體包括6個類別和19個子類。其中6個類別主要包括：一是與其他三項功能相關(guān)的政策、流程、程序和實踐均應(yīng)完善透明且有效實施；二是完善問責(zé)機制，便于相關(guān)人員獲得授權(quán)和培訓(xùn)，有效負(fù)責(zé)其他三項功能開展；三是優(yōu)先考慮團隊的多樣性、平等性、包容性和可訪問性；四是建設(shè)風(fēng)險警鐘長鳴的管理團隊，完善風(fēng)險信息交流共享；五是保持與人工智能系統(tǒng)用戶的密切聯(lián)系，跟蹤并及時反饋對社會和用戶的潛在影響；六是完善解決機制，及時處理由第三方軟件、數(shù)據(jù)、供應(yīng)鏈引發(fā)的風(fēng)險和潛在影響。

（二）映射

由于人工智能系統(tǒng)的全生命周期涉及眾多環(huán)節(jié)和參與人員，單一環(huán)節(jié)的負(fù)責(zé)人很難對最終結(jié)果和潛在影響進(jìn)行通盤考慮，這種復(fù)雜性和不可預(yù)見性為人工智能系統(tǒng)的風(fēng)險管理帶來了不確定性。映射功能通過整合來自不同內(nèi)部團隊的觀點以及與開發(fā)或部署人工智能系統(tǒng)的團隊人員的互動，收集外部合作者、最終用戶、潛在受影響社區(qū)等廣泛的觀點，構(gòu)建人工智能系統(tǒng)風(fēng)險管理的背景因素，幫助組織主動預(yù)防負(fù)面風(fēng)險。

完成映射功能，框架用戶應(yīng)具有關(guān)于人工智能系統(tǒng)影響的充分背景知識，以決策是否設(shè)計、開發(fā)和部署人工智能系統(tǒng)的初始決定。通過映射會獲得如下能力：提高理解人工智能應(yīng)用背景因素的能力；檢查對使用環(huán)境的假設(shè)；識別系統(tǒng)在其預(yù)期環(huán)境的功能；確定人工智能系統(tǒng)的積極和有益用途；提高對人工智能和機器學(xué)習(xí)流程局限性的理解；確定現(xiàn)實應(yīng)用中可能導(dǎo)致負(fù)面影響的約束條件；預(yù)測使用超出預(yù)期用途的人工智能系統(tǒng)的風(fēng)險。

映射功能具體包括5個類別和18個子類。其中5個類別主要包括：一是明確系統(tǒng)運行的相關(guān)背景因素和預(yù)期環(huán)境；二是進(jìn)行系統(tǒng)分類，明確人工智能系統(tǒng)支持的任務(wù)和具體方法；三是了解系統(tǒng)功能、目標(biāo)用途、成本收益等信息；四是將風(fēng)險和收益映射到系統(tǒng)的所有組件和環(huán)節(jié)，包括第三方軟件和數(shù)據(jù)；五是評估對個人、群體、組織、社會的潛在有益和有害影響。

（三）測量

測量是指采用定量、定性或混合工具，對人工智能系統(tǒng)的風(fēng)險和潛在影響進(jìn)行分析、評估、測試和控制。人工智能系統(tǒng)在部署前和運行中均應(yīng)當(dāng)定期測試，對系統(tǒng)功能和可信度的各個方面如實記錄。測量職能部門應(yīng)設(shè)置嚴(yán)格的軟件測試和性能評估要求，采取不確定性度量、性能基準(zhǔn)比較、結(jié)果記錄和正式報告等方式方法。此外，獨立審查可以提高測試的有效性，并可以減輕內(nèi)部因潛在利益沖突導(dǎo)致的偏見問題。

度量和測量方法應(yīng)遵循科學(xué)、法律和道德規(guī)范，并在公開和透明的過程中進(jìn)行。應(yīng)考慮不同測量類型為人工智能風(fēng)險評估提供有意義的信息的程度，開發(fā)新的定性和定量測量類型。通過測量功能實施，框架用戶將增強其綜合評估系統(tǒng)可信度、識別和跟蹤風(fēng)險，以及驗證度量有效性的能力。隨后，管理功能將利用測量結(jié)果來協(xié)助風(fēng)險監(jiān)測和風(fēng)險應(yīng)對工作。

測量功能包括4個類別和22個子類。其中4個類別主要包括：一是確定并采用適當(dāng)?shù)姆椒ê椭笜?biāo)，定期記錄、評估和更新；二是評估系統(tǒng)的可信性特征，涉及代表性、有效性、安全性、穩(wěn)健性和可持續(xù)性等；三是完善特定風(fēng)險識別跟蹤機制，有效處理現(xiàn)有的、未知的、緊急的各種風(fēng)險；四是定期評估和反饋測量功能的有效性，如實記錄相關(guān)信息和結(jié)果。

（四）管理

管理涉及對系統(tǒng)風(fēng)險因素的定期映射和測量，包括對事故和事件的響應(yīng)、補救和溝通，以減少系統(tǒng)故障和負(fù)面影響的可能性，并根據(jù)評估結(jié)果制定風(fēng)險優(yōu)先等級計劃、定期監(jiān)測和改進(jìn)計劃。通過管理功能實施，框架用戶增強了對人工智能系統(tǒng)風(fēng)險管理的能力，并有效配置風(fēng)險管理資源。隨著人工智能參與者的環(huán)境、背景、風(fēng)險和需求或期望的不斷變化，框架用戶有責(zé)任持續(xù)將管理功能應(yīng)用于已部署的人工智能系統(tǒng)。

管理功能包括4個類別和13個子類。其中4個類別主要包括：一是基于映射和測量功能的評估和分析結(jié)果，對系統(tǒng)風(fēng)險進(jìn)行判定、排序和響應(yīng)；二是制定實施最大化收益和最小化負(fù)面影響策略，明確風(fēng)險響應(yīng)步驟；三是有效管理來自第三方的風(fēng)險和收益，定期監(jiān)控記錄；四是完善風(fēng)險響應(yīng)和恢復(fù)機制，對已識別、可測量的系統(tǒng)風(fēng)險加強溝通交流和記錄監(jiān)控。

四、總結(jié)

美國NIST公布的《人工智能風(fēng)險管理框架》為人工智能治理和人工智能安全風(fēng)險管理提供了有益參考。AI框架給出了人工智能系統(tǒng)的定義，概述了可信賴人工智能系統(tǒng)的特征，明確了人工智能系統(tǒng)與傳統(tǒng)軟件相比新增的許多獨特風(fēng)險，重點探討人工智能相關(guān)風(fēng)險的梳理和框架構(gòu)建方法，詳細(xì)介紹了AI框架的“治理、映射、測量、管理”4個核心功能，為設(shè)計、開發(fā)、部署和使用人工智能系統(tǒng)的個人和組織提供指南，以幫助組織在實踐中認(rèn)識、管理人工智能系統(tǒng)的諸多風(fēng)險。

通過分析可得，此次正式發(fā)布的AI框架主要包括3個特點。一是AI框架并非強制性技術(shù)標(biāo)準(zhǔn)，強調(diào)自愿使用、支持創(chuàng)新與合作的原則。尤其在風(fēng)險度量、可信度權(quán)衡、框架有效性評估、框架配置文件等方面具有一定不確定性，NIST也明確愿意與相關(guān)方共同合作推進(jìn)框架應(yīng)用，以增強人工智能系統(tǒng)安全風(fēng)險管理。二是AI框架重視全局視角的風(fēng)險管理，包括人工智能系統(tǒng)全生命周期和人工智能全部參與者視角。強調(diào)全生命周期的6個階段4個關(guān)鍵維度和TEVV重點流程，指出成功的風(fēng)險管理需要人工智能參與者的集體責(zé)任感和不同學(xué)科、專業(yè)和經(jīng)驗的參與人的廣泛合作。三是AI框架給出了核心功能、類別和子類的詳細(xì)功能描述，能夠更好地指導(dǎo)風(fēng)險管理工作落地。AI框架主要介紹了“治理、映射、測量和管理”4個核心功能，明確了各核心功能之間的關(guān)系，并通過19個類別和72個子類進(jìn)行了詳細(xì)描述。

總之，人工智能逐漸在人類社會場景中發(fā)揮作用，其治理與安全仍然處于摸索階段。人工智能安全的法規(guī)、政策、標(biāo)準(zhǔn)是當(dāng)今世界各國關(guān)注的重點，也是實踐中亟待解決的關(guān)鍵問題，未來還有很長的路要走。