前言

從廣為人知的谷歌Deep Mind帶來的成就、商湯科技（SenseTime）的面部識別技術(shù)成果，到蘋果Siri或亞馬遜Alexa等無處不在的虛擬助理的出現(xiàn)，人工智能越來越多地出現(xiàn)在我們的日常生活中。人工智能帶來了諸多益處，包括從時間的節(jié)省到迄今為止未知醫(yī)療狀況的診斷等，但也引起了新的擔(dān)憂，如個人隱私問題和算法偏見。

在如此快速的技術(shù)進步和商業(yè)模式演變中，決策制定者和監(jiān)管者必須以同樣的方式接納技術(shù)的革新。本《人工智能監(jiān)管模式框架》（《模式框架》）源于新加坡的政策制定者和監(jiān)管者們努力尋找出一種一般性的人工智能監(jiān)管方法，以及一套與負責(zé)任的使用人工智能相關(guān)的一致定義和原則，從而為行業(yè)參與者提供更明確的前景，并促進人工智能被社會接受，同時確保能夠滿足監(jiān)管的要求。該《模式框架》改編自個人數(shù)據(jù)保護委員會（PDPC）于2018年6月發(fā)布的文件。

這一基于問責(zé)制的《模式框架》的第一版本，旨在圍繞以負責(zé)任的方式監(jiān)管人工智能所產(chǎn)生的挑戰(zhàn)和可能的解決方案展開討論。本《模式框架》的目標(biāo)是總結(jié)出一套基本原則，并圍繞關(guān)鍵的統(tǒng)一主題加以整理，并將它們編譯成易于理解和可適用的框架結(jié)構(gòu)，努力尋求為用戶提供以實際方式預(yù)測并最終克服這些潛在挑戰(zhàn)的方法。

該《模式框架》是新加坡所做的一次嘗試，試圖通過提供一個框架結(jié)構(gòu)以助力將倫理道德原則（ethicalprinciples）轉(zhuǎn)化為企業(yè)可采取的實際措施，為全球有關(guān)人工智能倫理的討論做出貢獻。該模式是在與來自不同背景和司法管轄區(qū)的學(xué)者、行業(yè)領(lǐng)袖和技術(shù)專家協(xié)商討論后制定的，而觀點的多樣性反映出PDPC、信息通信媒體發(fā)展局（IMDA）以及人工智能與數(shù)據(jù)使用倫理咨詢委員會以合作、包容的態(tài)度規(guī)劃新加坡人工智能生態(tài)系統(tǒng)的愿望。

在人工智能方面仍有很多問題有待解答，甚至有更大的疑問需要提出。本《模式框架》可能并不能給出所有問題的答案，但它代表了一個堅定的起步并且為所有人——個人與組織——提供了一個機會，即有效應(yīng)對與處理存在于基本理念與實際操作中的難題，而這有可能是決定未來幾年人工智能發(fā)展的關(guān)鍵所在。

——新加坡通訊和信息部長部長易華仁，2019年1月

一、序言

1.人工智能治理《模式框架》（《模式框架》）主要關(guān)注4個范圍較廣的領(lǐng)域：內(nèi)部治理、決策模型、運營管理以及客戶關(guān)系管理。雖然本《模式框架》不會受制于所追求的目標(biāo)，但它最終會受到形式、目的和有關(guān)范圍的實際考慮的限制。有鑒于此，有幾點附加說明需要注意，《模式框架》：

（1）不考慮算法（A lgorithm-agnostic）。它不關(guān)注特定的人工智能或者數(shù)據(jù)分析方法，它適用于一般人工智能的設(shè)計、應(yīng)用和使用；

（2）不考慮技術(shù)（Technology-agnostic）。它不專注于特定的系統(tǒng)、軟件和技術(shù)，并將適用于任何開發(fā)語言和數(shù)據(jù)存儲方法；

（3）不考慮部門（Sector-agnostic）。它作為一系列基準(zhǔn)性的考慮因素和措施供任何行業(yè)領(lǐng)域的組織機構(gòu)采用。特定的行業(yè)或者組織機構(gòu)可以選擇將額外的考慮因素和措施囊括在內(nèi)，或者調(diào)整這個基準(zhǔn)性的內(nèi)容以滿足他們的需求。

2.人們認(rèn)識到，以符合倫理的方式使用人工智能目前存在很多的問題。該《模式框架》并不關(guān)注這些具體的問題，這些問題通常在另外的研究和處理中能夠解決，這些問題包括：

（1）闡明人工智能的一系列倫理原則。在全球范圍內(nèi)，建立倫理原則的嘗試有很多。雖然倫理原則的核心內(nèi)容是一以貫之的，但文化、司法管轄區(qū)和行業(yè)部門之間也存在著差異。雖然本《模式框架》從現(xiàn)有文獻整理出一個術(shù)語表，但它并沒有另外再提出一組這樣的原則。

（2）提供《模式框架》并解決數(shù)據(jù)共享問題，無論是在公共部門和私營部門之間、組織機構(gòu)之間還是在企業(yè)內(nèi)部。目前針對該問題存在許多相關(guān)指南，包括《PDPC數(shù)據(jù)共享指南》和《為數(shù)據(jù)共享的數(shù)據(jù)評估指南》。

（3）討論與人工智能相關(guān)的法律責(zé)任、人工智能的知識產(chǎn)權(quán)和社會影響等相關(guān)問題，例如：就業(yè)、競爭、不同社會階層獲取人工智能產(chǎn)品和服務(wù)的不平等、人工智能技術(shù)落入錯誤的人手中等。這些問題無疑具有相關(guān)性，并且將通過新加坡管理大學(xué)法學(xué)院或其他相關(guān)論壇設(shè)立的人工智能和數(shù)據(jù)治理中心進行分別研究。

二、引言

目標(biāo)

1.數(shù)據(jù)和計算能力的飛速增長（exponentialgrow th）推動了諸如人工智能（AI）等由數(shù)據(jù)驅(qū)動的技術(shù)的進步。組織機構(gòu)可以用人工智能來提供新的商品和服務(wù)，提高生產(chǎn)力，增強競爭力，最終推動經(jīng)濟的增長并提高生活品質(zhì)。然而與任何新的技術(shù)一樣，人工智能也帶來了新的倫理、法律和監(jiān)管方面的挑戰(zhàn)。這其中包括因無意造成的歧視導(dǎo)致不公平的結(jié)果而引發(fā)的風(fēng)險，以及消費者想要了解人工智能是如何參與與之相關(guān)的重大決策或敏感問題的決策所產(chǎn)生的問題。

2.個人數(shù)據(jù)保護委員會（PDPC）、信息通信媒體發(fā)展局（IMDA）在人工智能與數(shù)據(jù)使用倫理咨詢委員會（Advisory Councilon the EthicalUseofAIand Data）的建議下，制定本性質(zhì)上是自愿簽署的、目前為第一版的《模式框架》，將其作為一個通用的、即拿即用的工具，以使得正在大規(guī)模部署人工智能解決方案的組織機構(gòu)能夠采用負責(zé)任的方式進行。此《模式框架》不適用于部署已經(jīng)更新的、現(xiàn)成的商業(yè)化軟件包的組織機構(gòu)，這些軟件包現(xiàn)在恰好將人工智能納入其功能的集合中。

3.這一自愿的《模式框架》為需要考慮的關(guān)鍵問題和可采取的措施提供指導(dǎo)。采用這種《模式框架》需要調(diào)整措施以解決正在執(zhí)行該措施的組織機構(gòu)面臨的問題?！赌Ｊ娇蚣堋分荚趲椭M織機構(gòu)實現(xiàn)下列目標(biāo)：

（1）通過組織機構(gòu)以負責(zé)的態(tài)度使用此類技術(shù)，減輕人工智能發(fā)展中的各種風(fēng)險，建立消費者對人工智能的信心。

（2）盡己所能使內(nèi)部政策、框架結(jié)構(gòu)和程序與數(shù)據(jù)管理和保護中以問責(zé)制為基礎(chǔ)的相關(guān)實踐保持一致，例如《個人數(shù)據(jù)保護法》（PersonalData Protection Act,2012）和經(jīng)合組織隱私保護原則（OECD Privacy Principles）。

4.組織機構(gòu)采納該《模式框架》中的建議的程度取決于幾個因素，包括組織機構(gòu)使用的人工智能的性質(zhì)和復(fù)雜程度；人工智能在組織機構(gòu)所做決策中的參與程度；以及自主決策對于個體造成傷害的嚴(yán)重程度與可能性。詳細說明如下：人工智能可以用來增強人類決策者的能力或者自主作出決策，例如醫(yī)療診斷中的自主決策對個體的影響要大于處理銀行貸款時自主決策對個體的影響。因此人工智能發(fā)展的商業(yè)風(fēng)險將與對個人的影響成正比。人們還認(rèn)識到，以合乎倫理道德的方式實施人工智能技術(shù)的情況下，如果其成本將超過預(yù)期收益，那么組織機構(gòu)應(yīng)當(dāng)考慮是否應(yīng)當(dāng)采用其他非人工智能解決方案。

指導(dǎo)原則

5.本《模式框架》建立在兩個能夠促進對于人工智能的信賴，以及了解人工智能技術(shù)的使用方面的高級指導(dǎo)原則之上：

（1）在做出決策的過程中使用人工智能的組織機構(gòu)應(yīng)當(dāng)確保決策過程是可解釋的、透明的和公平的。盡管不可能實現(xiàn)完全的可解釋性、透明度以及公平性，但組織機構(gòu)仍應(yīng)努力確保其對人工智能的使用和應(yīng)用方式能夠反映這些原則意圖達成的目標(biāo)。這有助于建立對人工智能的信賴和信心。

（2）人工智能解決方案應(yīng)當(dāng)以人類為中心，由于人工智能的使用是用來增強人類的能力的，因此在設(shè)計、研發(fā)和部署人工智能時應(yīng)當(dāng)首先考慮保護人類的利益，包括人類的福祉與安全。

6.人工智能技術(shù)融入了一系列旨在提高人類生產(chǎn)力的科技。與早期的技術(shù)不同，某些與自主預(yù)測有關(guān)的方面可能無法完全得到解釋。依賴人工智能自主預(yù)測進而做出可能影響到個體的或者對社會、市場與或經(jīng)濟有重大影響的決定的組織機構(gòu)，應(yīng)當(dāng)使用本《模式框架》。

7.當(dāng)組織機構(gòu)開始著手在其工序中大規(guī)模部署人工智能，或者使用人工智能提高其產(chǎn)品和/或服務(wù)時，應(yīng)當(dāng)詳細制定一套倫理道德原則。組織機構(gòu)還應(yīng)當(dāng)盡可能審查其現(xiàn)有的企業(yè)價值觀，并將其制定的倫理道德原則納入其中。該《模式框架》旨在通過將倫理道德原則納入熟悉的、預(yù)先制定的公司治理結(jié)構(gòu)中來幫助組織機構(gòu)，并因此指導(dǎo)組織機構(gòu)使用人工智能技術(shù)。在必要時，組織機構(gòu)可參考本《模式框架》末尾的人工智能倫理價值術(shù)語表（見附件B）。

責(zé)任承擔(dān)

8.《模式框架》的目的是在總體上討論運行良好的數(shù)據(jù)治理實踐。相比于純粹的決策樹驅(qū)動（pure decision tree driven）的人工智能模型或者建立在小數(shù)據(jù)集基礎(chǔ)上的人工智方法（例如傳輸學(xué)習(xí)或合成數(shù)據(jù)的使用），它更適用于大數(shù)據(jù)人工智能模型。

9.該《模式框架》不能解決嚴(yán)重依賴人工智能的組織機構(gòu)在受到網(wǎng)絡(luò)攻擊導(dǎo)致災(zāi)難性失敗時的風(fēng)險。無論是否使用人工智能技術(shù)，組織機構(gòu)仍有責(zé)任確保其產(chǎn)品和服務(wù)的可用性、可靠性、質(zhì)量和安全性符合要求。

10.采用這一自愿的《模式框架》并不能免除組織機構(gòu)遵守現(xiàn)行法律法規(guī)的責(zé)任。然而，由于這是一個基于問責(zé)制的框架，采用它將有助于證明他們在數(shù)據(jù)管理和保護方面實施了基于問責(zé)制的措施，例如《個人數(shù)據(jù)保護法》（2012年）和經(jīng)合組織隱私保護原則（中規(guī)定的要求）。

定義

11.以下簡化圖描述了《模式框架》中所討論的、人工智能適用過程中的關(guān)鍵利益相關(guān)者：

12.人工智能使用中的一些術(shù)語可能根據(jù)上下文和用途的不同而有不同的定義。本《模式框架》中所使用的一些關(guān)鍵術(shù)語定義如下：

“人工智能（AI）”（Artificial Intelligence）指的是一系列努力尋求模仿人類特征的技術(shù)，例如理解、推理、解決問題、感知、學(xué)習(xí)和規(guī)劃。人工智能技術(shù)依靠人工智能算法生成模型。最合適的模型將被選出并應(yīng)用于生產(chǎn)系統(tǒng)。

“人工智能解決方案提供商”（AISolution Providers）研發(fā)利用人工智能技術(shù)的人工智能解決方案或應(yīng)用系統(tǒng)。這不僅包括商業(yè)化的現(xiàn)成產(chǎn)品、在線服務(wù)、移動應(yīng)用程序和消費者可以直接使用的其他軟件，還包括“企業(yè)對企業(yè)對消費者”（business-to-business-toconsumer）的應(yīng)用程序，例如出售給金融機構(gòu)的人工智能欺詐檢測軟件。他們還包括將人工智能功能組合到其產(chǎn)品上的裝備制造商，以及那些解決方案并非獨立、而是要組合在最終產(chǎn)品上的設(shè)備制造商。一些組織機構(gòu)開發(fā)出了自己的人工智能解決方案，并可以成為自己的解決方案提供商。

“組織機構(gòu)”（organizations）指的是在其業(yè)務(wù)中采用或者部署人工智能解決方案的公司或者其他實體，例如后臺操作（例如處理貸款申請），前臺服務(wù)（如電子商務(wù)門戶或叫車服務(wù)應(yīng)用程序），或者是銷售或分銷提供人工智能驅(qū)動特征的設(shè)備（例如智能家用電器）。

“個體”（individuals），根據(jù)上下文，指的是打算向其提供人工智能產(chǎn)品和/或服務(wù)的人員，或已經(jīng)購買人工智能產(chǎn)品和/或服務(wù)的人員。這些人也可能被稱為“消費者”或者“客戶”。

三、人工智能治理模式框架

1.本《模式框架》涵蓋了能夠幫助組織機構(gòu)在下列關(guān)鍵領(lǐng)域以負責(zé)任的方式使用人工智能的指導(dǎo)：

（1）內(nèi)部治理結(jié)構(gòu)和措施：調(diào)整現(xiàn)有的或建立新的內(nèi)部治理結(jié)構(gòu)和措施，以納入與算法決策相關(guān)的價值觀念、風(fēng)險管控和責(zé)任承擔(dān)方式。

（2）確定人工智能決策模型：幫助組織機構(gòu)確定其風(fēng)險承受意愿（risk appetite）的方法，即幫助組織機構(gòu)識別它能夠接受的風(fēng)險并為實施人工智能確定合適的決策模型。

（3）運營管理：在開發(fā)、選擇和維護人工智能模型時需要考慮的問題，包括數(shù)據(jù)管理。

（4）客戶關(guān)系管理：與消費者和客戶溝通的策略，以及管理與他們之間的關(guān)系。

2.在本框架模式中只有部分要素可以采用的情況下，組織機構(gòu)應(yīng)當(dāng)采用與之相關(guān)的要素。附件C說明了組織機構(gòu)可以采用該《模式框架》的方法。

內(nèi)部治理結(jié)構(gòu)和措施

3.組織機構(gòu)應(yīng)當(dāng)建立內(nèi)部治理結(jié)構(gòu)和措施，以確保對人工智能的使用進行有力的監(jiān)督。組織機構(gòu)可以調(diào)整現(xiàn)有的內(nèi)部治理結(jié)構(gòu)，和/或在必要時采納新的治理結(jié)構(gòu)。例如使用人工智能的相關(guān)風(fēng)險可以在企業(yè)風(fēng)險管理結(jié)構(gòu)中進行管理；對于倫理道德的考慮可以作為企業(yè)價值觀加以引入，并通過道德審查委員會或者類似機構(gòu)進行管理。組織機構(gòu)還應(yīng)當(dāng)確定其內(nèi)部治理結(jié)構(gòu)符合適當(dāng)?shù)奶卣?。例如，?dāng)完全依賴集中治理機制的模式并非最佳的選擇時，在必要的情況下則可以以非集中治理機制將有關(guān)倫理道德的考慮因素納入運營層面的日常決策中。在這方面，組織機構(gòu)的最高管理層及其董事會對人工智能治理的贊助、支持和參與至關(guān)重要。

4.組織機構(gòu)應(yīng)當(dāng)在其內(nèi)部治理結(jié)構(gòu)中包含以下部分或全部的特征：

（1）明確以符合倫理道德的方式部署人工智能的角色和責(zé)任

a.人工智能部署所涉及的各個階段和活動的責(zé)任承擔(dān)以及監(jiān)督機制應(yīng)授予合適的人員和/或部門，在有必要且有可能的情況下，可以建立一個擁有相關(guān)專業(yè)知識和適當(dāng)代表性的協(xié)調(diào)機構(gòu)。

b.承擔(dān)人工智能內(nèi)部監(jiān)管職能的員工和/或部門應(yīng)當(dāng)充分了解他們的角色和責(zé)任，接受一定的培訓(xùn)并能夠獲得履行其職責(zé)所需的資源和指導(dǎo)。

c.應(yīng)當(dāng)分派的關(guān)鍵角色和職責(zé)包括：

i.使用現(xiàn)有的所有風(fēng)險管理框架，并將風(fēng)險控制措施（見下文“風(fēng)險管理和內(nèi)部控制”）應(yīng)用于：

·評估并管控部署人工智能所產(chǎn)生的風(fēng)險（包括對個人的任何潛在不利影響，例如誰是最脆弱的，他們將受到的影響如何，如何評估所產(chǎn)生的影響的規(guī)模，如何從受影響的人那里獲得反饋等）。

·決定適當(dāng)?shù)娜斯ぶ悄軟Q策制定模型。

·管理人工智能模型的培訓(xùn)和選擇過程。

ii.維護、監(jiān)測和審查已經(jīng)部署的人工智能模型，以便在需要時采取補救措施。

iii.審查與消費者和客戶的溝通渠道和相互間的互動，以提供公開的信息和有效的反饋渠道。

iv.確保處理人工智能系統(tǒng)的相關(guān)人員接受有關(guān)解釋人工智能模型輸出結(jié)果和作出決策的培訓(xùn)。

（2）風(fēng)險管理和內(nèi)部控制

a.應(yīng)建立一套完善的風(fēng)險管理和內(nèi)部控制系統(tǒng)，特別是針對所選人工智能模型部署過程中涉及的風(fēng)險。

b.這些措施包括：

i.盡最大努力確保用于人工智能模型訓(xùn)練的數(shù)據(jù)集足以達到預(yù)期目的，評估并管控由不準(zhǔn)確信息或者含有偏差的信息導(dǎo)致的風(fēng)險，以及審查人工智能模型的訓(xùn)練期間發(fā)現(xiàn)的異常情況。實際上，完全沒有偏差的數(shù)據(jù)集是不存在的，組織機構(gòu)應(yīng)當(dāng)努力了解數(shù)據(jù)集可能存在偏差的方式，并在其安保措施和部署策略中解決這一問題。

ii.建立監(jiān)測和報告系統(tǒng)以及相關(guān)流程，以確保相應(yīng)的管理層了解已部署人工智能的性能和其他相關(guān)問題。情況合適時，可以將自主監(jiān)測納入人類監(jiān)督活動以擴大有效監(jiān)督的范圍?？梢詫θ斯ぶ悄苣Ｐ瓦M行設(shè)計，使它能夠在可信賴的水平度以上報告其預(yù)測結(jié)果，而可解釋性特征則專注于人工智能模型為何能夠具備某一確定的可信度水平，而非作出預(yù)測結(jié)果的原因。

iii.當(dāng)人工智能活動中涉及到的關(guān)鍵人員發(fā)生變化時，應(yīng)確保對人工智能活動的熟悉程度不會改變，這將降低因員工流動造成的內(nèi)部治理脫節(jié)的風(fēng)險。

iv.當(dāng)組織結(jié)構(gòu)或關(guān)鍵人員發(fā)生重大變化時，應(yīng)審查內(nèi)部治理結(jié)構(gòu)和措施。

v.定期審查內(nèi)部治理結(jié)構(gòu)和措施，以確保其始終保持相關(guān)性和有效性。

確定人工智能決策模型

5.在部署人工智能解決方案之前，組織機構(gòu)應(yīng)決定其使用人工智能的商業(yè)目標(biāo)，例如為了確保決策的一致性、提高運營效率和降低成本，或引入具備新功能的新產(chǎn)品以增加消費者的選擇余地。接下來組織機構(gòu)可以將能夠帶來的收益與在決策中使用人工智能的風(fēng)險相權(quán)衡。這一評估應(yīng)以企業(yè)的價值觀作為指導(dǎo)，而該價值觀反過來又能反映組織機構(gòu)所在地區(qū)的社會規(guī)范。

6.在多個國家開展業(yè)務(wù)的組織機構(gòu)應(yīng)盡可能考慮社會規(guī)范和價值觀的差異，例如某個游戲廣告在某一國家是可以被接受的，但是在另一個國家卻不被接受。即使是在一個國家，風(fēng)險也能因為人工智能部署的領(lǐng)域、行業(yè)不同而有所差異。例如，與網(wǎng)上購物中心推廣產(chǎn)品或與自動批準(zhǔn)旅游保險在線申請有關(guān)的推薦引擎對涉及到的個體造成的風(fēng)險，可能要比向經(jīng)驗豐富的投資者提供算法交易設(shè)備推薦引擎更低。

7.對個體造成的風(fēng)險有可能只在群體層面顯現(xiàn)。例如，應(yīng)用廣泛的股票推薦算法可能會導(dǎo)致“羊群行為”（herding behaviour），如果有足夠多的人同時作出類似決定則會增加市場整體上的波動性。除了針對個人的風(fēng)險外，還可以識別其他類型的風(fēng)險，例如對組織機構(gòu)商業(yè)名譽產(chǎn)生的風(fēng)險。

8.組織機構(gòu)對其商業(yè)目標(biāo)與使用人工智能產(chǎn)生的風(fēng)險之間的權(quán)衡應(yīng)以企業(yè)價值觀為指導(dǎo)。組織機構(gòu)可以評估預(yù)期的人工智能部署和用于算法決策的所選模型是否與自己的核心價值觀相一致。對所出現(xiàn)的矛盾情況和所造成的偏差，應(yīng)當(dāng)由相關(guān)的組織機構(gòu)根據(jù)明確的概念、有證明力的基本原理，以有意識的方式加以解決。

9.由于確定商業(yè)目標(biāo)、識別風(fēng)險和選擇合適的決策模型是一個反復(fù)且持續(xù)的過程，組織結(jié)構(gòu)應(yīng)不斷地識別和審查與其技術(shù)解決方案相關(guān)的風(fēng)險，并降低這些風(fēng)險，并在風(fēng)險控制失敗時保有反應(yīng)能力。通過定期審查風(fēng)險影響評估并對此過程進行記錄，有助于組織機構(gòu)提高使用人工智能解決方案的清晰度和信心，它還將幫助組織機構(gòu)應(yīng)對來自個人、其他組織或企業(yè)和監(jiān)管機構(gòu)的潛在挑戰(zhàn)。

10.基于上述風(fēng)險控制措施，本《模式框架》提供了3種決策模型，在決策過程中3者存在不同程度的人類監(jiān)督：

（1）人類參與其中（human-in-the-loop）。該模式建議人類積極開展監(jiān)督活動并且參與到?jīng)Q策制定過程中，人類保持著完全的控制力并且人工智能只是用來提供建議或者輸入數(shù)據(jù)。如果沒有人類積極的行動就不可能執(zhí)行命令，就如同人類命令人工智能執(zhí)行某個決定。例如，醫(yī)生可以使用人工智能識別某個不常見的醫(yī)療情況并提供治療方案，然而還是由醫(yī)生對診斷以及相應(yīng)的治療做出最終決定。該模式要求人工智能提供足夠的信息以便幫助人類做出明智的抉擇。（例如做決策時所考慮的因素，其價值、權(quán)重以及相關(guān)性）。

（2）人類并不干涉（human-out-of-loop）。該模式表明人工智能決策的過程人類并不進行監(jiān)督。人工智能擁有完全的控制權(quán)，無需人類的手動控制（override）。例如，一個用于推薦產(chǎn)品的解決方案可以根據(jù)預(yù)先確定的人口統(tǒng)計學(xué)結(jié)果和行為特征自動向個人推薦產(chǎn)品和服務(wù)，而不是依賴預(yù)先確定的類別。航空公司也可以使用機器學(xué)習(xí)模型來預(yù)測需求量或可能存在的某個缺陷。方案解決模塊可以使用該模型的輸出內(nèi)容對航空公司的飛行安排進行優(yōu)化，而無需人類參與。

（3）人類進行監(jiān)督（human-over-the-loop）。該模式允許人類在算法的執(zhí)行期間調(diào)整參數(shù)。例如，利用導(dǎo)航軟件得出從a點到b點的路線時，它為駕駛員提供了幾個可能的路線以供選擇。駕駛員可以在行程中更改參數(shù)（例如在不可預(yù)見的道路擁堵情況下），而無需重新規(guī)劃路線。

11.本《模式框架》也提供了一個模型，用于將組織機構(gòu)做出的決定可能對個體造成傷害的概率和嚴(yán)重程度進行分類。傷害的定義、概率和嚴(yán)重程度的估算取決于所適用的情況，并因行業(yè)領(lǐng)域不同而相區(qū)別。例如，對患者所處醫(yī)療狀況的診斷出現(xiàn)錯誤所造成的傷害就不同于錯誤的推薦了衣物服飾造成的傷害。

12.在確定采用了人工智能技術(shù)的組織機構(gòu)其決策制定過程中人類監(jiān)督級別的問題時，組織機構(gòu)應(yīng)考慮使用可能造成傷害的模型所做出的決策將對個體造成的影響程度。在此基礎(chǔ)上，組織機構(gòu)應(yīng)確定在決策制定時人類對其監(jiān)督所需要的級別。至于那些對安全至關(guān)重要的系統(tǒng)而言，組織機構(gòu)應(yīng)當(dāng)確保在人工智能提供充分信息以幫助個人做出有意義的決定時，或在無法控制整個系統(tǒng)的情況下將其關(guān)閉時，個人能掌握控制權(quán)。

說明：

一家在線零售店希望利用人工智能技術(shù)，根據(jù)個人的瀏覽記錄和購買歷史，將自己生產(chǎn)的食品推薦給他們。自動化技術(shù)將滿足組織機構(gòu)提高運營效率的商業(yè)目標(biāo)。

造成傷害的概率評估：“傷害”在某種情況下可以指在推薦產(chǎn)品時因不能滿足受眾的需求所造成的影響。向個人推薦錯誤產(chǎn)品造成損害的嚴(yán)重性可能比較低，因為最終是否購買的決定權(quán)掌握在個人自己手中。根據(jù)人工智能解決方案的效率和有效性，造成傷害的概率可高可低。

決策過程中人為干預(yù)程度：考慮到造成損害的嚴(yán)重程度比較低，經(jīng)過評估之后可以選擇一種不需要人為干預(yù)的方法，因此，可以采用“不干涉”模式（human-out-of-the loop）。

定期審查：隨著社會規(guī)范和價值觀的發(fā)展，組織機構(gòu)可以采用定期審查這種方式評估造成損害的嚴(yán)重程度。例如，某種用于推薦產(chǎn)品的解決方案可能會持續(xù)地向某人推銷含糖飲料。隨著人們對糖尿病的擔(dān)憂加劇，該組織機構(gòu)應(yīng)考慮對其模型進行微調(diào)，以減少對含糖飲料的推薦。

注意：這只是就如何使用明確的規(guī)范和價值觀的簡單說明。組織機構(gòu)可以利用更具有挑戰(zhàn)性和復(fù)雜的倫理道德難題來測試這種確定人工智能決策模型的方法。

運營管理

13.該《模式框架》使用下述圖表所示的一般性的人工智能部署過程來講解組織機構(gòu)部署人工智能解決方案的各個階段。組織機構(gòu)應(yīng)當(dāng)意識到人工智能的部署過程不總是單向的；它是一個持續(xù)的學(xué)習(xí)過程。

14.在部署的過程中，可使用決策樹或神經(jīng)網(wǎng)絡(luò)等算法對用于訓(xùn)練的數(shù)據(jù)集進行分析。應(yīng)當(dāng)對合成后的算法進行檢查并對算法進行更新?lián)Q代，直到出現(xiàn)一個能為所應(yīng)用的案例生產(chǎn)出最有用結(jié)果的模型。然后將該模型及其產(chǎn)品合并到應(yīng)用程序中，以提供預(yù)測、做決策以及觸發(fā)行動。在數(shù)據(jù)和算法/模型之間的緊密交互關(guān)系是本《模式框架》這一部分的重點。

用于模型開發(fā)的數(shù)據(jù)

15.用于模型建構(gòu)的數(shù)據(jù)集的來源可能不同，數(shù)據(jù)的質(zhì)量和選擇對于人工智能解決方案的成功至關(guān)重要。如果模型是使用的有偏見的、不準(zhǔn)確的或者不具有代表性的數(shù)據(jù)構(gòu)建的，那么模型造成無意間歧視性決策的風(fēng)險將會增加。

16.參與培訓(xùn)和選擇部署模型的人員可以是內(nèi)部員工或外部服務(wù)提供商。在智能系統(tǒng)中部署模型時應(yīng)該有一個組織機構(gòu)內(nèi)部的部門負責(zé)人，并由他決定要部署哪些模型。為確保人工智能解決方案的有效性，組織機構(gòu)內(nèi)部對數(shù)據(jù)質(zhì)量、模型訓(xùn)練和模型選擇負有責(zé)任的相關(guān)部門必須共同努力，制定完備的數(shù)據(jù)問責(zé)制措施。這些可能包括以下內(nèi)容：

a.了解數(shù)據(jù)的來龍去脈。這意味著需要知道數(shù)據(jù)的原始出處，它是如何由組織機構(gòu)收集、組織、移動的，以及如何保證它在一段時間內(nèi)的準(zhǔn)確性。直觀地展示數(shù)據(jù)的來龍去脈可以追蹤數(shù)據(jù)是如何從源頭轉(zhuǎn)移到目的地、整個過程數(shù)據(jù)是如何被轉(zhuǎn)換、數(shù)據(jù)在何處與其他數(shù)據(jù)相交互以及其表現(xiàn)形式是如何變化的。數(shù)據(jù)的沿襲有3種類型：

i.回溯式數(shù)據(jù)沿襲，從數(shù)據(jù)的最終使用之處往前回溯，一直到數(shù)據(jù)的源頭。

ii.前進式數(shù)據(jù)沿襲，從數(shù)據(jù)的源頭往前查看，一直到最終使用之處。

iii.端到端數(shù)據(jù)沿襲，將數(shù)據(jù)源頭與最終使用之處相連接，以整體上觀察的方式從數(shù)據(jù)源頭直到數(shù)據(jù)最終使用，再從數(shù)據(jù)最終使用到數(shù)據(jù)源頭。

保存數(shù)據(jù)的來源記錄并允許組織機構(gòu)根據(jù)數(shù)據(jù)的來源和隨后的傳輸來確定數(shù)據(jù)的質(zhì)量，追蹤潛在的錯誤源，更新數(shù)據(jù)并歸入其源頭中。本《模式框架》意識到在某些情況下，數(shù)據(jù)的來源可能難以確定，例如從可信賴的第三方獲取的數(shù)據(jù)集，該第三方有可能混合了來自多個源頭的數(shù)據(jù)。組織機構(gòu)應(yīng)評估使用此類數(shù)據(jù)的風(fēng)險并據(jù)此進行管理。

b.保證數(shù)據(jù)的質(zhì)量。這意味著了解并解決可能影響數(shù)據(jù)質(zhì)量的因素，例如：

i.數(shù)據(jù)集的精確性，即數(shù)據(jù)集的價值與數(shù)據(jù)集所描述的價值的真實特征的匹配程度。

ii.數(shù)據(jù)集的完整性，包括數(shù)據(jù)的屬性和項目。

iii.數(shù)據(jù)集的準(zhǔn)確性，指的是數(shù)據(jù)的可信度，包括數(shù)據(jù)來源是否可靠。

iv.數(shù)據(jù)在近期如何被編譯或更新。

v.數(shù)據(jù)集的相關(guān)性和數(shù)據(jù)收集的背景，因為它可能會影響到對數(shù)據(jù)的解釋和對預(yù)期目的的依賴。

vi.從多個數(shù)據(jù)集整合的數(shù)據(jù)集的完整性，這指的是數(shù)據(jù)提取和轉(zhuǎn)換的執(zhí)行情況。

vii.數(shù)據(jù)集的可用性，包括數(shù)據(jù)集在一個機器可理解的形式中的組織情況。

viii.人為干涉的情況，例如是否存在人為過濾、貼標(biāo)簽、編輯數(shù)據(jù)的行為。

c.盡量減少固有偏差。本《模式框架》意識到，有關(guān)人工智能目前存在許多類型的偏差。本《模式框架》著重于數(shù)據(jù)集中固有的偏差，而這將導(dǎo)致并不希望看到的結(jié)果，如無意間的歧視性決策。組織機構(gòu)應(yīng)當(dāng)意識到，他們提供給人工智能系統(tǒng)的數(shù)據(jù)有可能存在固有偏差，因此應(yīng)當(dāng)采取措施減輕這種偏差。數(shù)據(jù)中的兩種常見的偏差包括：

i.選擇偏差。當(dāng)用于生成模型的數(shù)據(jù)并不能完全代表模型可能接收的真實數(shù)據(jù)或可能運行的實際環(huán)境時，就會出現(xiàn)這種偏差。數(shù)據(jù)集中的選擇偏差的常見例子為遺漏偏差（omission bias）和固有模式偏差（stereotypebias）。遺漏偏差指的是數(shù)據(jù)集中某些特征的遺漏，例如，如果將亞洲人臉數(shù)據(jù)集用于非亞洲人的人臉面部識別，則該數(shù)據(jù)集將會顯示遺漏偏差。在工作日，中央商務(wù)區(qū)內(nèi)的車輛類型數(shù)據(jù)集可能顯示出偏向于汽車、公共汽車和摩托車而非自行車，但如果用于模擬新加坡可用的交通類型，則會形成固有模式偏差。

ii.測量偏差。當(dāng)數(shù)據(jù)收集設(shè)備導(dǎo)致數(shù)據(jù)系統(tǒng)性地向某一特定方向偏斜時，就會產(chǎn)生此種偏差。例如，用于訓(xùn)練的數(shù)據(jù)有可能是通過一個關(guān)閉了彩色濾鏡片的相機獲得的，而這將歪曲機器學(xué)習(xí)結(jié)果。

識別并解決數(shù)據(jù)集中的固有偏差并不是件易事。降低固有偏差造成的風(fēng)險的方法之一是使用混雜數(shù)據(jù)集，即從各種各樣可靠的來源中收集數(shù)據(jù)。另一種方法是從數(shù)據(jù)屬性和數(shù)據(jù)條目的角度保證數(shù)據(jù)集盡可能的完整。過早地將數(shù)據(jù)屬性移除會使識別和解決固有偏差變得更加困難。

d.用不同的數(shù)據(jù)集進行訓(xùn)練、測試和驗證。在訓(xùn)練、測試和驗證過程中需要用到不同的數(shù)據(jù)集。通過訓(xùn)練數(shù)據(jù)對模型加以訓(xùn)練，而模型的精確度取決于所使用的測試數(shù)據(jù)。在可得適用的情況下，還可以通過使用不同的人口統(tǒng)計學(xué)小組對模型進行測試來觀察是否有某個小組被系統(tǒng)性地增強或減弱，以檢測任何存在的系統(tǒng)性偏差。最后，可以使用驗證數(shù)據(jù)集來驗證經(jīng)過訓(xùn)練的模型。出于此目的，將一個大數(shù)據(jù)集拆分為數(shù)個子集是比較好的做法。但如果組織機構(gòu)不使用大數(shù)據(jù)集的人工智能模型進行操作，或者使用預(yù)訓(xùn)練模型（如學(xué)習(xí)遷移，transfer learning），則不可能做到這一點，組織機構(gòu)應(yīng)當(dāng)認(rèn)識到系統(tǒng)性偏差的風(fēng)險并采取適當(dāng)?shù)谋Ｕ洗胧?/p>

e.定期審查并升級數(shù)據(jù)集。包括用于訓(xùn)練、測試和驗證的數(shù)據(jù)集應(yīng)當(dāng)進行定期檢查以保證精確度、質(zhì)量、通用性、相關(guān)性和可靠性。在必要時，應(yīng)使用在生產(chǎn)中部署的人工智能模型在實際使用中獲取的數(shù)據(jù)，將這些新數(shù)據(jù)輸入到數(shù)據(jù)集中進行更新。當(dāng)使用這種新的輸入數(shù)據(jù)時，組織機構(gòu)需要注意到可能產(chǎn)生潛在的偏差的情況，畢竟使用已經(jīng)在模型中使用過的數(shù)據(jù)有可能產(chǎn)生更強的偏差。

算法與模型

17.組織機構(gòu)應(yīng)通過可解釋性、可重復(fù)性和可追溯性概念來尋找能夠提高人工智能模式算法透明度的措施。在人工解決方案中部署的算法，如果能夠解釋清楚它是如何工作的以及如何得出某一特定的預(yù)測，那么就可以說它是具備可解釋性的。能夠解釋人工智能所做預(yù)測的目的，是為了增強理解和加深信任。部署人工智能解決方案的組織機構(gòu)還應(yīng)當(dāng)將解決方案的設(shè)計和預(yù)期行為的解釋說明納入到其產(chǎn)品或服務(wù)的解釋說明中，以向個體和/或監(jiān)管機構(gòu)證明自身的可問責(zé)性（accountability）。這也可能包括與為什么選擇這些特征、屬性或模型而非其他特征、屬性或模型相關(guān)的設(shè)計決定。在必要時，組織機構(gòu)應(yīng)向人工智能解決方案提供商請求幫助，因為他們可能更適合解釋解決方案是如何發(fā)揮作用的。

18.本《模式框架》規(guī)定，可解釋的人工智能可以通過對已部署的人工智能模型的算法功能和/或決策制定程序是如何與模型預(yù)測相結(jié)合來實現(xiàn)。遵循本《模式框架》的組織機構(gòu)可根據(jù)預(yù)期接受者（例如個人、其他企業(yè)或組織以及監(jiān)管機構(gòu)）的技術(shù)成熟度以及所使用的人工智能解決方案類型（例如統(tǒng)計模型）在解釋中提供不同程度的詳細信息。

19.模型的訓(xùn)練與選擇是研發(fā)智能系統(tǒng)（包含人工智能技術(shù)的系統(tǒng)）的必要條件。使用人工智能系統(tǒng)的組織機構(gòu)應(yīng)當(dāng)記錄模型的訓(xùn)練和選擇過程是如何進行的、作出決策的原因以及為解決已識別風(fēng)險而采取的措施。“機器自主學(xué)習(xí)”（Auto-Machine Learning）領(lǐng)域的目標(biāo)是旨在將探索最佳模型的過程（和其他目標(biāo)變量如訓(xùn)練程序）自動化。使用這些工具的組織機構(gòu)應(yīng)考慮高級別算法以及所選子模型的透明度、可解釋性和可追溯性。算法審計也可以在某些特定情況下進行（見附錄A）。

20.值得注意的，技術(shù)的可解釋性并不總是具有啟發(fā)性的，尤其是針對普通人而言。隱晦地解釋人工智能模型算法的功能可能比清晰地描述模型的邏輯更有用處。例如，為某個個體提供反向功能（例如如果你的平均債務(wù)低于15%，你將被批準(zhǔn)，或“這些是與你的個人資料相似而收到了不同決定的客戶”）是組織機構(gòu)可以考慮的強有力的解釋方法。

21.也可能存在一些提供與算法相關(guān)的信息可能并不實際或不合理的情況。尤其是在專利信息、知識產(chǎn)權(quán)、反洗錢檢測、信息安全和欺詐預(yù)防的情況下，提供有關(guān)算法的詳細信息或者對算法進行審查的信息或算法作出的決定，可能暴露商業(yè)機密信息和/或無意間導(dǎo)致壞人逃過偵測。

22.如果由于當(dāng)前的技術(shù)水平，無法在實際操作中實現(xiàn)可解釋性要求（如黑箱），組織機構(gòu)可以考慮將人工智能模型產(chǎn)生結(jié)果的可再現(xiàn)性加以記錄。應(yīng)當(dāng)注意的是，對可再現(xiàn)性進行記錄的文檔不是可解釋性的效力相當(dāng)?shù)奶娲桨??？稍佻F(xiàn)性是指在相同的場景下，人工智能模型能夠始終如一地執(zhí)行動作或做出決定。性能的一致性可以為人工智能使用者提供一定的信心。有益的做法包括：

a.在動態(tài)環(huán)境中對商業(yè)部署（commercialdeployments）進行可重復(fù)性評估，以確保部署的可重復(fù)性。

b.進行反事實（counterfactual）的公平性測試。如果某一決定在實際的世界和反事實的世界中是相同的，且個體屬于不同的人口統(tǒng)計學(xué)群體，那么這一決定對該個體就是公平的。

c.當(dāng)決定是不可再現(xiàn)的，例如在設(shè)計時引入了隨機性機制，評估如何識別并處理異常情況。

d.確保對異常情況的處理符合組織的政策。

e.識別并計算隨時間變化的情況，以確保接受過對時間敏感的數(shù)據(jù)培訓(xùn)的模型能夠保持相關(guān)性。

23.如果人工智能模型的決策過程以易于理解的方式記錄下來，那么可以說該模型具有可追溯性?？勺匪菪灾灾匾?，其原因有很多：采用審計日志形式的可追溯性記錄可以成為將來用作培訓(xùn)數(shù)據(jù)集的輸入數(shù)據(jù)的來源；這些信息也有助于故障排除、調(diào)查模型的運行方式或給出特定預(yù)測作出的原因。

24.提升可追溯性的措施包括：

a.建立跟蹤式審計以記錄作出決策的過程。

b.建立一個能夠捕獲所有輸入數(shù)據(jù)流的黑箱記錄器（black box recorder）。例如。自動駕駛汽車中的黑箱記錄器可以跟蹤車輛的位置，并記錄自動駕駛系統(tǒng)于何時、何地控制車輛、遇到技術(shù)問題或要求駕駛員接管對車輛控制的控制權(quán)。

c.確保與可追溯性相關(guān)的數(shù)據(jù)得到妥善的存儲，以避免數(shù)據(jù)失效（degradation）或更改，并保存到與行業(yè)相關(guān)的一段持續(xù)時間內(nèi)。

25.組織機構(gòu)應(yīng)制定內(nèi)部政策與流程，定期進行模式調(diào)整，以適應(yīng)隨時間流動而變化的客戶行為，并根據(jù)納入了最新輸入數(shù)據(jù)的不斷更新的訓(xùn)練數(shù)據(jù)集對模型進行更新?lián)Q代。當(dāng)商業(yè)目標(biāo)、風(fēng)險或公司價值觀發(fā)生變化時，可能有必要對模型進行調(diào)整。

26.在可能的情況下，測試的過程應(yīng)反映所計劃的產(chǎn)品應(yīng)用環(huán)境的動態(tài)性。為了確保安全，測試可能需要評估人工智能解決方案的通用性以及產(chǎn)生失敗的情況。例如，一個倉庫機器人（warehouse robot）的任務(wù)是在避開障礙物的情況下完成一項任務(wù)（例如去拿包裹），對它應(yīng)使用不同類型的障礙物與實際不同的內(nèi)部環(huán)境（例如，工人穿著不同顏色的襯衫）進行測試。否則，模型將在不反映實際情況的環(huán)境中冒險學(xué)習(xí)規(guī)律（例如，機器人必須避開的人類都是穿著白色工作服的）。一旦將人工智能模型部署到現(xiàn)實環(huán)境中，就應(yīng)主動進行監(jiān)控、審查和調(diào)整。

客戶關(guān)系管理

27.適當(dāng)?shù)剡M行溝通能夠在組織機構(gòu)和個人（包括員工）之間建立和保持開放的關(guān)系，進而激發(fā)相互間的信任，在部署人工智能時，組織機構(gòu)應(yīng)結(jié)合以下因素來有效實施和管理其溝通策略。

28.一般事項披露。組織機構(gòu)應(yīng)提供關(guān)于其產(chǎn)品和/或服務(wù)中是否使用人工智能的大致信息。在適當(dāng)?shù)那闆r下，這可能包括人工智能是如何在有關(guān)個人的決策制定中使用的、人工智能的角色以及人工智能在決策過程中所扮演的作用和程度。例如，GPS導(dǎo)航系統(tǒng)制造商可以告知其用戶，人工智能用于自動生成從A點到B點的線路。然而，由該導(dǎo)航系統(tǒng)的用戶決定走哪條路線。一個在線門戶網(wǎng)站可以通知其用戶，他們正在與之交互的聊天機器人是由人工智能驅(qū)動的。

29.提高透明度有助于通過提升用戶關(guān)系的開放性，增強人們對人工智能的信心以及接受程度。為了做到這一點，組織機構(gòu)可以考慮披露人工智能的決策可能對個人造成影響的方式，并且披露其作出的決定是否具有可逆性。例如，一個組織機構(gòu)可以告知個人其信用評級將如何導(dǎo)致貸款申請被這家機構(gòu)或者其他機構(gòu)所拒絕；但如果個人能夠提供更多關(guān)于其信用值的證據(jù)，那么該決定就是可逆的。

30.組織機構(gòu)應(yīng)在溝通交流中使用易于理解的語言以提高其透明度。有一些現(xiàn)有的工具可以提高易讀性（readability），例如弗萊易讀性圖（Fry readability graph）、岡寧迷霧指數(shù)（Gunning Fog Index）、Flesh-Kincaid可讀性測試等。對于影響比較大的決策應(yīng)以容易理解的方式進行溝通，并需要對所使用的技術(shù)保持易于理解的狀態(tài)。

31.隨著對管理人工智能的使用和構(gòu)建的道德標(biāo)準(zhǔn)的發(fā)展，組織機構(gòu)也可以進行倫理道德評估，并對這些評估進行有意義的總結(jié)。

32.有關(guān)解釋的政策。組織機構(gòu)應(yīng)當(dāng)制定一項政策，對應(yīng)當(dāng)向個人提供什么解釋進行規(guī)定。這可以包括對人工智能在決策過程中的工作方式、某一具體決策的制定方式、制定該決策背后的原因以及決策的影響和后果進行解釋?？梢詫⒔忉尩倪^程作為總體上進行溝通的一部分，也根據(jù)請求作為有關(guān)特定決策的信息。

33.人類-人工智能交互。組織機構(gòu)應(yīng)在部署人工智能之前測試用戶的界面并解決可用性問題，以便用戶與人工智能的交互能夠滿足預(yù)期的目的。個人對于這方面的期望也可以通過告知其正在聊天的是機器人而非人類來實現(xiàn)。在可適用的情況下，組織機構(gòu)還應(yīng)通知個人，他們的回應(yīng)將用于訓(xùn)練人工智能系統(tǒng)。組織機構(gòu)應(yīng)意識到使用此類回復(fù)的風(fēng)險，因為有些人可能故意使用“臟話”（bad language）或“隨機回復(fù)”（random replies），而這將對人工智能系統(tǒng)的訓(xùn)練造成影響。

34.選擇退出機制（Option to opt-out.）。在決定是否向個人提供選擇退出的機制以及該機制是否應(yīng)默認(rèn)提供或僅在提出請求提供的問題時，組織機構(gòu)應(yīng)慎重考慮，包括下列注意事項：

a.對個體造成風(fēng)險/傷害的程度。

b.應(yīng)該冒險實現(xiàn)對個人損害的可逆性。

c.替代決策機制的可用性。

d.替代機制的成本或權(quán)衡。

e.維護平行系統(tǒng)的復(fù)雜性和低效性。

f.技術(shù)上的可行性。

35.當(dāng)一個組織機構(gòu)已經(jīng)權(quán)衡過上述因素，并決定不提供選擇退出的機制，那么它應(yīng)該考慮向個人提供其他的求助方式，例如提供對所做決定進行審查的渠道。在適當(dāng)?shù)那闆r下，當(dāng)面臨來自于消費者的投訴或求助時，組織機構(gòu)還應(yīng)保留聊天機器人對話的歷史記錄。

36.組織機構(gòu)應(yīng)為其客戶建立以下溝通渠道：

a.反饋渠道。個人可以利用此渠道提出反饋或提出質(zhì)疑。在適當(dāng)情況下，可以由組織機構(gòu)的數(shù)據(jù)保護官（DPO）管理。如果個人發(fā)現(xiàn)自己的個人數(shù)據(jù)中存在不準(zhǔn)確之處，而這些不準(zhǔn)確之處已被用于制定對他們造成影響的決策，則此渠道還允許他們更正自己的數(shù)據(jù)。這樣的糾正和反饋反過來又保持了數(shù)據(jù)的準(zhǔn)確性。如果個人希望就針對他們提出的重大推論提出反饋和質(zhì)疑，那么也可以由組織機構(gòu)的質(zhì)量服務(wù)經(jīng)理（QSM）進行管理。

b.決策審查渠道。除了現(xiàn)有的審查義務(wù)外，組織機構(gòu)可以考慮為個人提供一種要求對影響他們的重要人工智能決策進行審查的路徑，當(dāng)決策是完全自動化作出的情況下，如果決策對個人的影響是重大的，則可以由人類代理人根據(jù)要求提供個別審查。但是，如果在對所做決策進行確認(rèn)前，已經(jīng)被部分自動化地審查過，則該決策就已經(jīng)由人類代理人審查過了。在后一種情況下，這與非人工智能決策沒有什么不同。

結(jié)論

本《人工智能治理模式框架》決不是完整的或詳盡的，它仍然是一個接納反饋的文檔。隨著人工智能技術(shù)的發(fā)展，相關(guān)的倫理和管理問題也將隨之展開。PDPC的目標(biāo)是根據(jù)收到的反饋定期更新此框架，以確保它對部署人工智能解決方案的組織機構(gòu)來說仍然具有相關(guān)性和實用性。

附件A算法審核

1.在有必要探究模型中包含的算法的實際操作的情況下，可進行算法審核。這一過程必須根據(jù)對組織機構(gòu)擁有管轄權(quán)的監(jiān)管機構(gòu)的要求進行，或人工智能技術(shù)提供商操作以協(xié)助其客戶應(yīng)對監(jiān)管機構(gòu)的各種要求。進行算法審核需要技術(shù)專長，這可能需要聘請外部專家來操作。審核報告可能會超出大多數(shù)個人和組織機構(gòu)的理解能力范圍。進行算法審核所需的費用和時間應(yīng)與從審核報告中獲得的預(yù)期收益進行權(quán)衡。

2.組織機構(gòu)在考慮是否進行算法審核時，可以考慮下列因素：

a.進行算法審核的目的。本《模式框架》提供了有關(guān)人工智能模型如何成為可解釋的人工智能的一部分的信息，在開始進行算法審核之前，建議考慮已經(jīng)提供給個人、其他組織機構(gòu)或企業(yè)以及監(jiān)管機構(gòu)的信息是否是充分的和可信任的（例如產(chǎn)品或服務(wù)說明、系統(tǒng)技術(shù)說明書、模型訓(xùn)練和選擇記錄、數(shù)據(jù)來源和查賬索引）。

b.審計結(jié)果的目標(biāo)受眾。這是指目標(biāo)受眾有效理解數(shù)據(jù)、算法和/或模型所需的專業(yè)知識。不同受眾需要的信息各不相同。當(dāng)受眾是個體時，提供作出決策過程的信息和/或個體數(shù)據(jù)在決策過程中的使用方式將更有效地實現(xiàn)可解釋人工智能的目標(biāo)。當(dāng)受眾是監(jiān)管者時，應(yīng)首先檢查與數(shù)據(jù)問責(zé)制和算法功能有關(guān)的信息。如果有理由懷疑人工智能模型操作信息的準(zhǔn)確性或完整性，則算法審核可以證明人工智能模型是如何操作的。

c.一般數(shù)據(jù)責(zé)任。組織機構(gòu)可以提供關(guān)于如何在組織機構(gòu)內(nèi)實現(xiàn)一般數(shù)據(jù)責(zé)任的信息。這包括本《模式框架》中用于模型開發(fā)的數(shù)據(jù)部分所描述的所有關(guān)于數(shù)據(jù)的良好做法，例如通過保留數(shù)據(jù)來源記錄來維護數(shù)據(jù)沿襲、確保數(shù)據(jù)準(zhǔn)確性、將數(shù)據(jù)的固有偏差最小化、為不同目的分割數(shù)據(jù)、確定數(shù)據(jù)準(zhǔn)確性以及定期審查和更新數(shù)據(jù)。

d.人工智能模型中的算法可以是商業(yè)上有價值的信息，這些信息會影響市場競爭力。如果計劃進行技術(shù)審計，還應(yīng)考慮相應(yīng)的緩解措施。

附件B術(shù)語表

1.本術(shù)語表囊括了從各種出處提煉的人工智能基本倫理道德原則的整合，但并非所有的都包含在《模式框架》中或在《模式框架》中解決。在滿足相關(guān)性并且需要的情況下，組織機構(gòu)可考慮將這些原則納入他們公司自己的基本原則當(dāng)中。

2.關(guān)于準(zhǔn)確性（Accuracy）：

在整個算法及其數(shù)據(jù)來源中識別、記錄并清楚說明產(chǎn)生錯誤和不確定性的來源，以便能夠理解預(yù)期出現(xiàn)的情況和所造成的最壞情況的影響，并啟動緩解程序（mitigation procedures）。

3.關(guān)于可解釋性（Explainability）：

確保由算法自動作出的決策以及驅(qū)動這些決策的任何相關(guān)數(shù)據(jù)可以以非技術(shù)術(shù)語向最終用戶和其他利益相關(guān)者解釋。

4.關(guān)于公平（Fairness）：

a.確保由算法作出的決策不會在不同的人口統(tǒng)計學(xué)種類（如種族、性別等）上產(chǎn)生歧視性或不公正的影響。

b.建立并納入監(jiān)測措施和記錄機制以避免在啟動決策制定系統(tǒng)時造成無意間的歧視。

c.在研發(fā)系統(tǒng)、應(yīng)用程序和算法時，聽從各方聲音和人口統(tǒng)計學(xué)專家的意見。

5.關(guān)于人類中心主義和人類福祉（On Human Centricity andWell-Being）：

a.旨在公平分配由數(shù)據(jù)實踐帶來的收益，避免數(shù)據(jù)實踐對弱勢群體造成不符合比例的不利影響。

b.旨在利用數(shù)據(jù)和先進的模型制造技術(shù)，創(chuàng)造更多的收益。

c.參與數(shù)據(jù)實踐，通過數(shù)據(jù)實踐推動人類繁榮昌盛、人類尊嚴(yán)和人類自治的發(fā)展。

d.重視受到數(shù)據(jù)實踐影響的人或社區(qū)的判斷，并與受影響的人或社區(qū)的價值觀和道德原則保持一致。

e.作出的決策不能對個體造成無法預(yù)見的傷害，或至少將此類傷害降到最低（例如在必須的情況下，當(dāng)與更大的利益沖突進行權(quán)衡時）。

f.允許用戶保持對正在被使用的數(shù)據(jù)的控制、數(shù)據(jù)使用的背景以及修改使用方式和背景。

6.關(guān)于責(zé)任、問責(zé)制和透明度（Responsibility,Accountability and Transparency）：

a.通過確保設(shè)計師和運營商對其系統(tǒng)、應(yīng)用程序和算法負責(zé)并能加以解釋來建立信任，并確保此類系統(tǒng)、應(yīng)用程序和算法以透明和公平的方式運行。

b.為算法決策系統(tǒng)對個人或社會造成的不利影響提供外部可見和公正的補救途徑，并指定負責(zé)及時補救此類問題的人員或辦公室。

c.為用戶或消費者納入下游措施和流程，以核實如何以及何時應(yīng)用人工智能技術(shù)。

d.保存設(shè)計的過程以及作出決策的詳細記錄。

7.關(guān)于人權(quán)（Human Rigth）：

確保技術(shù)的設(shè)計、研發(fā)和實施不侵犯國際上公認(rèn)的人權(quán)。

8.關(guān)于可持續(xù)發(fā)展（Sustainable）：

支持能夠有效預(yù)測未來行為并在一段合理時間內(nèi)產(chǎn)生有益洞見的措施。

9.關(guān)于進步性（being Progressive）：

當(dāng)實施某一計劃要比不參與該計劃創(chuàng)造更多實際價值時，贊同該計劃的實施。

10.關(guān)于可審計性（Auditability）：

通過披露能夠進行監(jiān)測、檢查或考證的信息使有關(guān)的第三方能夠調(diào)查、了解和審查算法作出的行為。

11.關(guān)于穩(wěn)定性和安全性（Robustnessand Security）：

人工智能系統(tǒng)應(yīng)安全可靠，用于訓(xùn)練的數(shù)據(jù)不易被篡改或破壞。

12.關(guān)于包容性（Inclusivity）：

確保所有人都能使用人工智能。

附錄C

醫(yī)療保健方面的應(yīng)用案例——UCARE.AI

UCARE.AI（https://www.ucare.ai）是一家人工智能和機器學(xué)習(xí)公司，致力于通過以符合倫理和負責(zé)任的態(tài)度使用數(shù)據(jù)來解決醫(yī)療保健問題并促進人類進步。UCARE.AI部署了一套人工智能和機器學(xué)習(xí)算法，建立在基于云（cloud-based）的微服務(wù)架構(gòu)之上，包括專有的深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)算法，為醫(yī)生、醫(yī)院、患者、保險公司和制藥公司提供可持續(xù)和可定制的醫(yī)療解決方案。

一個成功的實際使用案例是最近對4家醫(yī)院（即伊麗莎白山醫(yī)院、伊麗莎白山諾維娜醫(yī)院、格倫伊格爾斯醫(yī)院和百匯東區(qū)醫(yī)院）實施了人工智能的住院前費用估算制度（APACHETM），這些醫(yī)院歸帕克威潘泰（Parkway Pantai）所有。這項研究分享了UCARE.AI開發(fā)和部署APACHE的方法，APACHE是一個可擴展的即插即用系統(tǒng)，具有高可用性、高容錯性并能對大量估計請求進行實時處理。APACHE提供了精確度更高的估算，比百匯醫(yī)療集團以前的賬單估算系統(tǒng)的精確度高了4倍。這樣做的目的是實現(xiàn)醫(yī)療成本估算的標(biāo)準(zhǔn)化，并提供更高的價格透明度，以促進付款人、（醫(yī)療服務(wù)）提供者和患者之間建立和維護信任。這與UCARE的觀念是一致的。人工智能致力于確?；颊呃^續(xù)就可用的醫(yī)療方案做出明智的決定。

背景

以前的醫(yī)療成本估算方法涉及傳統(tǒng)的技術(shù)，如（i）基于正態(tài)分布的技術(shù)（normal distribution-based techniques），（ii）基于偏態(tài)分布的參數(shù)模型（parametricmodels based on skewed distributions），（iii）混合模型（mixturemodels），（iv）生存率分析（survivalanalysis）等。現(xiàn)有的方法是通過簡單的統(tǒng)計匯總，以外科手術(shù)報價表或ICD-10診斷代碼為基礎(chǔ)進行估算。

該估算技術(shù)面臨的挑戰(zhàn)包括相對較高的錯誤率、進行更新需要的大量金錢和人力成本，以及由于這些高成本而導(dǎo)致的更新頻率較低。

UCARE.AI與百匯醫(yī)療集團合作，通過一個多步驟的過程來解決這些問題，包括：（i）數(shù)據(jù)探索，（ii）數(shù)據(jù)清理，（iii）可行性評估，（iv）特征工程（feature engineering），（v）機器學(xué)習(xí)，（vi）結(jié)果展示。隨著概念驗證取得令人滿意的結(jié)果，APACHE隨后投入生產(chǎn)。

APACHE應(yīng)用程序接口的高級結(jié)構(gòu)

與PDPC的人工智能模式監(jiān)管框架保持一致

UCARE.AI采取了與PDPC發(fā)布的《人工智能監(jiān)管模式框架》一致的積極主動的方法。

可信賴和可驗證性

本人工智能監(jiān)管框架意識到，神經(jīng)網(wǎng)絡(luò)是不可理解的，在將其用于人類之前，需要對這些神經(jīng)網(wǎng)絡(luò)提供的結(jié)果進行驗證。UCARE.AI通過不斷地驗證其算法的準(zhǔn)確性來克服這個問題。通過每周進行由合作伙伴和該領(lǐng)域?qū)＜疫M行的檢查，確保更快和更可靠的更新?lián)Q代。數(shù)據(jù)模型的自動重新訓(xùn)練能夠確保算法保持最新的狀態(tài)。在百匯醫(yī)療集團專家的幫助下，這種持續(xù)驗證其人工智能模型的方法將有助于增強對其預(yù)測性見解的準(zhǔn)確性的信心，并有助于訓(xùn)練算法，使其在輸入的每一個數(shù)據(jù)上變得更加精確。

問責(zé)制和透明度

在數(shù)據(jù)收集之前，應(yīng)獲得利益相關(guān)者的知情同意以及批準(zhǔn)使用從開放的通信渠道找尋的數(shù)據(jù)。在構(gòu)建模型之前，需要對數(shù)據(jù)進行仔細的整理和轉(zhuǎn)換，以確保人工智能算法對用戶負責(zé)并保持一致性；這項工作是與百匯醫(yī)療集團一起完成的。對先前損壞或丟失的數(shù)據(jù)進行適當(dāng)?shù)拇鎯托迯?fù)，也能通過將數(shù)據(jù)鴻溝對預(yù)測結(jié)果的影響降低到最小，為用戶提供更高的透明度和安全性。對數(shù)據(jù)的仔細監(jiān)控是確保所提供服務(wù)具有可靠性的關(guān)鍵，因此在Apache中，采用了包含多個組成部分的詳細和一致的日志記錄，并將其納入安全、集中的日志存儲庫中，以便于開發(fā)和運營團隊在需要時方便地訪問，并允許在必要時進行快速調(diào)試和在正常運行時間內(nèi)的跟蹤。

公平

住院治療費用的自動預(yù)測降低了因人類偏見影響數(shù)據(jù)作出最終判斷的可能性，并提供了針對所有預(yù)測的一致性要素。例如，基于收入水平和保險覆蓋范圍的歧視將被有效消除，盡管人們會擔(dān)心在人類不加干涉的系統(tǒng)的使用，但所討論的算法是以人為中心的。

以人為中心

本使用案例強調(diào)了如何用以人為中心的方式使用人工智能來增強決策能力，同時將對相關(guān)方造成損害的潛在風(fēng)險最小化。對賬單進行估算的自動化過程消除了對繁瑣的統(tǒng)計計算的需要，從而釋放了工作時長和精力去做更有創(chuàng)造力的事。此外，所提供的信息將通過更準(zhǔn)確的成本預(yù)測、有效分配和分配醫(yī)療資源以及指導(dǎo)新的政策舉措而有利于患者和支付方?；颊邔τ卺t(yī)療花費方面的擔(dān)憂將會減少，以便于能夠集中精力進行康復(fù)。

為了最大限度地降低危害所造成的風(fēng)險，因此在使用數(shù)據(jù)之前進行了嚴(yán)格的可行性研究，重點是創(chuàng)建一個有效和強大的驗證框架。這將與合作伙伴一起完成，并且在繼續(xù)研究之前根據(jù)本《模式框架》的反饋進行調(diào)整。客戶組織（百匯醫(yī)療集團的自有醫(yī)院）提供的人類反饋也內(nèi)置在每個算法中，以提高精確性，同時還包括手動覆蓋（manual override protocol）協(xié)議，以確保在必要時安全終止這些算法。這就確保了該算法始終處于人類的控制之下，并且符合醫(yī)學(xué)界公認(rèn)的行善（beneficence）、非惡意（non-maleficence）和社會正義的倫理原則。