夏正勛，唐劍飛，羅圣美，張燕

星環(huán)信息科技（上海）股份有限公司，上海 200233

0 引言

人工智能（AI）的蓬勃發(fā)展是人類社會(huì)的重大歷史事件，其開創(chuàng)了一個(gè)新的時(shí)代[1]。隨著AI技術(shù)的快速發(fā)展，AI應(yīng)用的規(guī)模愈加龐大，IDC預(yù)測AI應(yīng)用市場規(guī)模有望在2024年突破5 000億美元大關(guān)[2]。但隨著AI應(yīng)用的深入，一些深層次問題逐漸暴露出來，比如使用臉部照片、人臉視頻、3D頭套等方式惡意欺騙人臉識(shí)別系統(tǒng)[3]；在交通標(biāo)志上添加一個(gè)不顯眼的對(duì)抗擾動(dòng)，誤導(dǎo)并改變自動(dòng)駕駛汽車的行車路線[4]；通過毒化數(shù)據(jù)的方式，在模型中添加后門，從而控制模型的行為[5]；“大數(shù)據(jù)殺熟”[6]和“數(shù)字剝削”[7]等惡意使用AI的行為。上述AI安全倫理問題引發(fā)了人們對(duì)AI系統(tǒng)可信性的擔(dān)憂，阻礙了AI的進(jìn)一步發(fā)展，已經(jīng)成為亟待解決的問題。

如何打造可信的AI系統(tǒng)已經(jīng)成為政府、企業(yè)的關(guān)注重點(diǎn)。本文分析了AI系統(tǒng)在當(dāng)下遇到的可信問題與挑戰(zhàn)，從技術(shù)和管理兩個(gè)維度出發(fā)，提出了一種通用的可信AI治理框架——T-DACM（trusted data & algorithm & computation &management）。T-DACM具體包括可信數(shù)據(jù)、可信算法、可信計(jì)算、可信管理4個(gè)層次，覆蓋了數(shù)據(jù)安全、模型安全、隱私保護(hù)、風(fēng)險(xiǎn)控制、過程管理、可解釋性、公平倫理、追溯追責(zé)等AI熱點(diǎn)問題的解決方法，為企業(yè)及監(jiān)管機(jī)構(gòu)提供了一種可行的可信AI解決方案。

1 國內(nèi)外研究進(jìn)展

可信是AI技術(shù)的自身要求，也是AI產(chǎn)業(yè)發(fā)展的要求。統(tǒng)計(jì)模型存在類似“射手假說”[8]的問題，AI不可避免地有被誤用、濫用、惡意使用的風(fēng)險(xiǎn)。為了降低這些風(fēng)險(xiǎn)，國外對(duì)可信AI的研究主要從安全及數(shù)據(jù)隱私方面入手，兼顧AI使用過程中的倫理道德，制定了相關(guān)的法律法規(guī)。

2014年Goodfellow I J等人[9]提出用模型對(duì)抗訓(xùn)練的方法來防御對(duì)抗樣本攻擊，增強(qiáng)模型的安全性；2016年Ribeiro M T等人[10]提出一種生成解釋方法來解釋模型的決策過程，提升模型決策的透明性；2018年Gidaris S等人[11]提出一種元學(xué)習(xí)方法來提高模型在未知領(lǐng)域數(shù)據(jù)上的泛化能力，降低模型的誤用風(fēng)險(xiǎn)；2019年Nguyen H H等人[12]提出使用多任務(wù)學(xué)習(xí)的方法來提高模型的領(lǐng)域泛化能力，降低模型誤判的風(fēng)險(xiǎn)；2019年Iosifidis V等人[13]提出一種基于重采樣的方法來消除數(shù)據(jù)中的偏見，提升模型的公平性；2021年Sauer A等人[14]提出一種反事實(shí)圖片的生成方法來協(xié)助分類模型找到更穩(wěn)定的因果特征，提升模型的泛化能力。

與此同時(shí)，在可信AI治理指導(dǎo)原則方面，2018年歐盟提出了《人工智能道德準(zhǔn)則》，提出可信AI的5個(gè)指導(dǎo)原則：福祉原則、不作惡原則、自治原則、公正原則、可解釋性原則[15]；2020年Shin J等人[16]提出構(gòu)建一個(gè)可信AI系統(tǒng)需要重點(diǎn)考慮AI應(yīng)用的再現(xiàn)性、可解釋性和公平性；2020年英國信息專員辦公室提出了《解釋AI做出的決定》，提出算法透明度可以從原理解釋、責(zé)任解釋、數(shù)據(jù)解釋、公平性解釋、安全與可靠性解釋及影響解釋6個(gè)方面實(shí)現(xiàn)[17]。2021年，Winter P M等人[18]提出，可信的AI應(yīng)用需要重點(diǎn)關(guān)注機(jī)器學(xué)習(xí)（machine learning，ML）關(guān)鍵理論理解、質(zhì)量評(píng)估手段、領(lǐng)域泛化、置信度量手段、道德倫理、用戶可接受度、抗攻擊能力等方面。

國內(nèi)對(duì)可信AI的技術(shù)研究基本與國外同步，在可信AI治理配套的法規(guī)方面，從網(wǎng)絡(luò)安全、數(shù)據(jù)安全、個(gè)人信息多維度入手，更加全面，職責(zé)明確，易于實(shí)施。在可信AI技術(shù)研究方面，2017年Meng D Y等人[19]提出基于數(shù)據(jù)增強(qiáng)和樣本檢測的MagNet方法來防御對(duì)抗樣本攻擊；2018年Kuang K等人[20]提出一種基于樣本加權(quán)的因果預(yù)測算法DGBR來提高模型對(duì)未知環(huán)境的適應(yīng)能力；2019年Zhang Q S等人[21]提出一種基于決策樹的替代模型方法來解釋卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）模型的決策邏輯；2019年FENG R等人[22]提出一種基于對(duì)抗框架的數(shù)據(jù)表示方法來消除數(shù)據(jù)集中對(duì)特定群體的偏見；2021年Zhao Y Y等人[23]提出一種多源元學(xué)習(xí)框架來增強(qiáng)模型的領(lǐng)域泛化能力。

在可信AI治理指導(dǎo)原則方面，我國于2016年頒布了《中華人民共和國網(wǎng)絡(luò)安全法》，要求網(wǎng)絡(luò)運(yùn)營者保障網(wǎng)絡(luò)免受干擾、破壞或者未經(jīng)授權(quán)的訪問，防止網(wǎng)絡(luò)數(shù)據(jù)泄露或被竊取、篡改。2019年我國提出了《新一代人工智能治理原則——發(fā)展負(fù)責(zé)任的人工智能》，強(qiáng)調(diào)了和諧友好、公平公正、包容共享、尊重隱私、安全可控等8條原則，從而逐步實(shí)現(xiàn)可審核、可追溯、可信賴的AI[24]；2020年中國信息通信研究院提出了《人工智能安全框架（2020年）》，其從AI安全技術(shù)、AI安全管理兩個(gè)方面設(shè)計(jì)AI安全框架，對(duì)AI安全能力進(jìn)行分級(jí)，提出了合法合規(guī)、功能可靠可控、數(shù)據(jù)安全可信、決策公平公正、行為可解釋、事件可追溯的AI安全目標(biāo)[25]；2021年6月通過的《中華人民共和國數(shù)據(jù)安全法》要求機(jī)構(gòu)開展數(shù)據(jù)處理活動(dòng)時(shí)，應(yīng)當(dāng)遵守法律、法規(guī)，尊重社會(huì)公德和倫理，遵守商業(yè)道德和職業(yè)道德，誠實(shí)守信，履行安全保護(hù)義務(wù)、承擔(dān)社會(huì)責(zé)任，不得危害國家安全、公共利益，不得損害個(gè)人、組織的合法權(quán)益；2021年8月通過的《中華人民共和國個(gè)人信息保護(hù)法》要求機(jī)構(gòu)在利用個(gè)人信息進(jìn)行自動(dòng)化決策時(shí)，要建立算法影響評(píng)估制度進(jìn)行事前風(fēng)險(xiǎn)評(píng)估，建立算法審計(jì)制度審計(jì)活動(dòng)遵守法律、法規(guī)的情況，保證決策的透明度和結(jié)果公平合理。

綜上所述，圍繞可信AI的問題，學(xué)術(shù)界、產(chǎn)業(yè)界及政府均進(jìn)行了不同方向的探索，取得了一些成果，但可信AI的落地尚存在一些問題：首先，大多可信方面的研究還停留在理論分析階段，在產(chǎn)業(yè)界尚未進(jìn)行大規(guī)模應(yīng)用；其次，可信AI涉及的技術(shù)領(lǐng)域較廣，目前尚缺少一個(gè)通用模式將諸多可信AI技術(shù)有機(jī)結(jié)合起來；最后，針對(duì)AI系統(tǒng)的行為，缺乏完善的監(jiān)管系統(tǒng)。因此，需要一個(gè)統(tǒng)一的可信AI治理框架，對(duì)可信AI涉及的管理及技術(shù)因素進(jìn)行統(tǒng)籌考慮，以滿足學(xué)術(shù)界、產(chǎn)業(yè)界及政府三方對(duì)可信AI的迫切需求，完成AI系統(tǒng)由可用系統(tǒng)向可信系統(tǒng)的轉(zhuǎn)變。

2 可信AI治理框架簡介

本文在現(xiàn)有理論及技術(shù)研究的基礎(chǔ)之上，結(jié)合應(yīng)用場景，對(duì)可信A I治理進(jìn)行了探索與實(shí)踐，提出了T-DACM ，如圖1所示。

圖1 T-DACM

T-DACM由下而上分為4 層，分別是可信數(shù)據(jù)（trusted data）層、可信算法（trusted algorithm）層、可信計(jì)算（trusted computation）層、可信管理（trusted management）層，具體如下。

● 可信數(shù)據(jù)層為可信AI提供了數(shù)據(jù)基礎(chǔ)。其具體包含異常數(shù)據(jù)檢測、偏倚消除、偏見消除、數(shù)據(jù)增強(qiáng)等組件，可以檢測異常樣本，保證模型正常工作，對(duì)異常數(shù)據(jù)、異質(zhì)性數(shù)據(jù)進(jìn)行處理，引入公平性算法消除數(shù)據(jù)中的歧視與偏見，通過樣本變換或者樣本生成來擴(kuò)增數(shù)據(jù)集，增強(qiáng)模型的魯棒性。

● 可信算法層為可信AI提供安全與強(qiáng)魯棒性的核心能力。除了現(xiàn)有算法，其還包含因果算法、公平算法、模型增強(qiáng)等算法組件，可以從數(shù)據(jù)中發(fā)現(xiàn)穩(wěn)定特征，提高模型對(duì)不同環(huán)境的適應(yīng)能力，去除模型的決策邏輯對(duì)弱勢(shì)群體的歧視，提升模型對(duì)常見攻擊方式的防御能力。

● 可信計(jì)算層為可信AI提供可信計(jì)算的能力。其具體包括加密算法、可信計(jì)算、計(jì)算調(diào)度等模組，可以使用加密算法及可信平臺(tái)控制模塊（trusted platform control module，TPCM）保障單方計(jì)算場景下的數(shù)據(jù)安全，使用聯(lián)邦學(xué)習(xí)、聯(lián)邦計(jì)算、安全多方計(jì)算（secure multi-party computation，MPC）等組件為多方參與的模型訓(xùn)練、模型推理、計(jì)算等保障數(shù)據(jù)安全。

● 可信管理層為可信AI提供可追溯、可監(jiān)管、可理解的管理能力。其具體包括追溯追責(zé)、公平倫理查驗(yàn)、可解釋性3個(gè)組件，可以通過事故發(fā)生之后的回溯對(duì)責(zé)任進(jìn)行認(rèn)定，通過分析系統(tǒng)的實(shí)時(shí)行為來監(jiān)控違反法規(guī)倫理的行為，對(duì)模型的決策邏輯進(jìn)行解釋，為模型的優(yōu)化提供參考。

T-DACM 基本覆蓋了A I 從模型學(xué)習(xí)、模型應(yīng)用到系統(tǒng)管理的全流程。以個(gè)性化保險(xiǎn)定價(jià)為例，可信數(shù)據(jù)層使用Relabelling算法[26]消除數(shù)據(jù)集中對(duì)弱勢(shì)群體的偏見；可信算法層使用公平優(yōu)化（fair optimization）方法[27]增強(qiáng)定價(jià)算法的公平性；可信計(jì)算層使用聯(lián)邦學(xué)習(xí)計(jì)算框架[28]在保護(hù)隱私的前提下聯(lián)合第三方銀行數(shù)據(jù)共同建模，定價(jià)結(jié)果更加準(zhǔn)確可信；在可信管理層，既能回溯某一定價(jià)的決策過程并做出解釋，也能實(shí)時(shí)檢測在運(yùn)行過程中整個(gè)定價(jià)系統(tǒng)是否存在違反法律、倫理規(guī)則的行為。T-DACM內(nèi)層與層之間的無縫協(xié)作可以保障AI系統(tǒng)全流程的可信性。

3 可信AI治理框架實(shí)現(xiàn)

3.1 可信數(shù)據(jù)層

數(shù)據(jù)是人工智能的基礎(chǔ)，模型學(xué)習(xí)依賴于大量訓(xùn)練樣本，模型推理也依賴于輸入數(shù)據(jù)的質(zhì)量，但當(dāng)數(shù)據(jù)異常時(shí)，模型的輸出結(jié)果往往脫離預(yù)期，為人工智能系統(tǒng)帶來潛在的風(fēng)險(xiǎn)。2016年，微軟聊天機(jī)器人Tay受到一些偏激言論的語料影響，行為異常，微軟被迫臨時(shí)關(guān)閉了Tay的在線學(xué)習(xí)能力；2019年，騰訊科恩實(shí)驗(yàn)室發(fā)現(xiàn)存在擾動(dòng)信息的路面誤導(dǎo)了自動(dòng)駕駛系統(tǒng)，致使車輛駛?cè)敕聪蜍嚨?。上述例子均是由異常?shù)據(jù)引起的模型行為異常。除此以外，數(shù)據(jù)還與模型的魯棒性、公平性密切相關(guān)，具體而言，當(dāng)推理數(shù)據(jù)與訓(xùn)練數(shù)據(jù)分布不同時(shí)，模型的精度往往會(huì)下降，嚴(yán)重時(shí)甚至無法工作。當(dāng)訓(xùn)練數(shù)據(jù)中弱勢(shì)群體的數(shù)據(jù)遠(yuǎn)少于強(qiáng)勢(shì)群體的數(shù)據(jù)時(shí)，模型的決策往往會(huì)更傾向強(qiáng)勢(shì)群體，從而造成對(duì)弱勢(shì)群體的偏見或不公平對(duì)待。因此，構(gòu)建一個(gè)可信的數(shù)據(jù)層是可信AI系統(tǒng)的首要任務(wù)。

可信數(shù)據(jù)層是可信AI治理的首要環(huán)節(jié)?？尚艛?shù)據(jù)層解決由數(shù)據(jù)導(dǎo)致的不可靠、不可信問題，方法主要有兩大類：一類通過檢測方法找到異常數(shù)據(jù)并刪除，另一類通過數(shù)據(jù)增強(qiáng)方法對(duì)數(shù)據(jù)進(jìn)行可信性增強(qiáng)。在訓(xùn)練階段，其輸入為訓(xùn)練數(shù)據(jù)集，輸出為剔除了惡意數(shù)據(jù)或增強(qiáng)了公平性的可信數(shù)據(jù)集；在推理階段，其根據(jù)具體任務(wù)，對(duì)輸入數(shù)據(jù)進(jìn)行檢測，拒絕對(duì)抗樣本、偽造數(shù)據(jù)等惡意輸入，或通過技術(shù)手段過濾掉對(duì)抗樣本、毒化樣本中的惡意信息，保證服務(wù)的延續(xù)性。

可信數(shù)據(jù)層具體包括數(shù)據(jù)檢測模組與數(shù)據(jù)增強(qiáng)模組，如圖2所示。數(shù)據(jù)檢測模組由樣本集檢測模塊與單樣本檢測模塊組成：樣本集檢測模塊可以對(duì)樣本集進(jìn)行整體檢測，單樣本檢測模塊用來對(duì)樣本進(jìn)行獨(dú)立檢測。數(shù)據(jù)增強(qiáng)模組由樣本增強(qiáng)、偏見消除與偏倚消除3個(gè)模塊組成：數(shù)據(jù)增強(qiáng)模塊可以降低對(duì)抗樣本等惡意數(shù)據(jù)的干擾，也可以擴(kuò)展數(shù)據(jù)集；偏見消除模塊可以平衡數(shù)據(jù)集中弱勢(shì)群體與優(yōu)勢(shì)群體的比例，從而消除對(duì)弱勢(shì)群體的偏見；偏倚消除模塊可以消除樣本集中的異質(zhì)性影響。

圖2中數(shù)據(jù)檢測模組具體如下。

圖2 可信數(shù)據(jù)層架構(gòu)

● 樣本集檢測模塊：由分布檢測、偏見檢測、毒化樣本檢測與偏倚檢測等組件組成。分布檢測可以將樣本集中不同分布的數(shù)據(jù)檢測出來，通過控制模型輸入數(shù)據(jù)的邊界來降低魯棒性風(fēng)險(xiǎn)，該類方法包括孤立森林、DBScan等；偏見檢測可以檢測數(shù)據(jù)集中強(qiáng)勢(shì)群體與弱勢(shì)群體在特定公平規(guī)則下的比例是否失衡，用來判斷使用的樣本集中是否存在偏見，該類方法包括Equal Opportunity[29]、Equalized Odds[30]等；毒化樣本檢測可以檢測樣本集中是否包含被毒化的數(shù)據(jù)，可以將毒化數(shù)據(jù)從數(shù)據(jù)集中剔除，典型的毒化數(shù)據(jù)檢測方法有AUROR[31]等；偏倚檢測可以用來檢查是否采集過程的瑕疵導(dǎo)致了樣本的分布不均衡，進(jìn)而導(dǎo)致了數(shù)據(jù)的異質(zhì)性，偏倚檢測的經(jīng)典方法為卡方檢驗(yàn)[32]。

● 單樣本檢測模塊：由毒化樣本檢測、偏倚檢測、邊界檢測、Deepfakes檢測、對(duì)抗樣本檢測、活體檢測等組件組成。毒化樣本檢測和偏倚檢測組件的功能與樣本集檢測模塊類似；邊界檢測指的是檢測數(shù)據(jù)的常規(guī)指標(biāo)，判斷其是否超出閾值，可以判斷樣本中是否存在明顯異常；Deepfakes檢測、對(duì)抗樣本檢測、活體檢測指的是對(duì)偽造視頻、對(duì)抗樣本、假臉數(shù)據(jù)等惡意數(shù)據(jù)進(jìn)行針對(duì)性檢測，這些惡意數(shù)據(jù)檢測模塊可以在一定程度上解決AI應(yīng)用被惡意誤導(dǎo)的問題，目前，Deepfakes、對(duì)抗樣本、假臉數(shù)據(jù)都有許多成熟的檢測方法，如使用MesoNet[33]來檢測Deepfakes視頻，使用MagNet[19]來檢測對(duì)抗樣本，使用De-Spoofing[34]來進(jìn)行活體檢測。

圖2中數(shù)據(jù)增強(qiáng)模組具體如下。

● 樣本增強(qiáng)模塊：由隨機(jī)修剪、噪聲擾動(dòng)、對(duì)抗樣本生成、反事實(shí)樣本等組件組成。隨機(jī)修剪、噪聲擾動(dòng)等是機(jī)器學(xué)習(xí)中常用的數(shù)據(jù)增強(qiáng)方法，這些組件通過對(duì)原數(shù)據(jù)進(jìn)行隨機(jī)裁剪、添加隨機(jī)噪聲以及進(jìn)行翻轉(zhuǎn)、尺度變換來生成新的樣本數(shù)據(jù)，生成的樣本可以對(duì)原樣本集進(jìn)行擴(kuò)充，從而豐富樣本集，也可以對(duì)原始圖片進(jìn)行替換，從而在一定程度上防御對(duì)抗樣本、毒化樣本等的惡意攻擊。對(duì)抗樣本生成組件可以用來生成對(duì)抗樣本，生成的對(duì)抗樣本可以用于對(duì)抗訓(xùn)練，提升模型對(duì)對(duì)抗攻擊的防御能力。反事實(shí)樣本組件可以基于結(jié)構(gòu)因果模型，采用類似于反事實(shí)生成網(wǎng)絡(luò)（counterfactual generative network）[14]的方法，使用事實(shí)中不存在的特征組合，生成反事實(shí)樣本，從而提高模型的泛化能力。

● 偏見消除模塊：由公平重采樣、公平修復(fù)等組件組成。對(duì)于樣本集中的不公平，公平重采樣組件通過對(duì)樣本集進(jìn)行重新采樣，重新生成弱勢(shì)群體與強(qiáng)勢(shì)群體均衡的樣本集，如按照指定的公平原則進(jìn)行重采樣的方法[35-36]。公平修復(fù)組件通過修改標(biāo)簽或直接改變訓(xùn)練數(shù)據(jù)中一個(gè)或多個(gè)變量的分布來修復(fù)數(shù)據(jù)集中的不公平，如訓(xùn)練專用模型來修正標(biāo)簽的方法[26，37]。

● 偏倚消除模塊：由樣本分層、樣本匹配、局部相似、權(quán)重調(diào)整等組件組成。樣本分層方法通過對(duì)數(shù)據(jù)集進(jìn)行分層，保證每一層中的數(shù)據(jù)是同質(zhì)的、均衡的，從而達(dá)到消除偏倚的目的，如基于傾向得分進(jìn)行分層的方法[38-39]；樣本匹配方法用匹配的方法將數(shù)據(jù)集中同質(zhì)的數(shù)據(jù)篩選出來，保證篩選出來的數(shù)據(jù)是均衡的，這一類方法以PSM[38]為代表；局部相似組件基于流行假設(shè)/局部近似理論，找到一個(gè)好的樣本集劃分方式，使得每個(gè)樣本組在特征空間上足夠近且樣本量上足夠，并認(rèn)為細(xì)小到分支（局部）的數(shù)據(jù)是近似的、同質(zhì)的、均衡的，這一類方法以SITE[40-41]為代表；權(quán)重調(diào)整方法給樣本分配不同的權(quán)重，使得實(shí)驗(yàn)組與對(duì)照組的分布類似，以實(shí)現(xiàn)均衡，其代表方法有逆概率加權(quán)（inverse propensity weighting，IPW）[38]、數(shù)據(jù)驅(qū)動(dòng)變量分解（data-driven variable decomposition，D2VD）[42]等。

得益于異常數(shù)據(jù)檢測模組與數(shù)據(jù)增強(qiáng)模組的協(xié)作，經(jīng)可信數(shù)據(jù)層處理后的數(shù)據(jù)大概率是可信的，將這些正常、無偏、公平的數(shù)據(jù)作為后續(xù)環(huán)節(jié)的輸入，為整個(gè)AI應(yīng)用的可信打下了堅(jiān)實(shí)基礎(chǔ)。

3.2 可信算法層

算法與模型是AI系統(tǒng)的核心，但當(dāng)前基于統(tǒng)計(jì)理論的人工智能算法只完成了輸入數(shù)據(jù)與輸出數(shù)據(jù)的“曲線擬合”[43]，因此模型輸出的結(jié)果缺乏內(nèi)在邏輯，難以解釋，也缺乏公平性及安全性方面的考量，由此引發(fā)了很多問題。比如，一個(gè)模型可以很好地識(shí)別草地上的狗，但難以識(shí)別水中的狗，這是因?yàn)橛?xùn)練過程中更傾向于將草地特征與狗的特征直接“擬合”，由此可見，這種Shortcut Learning[44]的學(xué)習(xí)方式使模型預(yù)測過程缺乏嚴(yán)謹(jǐn)邏輯，預(yù)測結(jié)果只適用于特定場景，特別容易產(chǎn)生魯棒性問題。此外，由于概率空間邊界的模糊性，在理論上，統(tǒng)計(jì)模型始終無法防御對(duì)抗性攻擊[45]，只能持續(xù)提升模型抗攻擊的能力。在AI大規(guī)模應(yīng)用的過程中，除了魯棒性問題、安全性問題，還存在更隱蔽的歧視偏見、公平倫理問題，比如美國的一款案件管理和決策支持工具COMPAS傾向于給少數(shù)族裔較高的“累犯”得分。針對(duì)上述的問題，需要在AI研發(fā)過程中，對(duì)算法訓(xùn)練、模型決策過程進(jìn)行約束、監(jiān)管及核查，使模型不違背人類社會(huì)規(guī)則及倫理道德。

現(xiàn)有算法為了提升模型魯棒性，通常采用元學(xué)習(xí)[46]、多任務(wù)學(xué)習(xí)[47]、網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)[48]等方法，T-DACM在現(xiàn)有算法之外，擴(kuò)展了因果算法、公平算法及安全增強(qiáng)3個(gè)模組，如圖3所示。其中，因果算法模組用因果關(guān)系代替相關(guān)關(guān)系提升模型的穩(wěn)定性；公平算法模組通過消除推理過程中的偏見來提升模型的公平性；安全增強(qiáng)模組持續(xù)提升模型的安全性，從而為AI構(gòu)建一個(gè)可信的算法層。

圖3 可信算法層架構(gòu)

● 因果算法模組由因果發(fā)現(xiàn)及推理模塊、因果啟發(fā)穩(wěn)定學(xué)習(xí)模塊組成，消除弱相關(guān)特征或錯(cuò)誤特征對(duì)決策結(jié)果的干擾，確立輸入數(shù)據(jù)與輸出結(jié)果之間的因果邏輯，基于穩(wěn)定的因果邏輯進(jìn)行AI決策。

● 公平算法模組由事中處理（i np r o c e s s i n g）模塊與后處理（p o s tprocessing）模塊組成，分別在模型學(xué)習(xí)過程中、模型學(xué)習(xí)完成后兩個(gè)階段對(duì)模型的公平性進(jìn)行檢查、糾正，保證模型決策過程及結(jié)果與群體的膚色、人種、性別等受保護(hù)屬性[49]無關(guān)，從而保證AI的公平性。

● 安全增強(qiáng)模組由對(duì)抗訓(xùn)練、安全基準(zhǔn)測試及模型安全檢測模塊組成。對(duì)抗訓(xùn)練組件通過使用迭代更新的對(duì)抗樣本不斷提升模型的對(duì)抗攻擊防御能力；安全基準(zhǔn)測試模塊可以對(duì)模型的安全性能進(jìn)行衡量；模型安全檢測模塊通過不同的參數(shù)對(duì)安全提升方法的效果進(jìn)行衡量，從而持續(xù)提升模型的安全性。

圖3中因果算法模組具體如下。

● 因果發(fā)現(xiàn)及推理模塊由基于對(duì)照的因果模型、基于約束的因果模型、針對(duì)因果函數(shù)的因果模型、針對(duì)隱變量的因果模型等組件組成?；趯?duì)照的因果模型組件通過不同組之間的對(duì)照，比較得出平均干預(yù)效應(yīng)來完成因果學(xué)習(xí)，該類方法包括實(shí)驗(yàn)性方法及觀測性方法兩大類，其中實(shí)驗(yàn)性方法有隨機(jī)對(duì)照試驗(yàn)方法、A/B測試方法[50]，觀測性方法有Stratification、Matching、Re-weighting、Tree-based等[51]；基于約束的因果模型組件通過先確定因果關(guān)系結(jié)構(gòu)、再確定結(jié)構(gòu)中方向的方法來完成因果學(xué)習(xí)，這一類方法包括IC算法[52]、FCI算法[53]等；針對(duì)因果函數(shù)的因果模型組件利用因果數(shù)據(jù)生成機(jī)制引起數(shù)據(jù)分布的不對(duì)稱性來分析變量之間的因果關(guān)系，這一類方法包括ANM算法[54]、LiNGAM算法[55]等；針對(duì)隱變量的因果模型組件可以對(duì)包含未觀測到因素（隱變量）影響的數(shù)據(jù)進(jìn)行因果分析，通常采用的方法有Cornfield不等式[56]、工具變量法[57]、陰性對(duì)照法等[58]。

● 因果啟發(fā)穩(wěn)定學(xué)習(xí)模塊由因果特征工程、反事實(shí)輔助學(xué)習(xí)等組件組成。因果特征工程組件可以利用因果發(fā)現(xiàn)及推理算法從特征中找到強(qiáng)相關(guān)的因果特征，剔除無關(guān)及弱相關(guān)特征，提高模型的穩(wěn)定性，這一類方法包括IAMB[59]、MMMB[60]、MMPC[61]等；反事實(shí)輔助學(xué)習(xí)組件生成反事實(shí)圖片，并將其加入訓(xùn)練，以提高模型的泛化能力，這一類方法有反事實(shí)生成網(wǎng)絡(luò)[14]等。

圖3中公平算法模組具體如下。

● 事中處理模塊提供在模型訓(xùn)練過程中解決公平問題的工具，由公平約束優(yōu)化、Adversarial Debiasing等組件組成。其中，公平約束優(yōu)化組件可以在模型的目標(biāo)函數(shù)中增加以公平為目標(biāo)的正則項(xiàng)來保證模型的公平性，該類方法有Prejudice Remover Regularizer[62]等；Adversarial Debiasing指的是在訓(xùn)練的過程中嘗試訓(xùn)練一個(gè)對(duì)抗組件[63]，對(duì)模型的公平性進(jìn)行衡量，同時(shí)根據(jù)衡量結(jié)果持續(xù)優(yōu)化模型的公平性，該類方法有One-Network[64]等。

● 后處理模塊通過對(duì)模型的推理結(jié)果進(jìn)行后處理來解決公平問題，由公平閾值調(diào)整（fair thresholding）與公平校準(zhǔn)（fair calibration）等組件組成。其中，公平閾值調(diào)整指的是通過調(diào)整模型的決策閾值來保證模型的公平性，這一類方法有Equalized Odds Post-Processing[29]等；公平校準(zhǔn)組件可以通過優(yōu)化模型的得分輸出來修改模型的決策結(jié)果，保證模型的公平性，這一類方法有Calibrated Equalized Odds Post-Processing[65]等。

圖3中安全增強(qiáng)模組具體如下。

● 對(duì)抗訓(xùn)練模塊通過對(duì)抗訓(xùn)練的方法，使用可信數(shù)據(jù)層生成的對(duì)抗樣本，對(duì)模型持續(xù)進(jìn)行微調(diào)（fine-tuning），可以持續(xù)不斷地提升模型對(duì)對(duì)抗攻擊的防御能力。

● 安全基準(zhǔn)測試模塊可以設(shè)置不同的基準(zhǔn)測試對(duì)不同場景下的模型進(jìn)行安全性能評(píng)估。通過為每個(gè)測試場景設(shè)置測試數(shù)據(jù)、攻擊方案、基準(zhǔn)配置等，測試模型在各攻擊方案下的安全性能，并與基準(zhǔn)配置進(jìn)行比較排序。

● 模型安全檢測模塊由分類精度差異（classification accuracy variance，CAV）、分類犧牲率（c l a s s i f i c at i o n sacrifice ratio，CSR）與分類矯正率（classification rectify ratio，CRR）等檢測指標(biāo)組成。CAV指標(biāo)衡量的是應(yīng)用防御方法前后模型對(duì)同一批對(duì)抗樣本的準(zhǔn)確率的變化情況，該指標(biāo)越大，表示抗攻擊的效果越好；CSR指標(biāo)表示模型增強(qiáng)前防御成功的樣本在模型增強(qiáng)后防御失敗的比率，該指標(biāo)越高，表示抗攻擊的效果越差；CRR指標(biāo)表示模型增強(qiáng)前防御失敗的樣本在模型增強(qiáng)后防御成功的樣本中的比例，該指標(biāo)越高，表示抗攻擊的效果越好。

可信算法層從因果、公平、增強(qiáng)3個(gè)角度提供了多樣的可信AI能力，為其他層的可信能力提供了支持與補(bǔ)充，是可信AI治理框架可信能力的核心。

3.3 可信計(jì)算層

大規(guī)模分布式訓(xùn)練可充分利用跨組織的數(shù)據(jù)資產(chǎn)及計(jì)算資源，極大地提升人工智能模型的精度，但此過程中往往存在數(shù)據(jù)安全及隱私泄露的風(fēng)險(xiǎn)。比如，2019年研究人員發(fā)現(xiàn)，分布式訓(xùn)練過程中參與方之間交換的梯度信息能夠造成訓(xùn)練樣本泄露[66]?？绲赜虻姆植际椒?wù)系統(tǒng)同樣存在類似的問題，早在2016年研究人員就發(fā)現(xiàn)，AI模型僅在幾千次使用后就被竊取數(shù)據(jù)[67]。分布式計(jì)算框架最初被設(shè)計(jì)用來解決單機(jī)性能不足的問題，節(jié)點(diǎn)間的數(shù)據(jù)交互主要發(fā)生在內(nèi)部網(wǎng)絡(luò)，受到網(wǎng)絡(luò)防火墻的保護(hù)，不易被外界攻擊，因此數(shù)據(jù)泄露的風(fēng)險(xiǎn)較低。但在跨域計(jì)算的場景下，節(jié)點(diǎn)間的數(shù)據(jù)交換暴露在公共網(wǎng)絡(luò)中，因此計(jì)算過程中的數(shù)據(jù)安全問題不能被忽視。本文設(shè)計(jì)的T-DCAM的可信計(jì)算層通過引入聯(lián)邦學(xué)習(xí)、聯(lián)邦計(jì)算、安全多方計(jì)算等隱私計(jì)算方法，減少交互過程中敏感數(shù)據(jù)的傳輸，并對(duì)數(shù)據(jù)通道進(jìn)行加密，保證計(jì)算全流程和跨組織計(jì)算的安全性。其具體如圖4所示。

圖4 可信計(jì)算層結(jié)構(gòu)

可信計(jì)算層包括加密算法、可信計(jì)算、計(jì)算調(diào)度3個(gè)模組。加密算法模組由同態(tài)加密、差分隱私、秘密分享、零知識(shí)證明、不經(jīng)意傳輸?shù)冉M件組成，保證數(shù)據(jù)傳輸?shù)陌踩豢尚庞?jì)算模組由隱私信息搜索、隱私邏輯計(jì)算、共識(shí)機(jī)制、聯(lián)邦特征工程、TPCM可信計(jì)算模塊等組件組成，提供跨節(jié)點(diǎn)的可信計(jì)算能力；計(jì)算調(diào)度模組由聯(lián)邦學(xué)習(xí)、聯(lián)邦計(jì)算及安全多方計(jì)算模塊組成，提供了一個(gè)多方參與的可信計(jì)算調(diào)度框架，從架構(gòu)流程、計(jì)算規(guī)范上保證跨域計(jì)算的可信性。

圖4中加密算法模組為可信計(jì)算層提供了各種加密算法，具體如下。

● 同態(tài)加密組件為可信計(jì)算層提供同態(tài)加密[68]算法。該算法可以對(duì)數(shù)據(jù)進(jìn)行加密，且加密后的數(shù)據(jù)可以直接計(jì)算，并可以通過解密獲得正確的計(jì)算結(jié)果。

● 差分隱私組件為可信計(jì)算層提供差分隱私[69]算法。該算法可以對(duì)數(shù)據(jù)添加干擾噪聲，以此來保護(hù)數(shù)據(jù)中的用戶隱私信息，且不會(huì)顯著改變數(shù)據(jù)的計(jì)算結(jié)果。

● 秘密分享組件為可信計(jì)算層提供秘密分享[70]的能力。該組件可以將需要加密的數(shù)據(jù)信息以適當(dāng)?shù)姆绞讲鸱?，拆分后的每一份信息由不同的參與者管理，單個(gè)參與者無法恢復(fù)秘密信息，只有若干個(gè)參與者協(xié)作才能恢復(fù)信息。

● 零知識(shí)證明組件為可信計(jì)算層提供零知識(shí)證明[71]算法。通過該算法，證明者能夠在不向驗(yàn)證者提供任何有用信息的情況下，使驗(yàn)證者相信某個(gè)論斷是正確的。

● 不經(jīng)意傳輸組件為可信計(jì)算層提供不經(jīng)意傳輸[72]能力。該組件可以從數(shù)據(jù)集合中發(fā)送部分?jǐn)?shù)據(jù)給接收者，但事后不清楚具體發(fā)送了哪些數(shù)據(jù)，以保護(hù)數(shù)據(jù)接收者的隱私。

圖4中可信計(jì)算模組具體如下。

● 隱私信息檢索組件可以在查詢的過程中保護(hù)查詢方的隱私信息，數(shù)據(jù)提供方無法獲知查詢方具體查詢了哪個(gè)對(duì)象。隱私信息檢索組件基于n選1的不經(jīng)意傳輸[72]，查詢方將查詢需求加密后發(fā)給數(shù)據(jù)提供方，數(shù)據(jù)提供方基于加密信息返回n條查詢結(jié)果給查詢方，查詢了方從n條信息中計(jì)算出自己需要的查詢結(jié)果，在此過程中，隱私信息檢索組件保證查詢方得到了匹配的查詢結(jié)果卻不留查詢痕跡。

● 隱私邏輯計(jì)算組件基于混淆電路[73]或不經(jīng)意傳輸[74]技術(shù)來實(shí)現(xiàn)多方安全比較，可以在不提供自己的數(shù)據(jù)給其他參與方的情況下，判斷各方數(shù)據(jù)的大小關(guān)系，判斷各方數(shù)據(jù)是否相等。

● 共識(shí)機(jī)制組件可以在分布式系統(tǒng)中各節(jié)點(diǎn)狀態(tài)不一致時(shí)，提供特定機(jī)制獎(jiǎng)勵(lì)提供資源維護(hù)區(qū)塊鏈的使用者，懲罰惡意的危害者，使得分布式系統(tǒng)中的各節(jié)點(diǎn)達(dá)成共識(shí)，保證狀態(tài)的一致。共識(shí)機(jī)制組件中的工作量證明（proof of work，PoW）機(jī)制基于節(jié)點(diǎn)的工作量對(duì)節(jié)點(diǎn)進(jìn)行獎(jiǎng)懲，權(quán)益證明（proof of stake，PoS）機(jī)制基于節(jié)點(diǎn)持有區(qū)塊的比例及持有時(shí)間來進(jìn)行獎(jiǎng)懲。

● 聯(lián)邦特征工程組件可以對(duì)即將進(jìn)行聯(lián)邦學(xué)習(xí)的各參與方數(shù)據(jù)進(jìn)行聯(lián)合的特征工程。由于聯(lián)邦學(xué)習(xí)對(duì)數(shù)據(jù)隱私保護(hù)的要求，特征工程不能直接使用各參與方的數(shù)據(jù)，需要借助特定的算法來完成。聯(lián)邦特征工程組件包含聯(lián)邦采樣、聯(lián)邦特征分箱、聯(lián)邦特征選擇、聯(lián)邦特征歸一化、聯(lián)邦獨(dú)熱編碼等算法。

● TPCM可信計(jì)算模塊可以為軟件的執(zhí)行提供一個(gè)可信的執(zhí)行環(huán)境，該模塊包含可信度量根（root of trust for measurement，RTM）、可信存儲(chǔ)根（root of trust for storage，RTS）及可信報(bào)告根（root of trust for reporting，RTR）等組件。當(dāng)實(shí)體請(qǐng)求訪問可信執(zhí)行環(huán)境時(shí)，根據(jù)請(qǐng)求的資源類型，使用RTM、RTS或RTR對(duì)實(shí)體進(jìn)行度量，完成實(shí)體的身份認(rèn)證，即判斷得到的度量值是否在可信環(huán)境中有記錄，若有，則認(rèn)為該實(shí)體可信，否則，認(rèn)為該實(shí)體不可信。

圖4中計(jì)算調(diào)度模組具體如下。

● 聯(lián)邦學(xué)習(xí)模塊在保護(hù)數(shù)據(jù)參與方數(shù)據(jù)隱私的前提下，利用多方數(shù)據(jù)完成模型訓(xùn)練、推理等功能。該模塊由橫向聯(lián)邦學(xué)習(xí)、縱向聯(lián)邦學(xué)習(xí)、聯(lián)邦遷移學(xué)習(xí)3個(gè)組件組成：橫向聯(lián)邦學(xué)習(xí)模塊針對(duì)參與方擁有相同特征但樣本分布不同的情況，讓各參與方利用私有數(shù)據(jù)在本地進(jìn)行訓(xùn)練，再通過模型聚合方式不斷更新模型；縱向聯(lián)邦學(xué)習(xí)模塊適用于參與方數(shù)據(jù)特征不同，只有一方有標(biāo)簽數(shù)據(jù)的情況，此時(shí)模型需要多方的數(shù)據(jù)才能訓(xùn)練，推理時(shí)也需要多方數(shù)據(jù)才能完成，進(jìn)行縱向聯(lián)邦學(xué)習(xí)首先需要對(duì)各參與方的加密實(shí)體進(jìn)行對(duì)齊，然后使用特定的縱向聯(lián)邦學(xué)習(xí)算法進(jìn)行加密模型訓(xùn)練；聯(lián)邦遷移學(xué)習(xí)模塊適用于參與者間特征和樣本重疊都很少的場景，不同的數(shù)據(jù)方首先訓(xùn)練各自的模型，然后在保證隱私的前提下，多方對(duì)這些模型進(jìn)行聯(lián)合訓(xùn)練，最后得出最優(yōu)的模型，并將其返回給各個(gè)數(shù)據(jù)所有方。

● 聯(lián)邦計(jì)算模塊可以在不直接進(jìn)行數(shù)據(jù)交換的前提下，集成來自不同數(shù)據(jù)庫、數(shù)據(jù)平臺(tái)產(chǎn)品的異構(gòu)數(shù)據(jù)源，按協(xié)議統(tǒng)籌調(diào)度，各參與方先計(jì)算各自的中間結(jié)果，再匯總所有數(shù)據(jù)源的計(jì)算結(jié)果，計(jì)算出全體數(shù)據(jù)的計(jì)算結(jié)果。

● 安全多方計(jì)算模塊可以在無可信第三方參與的情況下，讓多個(gè)計(jì)算參與方利用各方的秘密數(shù)據(jù)計(jì)算一個(gè)預(yù)先達(dá)成共識(shí)的函數(shù)，計(jì)算結(jié)束后任意一方可以得到己方的結(jié)果，但無法獲得其他信息。

借助加密算法、可信計(jì)算、計(jì)算調(diào)度模組提供的技術(shù)支撐，在多方參與的跨域計(jì)算過程中，可信計(jì)算層在滿足《中華人民共和國數(shù)據(jù)安全法》要求的前提下，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的跨企業(yè)協(xié)同，保障數(shù)據(jù)安全的合規(guī)使用。

3.4 可信管理層

多國政府從頂層設(shè)計(jì)對(duì)AI系統(tǒng)提出了可信要求[15,17,24-25]，目標(biāo)是建立合法合規(guī)、公平公正、行為可解釋、結(jié)果可追溯的可靠、可控、可信的AI系統(tǒng)?？尚殴芾韺邮荰-DACM的最頂層，如圖5所示，從模型、事件、系統(tǒng)3個(gè)層級(jí)對(duì)AI系統(tǒng)進(jìn)行管理，實(shí)現(xiàn)AI行為可解釋、事件可追溯、責(zé)任可定位，并符合法律法規(guī)的監(jiān)管要求。

圖5 可信管理層結(jié)構(gòu)

模型級(jí)監(jiān)管可跟蹤模型內(nèi)部的決策過程，對(duì)決策結(jié)果進(jìn)行解釋，其功能具體由可解釋性模組實(shí)現(xiàn)；事件級(jí)監(jiān)管可在事后對(duì)某一事件全流程進(jìn)行回溯，準(zhǔn)確定位到問題發(fā)生的子流程，進(jìn)行進(jìn)一步的問題診斷及責(zé)任細(xì)分，其功能具體由事件追溯模組實(shí)現(xiàn)；系統(tǒng)級(jí)監(jiān)管可對(duì)AI系統(tǒng)的整體行為進(jìn)行實(shí)時(shí)監(jiān)控或周期性復(fù)盤，對(duì)違反法律法規(guī)與倫理道德的行為進(jìn)行預(yù)警及處理，其功能具體由公平倫理核查模組實(shí)現(xiàn)。

可解釋性模組由自解釋方法、生成解釋方法、代理模型可解釋方法、可視化的解釋方法組件組成，解 決黑盒模型不可解釋的問題，具體如下。

● 自解釋方法指的是線性模型、樹模型等本身可解釋性較好的模型，可以通過模型自身來解釋其決策邏輯。

● 生成解釋方法使用分類和語言生成模型生成解釋性文本，相關(guān)方法有Generating Visual Explanations[74]等。

● 代理模型可解釋方法通過訓(xùn)練一個(gè)局部近似的自解釋性模型來解釋原模型的行為，LIME[10]是這一類方法的代表。

● 可視化的解釋方法指的是利用熱圖、特征圖等方法對(duì)模型決策過程進(jìn)行可視化的展示，針對(duì)模型行為提供直觀、可理解的視覺解釋。

事件追溯模組由日志記錄、日志分析、追溯定責(zé)組件組成，記錄AI系統(tǒng)決策過程，解決事后問題定位及定責(zé)難題，具體如下。

● 日志記錄組件根據(jù)事先約定，在AI應(yīng)用特定行為被觸發(fā)、特定時(shí)間點(diǎn)或特定時(shí)間間隔后，進(jìn)行日志記錄。記錄內(nèi)容包括時(shí)間、行為主體、行為內(nèi)容、執(zhí)行上下文環(huán)境等。

● 日志分析組件在事件完成后被觸發(fā)，可以根據(jù)事件的日志記錄生成事件的報(bào)告，按事件中子流程發(fā)生的先后順序或子流程之間的依賴關(guān)系對(duì)子流程進(jìn)行展示，方便后續(xù)的分析。

● 追溯定責(zé)組件在事件完成后對(duì)事件報(bào)告進(jìn)行檢查，判斷有無事故發(fā)生。若有事故發(fā)生，則按照子流程的時(shí)間順序或依賴關(guān)系定位到問題發(fā)生的源頭，按照責(zé)任劃分規(guī)則，進(jìn)行故障的自動(dòng)認(rèn)定。

公平倫理核查模組由關(guān)鍵結(jié)果留存、公平倫理算法、自動(dòng)監(jiān)管組件組成，對(duì)系統(tǒng)行為進(jìn)行合規(guī)性監(jiān)管，保證AI系統(tǒng)符合法律法規(guī)及公平倫理要求，具體如下。

● 關(guān)鍵結(jié)果留存組件負(fù)責(zé)留存系統(tǒng)運(yùn)行過程中的關(guān)鍵數(shù)據(jù)。對(duì)于涉及公平倫理、法律法規(guī)的關(guān)鍵數(shù)據(jù)，如員工的調(diào)度數(shù)據(jù)等，在系統(tǒng)做出決策的同時(shí)，將決策結(jié)果與決策的上下文數(shù)據(jù)存入數(shù)據(jù)庫等持久存儲(chǔ)介質(zhì)中，方便后續(xù)的核查。

● 公平倫理算法組件負(fù)責(zé)提供判斷系統(tǒng)行為是否違反公平倫理及法律法規(guī)的標(biāo)準(zhǔn)，針對(duì)具體的AI應(yīng)用，需要根據(jù)其可能涉及的公平倫理及法律法規(guī)問題，設(shè)計(jì)出專用的公平倫理算法。如可以使用機(jī)會(huì)均等（equal opportunity）[29]方法，對(duì)系統(tǒng)一段時(shí)間內(nèi)的優(yōu)惠券發(fā)放行為進(jìn)行審查，判斷有無對(duì)老年人的歧視行為發(fā)生，也可以使用廣義熵指數(shù)（generalized entropy index，GEI）[75]方法對(duì)針對(duì)某位員工的調(diào)度指令進(jìn)行檢查，判斷該調(diào)度是否公平。

● 自動(dòng)監(jiān)管組件針對(duì)AI系統(tǒng)中類似“大數(shù)據(jù)殺熟”“數(shù)字勞工”等違反倫理或法規(guī)的系統(tǒng)敏感行為，進(jìn)行事前數(shù)據(jù)、事中處理、事后結(jié)果的監(jiān)管，實(shí)時(shí)或定期地從公平倫理算法組件中選擇合適的算法對(duì)系統(tǒng)行為進(jìn)行監(jiān)管。

可信管理層是可信技術(shù)與管理要求的結(jié)合，T-DACM通過模型、事件、系統(tǒng)3個(gè)層級(jí)的協(xié)作滿足了AI可解釋、可追溯、可監(jiān)管的要求?？尚殴芾韺涌梢詭椭藗兏玫卣瓶谹I的行為，是可信AI不可或缺的組成部分。

4 應(yīng)用案例

T-DACM通過可信數(shù)據(jù)層、可信算法層、可信計(jì)算層、可信管理層的聯(lián)合協(xié)作，滿足了可信AI應(yīng)用及管理的要求，并可通過組件擴(kuò)展的方式滿足未來需求。其應(yīng)用全景圖如圖6所示，在研發(fā)階段，可通過可信數(shù)據(jù)治理、可信算法設(shè)計(jì)、模型學(xué)習(xí)等相關(guān)過程實(shí)現(xiàn)可信AI模型的開發(fā)工作；在應(yīng)用階段，可通過可信數(shù)據(jù)治理、模型推理、安全多方計(jì)算等相關(guān)過程實(shí)現(xiàn)可信AI解決方案的落地工作；在管理階段，可通過事件追溯、公平倫理核查、可解釋性等能力接口對(duì)AI系統(tǒng)進(jìn)行可信監(jiān)管。

圖6 可信AI 治理框架應(yīng)用全景圖

以星環(huán)信息科技（上海）股份有限公司Sophon可信AI治理套件（Sophon trusted-AI toolkit）在某銀行風(fēng)控項(xiàng)目的實(shí)施為例。該項(xiàng)目目標(biāo)是對(duì)原授信系統(tǒng)進(jìn)行可信化升級(jí)改造。原授信系統(tǒng)架構(gòu)如圖7所示，由數(shù)據(jù)層、算法庫、管理層、應(yīng)用層與決策引擎構(gòu)成。該架構(gòu)存在以下問題及需求。

圖7 原授信系統(tǒng)架構(gòu)

業(yè)務(wù)推廣過程中高風(fēng)險(xiǎn)客戶的識(shí)別率僅達(dá)到87%，較低的風(fēng)險(xiǎn)識(shí)別率提高了項(xiàng)目的財(cái)務(wù)風(fēng)險(xiǎn)；此外，還存在大約3%的優(yōu)質(zhì)客戶聯(lián)系方式失效的問題，導(dǎo)致客戶資源流失。

現(xiàn)有黑盒客 戶信用評(píng)分模型無法對(duì)客戶評(píng)分差異進(jìn)行解釋，授信結(jié)果缺乏透明性及可比較性，給授信工作的順利開展增加了困難，需要引入新方法解決此問題。

對(duì)于高風(fēng)險(xiǎn)客戶識(shí)別率較低的問題，盡管嘗試了多模型融合、參數(shù)優(yōu)化等多種模型優(yōu)化方法，模型精確率仍只有91.7%。針對(duì)模型優(yōu)化效果不佳的情況，引入T-DACM的可信計(jì)算層，通過縱向聯(lián)邦學(xué)習(xí)組件利用第三方風(fēng)控?cái)?shù)據(jù)進(jìn)行聯(lián)合建模，從數(shù)據(jù)優(yōu)化的維度提升模型精度。聯(lián)邦學(xué)習(xí)的方式解決了模型學(xué)習(xí)過程中數(shù)據(jù)風(fēng)險(xiǎn)特征不足的問題，在不直接引入運(yùn)營商風(fēng)險(xiǎn)特征數(shù)據(jù)的前提下，將風(fēng)控模型精度提升到99.2%，達(dá)到了商用要求。對(duì)于客戶資源流失的問題，通過T-DACM可信計(jì)算層的安全多方計(jì)算組件，使用隱匿集合求交功能，實(shí)現(xiàn)與第三方社交媒體用戶資源的匹配，從而找到失聯(lián)客戶，并進(jìn)行接觸推廣，最終將失聯(lián)用戶率降低至0.4%，有效地挽回了客戶資源。在本案例中，T-DACM可信計(jì)算層在不共享數(shù)據(jù)的前提下，完成了模型學(xué)習(xí)和聯(lián)合計(jì)算，既保護(hù)了雙方的數(shù)據(jù)隱私安全，又充分利用了數(shù)據(jù)的價(jià)值。

對(duì)于模型黑盒問題，項(xiàng)目初期嘗試了線性回歸、決策樹等自解釋性較好的模型，但未能達(dá)到項(xiàng)目使用要求。通過引入T-DACM可信管理層的可解釋性模塊，具體使用LIME[77]來解釋信用評(píng)分模型的決策行為，LIME方法適用于多種模型及數(shù)據(jù)的解釋，其解釋結(jié)果容易理解，解決了對(duì)客戶的評(píng)分差異無法解釋的問題。

綜上所述，引入T-DACM對(duì)原風(fēng)控項(xiàng)目進(jìn)行了如圖8所示的改造。

圖8 改造后系統(tǒng)架構(gòu)

T-DACM的引入解決了原有項(xiàng)目開發(fā)、運(yùn)營過程中模型精度不足、模型黑盒難以解釋等問題，為AI應(yīng)用提供了可信化改造的指導(dǎo)。該案例對(duì)類似項(xiàng)目的可信AI問題的解決具有借鑒意義。

5 結(jié)束語

近10年來，人工智能應(yīng)用呈現(xiàn)爆發(fā)式增長，在人臉識(shí)別、自動(dòng)駕駛、對(duì)話系統(tǒng)、金融風(fēng)控等領(lǐng)域得到了廣泛應(yīng)用。但是，外部惡意攻擊與內(nèi)部機(jī)理引發(fā)的可信事故給AI的深入發(fā)展帶來了新的挑戰(zhàn)。本文提出的T-DACM結(jié)合數(shù)據(jù)、算法、計(jì)算、管理4個(gè)維度的可信方法，提供了一個(gè)端到端的可信AI解決方案，并在產(chǎn)業(yè)界進(jìn)行了實(shí)踐與落地?？尚臕I是一件任重而道遠(yuǎn)的事情，當(dāng)前模型的黑盒仍未完全解開，徹底的可信尚未達(dá)到。相信隨著人們對(duì)AI研究的愈加深入、新方法新技術(shù)的不斷提出，可信AI治理框架必將越來越完善。