陳群，陳肇強(qiáng)，侯博議，王麗娟，羅雨晨，李戰(zhàn)懷

1. 西北工業(yè)大學(xué)計(jì)算機(jī)學(xué)院，陜西 西安 710129；2. 西北工業(yè)大學(xué)大數(shù)據(jù)存儲(chǔ)與管理工業(yè)和信息化部重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710129

1 引言

隨著大數(shù)據(jù)的發(fā)展，以深度學(xué)習(xí)為代表的人工智能技術(shù)在計(jì)算機(jī)視覺、語音識(shí)別、視頻處理、自然語言處理等領(lǐng)域得到了廣泛的應(yīng)用。然而，在真實(shí)場(chǎng)景中，由于環(huán)境的復(fù)雜性，基于深度學(xué)習(xí)模型的預(yù)測(cè)具有不確定性，在落地時(shí)經(jīng)常帶來不可預(yù)知的風(fēng)險(xiǎn)。例如，2016年5月，一輛特斯拉Model S電動(dòng)車在自動(dòng)駕駛狀態(tài)下撞上對(duì)向正在轉(zhuǎn)彎的卡車，該事故導(dǎo)致特斯拉駕駛員死亡。據(jù)特斯拉公司的解釋，自動(dòng)駕駛系統(tǒng)在面對(duì)明亮的天空時(shí)，沒有識(shí)別出白色的卡車。基于深度學(xué)習(xí)模型的人工智能算法的另一個(gè)局限是不可解釋性，即難以用人們可理解的方式來解釋算法做出相應(yīng)決策的原因?？山忉屝跃哂蟹浅Ｖ匾囊饬x：一方面，可解釋性是保障人工智能安全性的一個(gè)重要手段，如果算法能夠說明所做決策的依據(jù)，人們就可以通過分析依據(jù)的合理性和內(nèi)在邏輯評(píng)估算法的安全性；另一方面，可解釋性有利于加速推廣人工智能的落地應(yīng)用。人們普遍難以相信一個(gè)不可解釋的黑盒子模型做出的決策。例如，歐盟提出的《通用數(shù)據(jù)保護(hù)條例》要求算法具備可解釋性，數(shù)據(jù)主體有權(quán)獲取算法決策的有關(guān)解釋。電氣和電子工程師協(xié)會(huì)（Institute of Electrical and Electronics Engineers，IEEE）2016年發(fā)布的關(guān)于人工智能及自動(dòng)化系統(tǒng)的倫理設(shè)計(jì)白皮書中，在多個(gè)部分提出了對(duì)人工智能和自動(dòng)化系統(tǒng)應(yīng)有解釋能力的要求；美國計(jì)算機(jī)協(xié)會(huì)公共政策委員會(huì)在2017年初發(fā)布的《關(guān)于算法透明性和可問責(zé)性的聲明》提出了7項(xiàng)基本原則，其中之一即“解釋”：鼓勵(lì)使用算法決策的系統(tǒng)和機(jī)構(gòu)對(duì)算法過程和特定決策提供解釋。

綜上所述，目前以深度學(xué)習(xí)為代表的人工智能技術(shù)存在不確定性和不可解釋性的問題。因此，能夠準(zhǔn)確預(yù)知人工智能算法在什么情況下可能失效，并提供可解釋的原因，是保障人工智能應(yīng)用安全性的關(guān)鍵。在軟件工程中，為確保軟件的安全運(yùn)行，軟件測(cè)試是其中必不可少的一個(gè)環(huán)節(jié)。軟件測(cè)試費(fèi)用達(dá)到總開發(fā)費(fèi)用的40%以上。對(duì)于某些性命攸關(guān)的軟件，其測(cè)試費(fèi)用甚至高達(dá)其他軟件工程階段費(fèi)用總和的3～5倍[1]。然而，目前的軟件測(cè)試只能檢測(cè)程序的正確性和漏洞，并不能檢測(cè)人工智能算法預(yù)測(cè)錯(cuò)誤的風(fēng)險(xiǎn)。風(fēng)險(xiǎn)指的是產(chǎn)生損失、造成傷害或者處于不利狀況的可能性，該詞在實(shí)際的生產(chǎn)生活中被廣泛運(yùn)用。在不同的場(chǎng)景中，風(fēng)險(xiǎn)的具體含義通常也不相同。對(duì)于人工智能而言，具體的風(fēng)險(xiǎn)包括預(yù)測(cè)的準(zhǔn)確性風(fēng)險(xiǎn)[2-3]、決策的公平性風(fēng)險(xiǎn)[4]以及決策的道德性風(fēng)險(xiǎn)[5]等。本文主要關(guān)注人工智能算法的預(yù)測(cè)準(zhǔn)確性風(fēng)險(xiǎn)。

針對(duì)目前人工智能技術(shù)存在的不確定性和不可解釋性問題，高效的風(fēng)險(xiǎn)分析技術(shù)需要具備以下3個(gè)基本特征。

● 可量化：能夠準(zhǔn)確分析算法預(yù)測(cè)錯(cuò)誤的可能性，實(shí)現(xiàn)風(fēng)險(xiǎn)的量化評(píng)估。

● 可解釋：可以以人類能理解的方式解釋算法預(yù)測(cè)錯(cuò)誤的原因，實(shí)現(xiàn)可解釋的根因分析。

● 可學(xué)習(xí)：鑒于深度學(xué)習(xí)模型的高度復(fù)雜性以及其對(duì)環(huán)境的高度敏感性，風(fēng)險(xiǎn)分析技術(shù)需要能夠根據(jù)實(shí)際的應(yīng)用環(huán)境，動(dòng)態(tài)調(diào)整其風(fēng)險(xiǎn)模型參數(shù)，實(shí)現(xiàn)風(fēng)險(xiǎn)評(píng)估的自適應(yīng)性。

2 風(fēng)險(xiǎn)分析技術(shù)的研究現(xiàn)狀

風(fēng)險(xiǎn)分析在以前的文獻(xiàn)中也被稱為置信度評(píng)估（confidence ranking）[3]或信任評(píng)分（trust scoring）[6]，是新興的研究領(lǐng)域。本節(jié)首先回顧與機(jī)器學(xué)習(xí)模型的性能評(píng)估和模型可解釋性分析相關(guān)的工作，說明其與風(fēng)險(xiǎn)分析的區(qū)別，然后著重介紹風(fēng)險(xiǎn)分析的研究現(xiàn)狀。

2.1 機(jī)器學(xué)習(xí)模型的性能評(píng)估

為了預(yù)測(cè)一個(gè)已訓(xùn)練好的機(jī)器學(xué)習(xí)模型在目標(biāo)數(shù)據(jù)集上的性能，一個(gè)被廣泛運(yùn)用的方法是從目標(biāo)數(shù)據(jù)集中隨機(jī)抽取一部分?jǐn)?shù)據(jù)進(jìn)行人工標(biāo)注，建立驗(yàn)證集；然后用驗(yàn)證集來評(píng)估模型的預(yù)測(cè)準(zhǔn)確度。當(dāng)目標(biāo)數(shù)據(jù)集未知或者無法提供額外的人工標(biāo)注時(shí)，可以在訓(xùn)練數(shù)據(jù)集上采用交叉驗(yàn)證法（cross-validation），其典型的方式有留一法、十重交叉驗(yàn)證法[7]。需要指出的是，基于驗(yàn)證集的模型準(zhǔn)確度預(yù)測(cè)方法評(píng)估的是模型的整體表現(xiàn)，無法評(píng)估模型在單個(gè)實(shí)例上的預(yù)測(cè)行為。然而，風(fēng)險(xiǎn)分析關(guān)注的是單個(gè)實(shí)例的預(yù)測(cè)風(fēng)險(xiǎn)，如醫(yī)學(xué)影像分析中單個(gè)病人的病情診斷、自動(dòng)駕駛中某個(gè)具體場(chǎng)景的安全分析等。因此，傳統(tǒng)的機(jī)器學(xué)習(xí)模型的性能評(píng)估方法并不適用于風(fēng)險(xiǎn)分析。

2.2 機(jī)器學(xué)習(xí)模型的可解釋性分析

由于深度學(xué)習(xí)模型的不可解釋性，近年來一個(gè)熱門的研究方向是對(duì)黑盒模型進(jìn)行可解釋性分析[8-9]。針對(duì)黑盒模型的可解釋性研究可分為3類[9]。

（1）模型解釋

模型解釋即用可解釋的、透明的模型來模擬黑盒模型，以此得到一個(gè)全局的解釋。例如，參考文獻(xiàn)[8]提出針對(duì)文本分類任務(wù)的可解釋的數(shù)據(jù)表示——詞袋，然后通過學(xué)習(xí)一個(gè)局部的可解釋性模型（比如線性模型）來解釋分析算法的預(yù)測(cè)結(jié)果；參考文獻(xiàn)[10]提出了基于規(guī)則來構(gòu)建局部的可解釋模型，對(duì)于符合相同規(guī)則的數(shù)據(jù)，該模型對(duì)結(jié)果的解釋具有一致性，同時(shí)排除了不屬于規(guī)則要求的其他特征的干擾。

（2）輸出解釋

輸出解釋即對(duì)黑盒模型的輸出進(jìn)行解釋分析。例如，參考文獻(xiàn)[11]提出利用局部的梯度值來刻畫特征的影響，進(jìn)而解釋算法的預(yù)測(cè)結(jié)果；參考文獻(xiàn)[12]基于聯(lián)合博弈論，通過分析每個(gè)輸入特征的貢獻(xiàn)度來解釋任意分類器的輸出結(jié)果；參考文獻(xiàn)[13]設(shè)計(jì)了一個(gè)交互式的可視化工具，幫助用戶查看每一個(gè)具體數(shù)據(jù)實(shí)例的信息。

（3）模型檢驗(yàn)

模型檢驗(yàn)即對(duì)黑盒模型的特性進(jìn)行解釋分析，比如模型的預(yù)測(cè)行為對(duì)輸入特征的敏感度、深度神經(jīng)網(wǎng)絡(luò)模型中的特定神經(jīng)元對(duì)預(yù)測(cè)結(jié)果的影響等。例如，參考文獻(xiàn)[14]提出利用隨機(jī)森林分類器中的路徑信息來指導(dǎo)輸入特征的調(diào)整，進(jìn)而改變黑盒模型對(duì)某個(gè)輸入數(shù)據(jù)的預(yù)測(cè)結(jié)果。需要指出的是，針對(duì)機(jī)器學(xué)習(xí)模型的可解釋分析的研究旨在提供可解釋性的信息，輔助用戶對(duì)人工智能算法的結(jié)果進(jìn)行分析，但沒有提供量化的風(fēng)險(xiǎn)評(píng)估。

2.3 風(fēng)險(xiǎn)分析

針對(duì)實(shí)例的風(fēng)險(xiǎn)分析，最簡(jiǎn)單的方法就是直接利用模型在每個(gè)實(shí)例上提供的信息，評(píng)估決策的風(fēng)險(xiǎn)。例如，樸素貝葉斯分類器為每個(gè)類別標(biāo)簽都提供了相應(yīng)的類別概率[15]，可以天然地作為預(yù)測(cè)標(biāo)簽的風(fēng)險(xiǎn)度量指標(biāo)。當(dāng)分類器的輸出不是概率值時(shí)，可以采用不同的方法將其轉(zhuǎn)化為類別概率。例如，基于Platt校準(zhǔn)的方法可以將支持向量分類器的輸出距離轉(zhuǎn)化為類別概率[16]；softmax函數(shù)可以將深度神經(jīng)網(wǎng)絡(luò)模型中神經(jīng)元的輸出映射為類別概率[3]。然而，模型本身輸出的概率很多時(shí)候并不能準(zhǔn)確地反映預(yù)測(cè)的不確定性[3]。為此，有一些工作提出對(duì)模型的輸出概率進(jìn)行校準(zhǔn)[17-18]。然而，這些校準(zhǔn)技術(shù)并沒有改變實(shí)例之間的相對(duì)不確定性，而且，當(dāng)模型的結(jié)構(gòu)復(fù)雜或未知時(shí)，概率校準(zhǔn)極具挑戰(zhàn)。對(duì)于主流的深度學(xué)習(xí)模型，直接基于模型輸出或校準(zhǔn)輸出的風(fēng)險(xiǎn)度量方法可解釋性差，而且大量的實(shí)驗(yàn)表明，其在很多情況下無法獲得可靠的風(fēng)險(xiǎn)分析結(jié)果[6]。

另外一種方法是通過設(shè)計(jì)額外的模型來分析原始學(xué)習(xí)模型在單個(gè)實(shí)例上的預(yù)測(cè)行為[6,19-20]。例如，參考文獻(xiàn)[6]提出了一種基于距離的風(fēng)險(xiǎn)評(píng)估方法，該方法首先為每種標(biāo)簽構(gòu)建一個(gè)代表該類標(biāo)簽的簇，然后對(duì)于給定的任一測(cè)試實(shí)例，計(jì)算該實(shí)例與不同機(jī)器標(biāo)簽所在簇的距離，最后通過比較這些距離來計(jì)算該實(shí)例標(biāo)簽的風(fēng)險(xiǎn)。參考文獻(xiàn)[19]則針對(duì)計(jì)算機(jī)視覺的應(yīng)用場(chǎng)景，首先獲取部分?jǐn)?shù)據(jù)的輸入特征和原始模型預(yù)測(cè)的信息，并以此作為訓(xùn)練數(shù)據(jù)，然后訓(xùn)練一個(gè)支持向量機(jī)（SVM）模型或者支持向量回歸（SVR）模型，判斷新的輸入數(shù)據(jù)不能被原始模型正確處理的風(fēng)險(xiǎn)。嚴(yán)格地說，這種方法是依據(jù)輸入數(shù)據(jù)的特征提前拒絕高風(fēng)險(xiǎn)的實(shí)例，并沒有對(duì)原始模型輸出的風(fēng)險(xiǎn)進(jìn)行量化分析。而且，其可解釋性也較差。

以上的風(fēng)險(xiǎn)分析方法均根據(jù)單一的輸出值（如原始學(xué)習(xí)模型的輸出、獨(dú)立模型的輸出）直接度量預(yù)測(cè)錯(cuò)誤的風(fēng)險(xiǎn)。參考文獻(xiàn)[21]提出將一個(gè)實(shí)例的標(biāo)簽概率用一個(gè)分布（比如正態(tài)分布）來表示，然后借鑒投資風(fēng)險(xiǎn)分析理論中的風(fēng)險(xiǎn)度量指標(biāo)（如條件在險(xiǎn)價(jià)值），量化評(píng)估標(biāo)簽預(yù)測(cè)錯(cuò)誤的風(fēng)險(xiǎn)。更具體地說，參考文獻(xiàn)[22]提出將分類模型的輸出作為先驗(yàn)知識(shí)，然后通過訓(xùn)練數(shù)據(jù)獲取特征的觀測(cè)分布，最后利用貝葉斯推理估計(jì)實(shí)例標(biāo)簽的后驗(yàn)分布。然而，這些方法雖然在風(fēng)險(xiǎn)評(píng)估的準(zhǔn)確性和可解釋性上取得了比之前的方法更好的效果，但仍然無法根據(jù)應(yīng)用環(huán)境動(dòng)態(tài)地調(diào)整風(fēng)險(xiǎn)模型，即不是可學(xué)習(xí)的。

3 可量化、可解釋和可學(xué)習(xí)的風(fēng)險(xiǎn)分析框架

筆者在參考文獻(xiàn)[23]中提出了一個(gè)可量化、可解釋和可學(xué)習(xí)的風(fēng)險(xiǎn)分析框架，并把它成功應(yīng)用于實(shí)體解析的任務(wù)中。實(shí)體解析旨在識(shí)別出關(guān)系數(shù)據(jù)中表示同一個(gè)現(xiàn)實(shí)世界實(shí)體的記錄。圖1所示為一個(gè)實(shí)體解析的例子，R1和R2分別表示文獻(xiàn)數(shù)據(jù)集中的兩張數(shù)據(jù)表，每張表中包含多條記錄。對(duì)于一個(gè)記錄對(duì)，r1i和r2j分別表示R1和R2中的一條記錄，當(dāng)且僅當(dāng)r1i和r2j指向同一篇文章時(shí)，稱之為“匹配”，否則，稱之為“不匹配”。在圖1的例子中，r11和r21是匹配的，r11和r22是不匹配的。

風(fēng)險(xiǎn)分析框架如圖2所示，由3個(gè)步驟組成：生成風(fēng)險(xiǎn)特征、構(gòu)建風(fēng)險(xiǎn)模型、訓(xùn)練風(fēng)險(xiǎn)模型。后文將以實(shí)體解析為例，闡述每個(gè)技術(shù)步驟。需要強(qiáng)調(diào)的是，這個(gè)框架具備很強(qiáng)的通用性，容易被擴(kuò)展應(yīng)用于其他一般性分類問題。

3.1 生成風(fēng)險(xiǎn)特征

可解釋的風(fēng)險(xiǎn)特征是進(jìn)行可解釋性風(fēng)險(xiǎn)分析的前提。為了有效支持風(fēng)險(xiǎn)分析，風(fēng)險(xiǎn)特征必須具備以下3個(gè)特點(diǎn)：一是可解釋的；二是高區(qū)分度的，風(fēng)險(xiǎn)特征必須在很大程度上是某一類標(biāo)簽所獨(dú)有的，對(duì)其有明顯的指示作用；三是高覆蓋率的，風(fēng)險(xiǎn)特征必須被很多個(gè)實(shí)例共享，只有共享的風(fēng)險(xiǎn)特征才是可學(xué)習(xí)的。

以實(shí)體解析為例，其需要把任一候選記錄對(duì)標(biāo)為“匹配”或“不匹配”。規(guī)則是一種常見的而且容易被人類理解的知識(shí)，因此筆者提出以規(guī)則的形式來表達(dá)風(fēng)險(xiǎn)特征。具體地說，首先設(shè)計(jì)能衡量屬性值的相似度以及差異度的基本指標(biāo)，然后在帶有真實(shí)標(biāo)簽的記錄對(duì)集合上，以這些基本指標(biāo)為輸入特征，通過生成單邊隨機(jī)森林來獲得具有可解釋性、高區(qū)分度和高覆蓋率的規(guī)則，得到的規(guī)則即風(fēng)險(xiǎn)特征。需要指出的是，單邊隨機(jī)森林中的每一棵樹都是單邊決策樹。傳統(tǒng)的雙邊均衡的決策樹用于判定實(shí)例的標(biāo)簽，因此其生成的規(guī)則有雙向的指示作用。例如，在文獻(xiàn)數(shù)據(jù)集上，“EditDistance(r1i[title],r2j[title])>0.9→equivalent(r1i,r2j)”作為一個(gè)標(biāo)記規(guī)則，其含義如下：如果兩條記錄r1i和r2j在標(biāo)題這個(gè)屬性上的編輯距離相似度大于0.9，那么，這兩條記錄表示同一篇文章；否則，這兩條記錄表示不同的文章。與此不同的是，作為風(fēng)險(xiǎn)特征的規(guī)則僅具有單邊的指示作用。例如，在文獻(xiàn)數(shù)據(jù)集上，規(guī)則“r1i[year]≠r2j[year] →inequivalent(r1i,r2j)”是一個(gè)有效的風(fēng)險(xiǎn)規(guī)則，因?yàn)楫?dāng)兩個(gè)記錄在年份這個(gè)屬性上的值不一樣時(shí)，它們表示不同的文章的概率較大。然而，其并不適合作為一個(gè)標(biāo)記規(guī)則，因?yàn)榧幢銉蓚€(gè)記錄在年份這個(gè)屬性上的值一樣，它們也很有可能表示不同的文章。

需要強(qiáng)調(diào)的是，基于單邊決策樹的風(fēng)險(xiǎn)特征生成方法具有通用性。對(duì)于別的分類問題，只需要設(shè)計(jì)相應(yīng)的輸入特征即可，整個(gè)規(guī)則生成過程是同樣適用的。例如，在文本分類問題中，提取出的關(guān)鍵詞可以作為輸入特征[8]；在圖像處理中，單個(gè)像素通常不具有明確的語義信息，而較大粒度的像素塊的語義信息則較為直觀[24]；在與抑郁癥相關(guān)的研究中，面部表情、頭部運(yùn)動(dòng)以及語氣是臨床科學(xué)家與臨床醫(yī)生們關(guān)注的可解釋性特點(diǎn)[25]；在嗅覺科學(xué)中，一些化學(xué)信息（如氫鍵、芳香環(huán)和帶電原子等理化性質(zhì)）為分子科學(xué)家們提供了有效的解釋信息[26]。

3.2 構(gòu)建風(fēng)險(xiǎn)模型

基于風(fēng)險(xiǎn)特征提供的信息，風(fēng)險(xiǎn)模型選取合適的風(fēng)險(xiǎn)度量方法來評(píng)估人工智能模型的決策風(fēng)險(xiǎn)。受到風(fēng)險(xiǎn)分析在金融領(lǐng)域成功應(yīng)用的啟發(fā)，筆者類似地將風(fēng)險(xiǎn)特征提供的信息以概率分布進(jìn)行表示，然后用風(fēng)險(xiǎn)特征的分布估計(jì)目標(biāo)實(shí)例的標(biāo)簽概率分布，最后利用風(fēng)險(xiǎn)度量指標(biāo)實(shí)現(xiàn)風(fēng)險(xiǎn)的量化分析。

在投資組合理論中，一個(gè)資產(chǎn)組合的收益概率分布是由資產(chǎn)組合中的每種證券或資產(chǎn)的收益概率分布疊加而成的；通常采用方差、平均絕對(duì)離差、半方差、在險(xiǎn)價(jià)值（value at risk，VaR）、條件在險(xiǎn)價(jià)值（conditional value at risk）等風(fēng)險(xiǎn)度量指標(biāo)評(píng)估這個(gè)投資組合的風(fēng)險(xiǎn)[27]。類似地，針對(duì)人工智能模型的風(fēng)險(xiǎn)分析，對(duì)于每一個(gè)風(fēng)險(xiǎn)特征fi，假設(shè)其蘊(yùn)含的標(biāo)簽概率為一個(gè)服從某種分布（在參考文獻(xiàn)[23]中假設(shè)的是正態(tài)分布，但筆者的方法也同樣適用于其他分布）的隨機(jī)變量。以實(shí)體解析為例，對(duì)于風(fēng)險(xiǎn)特征fi，假設(shè)其分布的期望為μfi，方差為，權(quán)重為wi。那么，對(duì)于任一記錄對(duì)di，其匹配概率也服從正態(tài)分布。如果di包含m個(gè)風(fēng)險(xiǎn)特征，那么，其匹配概率的期望可以估計(jì)為方差

，即記錄對(duì)的分布根據(jù)風(fēng)險(xiǎn)特征的分布加權(quán)疊加來估計(jì)。

圖3給出了一個(gè)當(dāng)機(jī)器標(biāo)簽為“不匹配”時(shí)，計(jì)算VaR風(fēng)險(xiǎn)指標(biāo)的示例。指標(biāo)VaR反映的是在排除掉最壞(1-θ)的情況后，最大可能的損失。在示例中，當(dāng)θ=0.8時(shí)，其在險(xiǎn)價(jià)值為VaR1=0.7；當(dāng)θ=0.95時(shí)，其在險(xiǎn)價(jià)值為VaR2=0.8。

3.3 訓(xùn)練風(fēng)險(xiǎn)模型

風(fēng)險(xiǎn)模型構(gòu)建完成后，需要設(shè)定可調(diào)整的參數(shù)，使風(fēng)險(xiǎn)模型能夠從觀測(cè)數(shù)據(jù)中學(xué)習(xí)調(diào)整風(fēng)險(xiǎn)的評(píng)估標(biāo)準(zhǔn)，以期風(fēng)險(xiǎn)模型能夠準(zhǔn)確地反映人工智能模型在不同環(huán)境下的風(fēng)險(xiǎn)。在第3.2節(jié)構(gòu)建的風(fēng)險(xiǎn)模型中，共有3組參數(shù)：風(fēng)險(xiǎn)特征分布的期望、風(fēng)險(xiǎn)特征分布的方差、風(fēng)險(xiǎn)特征的權(quán)重。在實(shí)踐中，可以把風(fēng)險(xiǎn)特征分布的期望當(dāng)作一種先驗(yàn)知識(shí)，由帶標(biāo)簽的訓(xùn)練數(shù)據(jù)通過統(tǒng)計(jì)估算出來，而風(fēng)險(xiǎn)特征的權(quán)重和方差為待學(xué)習(xí)參數(shù)。

風(fēng)險(xiǎn)模型的訓(xùn)練通過學(xué)習(xí)排序（learn to rank）技術(shù)實(shí)現(xiàn)。以實(shí)體解析為例，學(xué)習(xí)排序技術(shù)是為了使被錯(cuò)誤分類的記錄對(duì)的風(fēng)險(xiǎn)值能夠大于被正確分類的記錄對(duì)的風(fēng)險(xiǎn)值。給定2個(gè)記錄對(duì)di和dj，假設(shè)它們對(duì)應(yīng)的被錯(cuò)誤分類的風(fēng)險(xiǎn)值分別為γi和γj。如果γi>γj，那么di排在dj前面。然后，采用Logistic函數(shù)將它們的風(fēng)險(xiǎn)值映射為di排在dj前面的后驗(yàn)概率：

而其目標(biāo)概率為：

其中，如果記錄對(duì)di被錯(cuò)誤分類，那么，風(fēng)險(xiǎn)標(biāo)簽gi=1，否則，gi=0。根據(jù)定義的記錄對(duì)排序位置的后驗(yàn)概率和目標(biāo)概率，在風(fēng)險(xiǎn)模型訓(xùn)練數(shù)據(jù)DS上設(shè)定目標(biāo)損失函數(shù)為如下的交叉熵?fù)p失函數(shù)：

最后，采用梯度下降的方法，逐漸減小交叉熵?fù)p失函數(shù)的值直至收斂，從而優(yōu)化參數(shù)。

4 風(fēng)險(xiǎn)分析的應(yīng)用

風(fēng)險(xiǎn)分析技術(shù)不僅可以直接用于評(píng)估人工智能算法所作決策的風(fēng)險(xiǎn)，進(jìn)行風(fēng)險(xiǎn)的根因解釋，保障人工智能的安全，還可以用于眾包的問題選擇和分類的質(zhì)量控制等任務(wù)。另外，風(fēng)險(xiǎn)分析為理解機(jī)器學(xué)習(xí)和人工智能提供了獨(dú)特的分析視角和手段，潛在地可以影響機(jī)器學(xué)習(xí)的幾乎每一個(gè)核心環(huán)節(jié)，包括訓(xùn)練數(shù)據(jù)的主動(dòng)選擇以及模型的訓(xùn)練等。本章討論風(fēng)險(xiǎn)分析的一些初步應(yīng)用以及其潛在的更廣泛的應(yīng)用，并通過它們展望風(fēng)險(xiǎn)分析未來的研究方向。

4.1 眾包

眾包技術(shù)旨在將復(fù)雜的任務(wù)切割并封裝為較簡(jiǎn)單的子任務(wù)，通過眾包平臺(tái)，交給非專業(yè)或者只有少量專業(yè)知識(shí)的普通大眾來完成[28]。眾包通常需要支付酬金給完成任務(wù)的人，這會(huì)產(chǎn)生人力成本。此外，由于大眾的背景知識(shí)和認(rèn)真程度等因素存在差異，他們回答問題的準(zhǔn)確性也參差不齊。因此，眾包的基本挑戰(zhàn)在于從不可靠的答案中推理出準(zhǔn)確的答案，并最小化人力成本。為提高答案的準(zhǔn)確性，一個(gè)典型的做法是將每一個(gè)子任務(wù)都分配給多個(gè)人來完成，然后綜合分析返回的多個(gè)答案來決定最終的答案。然而，這樣冗余的方式也大大增加了人力成本。因此，在眾包應(yīng)用中，可以先對(duì)機(jī)器的輸出進(jìn)行風(fēng)險(xiǎn)分析，再根據(jù)風(fēng)險(xiǎn)的高低確定不同的人力驗(yàn)證方案，確保更多的人力花費(fèi)在那些高風(fēng)險(xiǎn)的子任務(wù)上，這樣就可以有效地平衡整體的準(zhǔn)確度與人力開銷。

4.2 分類的質(zhì)量控制

對(duì)于分類問題，現(xiàn)有的機(jī)器學(xué)習(xí)模型通常不能保證分類結(jié)果的質(zhì)量。然而，在一些關(guān)鍵的應(yīng)用領(lǐng)域（如金融欺詐檢測(cè)和身份識(shí)別），經(jīng)常要求模型的預(yù)測(cè)結(jié)果具有很高的質(zhì)量，如要求識(shí)別的準(zhǔn)確率大于一個(gè)給定的閾值（如0.99），并且召回率大于一個(gè)給定的閾值（如0.99）。在這種情況下，完全基于機(jī)器的自動(dòng)分類往往難以達(dá)到設(shè)定的質(zhì)量要求，因此需要人工的介入。在參考文獻(xiàn)[29]中，筆者提出了一個(gè)人機(jī)協(xié)作（human and machine cooperation，HUMO）的架構(gòu)，如圖4所示，通過人機(jī)協(xié)作實(shí)現(xiàn)分類問題的質(zhì)量控制。其基本思路是對(duì)機(jī)器自動(dòng)分類的結(jié)果進(jìn)行風(fēng)險(xiǎn)分析，將風(fēng)險(xiǎn)較低的實(shí)例交由機(jī)器自動(dòng)標(biāo)注，而將較高風(fēng)險(xiǎn)的實(shí)例交給人工驗(yàn)證，這樣就可以以少量的人工實(shí)現(xiàn)質(zhì)量控制。在此HUMO的基礎(chǔ)上，參考文獻(xiàn)[21]進(jìn)一步提出了一個(gè)改進(jìn)的交互式人機(jī)協(xié)作框架——r-HUMO（risk-aware HUMO），如圖5所示。與HUMO靜態(tài)批量地選擇人工工作量不同，r-HUMO通過實(shí)時(shí)的風(fēng)險(xiǎn)分析漸進(jìn)地選擇人工工作量。相比HUMO，r-HUMO在滿足相同質(zhì)量要求的前提下，能有效地減少所需的人工成本。需要強(qiáng)調(diào)的是，雖然參考文獻(xiàn)[21]和參考文獻(xiàn)[29]的工作針對(duì)的是實(shí)體解析任務(wù)，但是它們提出的框架和技術(shù)也能夠被擴(kuò)展應(yīng)用于其他的通用分類任務(wù)。

4.3 訓(xùn)練數(shù)據(jù)的主動(dòng)選擇

人工智能模型的訓(xùn)練通常需要標(biāo)注大量的數(shù)據(jù)。然而，在真實(shí)的應(yīng)用場(chǎng)景中，訓(xùn)練數(shù)據(jù)的獲取往往比較困難且標(biāo)注的代價(jià)較高。因此，需要通過主動(dòng)學(xué)習(xí)來減少所需的訓(xùn)練數(shù)據(jù)。主動(dòng)學(xué)習(xí)技術(shù)能夠選擇那些最有助于改善當(dāng)前模型的數(shù)據(jù)，并將它們進(jìn)行人工標(biāo)注后作為訓(xùn)練數(shù)據(jù)。相比于隨機(jī)選擇訓(xùn)練數(shù)據(jù)，主動(dòng)學(xué)習(xí)能夠有效地減少數(shù)據(jù)的標(biāo)注成本。目前的主動(dòng)學(xué)習(xí)技術(shù)主要通過不確定性和代表性等指標(biāo)或融合了不確定性和代表性的混合指標(biāo)選擇訓(xùn)練數(shù)據(jù)。不確定性的度量方法包括置信度、離邊界的距離、預(yù)測(cè)類別的熵以及模型委員會(huì)的選舉等。代表性的度量主要通過計(jì)算實(shí)例之間的距離實(shí)現(xiàn)。有實(shí)驗(yàn)表明[30]，當(dāng)批量選取的訓(xùn)練數(shù)據(jù)量較大時(shí)（如大于1 000），主動(dòng)學(xué)習(xí)最好的方法仍是基于模型輸出的不確定性。由于風(fēng)險(xiǎn)分析可以更準(zhǔn)確地評(píng)估不確定性，其自然也可以用于主動(dòng)學(xué)習(xí)中訓(xùn)練數(shù)據(jù)的選取，即每輪都選取風(fēng)險(xiǎn)最高的一組數(shù)據(jù)來標(biāo)注。如果可選取的整體數(shù)據(jù)量有限，則可以綜合考慮風(fēng)險(xiǎn)和代表性等指標(biāo)。

4.4 模型的訓(xùn)練

目前，深度學(xué)習(xí)模型普遍存在過于樂觀的問題[31]，即當(dāng)目標(biāo)數(shù)據(jù)不在模型預(yù)測(cè)任務(wù)的范圍內(nèi)時(shí)，模型也可能會(huì)給出一個(gè)置信度較高的預(yù)測(cè)結(jié)果。參考文獻(xiàn)[17]提出，可以通過新增一個(gè)離群點(diǎn)檢測(cè)（outlier exposure）模塊改善過于樂觀的問題。具體地，在深度學(xué)習(xí)模型的優(yōu)化目標(biāo)函數(shù)中新增一個(gè)衡量離群數(shù)據(jù)預(yù)測(cè)值的損失函數(shù)，并增加一個(gè)離群數(shù)據(jù)訓(xùn)練集，通過對(duì)模型進(jìn)行重新訓(xùn)練來改進(jìn)模型，使新模型能夠較好地識(shí)別異常數(shù)據(jù)，并給出較低的預(yù)測(cè)置信度。然而，目前的方法沒有考慮如何提高模型在預(yù)期任務(wù)上的預(yù)測(cè)準(zhǔn)確度問題。由于風(fēng)險(xiǎn)分析能夠評(píng)估模型預(yù)測(cè)的風(fēng)險(xiǎn)并給出解釋，那么，它也可以被用來指導(dǎo)模型的設(shè)計(jì)和訓(xùn)練過程。如何利用風(fēng)險(xiǎn)分析的反饋指導(dǎo)和改善人工智能模型的訓(xùn)練是未來一個(gè)非常有價(jià)值的研究方向。

5 結(jié)束語

當(dāng)前，基于深度學(xué)習(xí)的人工智能預(yù)測(cè)模型普遍存在不確定性和不可解釋性的問題。因此，可量化、可解釋和可學(xué)習(xí)的風(fēng)險(xiǎn)分析技術(shù)對(duì)保障人工智能的安全至關(guān)重要。在本文中，筆者系統(tǒng)地總結(jié)了風(fēng)險(xiǎn)分析技術(shù)的研究進(jìn)展，并介紹了一些應(yīng)用案例，如眾包和分類的質(zhì)量控制等。筆者進(jìn)一步指出，風(fēng)險(xiǎn)分析為理解人工智能提供了獨(dú)特的分析視角和手段，其潛在的影響不是局限于目前參考文獻(xiàn)中提及的應(yīng)用案例，而是幾乎涉及機(jī)器學(xué)習(xí)的每一個(gè)核心環(huán)節(jié)，包括訓(xùn)練數(shù)據(jù)的選擇和模型的訓(xùn)練等。因此，風(fēng)險(xiǎn)分析是一個(gè)非常有價(jià)值和前景的研究方向，對(duì)推動(dòng)人工智能的發(fā)展具有重要的戰(zhàn)略意義。