程國建, 劉連宏

(西安石油大學 研究生院, 西安710065)

0 引 言

自20 世紀70 年代以來,對智能系統(tǒng)的解釋一直存在著零星的關(guān)注。 首先是對專家系統(tǒng)的關(guān)注,接著是十年之后的神經(jīng)網(wǎng)絡(luò),再到2000 年之后的推薦系統(tǒng)［1～2］。 但是,近年來關(guān)于機器學習的可解釋性的研究尚未引起足夠的重視,越來越多的關(guān)注放到了用機器學習實現(xiàn)預(yù)測能力和模型的研究,而解釋決策過程的能力則退居其次。 ML(機器學習)系統(tǒng)在許多領(lǐng)域都取得了矚目的成就,使用越來越復(fù)雜和不透明的算法(如深度學習),需要對上述系統(tǒng)的輸出進行分析和解釋。

人工智能可解釋性也受到公眾的關(guān)注,2016年,白宮科技政策辦公室公布的美國人工智能的報告,題目為“準備人工智能的未來”。 這篇報告表示,人工智能系統(tǒng)應(yīng)確保是透明的、開放的、可以理解的,這樣就能清楚的知道人工智能系統(tǒng)背后的假設(shè)和決策模型。 在2017 年,美國計算機協(xié)會公共政策委員會(USACM)發(fā)布了一份“算法透明度聲明和問責”,也要求算法透明,以達到可解釋的目的。2018 年荷蘭AI 宣言的草案中,專注于可辯解的人工智能,要求人工智能的準確性與可解釋性并重。同年7 月,歐盟委員會發(fā)布了一份關(guān)于負責任的人工智能和國家人工智能的戰(zhàn)略報告中,將不透明(黑盒風險)和可解釋性風險列為人工智能的兩個性能風險［3］。 2019 年4 月,歐盟委員會的人工智能高級別專家組(AI HLEG)發(fā)布了“值得信賴的人工智能”［4］,可解釋性原則被列為人工智能系統(tǒng)中的倫理原則之一,透明性被作為可信任AI 的七個關(guān)鍵要求之一［5］,并指出“一個系統(tǒng)要成為可信賴的,必須能夠理解為什么它會以某種方式運行,為什么它會提供給定的解釋”,強調(diào)了對可解釋人工智能領(lǐng)域研究的重要性。

1 動機和挑戰(zhàn)

1.1 可解釋性

可解釋沒有確切的定義,Miller 給出了一個解釋是：“可解釋性是指一個人能夠理解一個決定的原因的程度”［6］。 也就是說,如果一個人能夠容易的推理和追溯為什么模型能做出預(yù)測,那么模型的可解釋性就較好。 相比之下,第一個模型的決策比第二個模型的決策更容易讓人們理解和接受,那么第一個模型就比第二個更具解釋性。

1.2 可解釋性的要求

如果一個機器學習模型表現(xiàn)的足夠好,并且具有可接受的預(yù)測性能,為什么在信任它的同時還得明白它為什么做出某個決定？ Doshi-Velez 和Kim認為,只采用單一的度量標準,如分類精度,是對大多數(shù)真實世界任務(wù)的不完整描述。 值得注意的是并不是每個ML 系統(tǒng)都需要解釋能力,在某些具體的應(yīng)用中,只需要提高預(yù)測性能,不需要解釋決策。Doshi-Velez 和Kim 認為有兩種情況是不需要解釋決策的(1)在沒有重大影響或沒有因結(jié)果不正確而導(dǎo)致嚴重后果的；(2)在實際的運用中該問題已經(jīng)有足夠多的研究和驗證,可以完全信任系統(tǒng)的決策。前者指的是低風險的系統(tǒng),如推薦系統(tǒng)、廣告系統(tǒng)等,即使決策錯誤也不會造成嚴重甚至致命的后果［7］。 后者指的是已經(jīng)經(jīng)過研究并且使用了一段時間的系統(tǒng),如郵政編碼的分揀和飛機碰撞系統(tǒng)［8］等。

1.3 高風險決策

在醫(yī)療保健和金融服務(wù)以及其他受到嚴格監(jiān)管的領(lǐng)域,利用ML 系統(tǒng)進行高風險決策的趨勢越來越明顯,這些決策對人類生活和社會都產(chǎn)生了深遠的影響,進一步推動了對可解釋的需求。 ML 已經(jīng)支持高風險決策的事實并不意味著它不容易出錯,預(yù)測模型缺乏透明性和可靠性在不同領(lǐng)域中已經(jīng)出現(xiàn)了嚴重的后果,如：人們被錯誤地拒絕假釋［9］,錯誤的保釋決定導(dǎo)致潛在的危險罪犯得到釋放。 決策系統(tǒng)不是百分百的完美,但并不是意味著ML 模型原本就是壞的。 模型取決于訓(xùn)練它的信息,將真實世界的數(shù)據(jù)提供給模型時,該模型將學習這些模式并返回針對于這些行為的預(yù)測。 出現(xiàn)預(yù)測不準確的原因有兩個：(1)在訓(xùn)練時如果提供的數(shù)據(jù)本身就存在不正確的因素；(2)將訓(xùn)練好的模型用于一個相似的領(lǐng)域的預(yù)測,也可能導(dǎo)致預(yù)測失敗。 有證據(jù)證明,不正確的建模假設(shè)至少對最近的抵押貸款危機負有部分責任［10］。

2 可解釋性評估方法

2.1 評估指標

評價和比較機器學習的可解釋性有兩種指標：定性指標和定量指標。

定性解釋能力指標：Doshi-Velez 和Kim 提出了與解釋相關(guān)的5 個因素：(1)認知塊形式,即這些解釋的組成,如特征值、訓(xùn)練集的例子或是規(guī)則列表。在特定領(lǐng)域中,該形式也會有所不同,如在圖像識別中認知塊形式就是像素組。 (2)解釋所包含的認知塊數(shù)量。 考慮到一個示例包含的信息可能比一個特性多得多,是否可以在易于理解的程度上處理相同數(shù)量的信息,如果解釋是由特性組成的,那么它是包含所有特性還是只包含少數(shù)特性(選擇性)。 (3)語義合成性,與認知塊的組織結(jié)構(gòu)有關(guān)。 規(guī)則、層次結(jié)構(gòu)和其他抽象可能會影響人類的處理能力。 例如：一個解釋可以定義一個新的單元(認知塊),它是原始單元的一個功能,并根據(jù)這個新單元提供一個解釋。 (4)單元之間的獨立性和相互性,單元之間可以有線性、非線性或是獨立的特性。 (5)不確定性和隨機性是指返回某種可理解的不確定性的解釋。

定量可解釋性指標：量化解釋,為不同的解釋提供一種直觀的方法。 Sundararajan 等人創(chuàng)建了一種基于公理的方法,把深度神經(jīng)網(wǎng)絡(luò)預(yù)測歸因于原始輸入特征［10］,發(fā)展了一種特定于模型的神經(jīng)網(wǎng)絡(luò)解釋方法,稱為綜合梯度。 Wilson 等人在他們的著作中對定量指標也進行了闡釋。

一個好的解釋應(yīng)該做到：完整性,即解釋的涵蓋范圍,包括解釋所包含的實例數(shù)目。 正確性,解釋的結(jié)果是與事實相符的。 簡潔性,解釋應(yīng)該簡潔,可通過決策規(guī)則中的條件數(shù)量和基于鄰域的解釋的特征維度來驗證［12］。

2.2 可解釋的模型

可解釋的模型的算法包括線性回歸、邏輯回歸和決策樹,它們的參數(shù)具有意義,可以從中提取有用的信息來解釋預(yù)測結(jié)果。 基于這些可解釋模型所構(gòu)成的神經(jīng)網(wǎng)絡(luò)也具有可解釋性,神經(jīng)網(wǎng)絡(luò)的處理過程不再是暗箱操作,而是透明可解釋的,具有明確的語義信息。 Zhang 等人提出了基于可解釋圖的一種通過決策樹來定量解釋卷積神經(jīng)網(wǎng)絡(luò)的預(yù)測邏輯。該方法可在CNN(卷積神經(jīng)網(wǎng)絡(luò))的高層卷積層中學習物體部位的顯示表示,同時在全連接層中挖掘潛在的決策模式。 決策樹通過一定的規(guī)則來對潛在的決策模式進行重組,從而達到定量解釋CNN 的預(yù)測邏輯。 有文獻提出了一種可解釋的卷積神經(jīng)網(wǎng)絡(luò),高對流層中的每個過濾器代表一個特定的對象部分。 可解釋CNNs 使用與普通CNNs 相同的訓(xùn)練數(shù)據(jù),不需要任何對象部件或紋理的注釋來進行監(jiān)督。 在學習過程中,可解釋的CNN 自動地在一個高對流層中給每個過濾器分配一個對象部分。 可解釋的CNN 中的顯式知識表示可以幫助理解CNN 內(nèi)部的邏輯,從而達到可解釋的目的。

2.3 機器學習中可解釋的重要性

可解釋性是滿足人類好奇心和求知欲的一種手段,人們不需要對每件事都做解釋,但是對于意外事件,就迫切的想要知道發(fā)生的原因。 不透明的機器學習模型應(yīng)用于科學研究時,如果該模型是只給出預(yù)測卻不給出解釋的一個黑盒子,不懂其中的原理就無法進行科學創(chuàng)新。 基于ML 模型的決策對人們的生活影響越來越大,這意味著解釋機器的行為愈發(fā)重要。 2016 年的著名論文《Why Should I Trust You？》 的發(fā)表掀起了可解釋性學習的熱潮［13］,隨后MIT 在SIGKDD2016 上介紹了LIME(局部可解釋模型-不可知論解釋)的概念［14］。 目的是解釋黑盒子分類器的預(yù)測,這意味著對于任何給定的預(yù)測和任何給定的分類器,它都能夠確定原始數(shù)據(jù)中驅(qū)動預(yù)測結(jié)果的一小部分特征。

3 發(fā)展趨勢與展望

3.1 發(fā)展趨勢

近5 年(2015～2019 年)發(fā)表在知網(wǎng)(CNKI)上的有關(guān)于可解釋性的論文的數(shù)量也越來越多,統(tǒng)計了題目包含有：“interpretability”的相關(guān)論文,統(tǒng)計結(jié)果如表1 所示。

表1 2015～2019 年知網(wǎng)上關(guān)于題目包含可解釋性的論文數(shù)量統(tǒng)計Tab. 1 Statistics of the number of papers on topics including interpretability on cnki from 2015 to 2019

從統(tǒng)計結(jié)果來看,近5 年來,共有81 篇有關(guān)于可解釋性的論文發(fā)表在知網(wǎng)上,統(tǒng)計調(diào)查后發(fā)現(xiàn)：

(1)總體來講,可解釋性已經(jīng)得到了研究學者的關(guān)注。 相比于國內(nèi)學者,國外學者的關(guān)注度可能更高一些,也說明可解釋性是當前的一個研究熱點。關(guān)于可解釋性的論文在2015 ～2017 年之間較少,在2018 年也只有18 篇,其中中文的只有3 篇,但在2019 年卻增長到了55 篇,中文達到了13 篇,外文達到了42 篇。

(2)關(guān)于可解釋性的研究呈現(xiàn)出快速增長的趨勢,可預(yù)見,在之后的幾年中,有關(guān)于可解釋性的算法和論文數(shù)量會越來越多。

(3)在上述統(tǒng)計的論文中既包含了理論又包含了應(yīng)用。 體現(xiàn)了可解釋性理論價值和應(yīng)用價值。 從側(cè)面說明了可解釋性的重要性。

3.2 展望

可解釋性是一個很主觀的概念,所以難以形式化［15］,這是該問題尚未解決的一個重要原因。 可解釋性是一個特定領(lǐng)域的概念［16］,無法給出一個通用定義,表明當涉及到ML 可解釋性時,需要考慮每個特定問題的應(yīng)用程序域和用例。 如今也有很多關(guān)注可解釋性方面的工作,但只是關(guān)注現(xiàn)有的解釋而不是創(chuàng)造新的解釋。 所以,應(yīng)開發(fā)出一個模型無關(guān)的解釋框架,這個框架能夠在考慮問題域、用例和用戶類型的同時,在可用的框架中推薦最佳的解釋。