吳飛 廖彬兵 韓亞洪

摘要：深度學(xué)習(xí)已經(jīng)成功運用在自然語言、多媒體、計算機視覺、語音和跨媒體等相關(guān)的特定領(lǐng)域。然而，這一架構(gòu)在“端到端”模式下、通過標(biāo)注大量數(shù)據(jù)來進行誤差后向傳播而優(yōu)化參數(shù)的學(xué)習(xí)方法被比喻為一個“黑盒子”，解釋性較弱?？山忉屝灾杆惴ㄒ獙μ囟ㄈ蝿?wù)給出清晰概括，并與人類世界中已定義的原則或原理聯(lián)結(jié)。在諸如自動駕駛、醫(yī)療和金融決策等“高風(fēng)險”領(lǐng)域，利用深度學(xué)習(xí)進行重大決策時，往往需要知曉算法所給出結(jié)果的依據(jù)。因此，透明化深度學(xué)習(xí)的“黑盒子”，使其具有可解釋性，具有重要意義。圍繞深度學(xué)習(xí)可解釋性這一問題，本文從卷積神經(jīng)網(wǎng)絡(luò)可視化、卷積神經(jīng)網(wǎng)絡(luò)的特征分析、卷積神經(jīng)網(wǎng)絡(luò)的缺陷及優(yōu)化、利用傳統(tǒng)機器學(xué)習(xí)模型來解釋神經(jīng)網(wǎng)絡(luò)和基于可解釋模塊的深度網(wǎng)絡(luò)學(xué)習(xí)這五個方面介紹現(xiàn)有研究工作。對近年來人工智能頂級會議上關(guān)于深度學(xué)習(xí)可解釋性的論文發(fā)表數(shù)量進行統(tǒng)計分析，發(fā)現(xiàn)深度學(xué)習(xí)的可解釋性是目前人工智能研究的一個熱點。最后，本文認(rèn)為深度學(xué)習(xí)的可解釋性研究可從因果模型、推理、認(rèn)知理論和模型、智能人機交互等方面著手，以構(gòu)建出可解釋、更通用和適應(yīng)性強的人工智能理論、模型和方法。

關(guān)鍵詞：深度學(xué)習(xí);可解釋性;端到端;可視化;智能人機交互;人工智能

中圖分類號：TP18文獻標(biāo)識碼：A文章編號：1673-5048（2019）01-0039-08[SQ0]

0引言

目前，深度學(xué)習(xí)[1-2]已經(jīng)成功運用于自然語言、多媒體、計算機視覺、語音和跨媒體[3-7]等相關(guān)特定領(lǐng)域。然而，深度學(xué)習(xí)架構(gòu)在“端到端”模型上，通過標(biāo)注大量數(shù)據(jù)驅(qū)動的誤差后向傳播來不斷優(yōu)化模型參數(shù)，這一學(xué)習(xí)過程猶如“黑盒子”：人們很難理解深度網(wǎng)絡(luò)中隱藏層數(shù)目、神經(jīng)元個數(shù)和激活函數(shù)形式等會對結(jié)果產(chǎn)生怎樣的影響，使得深度學(xué)習(xí)大多依賴于大量的工程經(jīng)驗和技巧。

于是，只要設(shè)計好模型結(jié)構(gòu)，如網(wǎng)絡(luò)隱藏層數(shù)目、每個隱藏層中包含的神經(jīng)元數(shù)目、激活函數(shù)類型（Sigmoid或ReLu激活函數(shù)）等，收集大量標(biāo)注數(shù)據(jù)，應(yīng)用能力強的計算架構(gòu)，不斷優(yōu)化模型參數(shù)，就可以訓(xùn)練得到一個針對特定任務(wù)的神經(jīng)網(wǎng)絡(luò)。

在這種“端到端”學(xué)習(xí)過程中，準(zhǔn)備好數(shù)據(jù)、設(shè)計好模型結(jié)構(gòu)即可，以“煉金術(shù)”方式不斷調(diào)整網(wǎng)絡(luò)隱藏層數(shù)目、每個隱藏層中包含的神經(jīng)元數(shù)目、激活函數(shù)類型，來調(diào)整網(wǎng)絡(luò)參數(shù)，最終得到一個特定任務(wù)、特定場景的“最優(yōu)”深度學(xué)習(xí)模型。

近年來，許多研究人員都意識到需要打破深度學(xué)習(xí)“黑盒子”之桎梏，建立深度學(xué)習(xí)可解釋性[8]的若干評價準(zhǔn)則：

（1）算法結(jié)果的合理性。在諸如自動駕駛、醫(yī)療和金融決策等領(lǐng)域，進行重大決策時，需要知道算法所給出決策的合理依據(jù)。如果算法只是提供建議作為參考，也要知道算法建議的理由，才能評估算法結(jié)果是否值得參考。如在醫(yī)療上，曾發(fā)生過預(yù)測感染肺炎機率的算法因為歷史數(shù)據(jù)存在偏差，誤認(rèn)為患有氣喘與心臟疾病的人死于肺炎的機率要小于一般健康的人。

（2）算法可被改進。如果模型具備可解釋性，則算法研發(fā)者可根據(jù)其輸出結(jié)果優(yōu)劣的原因所在，對算法進行改良。如果算法不具備解釋性，則改良算法變得異常艱難，如設(shè)計一個深度學(xué)習(xí)算法要將所有熊貓的圖像分類出來，但是若在熊貓圖像中添加少許噪音，則該算法容易將熊貓圖像識別為其他物體。由于所設(shè)計算法不具有可解釋性，因此對算法的改進就無從下手。

（3）算法能提供學(xué)習(xí)的啟迪。當(dāng)一個學(xué)習(xí)模型從海量數(shù)據(jù)中萃取出知識，則可使人類利用這些知識來提高能力。如AlphaGo[9]從浩瀚棋局中采樣得到人類棋手幾乎從未涉足的棋局，從而提高了棋手對圍棋的理解能力。但這往往需要人類弄清楚模型如何“下”出了如此奇招妙術(shù)。

（4）算法要符合法規(guī)要求。人工智能具有技術(shù)屬性和社會屬性高度融合的特點。隨著智能算法逐漸賦能社會，需要算法對執(zhí)行結(jié)果具有解釋能力，并且符合法律法規(guī)要求，如《歐盟數(shù)據(jù)保護通用條例》（GeneralDataProtectionRegulation）就規(guī)定使用者有“要求解釋的權(quán)力”。

本文將分別介紹深度學(xué)習(xí)可解釋性研究的五個方向：卷積神經(jīng)網(wǎng)絡(luò)的可視化、卷積神經(jīng)網(wǎng)絡(luò)的特征分析、卷積神經(jīng)網(wǎng)絡(luò)的缺陷及優(yōu)化、利用傳統(tǒng)機器學(xué)習(xí)模型來解釋神經(jīng)網(wǎng)絡(luò)、基于可解釋模塊的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，最后對深度學(xué)習(xí)可解釋性的進展進行總結(jié)并展望其發(fā)展趨勢。

1卷積神經(jīng)網(wǎng)絡(luò)的可視化

1.1基于梯度的濾波器可視化

對卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks，CNN）中學(xué)習(xí)得到的濾波器（filter）進行可視化是探索神經(jīng)元內(nèi)部模式最直接的方式。目前，研究人員已提出了許多卷積神經(jīng)網(wǎng)絡(luò)可視化的方法。

基于梯度的方法[10-13]是卷積神經(jīng)網(wǎng)絡(luò)可視化的主要方法。輸入一張圖像，這些方法計算圖像所對應(yīng)的CNN中神經(jīng)元的梯度，然后利用梯度來估計使神經(jīng)元響應(yīng)最大的圖像外觀。在神經(jīng)網(wǎng)絡(luò)中，一個神經(jīng)元將前序相連神經(jīng)元給其的輸入信息進行加權(quán)累加，然后進行非線性變換，將變換結(jié)果以不同權(quán)重向后續(xù)相連神經(jīng)元傳遞。文獻[10]提出了兩種卷積神經(jīng)網(wǎng)絡(luò)可視化的方法，第一種是在計算輸入圖像的類別置信度梯度基礎(chǔ)上，生成一幅能夠最大化類別置信度的圖像，于是能對卷積神經(jīng)網(wǎng)絡(luò)所學(xué)習(xí)到的該類別內(nèi)在模式進行可視化。第二種是給定某幅輸入圖像及其類別標(biāo)簽，計算其類別顯著性圖（saliencymap），這種顯著性圖可用來實現(xiàn)物體分割。文獻[11]提出了另外一種可視化方法，可幫助深入了解卷積神經(jīng)網(wǎng)絡(luò)的中間特征層功能以及分類器的操作。該方法還分析了神經(jīng)網(wǎng)絡(luò)中不同隱藏層在分類任務(wù)中所做出的不同貢獻。文獻[12]提出了一種通過深度學(xué)習(xí)所得結(jié)果來重建圖像的框架，分析了卷積神經(jīng)網(wǎng)絡(luò)中不同隱藏層對原始圖像的幾何和光照等不變性特點。文獻[13]發(fā)現(xiàn)在不損失任務(wù)精度情況下，卷積網(wǎng)絡(luò)中最大池化層（maxpooling）可用卷積層來代替，只需要將卷積步幅增加即可。同時，文獻[13]還提出了一種反卷積網(wǎng)絡(luò)方法，可以用于可視化深度學(xué)習(xí)得到的特征。

航空兵器2019年第26卷第1期

吳飛，等：深度學(xué)習(xí)的可解釋性

1.2上卷積網(wǎng)絡(luò)

上卷積網(wǎng)絡(luò)[14]（upconvolutionalnetworks）是另一種可視化卷積神經(jīng)網(wǎng)絡(luò)的技術(shù)。與CNN將圖像非映射到區(qū)別性特征相反，上卷積網(wǎng)絡(luò)將CNN學(xué)習(xí)得到特征反向映射到圖像。值得注意的是，文獻[14]發(fā)現(xiàn)圖像某些視覺屬性可通過靠近輸出端的激活函數(shù)甚至最后一層預(yù)測置信度大小來重建。

文獻[15]在生成對抗網(wǎng)絡(luò)（GenerativeAdversarialNetworks，GAN）中以隱式碼元（latentcode）形式引入了一個附加先驗，用來控制合成圖像的語義，從而提升訓(xùn)練樣本的質(zhì)量和多樣性。該方法由一個生成器網(wǎng)絡(luò)G和一個可替換條件網(wǎng)絡(luò)C組成，C既可以是一個用于圖像分類的網(wǎng)絡(luò)，也可以是一個用于圖像描述生成的網(wǎng)絡(luò)。

1.3圖像區(qū)域提取與顯示

圖像區(qū)域提取是另一類能夠可視化卷積神經(jīng)網(wǎng)絡(luò)的方法，給定一幅帶標(biāo)簽的圖像，該方法能直接提取和輸出對提高分類置信度起作用的圖像區(qū)域，達到解釋模型輸出的目的。

文獻[16-17]提出了將特征圖最終損失的梯度回傳到圖像平面的方法來估計圖像區(qū)域。文獻[18]提出了LIME模型，該模型通過在預(yù)測值局部的學(xué)習(xí)，從而以一種可解釋的且令人信服的方式解釋任意分類器的預(yù)測值，并將該方法用于提取對網(wǎng)絡(luò)輸出高度敏感的圖像區(qū)域。文獻[19-20]提出了能夠?qū)⑤斎雸D像中對CNN決策過程貢獻最大的區(qū)域進行可視化的方法。文獻[21]可對神經(jīng)網(wǎng)絡(luò)在決策過程中注意區(qū)域以及與注意區(qū)域相關(guān)的主要類別進行可視化。文獻[22]提出了一種解釋神經(jīng)網(wǎng)絡(luò)的啟發(fā)式方法，該方法通過計算Kullback-Leibler散度來選擇與預(yù)測值最相關(guān)的參數(shù)，并且將輸入圖像散度和CNN的分類預(yù)測結(jié)果繪制成熱度圖，為“圖像哪部分區(qū)域參與分類”提供了視覺解釋。文獻[23]提出了一種被稱為層級相關(guān)性傳播（layerwiserelevancepropagation）方法，可對非線性分類器的分類決策結(jié)果在像素級上找到解釋，得到每個像素參與分類決策的貢獻大小，繪制出熱度圖以供參考。

2卷積神經(jīng)網(wǎng)絡(luò)的特征分析

2.1從全局進行CNN的特征分析

文獻[24]通過單元分析的方法，探索了每個濾波器的語義含義，發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)中高層所包含的語義信息與整個高層結(jié)構(gòu)有關(guān)而跟單個高層單元無關(guān)。文獻[25]通過實驗量化了卷積神經(jīng)網(wǎng)絡(luò)的中間層濾波器的遷移性，發(fā)現(xiàn)通過可遷移特征對網(wǎng)絡(luò)參數(shù)進行初始化可提高網(wǎng)絡(luò)泛化能力。文獻[26]使用大型3DCAD模型數(shù)據(jù)庫進行渲染，分析了CNN在識別不同場景過程中的重要因素。文獻[27]將兩種無監(jiān)督降維學(xué)習(xí)算法PCA和ICA應(yīng)用于預(yù)訓(xùn)練CNN輸出上，通過內(nèi)嵌（embedding）表示來揭示物體類別在視覺上的相似性。

2.2從局部進行CNN的對抗樣本學(xué)習(xí)

對抗機器學(xué)習(xí)（adversarialmachinelearning）[28]通過構(gòu)建對抗樣本來探測深度學(xué)習(xí)模型的脆弱性，從而理解深度學(xué)習(xí)的可解釋性。文獻[29]通過探討卷積深度神經(jīng)網(wǎng)絡(luò)中各隱藏層神經(jīng)元在不同對抗樣本上被激活的差異，回溯判斷神經(jīng)元對卷積深度神經(jīng)網(wǎng)絡(luò)決策過程的影響。文獻[30]建立了一個逼近卷積深度神經(jīng)網(wǎng)絡(luò)的線性替代模型（substitutemodel），并在結(jié)構(gòu)更加清晰的替代模型上利用梯度信息構(gòu)建對抗樣本，模擬深度模型對微小擾動的反應(yīng)，以分析卷積深度神經(jīng)網(wǎng)絡(luò)對輸入樣本變化的敏感性。文獻[31-32]提出了用于計算CNN對抗樣本的方法，這些研究旨在估計可以改變輸入圖像所對應(yīng)最終預(yù)測結(jié)果的最小噪聲擾動。值得注意的是，文獻[32]提出了一種可用于計算對抗樣本的影響函數(shù)，這種影響函數(shù)還可以通過創(chuàng)建訓(xùn)練樣本以攻擊CNN的學(xué)習(xí)、修復(fù)訓(xùn)練集，并進一步調(diào)試CNN表示。

3卷積神經(jīng)網(wǎng)絡(luò)的缺陷及優(yōu)化

3.1卷積神經(jīng)網(wǎng)絡(luò)的缺陷

文獻[33]發(fā)現(xiàn)了CNN會因數(shù)據(jù)集而引發(fā)潛在的偏差表示。具體來說，當(dāng)利用CNN來估計圖像屬性的時候，若某個屬性經(jīng)常與訓(xùn)練圖像中的特定視覺特征共同出現(xiàn)時，CNN會趨向于使用共同出現(xiàn)特征來表示屬性。當(dāng)某一屬性所對應(yīng)特征在語義上與目標(biāo)屬性本身無關(guān)時，可視為偏差表示。實際上，這種由于數(shù)據(jù)集偏差引起的表示缺陷是無法通過基于測試圖像這一傳統(tǒng)評估策略來發(fā)現(xiàn)，因為測試圖像也可能含有相同偏差。給定一個預(yù)訓(xùn)練CNN，例如用于估計面部屬性的CNN，文獻[33]首先要求用戶去標(biāo)記屬性之間真實存在的一些關(guān)系，如“唇膏”屬性與“濃妝”屬性之間是正相關(guān)，并與“黑發(fā)”屬性無關(guān)。然后，該方法挖掘CNN中卷積層輸出這些屬性的模式，并使用這些模式來計算編碼在CNN中的實際屬性關(guān)系。真實的屬性關(guān)系與挖掘出來的屬性關(guān)系之間的沖突表明，CNN的表示確實是有偏差的。

現(xiàn)實世界中的預(yù)測模型可能會給實例分配錯誤的標(biāo)簽。這種錯誤或者未知模式來源于模型的不完備性，通常是由于訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)不匹配造成的。給定一個預(yù)訓(xùn)練好的用于物體分類的CNN，文獻[34]提出了一種以弱監(jiān)督的方式來發(fā)現(xiàn)CNN知識盲點（未知模式）的方法。該方法通過預(yù)言（oracle）反饋自動發(fā)現(xiàn)和識別未知模式。這一方法根據(jù)實例特征相似度和預(yù)測模型給出的置信度將CNN整個特征空間中所有采樣點分類為數(shù)千個偽類別。假設(shè)一個性能良好的CNN能夠使用每個偽類別的子空間來表示特定物體類的子集。通過這種方式，該方法隨機展示了每個子空間內(nèi)物體樣本，并利用探索-利用（explore-exploit）策略來揭示隱藏在預(yù)訓(xùn)練CNN中的潛在表示缺陷。

3.2卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化

將神經(jīng)網(wǎng)絡(luò)和結(jié)構(gòu)化的邏輯規(guī)則相結(jié)合，利用邏輯規(guī)則的靈活性來提升神經(jīng)網(wǎng)絡(luò)可解釋性是卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化的一種方法。文獻[35]提出了一種能利用一階邏輯來優(yōu)化神經(jīng)網(wǎng)絡(luò)的方法。具體而言，該方法是一種迭代蒸餾的方法，將邏輯規(guī)則的結(jié)構(gòu)化信息轉(zhuǎn)換為神經(jīng)網(wǎng)絡(luò)的權(quán)重，并將基于該方法的卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)分別應(yīng)用于情感分析和命名實體識別。該方法以自然語言中直觀的邏輯規(guī)則作為損失函數(shù)，對網(wǎng)絡(luò)進行優(yōu)化，從而獲得高性能的可解釋網(wǎng)絡(luò)表示。

文獻[36]通過利用豐富的語義信息來提升神經(jīng)網(wǎng)絡(luò)的可解釋性。以視頻描述生成任務(wù)為例，文獻[36]先通過WarpLDA[37]提取一些覆蓋了大多數(shù)視覺概念的具有語義信息的主題，然后通過一個可解釋損失函數(shù)將其整合進模型中，利用一個預(yù)測誤差最大化算法來解釋每個神經(jīng)元學(xué)到的特征。在視頻描述生成任務(wù)上的實驗驗證了該方法的有效性。不僅如此，將視頻描述生成任務(wù)中所學(xué)習(xí)得到的特征遷移到視頻動作識別任務(wù)中也依然有效。通過人機交互（humanintheloop）方式，用戶易于更正錯誤預(yù)測值，從而對神經(jīng)網(wǎng)絡(luò)進行優(yōu)化。

文獻[38]提出了一種基于采樣和強化學(xué)習(xí)的新型損失函數(shù)，通過該損失函數(shù)訓(xùn)練的網(wǎng)絡(luò)不僅可以判別出圖像的屬性，還可以同時生成判別的依據(jù)。實驗結(jié)果表明，添加了新型損失函數(shù)的網(wǎng)絡(luò)比圖像描述生成的網(wǎng)絡(luò)具有更好的性能。

4利用傳統(tǒng)機器學(xué)習(xí)模型來解釋神經(jīng)網(wǎng)絡(luò)

與前述神經(jīng)網(wǎng)絡(luò)的可視化、特征分析、缺陷和優(yōu)化相比，利用傳統(tǒng)機器學(xué)習(xí)模型也可解釋神經(jīng)網(wǎng)絡(luò)?？紤]到卷積網(wǎng)絡(luò)的卷積層中的每個濾波器都融合了某些物體部位的表示，Zhang等人[39-40]提出了一種解釋預(yù)訓(xùn)練CNN的卷積層特征的方法，并使用可解釋圖（explanatorygraph）來揭示隱藏在CNN內(nèi)的知識層次。該方法是一種無監(jiān)督學(xué)習(xí)的方法，即不需要物體的部位標(biāo)記信息。

圖1所示的可解釋圖揭示了CNN中隱藏的知識層次和濾波器所對應(yīng)特征圖中組件模式（partpattern）的融合方式，并使用圖節(jié)點來表示一個部位：

（1）可解釋圖具有多層，每層對應(yīng)于CNN的特定卷積層。

（2）可解釋圖中的每個節(jié)點表示一個具有高遷移性的組件模式，這些組件模式由數(shù)百或數(shù)千個不同圖像中相同物體組件所共享。因此，可以將節(jié)點用于物體定位。

（3）可解釋圖中，邊表示相鄰層中兩個節(jié)點之間相同激活關(guān)系及其對應(yīng)組件的空間關(guān)系。

（4）每個輸入圖像只能觸發(fā)可解釋圖中的一小部分節(jié)點。

在可解釋圖的基礎(chǔ)上，Zhang等人[41]提出了一種通過決策樹來定量解釋卷積網(wǎng)絡(luò)的預(yù)測邏輯。該方法可以在CNN的高層卷積層中學(xué)習(xí)物體部位的顯示表示，同時在全連接層中挖掘潛在決策模式。決策樹通過一種由粗到細的方式對這些潛在決策模式進行重組，從而可以定量解釋CNN的預(yù)測邏輯。也就是說，給定輸入圖像，使用CNN來進行預(yù)測。決策樹將揭示卷積層中哪些濾波器會參與預(yù)測以及這些濾波器對預(yù)測結(jié)果的貢獻程度。

5基于可解釋模塊的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)

上述方法幾乎都集中在對預(yù)訓(xùn)練網(wǎng)絡(luò)的解釋上。本節(jié)將介紹基于可解釋模塊的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法，這些神經(jīng)網(wǎng)絡(luò)的中間層不再是黑盒子，而是具有明確的語義。與對預(yù)訓(xùn)練好的網(wǎng)絡(luò)進行解釋相比，基于可解釋模塊的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)帶來了更大的挑戰(zhàn)。目前，只有少數(shù)關(guān)于這方面的研究。

5.1可解釋的卷積神經(jīng)網(wǎng)絡(luò)

文獻[42]提出了一種可解釋的卷積神經(jīng)網(wǎng)絡(luò)，如圖2所示。該方法通過為卷積層中每個濾波器添加損失來獲得高層卷積層中可解釋表示。在可解釋卷積神經(jīng)網(wǎng)絡(luò)中，每個濾波器所對應(yīng)特征圖表

示某個物體組件。與此同時，該方法不需要標(biāo)注任何物體組件或紋理來指導(dǎo)可解釋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)。相反，該網(wǎng)絡(luò)會在“端到端”學(xué)習(xí)過程中自動為高層卷積層中每個濾波器分配一個物體組件?？山忉尵矸e網(wǎng)絡(luò)中的顯示知識表示可以幫助人們更好地理解卷積神經(jīng)網(wǎng)絡(luò)中的邏輯。

5.2可解釋的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)

基于隱性結(jié)構(gòu)學(xué)習(xí)和區(qū)域卷積網(wǎng)絡(luò)（RCNN）[43-45]，文獻[46]提出了一種用于物體檢測的可解釋區(qū)域卷積神經(jīng)網(wǎng)絡(luò)。該方法是一種弱監(jiān)督學(xué)習(xí)模型，可在物體檢測過程中自動展開物體組件的隱組件標(biāo)記（partconfiguration），且不需要標(biāo)注任何組件作為監(jiān)督信息。文獻[46]使用了一種有向無環(huán)與或圖（AndOrGraph，AOG）模型，并利用該模型中的自上而下的層次和組合語法模型來模擬物體部位的隱標(biāo)記，從而探索和展開興趣區(qū)域（RegionofInterest，RoI）的隱組件標(biāo)記空間。與此同時，該方法提出了一種AOG解析運算符來替代RCNN中使用的興趣區(qū)域池化（RoIPooling）運算符。在物體檢測過程中，邊界框由AOG導(dǎo)出的最佳解析樹來解釋。該方法采用了一種折疊-展開的“端到端”的方法來訓(xùn)練AOG和RCNN。

5.3膠囊網(wǎng)絡(luò)

文獻[47]提出了一種被稱為“膠囊”的新型神經(jīng)單元，這種單元可代替?zhèn)鹘y(tǒng)的神經(jīng)單元以構(gòu)建膠囊網(wǎng)絡(luò)。每個膠囊由一組神經(jīng)元組成，這些神經(jīng)元的活動向量（activityvector）表示某種實體類型的實例化參數(shù)?；顒酉蛄康拈L度表示實體出現(xiàn)概率，活動向量的方向表示實例化的參數(shù)。活躍的低層膠囊預(yù)測結(jié)果會通過轉(zhuǎn)移矩陣發(fā)送到相鄰更高層的膠囊之中。當(dāng)多個預(yù)測信息一致時，高層膠囊會變得活躍。該方法使用協(xié)議路由（routingbyagreement）機制，該機制會為那些能更好擬合高層膠囊的實例化參數(shù)的低層膠囊分配更高權(quán)重。在MNIST[48]上的實驗表明，使用訓(xùn)練膠囊網(wǎng)絡(luò)時，膠囊編碼了一個特定語義概念。膠囊活動向量的不同維度刻畫了不同特征，如（1）尺度和厚度;（2）局部部位;（3）筆畫粗細;（4）局部偏斜;（5）寬度和平移。

6發(fā)展趨勢與展望

6.1發(fā)展趨勢

關(guān)于深度學(xué)習(xí)的可解釋性的發(fā)展趨勢，對近5年（2014～2018年）發(fā)表在機器學(xué)習(xí)與人工智能相關(guān)的國際頂級會議（ICML，NeurIPS，AAAI，IJCAI，CVPR，ICCV/ECCV）上的論文進行調(diào)研，統(tǒng)計分析了題目包含“explain”或“interpret”的深度學(xué)習(xí)相關(guān)的論文，統(tǒng)計結(jié)果如表1所示。

近5年來，總共有101篇關(guān)于深度學(xué)習(xí)的可解釋性的論文發(fā)表在上述的關(guān)于機器學(xué)習(xí)和人工智能的七大國際頂級會議中，統(tǒng)計調(diào)查后發(fā)現(xiàn)：

（1）總體來講，深度學(xué)習(xí)的可解釋性是當(dāng)前的一個研究熱點。關(guān)于深度學(xué)習(xí)可解釋性的論文在2014～2015年幾乎沒有，在2016年只有11篇，但在2018年卻增長到了62篇。

（2）關(guān)于深度學(xué)習(xí)的可解釋性的研究呈現(xiàn)出快速增長趨勢，且增長速度越來越快。2014～2015年的時候幾乎沒有關(guān)于深度學(xué)習(xí)的可解釋性的研究，但隨后以每年10余篇左右的增長趨勢增長，2018年關(guān)于深度學(xué)習(xí)的可解釋性的研究已經(jīng)達到62篇?？梢灶A(yù)見，之后兩年關(guān)于深度學(xué)習(xí)的可解釋性的研究會越來越多。

（3）上述各大機器學(xué)習(xí)與人工智能的會議既包含了理論又包含了應(yīng)用，但每年關(guān)于深度學(xué)習(xí)的可解釋性的研究論文數(shù)量分布都較為均勻，體現(xiàn)了深度學(xué)習(xí)的可解釋性的理論價值和應(yīng)用價值，從側(cè)面說明了深度學(xué)習(xí)的可解釋性的重要性。

6.2展望

2018年9月，美國國防高級研究計劃局（DARPA）啟動了被稱為“加速第三波”的人工智能探索（ArtificialIntelligenceExploration，AIE）項目，探索類人水平的交流和推理能力，以對新環(huán)境自適應(yīng)。

DAPRA認(rèn)為，第一波人工智能以符號主義人工智能為手段，主要處理語言和可描述信息;第二波人工智能在數(shù)據(jù)建模基礎(chǔ)上、從數(shù)據(jù)中學(xué)習(xí)模式，以模型假設(shè)的機器學(xué)習(xí)為手段;第三波人工智能以自適應(yīng)和推理為核心目標(biāo)。

美國國家科學(xué)基金會（NationalScienceFoundation，NSF）2018年12月啟動了“魯棒智能（robustintelligence）”項目，旨在對復(fù)雜和真實環(huán)境下的人工智能進行更好理解。

目前，深度學(xué)習(xí)的可解釋性研究雖然取得了一定的進展，但仍處于初級階段，還有許多值得研究的方向：

（1）深度學(xué)習(xí)+因果模型（causalmodeling）。因果計算指從觀察數(shù)據(jù)中發(fā)現(xiàn)事物間的因果結(jié)構(gòu)和定量推斷，將深度學(xué)習(xí)與因果模型相結(jié)合，是研究深度學(xué)習(xí)的可解釋性的一種直觀和自然的方法。圖靈獎獲得者JudeaPearl教授曾通過三個層面來解釋因果與關(guān)聯(lián)之間的關(guān)系：關(guān)聯(lián)（association）是直接可從數(shù)據(jù)中計算得到的統(tǒng)計相關(guān);介入（intervention）是無法直接從觀測數(shù)據(jù)就能得到關(guān)系，如“某個商品漲價會產(chǎn)生什么結(jié)果”;反事實（counterfactual）指某個事情已經(jīng)發(fā)生了，那么在相同環(huán)境中，這個事情不發(fā)生會帶來怎樣的新結(jié)果。

（2）深度學(xué)習(xí)+推理（reasoning）。深度學(xué)習(xí)可以與推理在多個方向進行結(jié)合：a.常識推理（commonsensereasoning），將深度學(xué)習(xí)與常識相結(jié)合，形成可解釋的能自動推理的系統(tǒng);b.類比計算（computationalanalogy），在復(fù)雜環(huán)境中，利用已有的案例和不完備的信息進行推理;c.時空推理（spatialtemporalreasoning），為智能體設(shè)計高級的控制系統(tǒng)，使其能導(dǎo)航和理解時間和空間。DARPA在2018年10月啟動了一個被稱為“機器常識（machinecommonsense）”的項目，研究如何從書本和已有數(shù)據(jù)中學(xué)習(xí)常識、如何從環(huán)境交互中學(xué)習(xí)常識以及如何測試常識能力等內(nèi)容?！痘茨献诱f山訓(xùn)》中曾寫到：見一葉落，而知歲之將暮;審堂下之陰，而知日月之行，陰陽之變。人類具有這樣的常識推理能力，從一個現(xiàn)象“直覺聯(lián)想”到另外一個現(xiàn)象。

（3）認(rèn)知理論和模型（cognitivetheoryandmodeling）?，F(xiàn)有的許多深度學(xué)習(xí)模型都來源于對生物認(rèn)知的模仿，如“神經(jīng)網(wǎng)絡(luò)”一詞本身就表明其借鑒了生物的神經(jīng)元結(jié)構(gòu)，卷積神經(jīng)網(wǎng)絡(luò)和長短時記憶網(wǎng)絡(luò)都可以看作是大腦皮層結(jié)構(gòu)的模仿。要設(shè)計出更魯棒的可解釋的深度學(xué)習(xí)系統(tǒng)，可以考慮將更先進的認(rèn)知理論和模型與深度學(xué)習(xí)系統(tǒng)相結(jié)合。

（4）智能人機交互（intelligenthumancomputerinteraction）。要設(shè)計出可解釋的智能深度學(xué)習(xí)交互系統(tǒng)，可從以下幾個方向考慮：人類認(rèn)知建模、腦機接口、觸覺界面、人機交互和協(xié)作、用戶適應(yīng)和個性化。

良好的人工智能模型應(yīng)該是可解釋、更通用和自適應(yīng)的，從數(shù)據(jù)、規(guī)則以及交互中永不停息（neverending）進行學(xué)習(xí)[49]。數(shù)據(jù)驅(qū)動的機器學(xué)習(xí)方法已經(jīng)成功運用于自然語言、多媒體、計算機視覺、語音和跨媒體等領(lǐng)域，后續(xù)應(yīng)以可解釋性作為切入點，通過注意力機制、記憶網(wǎng)絡(luò)、遷移學(xué)習(xí)、強化學(xué)習(xí)等手段與人類知識進行有機結(jié)合，從而實現(xiàn)從淺層計算到深度神經(jīng)推理、從單純依賴于數(shù)據(jù)驅(qū)動的模型到數(shù)據(jù)驅(qū)動與知識引導(dǎo)相結(jié)合、從領(lǐng)域任務(wù)驅(qū)動智能到更通用條件下的強人工智能。

參考文獻：

[1]LeCunY，BengioY，HintonG.Deeplearning[J].Nature，2015，521（7553）：436-444.

[2]GoodfellowI，BengioY，CourvilleA，etal.DeepLearning[M].Cambridge：MITPress，2016.

[3]MikolovT，SutskeverI，ChenK，etal.DistributedRepresentationsofWordsandPhrasesandTheirCompositionality[C]∥AdvancesinNeuralInformationProcessingSystems，2013：3111-3119.

[4]WuFei，LuXiyan，SongJun，etal.LearningofMultimodalRepresentationswithRandomWalksontheClickGraph[J].IEEETransactionsonImageProcessing，2016，25（2）：630-642.

[5]KrizhevskyA，SutskeverI，HintonGE.ImagenetClassificationwithDeepConvolutionalNeuralNetworks[C]∥AdvancesinNeuralInformationProcessingSystems，2012：1097-1105.

[6]GravesA，JaitlyN.TowardsEndtoEndSpeechRecognitionwithRecurrentNeuralNetworks[C]∥Proceedingsofthe31stInternationalConferenceonMachineLearning，Beijing，2014：1764-1772.

[7]PengYuxin，HuangXin，ZhaoYunzhen.AnOverviewofCrossMediaRetrieval：Concepts，Methodologies，Benchmarks，andChallenges[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology，2018，28（9）：2372-2385.

[8]ZhangQuanshi，ZhuSongchun.VisualInterpretabilityforDeepLearning：ASurvey[J].FrontiersofInformationTechnology&ElectronicEngineering，2018，19（1）：27-39.

[9]SilverD，HuangA，MaddisonCJ，etal.MasteringtheGameofGowithDeepNeuralNetworksandTreeSearch[J].Nature，2016，529（7587）：484.

[10]SimonyanK，VedaldiA，ZissermanA.DeepInsideConvolutionalNetworks：VisualisingImageClassificationModelsandSaliencyMaps[EB/OL].（2014-04-19）[2018-11-29].https：∥arxiv.org/pdf/1312.6034.pdf.

[11]ZeilerMD，F(xiàn)ergusR.VisualizingandUnderstandingConvolutionalNetworks[C]∥13thEuropeanConferenceonComputerVision，Zurich，2014：818-833.

[12]MahendranA，VedaldiA.UnderstandingDeepImageRepresentationsbyInvertingThem[C]∥ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition，Boston，2015：5188-5196.

[13]SpringenbergJT，DosovitskiyA，BroxT，etal.StrivingforSimplicity：TheAllConvolutionalNet

[EB/OL].（2015-04-13）[2018-11-29].https：∥arxiv.org/pdf/1412.6806.pdf.

[14]DosovitskiyA，BroxT.InvertingVisualRepresentationswithConvolutionalNetworks[C]∥ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition，LasVegas，2016：4829-4837.

[15]NguyenA，CluneJ，BengioY，etal.Plug&PlayGenerativeNetworks：ConditionalIterativeGenerationofImagesinLatentSpace[C]∥ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition（CVPR），Honolulu，2017.

[16]FongRC，VedaldiA.InterpretableExplanationsofBlackBoxesbyMeaningfulPerturbation[C]∥IEEEInternationalConferenceonComputerVision（ICCV），2017.

[17]SelvarajuRR，CogswellM，DasA，etal.GradCAM：VisualExplanationsfromDeepNetworksviaGradientBasedLocalization[C]∥IEEEInternationalConferenceonComputerVision（ICCV），2017.

[18]RibeiroMT，SinghS，GuestrinC."WhyShouldITrustYou？"：ExplainingthePredictionsofAnyClassifier[C]∥Proceedingsofthe22ndACMSIGKDDInternationalConferenceonKnowledgeDiscoveryandDataMining，2016：1135-1144.

[19]ZintgrafLM，CohenTS，AdelT，etal.VisualizingDeepNeuralNetworkDecisions：PredictionDifferenceAnalysis[C]∥InternationalConferenceonLearningRepresentations，Toulon，2017.

[20]KindermansPJ，SchüttKT，AlberM，etal.LearningHowtoExplainNeuralNetworks：PatternNetandPatternAttribution[C]∥InternationalConferenceonLearningRepresentations，Vancouver，2018.

[21]KumarD，WongA，TaylorGW.ExplainingtheUnexplained：AClassEnhancedAttentiveResponse（CLEAR）ApproachtoUnderstandingDeepNeuralNetworks[C]∥ProceedingsoftheIEEEComputerVisionandPatternRecognition（CVPR），Honolulu，2017.

[22]BabikerHKB，GoebelR.UsingKLDivergencetoFocusDeepVisualExplanation[EB/OL].（2018-01-25）[2018-11-29].https：∥arxiv.org/pdf/1711.06431.pdf.

[23]BachS，BinderA，MontavonG，etal.OnPixelWiseExplanationsforNonLinearClassifierDecisionsbyLayerWiseRelevancePropagation[J].PlosOne，2015，10（7）：e0130140.

[24]SzegedyC，ZarembaW，SutskeverI，etal.IntriguingPropertiesofNeuralNetworks[EB/OL].（2014-02-19）[2018-11-29].https：∥arxiv.org/pdf/1312.6199.pdf.

[25]YosinskiJ，CluneJ，BengioY，etal.HowTransferableareFeaturesinDeepNeuralNetworks？[C]∥AdvancesinNeuralInformationProcessingSystems，2014：3320-3328.

[26]AubryM，RussellBC.UnderstandingDeepFeatureswithComputerGeneratedImagery[C]∥ProceedingsoftheIEEEInternationalConferenceonComputerVision，2015：2875-2883.

[27]LuYao.UnsupervisedLearningonNeuralNetworkOutputs：withApplicationinZeroShotLearning[EB/OL].（2016-05-23）[2018-11-29].https：∥arxiv.org/pdf/1506.00990.pdf.

[28]PapernotN，McDanielP，JhaS，etal.TheLimitationsofDeepLearninginAdversarialSettings[C]∥SecurityandPrivacy（EuroS&P），IEEEEuropeanSymposiumonSecurityandPrivacy，Saarbrucken，2016：372-387.

[29]DongY，SuH，ZhuJ，etal.TowardsInterpretableDeepNeuralNetworksbyLeveragingAdversarialExamples[EB/OL].（2017-08-18）[2018-11-29].https：∥arxiv.org/pdf/1708.05493.pdf.

[30]RossAS，DoshiVelezF.ImprovingtheAdversarialRobustnessandInterpretabilityofDeepNeuralNetworksbyRegularizingTheirInputGradients[C]∥AAAI，2018：1660-1669.

[31]SuJ，VargasDV，KouichiS.OnePixelAttackforFoolingDeepNeuralNetworks[EB/OL].（2018-02-22）[2018-11-29].https：∥arxiv.org/pdf/1710.08864.pdf.

[32]KohPW，LiangP.UnderstandingBlackBoxPredictionsviaInfluenceFunctions[EB/OL].（2017-07-10）[2018-11-29].https：∥arxiv.org/pdf/1703.04730.pdf.

[33]ZhangQuanshi，WangWenguan，ZhuSongchun.ExaminingCNNRepresentationswithRespecttoDatasetBias[EB/OL].（2017-11-22）[2018-11-29].https：∥arxiv.org/pdf/1710.10577.pdf.

[34]LakkarajuH，KamarE，CaruanaR，etal.IdentifyingUnknownUnknownsintheOpenWorld：RepresentationsandPoliciesforGuidedExploration[C]∥AAAIConferenceonArtificialIntelligence，2017.

[35]HuZhiting，MaXuezhe，LiuZhengzhong，etal.HarnessingDeepNeuralNetworkswithLogicRules[EB/OL].（2016-11-15）[2018-11-29].https：∥arxiv.org/pdf/1603.06318.pdf.

[36]DongYinpeng，SuHang，ZhuJun，etal.ImprovingInterpretabilityofDeepNeuralNetworkswithSemanticInformation[EB/OL].（2017-03-30）[2018-11-29].https：∥arxiv.org/pdf/1703.04096.pdf.

[37]ChenJianfei，LiKaiwei，ZhuJun，etal.WarpLDA：ASimpleandEfficientO（1）AlgorithmforLatentDirichletAllocation[EB/OL].（2016-03-02）[2018-11-29].https：∥arxiv.org/pdf/1510.08628v1.pdf.

[38]HendricksLA，AkataZ，RohrbachM，etal.GeneratingVisualExplanations[C]∥14thEuropeanConferenceonComputerVision，Amsterdam，2016：3-19.

[39]ZhangQuanshi，CaoRuiming，WuYingnian，etal.GrowingInterpretablePartGraphsonConvNetsviaMultiShotLearning[C]∥AAAIConferenceonArtificialIntelligence，2017：2898-2906.

[40]ZhangQuanshi，CaoRuiming，ShiFeng，etal.InterpretingCNNKnowledgeviaanExplanatoryGraph[C]∥AAAIConferenceonArtificialIntelligence，2018.

[41]ZhangQuanshi，YangYu，WuYingnian，etal.InterpretingCNNsviaDecisionTrees[EB/OL].（2018-02-01）[2018-11-29].https：∥arxiv.org/pdf/1802.00121.pdf.

[42]ZhangQuanshi，WuYingnian，ZhuSongchun.InterpretableConvolutionalNeuralNetworks[C]∥ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition（CVPR），2018：8827-8836

[43]GirshickR，DonahueJ，DarrellT，etal.RichFeatureHierarchiesforAccurateObjectDetectionandSemanticSegmentation[C]∥ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition，2014：580-587.

[44]GirshickR.FastRCNN[C]∥ProceedingsoftheIEEEInternationalConferenceonComputerVision，Santiago，2015：1440-1448.

[45]RenShaoqing，HeKaiming，GirshickR，etal.FasterRCNN：TowardsRealTimeObjectDetectionwithRegionProposalNetworks[J].IEEETransactionsonPatternAnalysis&MachineIntelligence，2015，39（6）：1137-1149.

[46]WuTianfu，SunWei，LiXilai，etal.TowardsInterpretableRCNNbyUnfoldingLatentStructures[EB/OL].（2018-09-06）[2018-11-29].https：∥arxiv.org/pdf/1711.05226.pdf.

[47]SabourS，F(xiàn)rosstN，HintonGE.DynamicRoutingbetweenCapsules[C]∥AdvancesinNeuralInformationProcessingSystems，2017：3856-3866.

[48]LeCunY.TheMNISTDatabaseofHandwrittenDigits[EB/OL].[2018-11-29].http：∥yann.lecun.com/exdb/mnist/，1998.

[49]ZhuangYueting，WuFei，ChenChun，etal.ChallengesandOpportunities：FromBigDatatoKnowledgeinAI2.0[J].FrontiersofInformationTechnology&ElectronicEngineering，2017，18（1）：3-14.