于芝枝

（國家知識產權局專利局專利審查協作廣東中心，廣州 510535）

0 引言

隨著深度學習的快速發(fā)展，神經網絡已經在圖像分類、目標檢測等領域取得了重要成果［1］。神經網絡依舊存在系統的理論基礎缺乏、需大規(guī)模訓練數據等缺點，人們對其工作機制缺乏足夠的理解，導致在安全性、可靠性要求較高的領域尚未得到實質性應用。為了更好地理解神經網絡，研究其模型工作機理以及改進現有模型策略，可視化工作關注其神經元提取特征和特征間關聯，有助于理解模型，學習到知識，以及內在工作機理。同時可視化工作使得整個神經網絡訓練過程和訓練信息具體化，有助于設計和訓練一個更好的模型。

1 可視化方法分類

根據可視化方法適配神經網絡中模型部位、階段，可視化方法可大致分為：特征可視化、關系可視化和過程可視化等三種方法。

1.1 特征可視化

特征可視化指神經網絡提取特征具象化。Zeiler 等［2］提出采用多層反卷積網絡，將激活值投影到輸入空間，通過遮擋方式找到圖像對分類結果影響較大的部分區(qū)域。Girshick 等［3］提出使用圖像不同部位區(qū)域輸入網絡，通過觀察特征變化進行可視化。

1.2 關系可視化

關系可視化指模型學習到的特征間關系以及神經元間關系可視化操作。關系可視化通常需要降維或聚類算法輔助。朱衛(wèi)坪等［4］結合t-SNE 降維與K-means 聚類算法，對海量、高維、多元的化工產品數據進行降維可視化，分析實現節(jié)能減排的重要指標。Liu 等［5］將CNN 定義為有向無環(huán)圖，提出混合可視化，解釋神經元學習到的特征及相互作用。

1.3 過程可視化

過程可視化指可視化神經網絡結構和訓練信息。其目的是厘清深度學習模型的工作機制。過程可視化通常需要可視化工具或系統輔助實現。Yosinski 等［6］利用深度可視化工具箱實時地、交互式可視化網絡中神經元對輸入圖像或視頻的影響。Chung 等［7］利用ConvNetJS 系統動態(tài)調整神經元、增加或刪除網絡層等操作，引導網絡過程訓練。

2 特征可視化舉例

Grad-CAM（Gradient-weighted Class Activa?tion Mapping）［8］利用網絡反向傳播的梯度計算出特征圖每一個通道的權重，從而得到熱力圖，屬于特征可視化范疇。Grad-CAM 無需重新訓練，可用于不同任務的網絡，如圖像分類、看圖說話、圖像問答等。Grad-CAM 計算見公式（1）和公式（2）。

其中，A表示最后一層卷積層輸出特征層，k表示特征層A的第k個通道，c表示類別，Ak表示特征層A第k個通道數據，表示Ak對應類別c的權重（其計算見公式（2））。

式（2）中，yc表示針對類別c的預測概率，表示特征層A第k個通道坐標（i，j）處的數據，Z表示特征層的寬度×高度。

Grad-CAM可視化流程如下：

（1）首先通過歸一化指數函數softmax 得到分類概率yc，對最后一層卷積層的所有特征圖A求偏導，得到和A大小相同的偏導矩陣。

（4）將二維矩陣進行激活函數Relu 處理，把負數變?yōu)?，得到矩陣。

在文獻［8］中，為了識別圖1 中的類別“狗”，利用Grad-CAM 獲得一個粗糙的熱力圖，并與原圖進行疊加，效果如圖2所示。

圖1 原圖

圖2 效果圖

3 結語

神經網絡可解釋性促進深度學習在現實中的應用，同時也會擴展深度學習領域知識邊界。依據神經網絡模型結構，本文把其可解釋性可視化方法分類為：特征可視化、關系可視化和過程可視化，并對其概念進行了解釋。最后利用Grad-CAM 特征可視化方法舉例，闡述其工作原理。