趙 冰,李 平,代明睿,馬小寧

1(中國(guó)鐵道科學(xué)研究院 研究生部,北京 100081)

2(中國(guó)鐵道科學(xué)研究院 鐵路大數(shù)據(jù)研究與應(yīng)用創(chuàng)新中心,北京 100081)

鐵路檢修及監(jiān)控任務(wù)產(chǎn)生大量的圖像數(shù)據(jù),圖像 后續(xù)分析一般與圖像拍攝場(chǎng)景相關(guān)聯(lián),但目前圖像儲(chǔ)存后缺乏科學(xué)有效圖像場(chǎng)景分類方法,限制了圖像價(jià)值的分析與挖掘.由于鐵路領(lǐng)域缺乏專業(yè)大規(guī)模圖像數(shù)據(jù)集,與自然圖像相比,圖像包含大量前景語(yǔ)義,鐵路領(lǐng)域因素明顯,同時(shí)復(fù)雜光照條件、惡劣環(huán)境因素、設(shè)備素質(zhì)局限均影響成像效果,增加了鐵路圖像場(chǎng)景分類任務(wù)的難度.快速準(zhǔn)確的圖加了鐵路圖像場(chǎng)景分類任務(wù)的難度[1].快速準(zhǔn)確的圖像場(chǎng)景自動(dòng)分類方法有助于圖像分析研究工作,可為鐵路部件檢測(cè)、安保監(jiān)控、周界防護(hù)等研究工作提供圖像分類預(yù)處理流程,具有切實(shí)研究應(yīng)用價(jià)值.

目前圖像場(chǎng)景分類方法可分為兩類：基于手動(dòng)特征提取方法與基于深度學(xué)習(xí)的方法.基于手動(dòng)特征提取的分類方法在幾十年的發(fā)展中已趨于完善,Harris 角點(diǎn)檢測(cè)子[2]、DoG 算子[3](Difference of Gaussian )等興趣點(diǎn)檢測(cè)算法選擇局部明顯特征,在較小的計(jì)算開銷下能夠獲得一定的空間幾何不變性;方向梯度直方圖HOG[4](Histogram of Oriented Gradient)、尺度不變特征轉(zhuǎn)換SIFT[5](Scale Invariant Feature Transform)、局部二值模式LBP[6](Local Binary Pattern)等方法采取密集的特征提取方式,結(jié)合支持向量機(jī)SVM[7](Support Vector Machine)獲得了更優(yōu)的特征提取效果.基于深度學(xué)習(xí)方法的CNN 網(wǎng)絡(luò)可對(duì)數(shù)據(jù)進(jìn)行自動(dòng)特征提取,克服了傳統(tǒng)提取特征方法需要手動(dòng)設(shè)計(jì)特征提取算子的弊端,隨著2012年ImageNet 大規(guī)模視覺識(shí)別挑戰(zhàn)賽上AlexNet 超越傳統(tǒng)方法,在圖像分類任務(wù)上取得優(yōu)異成績(jī)后,后續(xù)VGG、GoogLeNet、InceptionNet、ResNet 等CNN 網(wǎng)絡(luò)模型的提出,使得基于CNN 的深度學(xué)習(xí)技術(shù)成為圖像分類任務(wù)的主流方法[8].盡管表現(xiàn)出色,但CNN 模型的可解釋性問題一直為人詬病,在對(duì)CNN 進(jìn)行可視化的解釋的方面,Zeiler 等人[9]提出建立反向卷積神經(jīng)網(wǎng)絡(luò),產(chǎn)生高分辨率和可理解的特征可視化圖像;類激活映射CAM (Class Activation Mapping)[10]通過(guò)改變CNN 的網(wǎng)絡(luò)結(jié)構(gòu)并對(duì)數(shù)據(jù)集進(jìn)行重新訓(xùn)練,獲得類別定位激活圖,觀察CNN 的感興趣區(qū)域;梯度類激活映射Grad-CAM (Grad Class Activation Mapping)可對(duì)訓(xùn)練好的分類網(wǎng)絡(luò)模型輸出計(jì)算梯度全局平均權(quán)重,減少了模型重構(gòu)及訓(xùn)練的時(shí)間.

本文提出了將DCNN 應(yīng)用于鐵路圖像進(jìn)行特征提取實(shí)現(xiàn)鐵路圖像場(chǎng)景分類,所建立的網(wǎng)絡(luò)結(jié)構(gòu)級(jí)聯(lián)Grad-CAM 可視化層實(shí)現(xiàn)模型原理可解釋性.本文對(duì)比了不同的DCNN 網(wǎng)絡(luò)在鐵路場(chǎng)景圖像下遷移學(xué)習(xí)的能力,同時(shí)提出了通過(guò)可視化方法降低數(shù)據(jù)集內(nèi)部偏差提升模型分類能力的優(yōu)化流程,結(jié)果顯示本文提出方法可有效降低數(shù)據(jù)集偏差,提升模型分類能力.

1 研究方法

為實(shí)現(xiàn)在小樣本量下的鐵路圖像場(chǎng)景分類任務(wù),本文基于遷移學(xué)習(xí)思想,將在ImageNet 數(shù)據(jù)集上預(yù)訓(xùn)練好的網(wǎng)絡(luò)模型進(jìn)行遷移調(diào)參訓(xùn)練,比較了現(xiàn)有網(wǎng)絡(luò)及本文改進(jìn)網(wǎng)絡(luò)在鐵路圖像場(chǎng)景分類任務(wù)下的性能;為實(shí)現(xiàn)CNN 分類模型可解釋性,本文基于Grad-CAM 思想,在經(jīng)過(guò)下采樣后的最后一層特征映射圖上,對(duì)梯度權(quán)重添加ReLU 層,實(shí)現(xiàn)圖像不同區(qū)域?qū)Ψ诸愵悇e激活的熱力圖解釋.全文研究流程如圖1所示.

圖1 鐵路圖像場(chǎng)景分類及可視化分析流程

1.1 遷移學(xué)習(xí)

為避免CNN 模型在小型場(chǎng)景數(shù)據(jù)集訓(xùn)練出現(xiàn)難以收斂的問題,本文將在ImageNet 數(shù)據(jù)集上預(yù)訓(xùn)練好的網(wǎng)絡(luò)模型遷移至鐵路場(chǎng)景數(shù)據(jù)集進(jìn)行訓(xùn)練,表1展示ResNet50 和ResNet101 的模型結(jié)構(gòu),圖片進(jìn)入模型后裁剪成固定分辨率,經(jīng)過(guò)CNN 完成特征提取工作,結(jié)合本文特定問題,提出改進(jìn)后ResNet50 網(wǎng)絡(luò)模型如下：

1)在conv1、conv2、conv3、conv4 層后分別連Dropout 層抑制過(guò)擬合,Dropout 率設(shè)定為0.2;2)全連接層修改為12 維,接softmax 層完成對(duì)各類別概率計(jì)算;3)固定前端所有層參數(shù),僅對(duì)最后一層全連接層進(jìn)行調(diào)參訓(xùn)練.

以ResnetV1-50 模型為例,如圖2所示,圖片輸入尺寸為224×224 像素,在第一階段中,圖像經(jīng)過(guò)卷積層1,卷積核為7×7 像素,步長(zhǎng)為2 像素,維數(shù)為64,輸出尺寸為112×112 像素,進(jìn)而連接批量歸一化層及非線性變換層以加快收斂,最后經(jīng)過(guò)卷積核為3×3 像素,步長(zhǎng)為2 像素的最大池化層;第二階段,圖像經(jīng)過(guò)一個(gè)層數(shù)為3 的殘差塊,標(biāo)準(zhǔn)殘差塊的卷積核為1×1 或3×3 像素,輸出的圖像尺寸為56×56 像素;第三階段圖像經(jīng)過(guò)一個(gè)層數(shù)為4 的殘差塊,輸出尺寸為28×28 像素;第四階段圖像經(jīng)過(guò)一個(gè)層數(shù)為6 的殘差塊,輸出尺寸為14×14 像素;第五階段圖像經(jīng)過(guò)一個(gè)層數(shù)為3 的殘差塊,輸出尺寸為7×7 像素;最終經(jīng)過(guò)平均池化層、12 維的全連接層及歸一化指數(shù)層,求得圖像分類概率.

1.2 CNN 可視化模型

(1)梯度反向傳播(guided backpropagation)[11]：

對(duì)CNN 各層輸入和梯度均大于0 的所對(duì)應(yīng)的梯度進(jìn)行反向傳播,可在一定程度上展示該層提取到的全部特征,相鄰步梯度定義為：

其中,Ri為迭代過(guò)程中的梯度,根據(jù)反向傳播可由l+1 步的梯度求解出l步的梯度.

表1 ResNet 網(wǎng)絡(luò)結(jié)構(gòu)

圖2 ResNet50 網(wǎng)絡(luò)遷移學(xué)習(xí)流程

(2)類激活映射(Class Activation Mapping)[12]：

通過(guò)多次卷積和池化后,CNN 最后一層卷積層包含了豐富的空間和語(yǔ)義信息,引入全局平均池化替換全連接層,保留下豐富的語(yǔ)音信息,對(duì)每一個(gè)特定類別c,類激活映射可顯示其類激活映射,如：

其中,MC指針對(duì)類別C的類別激活映射,fk(x,y)表最后一層卷積層上單元k的位置,指利用CA方法生成的激活值.

(3)漸變類激活映射(Grad Class Activation Mapping,Grad-CAM)[13]：

利用梯度全局平均來(lái)計(jì)算權(quán)重可在不改變?cè)W(wǎng)絡(luò)結(jié)構(gòu)的情況下實(shí)現(xiàn)對(duì)類別的加權(quán)熱力圖及激活分?jǐn)?shù),如：

2 鐵路場(chǎng)景分類數(shù)據(jù)集

ImageNet[14]、SUN[15]、Places[16]等大型數(shù)據(jù)集的提出推動(dòng)了深度學(xué)習(xí)的發(fā)展,但這些數(shù)據(jù)集僅關(guān)注自然圖像,目前沒有專門用于鐵路目標(biāo)或場(chǎng)景分類的鐵路圖像(如包含接觸網(wǎng),涵洞,機(jī)車,線路等鐵路專有目標(biāo))數(shù)據(jù)集.為了彌補(bǔ)缺乏數(shù)據(jù)集對(duì)深層學(xué)習(xí)方法的制約,本文制作了一個(gè)名為Railway12 的鐵路場(chǎng)景圖像數(shù)據(jù)集,,Railway12 包含12 種典型場(chǎng)景 (隧道、候車大廳、購(gòu)票大廳、火車站廣場(chǎng)、接觸網(wǎng)、維修車間、站臺(tái)、貨場(chǎng)、車廂、鐵路道口、鐵路橋梁、防護(hù)網(wǎng)),數(shù)據(jù)集總圖片量為1.2 萬(wàn)幅圖像,每個(gè)類別包含1000張圖像.圖3顯示了Railway12 數(shù)據(jù)集的一些圖像樣本.

圖3 Railway12 數(shù)據(jù)集圖像樣例

3 實(shí)驗(yàn)結(jié)果分析

3.1 場(chǎng)景分類結(jié)果

本節(jié)對(duì)深層CNN 的場(chǎng)景分類能力進(jìn)行了評(píng)估.選擇三種典型的TF-Slim CNN 模型(ResNetV1,ResNetV2,Inception-ResNet-v2)進(jìn)行訓(xùn)練,這些模型已經(jīng)在ILSVRC-2012-CLS 圖像分類數(shù)據(jù)集預(yù)先訓(xùn)練過(guò),以具有良好的并行處理能力.實(shí)驗(yàn)在數(shù)據(jù)集按7：2：1 的比例劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集.出于后續(xù)工程化考慮,實(shí)驗(yàn)在linux 環(huán)境下基于Tensorflow 深度學(xué)習(xí)框架搭建,計(jì)算機(jī)配置為：Inter Core i7,顯卡為1080Ti,參數(shù)設(shè)置如下：學(xué)習(xí)率(learning_rate)=0.0001,訓(xùn)練批次尺寸(batch_size)=32,訓(xùn)練周期(num_epochs)=75-85.除logits 層之外,所有網(wǎng)絡(luò)層均固定參數(shù).我們?cè)诒?中提供了訓(xùn)練集的top-3 的分類精度,以及測(cè)試集的top-1 和top-3 的分類精度.

實(shí)驗(yàn)結(jié)果表明,將在ImageNet 預(yù)訓(xùn)練的CNN 模型遷移到鐵路場(chǎng)景分類任務(wù)是可行的,模型分類精度優(yōu)異,考慮到鐵路行業(yè)龐大的圖像數(shù)據(jù)量,模型具有實(shí)際的應(yīng)用價(jià)值.實(shí)驗(yàn)表明,網(wǎng)絡(luò)結(jié)構(gòu)越深,提取特征模型的能力越強(qiáng).模型的精度和損失歷史如圖4所示.

圖4 模型訓(xùn)練準(zhǔn)確率及損失歷史

3.2 模型可視化分析

3.2.1 模型激活區(qū)域分析

利用Grad-CAM 方法將CNN 最后一層卷積層的梯度信息生成類激活圖,熱力圖可以顯示模型對(duì)不同類別感興趣的區(qū)域,根據(jù)這種方法,我們可以對(duì)CNN 模型的訓(xùn)練結(jié)果進(jìn)行直觀解釋.

本文發(fā)現(xiàn)豐富的前景語(yǔ)義不是造成分類錯(cuò)誤的主要原因 (如圖5(a)和(b),在圖像包含大量的前景語(yǔ)義情況下,模型仍根據(jù)背景信息實(shí)現(xiàn)了正確的分類.

表2 不同網(wǎng)絡(luò)結(jié)構(gòu)的分類準(zhǔn)確率

圖5 CNN 對(duì)不同圖像類型感興趣的區(qū)域：(a)和(b)為具有豐富前景語(yǔ)義的圖像,(c)和(d)為具有很大類內(nèi)差異的圖像,(e)和(f)具有不同場(chǎng)景復(fù)雜度的圖像

當(dāng)類別內(nèi)部圖片差異性較大時(shí),模型在訓(xùn)練中會(huì)形成不同的關(guān)注模式,對(duì)于售票大廳類別,一部分圖片由售票窗口組成 (如圖5(c)),其他圖片由自動(dòng)售票機(jī)(如圖5(d))組成.網(wǎng)絡(luò)仍然可以進(jìn)行正確判斷.

當(dāng)構(gòu)成場(chǎng)景的對(duì)象較少時(shí),場(chǎng)景比較直觀,此時(shí)神經(jīng)網(wǎng)絡(luò)的判斷策略類似于目標(biāo)分類,根據(jù)圖像中出現(xiàn)的典型目標(biāo)判斷其歸屬類別,如圖5(e)所示;當(dāng)圖像場(chǎng)景更加復(fù)雜時(shí),構(gòu)成場(chǎng)景的對(duì)象是隨機(jī)而大量的,它將場(chǎng)景理解為前景和背景語(yǔ)義的組合,作為如圖5(f)所示,座椅、行李、窗戶和乘客區(qū)域均對(duì)分類有貢獻(xiàn).

一般情況下,我們只能從CNN 模型輸出中獲知top-n 預(yù)測(cè)類別和概率值.但如圖6所示,利用Grad-CAM 方法可以對(duì)同一張圖片的不同預(yù)測(cè)結(jié)果展示模型感興趣的區(qū)域.盡管模型對(duì)這張圖片做出了錯(cuò)誤的判斷,但仍可以幫助我們分析模型做出錯(cuò)誤分類的依據(jù),為看似不合理的分類結(jié)果提供合理的解釋.

圖6 模型對(duì)同一輸入圖片的top5 預(yù)測(cè)結(jié)果及Grad-CAM 可視化展示

3.2.2 模型激活特征分析

在Grad-CAM 方法的基礎(chǔ)上,結(jié)合梯度信息可以揭示在CNN 的決策過(guò)程中激活了哪些特征,對(duì)CNN 的運(yùn)行機(jī)制做出深入的解釋.

如圖7(a)所示,網(wǎng)絡(luò)在top1 預(yù)測(cè)中進(jìn)行正確預(yù)測(cè),網(wǎng)絡(luò)提取建筑尖頂作為顯著特征,而在top3 中的其他預(yù)測(cè)中,模型提取的特征為窗戶和行人,這些特征導(dǎo)致了錯(cuò)誤的預(yù)測(cè);但在圖7(b)中,模型在top1 預(yù)測(cè)中做出了錯(cuò)誤的預(yù)測(cè),但當(dāng)模型做出讓人疑惑的決策時(shí),Grad-CAM 和Guided Grad-CAM 可以解釋模型受到了怎樣的干擾.

3.3 降低數(shù)據(jù)集偏差優(yōu)化模型分類性能

本部分我們分別計(jì)算測(cè)試集中12 類別圖片的錯(cuò)誤率,結(jié)果見表3.選定ResNet V1 模型作為基準(zhǔn),分析數(shù)據(jù)集對(duì)于模型分類準(zhǔn)確率的影響模式.我們發(fā)現(xiàn)維修車間,車廂,橋梁場(chǎng)景為分類準(zhǔn)確率最高的三個(gè)場(chǎng)景,而隧道,候車大廳,車站為分類準(zhǔn)確率最低的三個(gè)場(chǎng)景.

分類準(zhǔn)確率較高的類別均體現(xiàn)類別內(nèi)場(chǎng)景單一,可識(shí)別目標(biāo)較明顯的特點(diǎn);分類準(zhǔn)確率較低的類別體現(xiàn)出類內(nèi)場(chǎng)景豐富的特點(diǎn),例如不同國(guó)家的火車站廣場(chǎng)建筑風(fēng)格差異巨大,同時(shí)由于可能出現(xiàn)類別間相似性較大的問題,導(dǎo)致某些類別的分類準(zhǔn)確率較低.

圖7 結(jié)合多種可視化方法展示對(duì)于預(yù)測(cè)對(duì)應(yīng)激活特征

表3 測(cè)試集不同類別圖片的準(zhǔn)確率

數(shù)據(jù)集偏差會(huì)對(duì)分類準(zhǔn)確率造成嚴(yán)重的影響,當(dāng)數(shù)據(jù)集出現(xiàn)各類別圖片數(shù)據(jù)量相差較大時(shí),網(wǎng)絡(luò)模型對(duì)各類圖片的分類準(zhǔn)確率會(huì)出現(xiàn)明顯波動(dòng),可以考慮使用數(shù)據(jù)增強(qiáng)技術(shù)進(jìn)行彌補(bǔ);應(yīng)注意訓(xùn)練集中同一場(chǎng)景類別內(nèi)各種類型圖片的比例,如果某種類型數(shù)量占比過(guò)大,其他類型占比過(guò)小,在這樣有偏差的數(shù)據(jù)集訓(xùn)練得到的模型其泛化能力較弱,容易產(chǎn)生有偏差和定勢(shì)的模型.

4 結(jié)束語(yǔ)

在本文中,我們建立了鐵路專用場(chǎng)景分析數(shù)據(jù)集Railway12,基于遷移學(xué)習(xí)的思想,將主流深度網(wǎng)絡(luò)模型遷移到場(chǎng)景分類任務(wù)中,獲得能夠勝任于鐵路場(chǎng)景分類任務(wù)的高準(zhǔn)確率模型.利用Grad-CAM 等可視化方法,直觀的解釋網(wǎng)絡(luò)的工作原理,從網(wǎng)絡(luò)感興趣區(qū)域和分類激活特征兩個(gè)層面分析模型在場(chǎng)景分類任務(wù)中的典型判斷模式.最終,利用可視化方法分析數(shù)據(jù)集存在的偏差,通過(guò)改進(jìn)數(shù)據(jù)集提高模型的場(chǎng)景分類準(zhǔn)確率.未來(lái)我們計(jì)劃對(duì)數(shù)據(jù)集建立準(zhǔn)確的類別字典,規(guī)范數(shù)據(jù)集類別內(nèi)各子類圖片比例,完善數(shù)據(jù)集結(jié)構(gòu),提高數(shù)據(jù)集統(tǒng)計(jì)學(xué)分布意義,同時(shí)利用可視化手段指導(dǎo)網(wǎng)絡(luò)模型的修改,提出更加適用于鐵路場(chǎng)景分類的網(wǎng)絡(luò)模型.