張 珹

(中鐵第一勘察設(shè)計(jì)院集團(tuán)有限公司，西安 710043)

1 引言

高速鐵路接觸網(wǎng)是對(duì)電力機(jī)車提供動(dòng)力的關(guān)鍵設(shè)備.接觸網(wǎng)工作于露天環(huán)境，風(fēng)吹日曬容易發(fā)生故障.為了保障行車安全，4C 檢測(cè)裝置定期采集接觸網(wǎng)高清圖像，通過(guò)人工瀏覽的方式對(duì)接觸網(wǎng)部件進(jìn)行檢查，發(fā)現(xiàn)其安全隱患.接觸網(wǎng)絕緣子固定件、雙套管連接件、套管座、定位環(huán)連接件和定位器支座等支持裝置的緊固件，容易發(fā)生松動(dòng)、脫落和變形等故障，是檢測(cè)人員關(guān)注的重點(diǎn)對(duì)象.人工檢測(cè)工作量大，檢測(cè)周期長(zhǎng)，且受個(gè)人情緒和責(zé)任心等因素的影響.如何利用人工智能技術(shù)，實(shí)現(xiàn)對(duì)高鐵4C 檢測(cè)系統(tǒng)獲取的接觸網(wǎng)圖像進(jìn)行高效檢測(cè)，是一項(xiàng)迫切需要攻克的技術(shù)難題.

近幾年來(lái)，一些研究者對(duì)高鐵接觸網(wǎng)圖像檢測(cè)進(jìn)行了一些嘗試.文獻(xiàn)[1]提出了基于Hough 變換、Canny 算子和特征匹配(SURF 和ORB)等特征提取技術(shù)對(duì)斜腕臂管帽和定位支座等部件進(jìn)行故障檢測(cè)的算法.這些算法通過(guò)人工設(shè)計(jì)檢測(cè)特征，故障檢測(cè)精度有限.AlexNet[2]網(wǎng)絡(luò)出現(xiàn)之后，可以自動(dòng)提取特征的卷積神經(jīng)網(wǎng)絡(luò)得到了快速地發(fā)展，一些分類性能優(yōu)良的深度網(wǎng)絡(luò)，如VGGNet[3]、Inception[4]等相繼出現(xiàn)，并在圖像分類工程中開(kāi)始初步應(yīng)用.隨著Resnet[5]殘差網(wǎng)絡(luò)的提出，CNN 向更深的網(wǎng)絡(luò)邁進(jìn)，已經(jīng)在深度學(xué)習(xí)領(lǐng)域顯現(xiàn)出獨(dú)特的優(yōu)勢(shì).Girshick 提出了基于CNN的R-CNN[6]網(wǎng)絡(luò)，其核心是對(duì)圖像中每個(gè)區(qū)域通過(guò)CNN 提取特征，然后對(duì)區(qū)域進(jìn)行SVM[7]分類和邊框校準(zhǔn).Girshick 等人在R-CNN 和SPPNet[8]的基礎(chǔ)上又提出了Fast R-CNN[9]，解決了RCNN 對(duì)每一個(gè)區(qū)域都進(jìn)行特征提取而產(chǎn)生的冗余計(jì)算問(wèn)題.進(jìn)而，Girshick 在2016 年提出了Faster R-CNN[10]，通過(guò)使用RPN 網(wǎng)絡(luò)，將區(qū)域推薦階段和CNN 分類融合，實(shí)現(xiàn)了一個(gè)完全意義上的端到端的CNN 目標(biāo)檢測(cè)模型.文獻(xiàn)[11]基于Faster R-CNN，運(yùn)用VGG16 等特征提取網(wǎng)絡(luò)對(duì)接觸網(wǎng)懸掛目標(biāo)、支柱號(hào)和定位器等部件實(shí)現(xiàn)檢測(cè)，取得了較好的檢測(cè)效果.

接觸網(wǎng)絕緣子固定件、雙套管連接件、套管座、定位環(huán)連接件和定位器支座等支持裝置的緊固件，尺寸很小，利用常規(guī)深度網(wǎng)絡(luò)技術(shù)進(jìn)行故障識(shí)別時(shí)，由于特征表達(dá)不明顯，導(dǎo)致在區(qū)域推薦網(wǎng)絡(luò)中分類困難，最終檢測(cè)精確度不高.對(duì)于這類問(wèn)題，本文提出兩階段解決方案：首先進(jìn)行緊固件的識(shí)別與定位，將緊固件圖像分割為小圖片，然后對(duì)這些尺寸小的緊固件圖像，建立故障識(shí)別的深度網(wǎng)絡(luò)模型.基于這種思路，本文提出一種改進(jìn)的Faster R-CNN 深度網(wǎng)絡(luò)算法，用于第一階段對(duì)緊固件進(jìn)行識(shí)別與定位.

2 引入注意力機(jī)制的目標(biāo)檢測(cè)網(wǎng)絡(luò)設(shè)計(jì)

本文提出的目標(biāo)檢測(cè)網(wǎng)絡(luò)以Faster R-CNN 為基礎(chǔ)，使用ResNet50 作為初始的特征提取網(wǎng)絡(luò)，在ResNet50 的殘差模塊中引入基于SE 模型[12]的注意力機(jī)制，通過(guò)對(duì)網(wǎng)絡(luò)模塊特征圖的每個(gè)通道進(jìn)行賦權(quán)提取更有效的特征；同時(shí)對(duì)傳統(tǒng)的RPN 網(wǎng)絡(luò)進(jìn)行改進(jìn)，引入GA-RPN[13]，在特征圖進(jìn)入?yún)^(qū)域推薦網(wǎng)絡(luò)之后，對(duì)像素點(diǎn)進(jìn)行分類，判斷其是否可作為候選區(qū)域中心點(diǎn)；然后對(duì)區(qū)域中心點(diǎn)的邊框信息進(jìn)行回歸操作.網(wǎng)絡(luò)的整體結(jié)構(gòu)如圖1 所示.

圖1: 目標(biāo)檢測(cè)網(wǎng)絡(luò)的整體結(jié)構(gòu)

2.1 基于注意力機(jī)制的特征提取網(wǎng)絡(luò)

為了在特征提取時(shí)更關(guān)注有效特征，在通道維度加入注意力模塊，其結(jié)構(gòu)如圖2 所示.本文的注意力機(jī)制借鑒SE 模型.首先對(duì)進(jìn)入注意力模塊的特征圖F 進(jìn)行卷積操作，生成特征圖F1, F1∈RH×W×C，注意力模塊在通道維度關(guān)注輸入特征圖的有用部分，通過(guò)將特征圖F1全局最大池化生成一維注意力圖Fmax，為了得到每個(gè)通道最強(qiáng)的特征表示，全局最大池化后再經(jīng)過(guò)共享的多層感知機(jī)(MLP)得到兩個(gè)注意力的特征圖，特征圖元素按比例相加，經(jīng)過(guò)Sigmoid 函數(shù)激活生成權(quán)重特征圖M, M ∈R1×1×C，即為通道注意力特征圖.其公式表示為

其中σ1為Sigmoid 函數(shù).將帶有注意力的權(quán)重M 加入網(wǎng)絡(luò)，M 與特征圖F1進(jìn)行元素相乘得到注意力模塊輸出特征圖

圖2: 注意力模塊

鑒于殘差網(wǎng)絡(luò)在圖像分類領(lǐng)域表現(xiàn)出優(yōu)異的性能，本文在部件檢測(cè)網(wǎng)絡(luò)中使用殘差網(wǎng)絡(luò).它由若干殘差模塊組成，每一個(gè)殘差模塊的結(jié)構(gòu)如圖3 所示，x 是該殘差塊的輸入，F(xiàn)(x)表示殘差塊在第二層激活函數(shù)之前的輸出，即F(x) = W2σ2(W1x)，其中W1和W2表示第一層和第二層的權(quán)重，σ2表示ReLU 激活函數(shù)，最后殘差塊的輸出為σ2(F(x)+x).

圖3: 殘差塊結(jié)構(gòu)

本文將注意力機(jī)制與殘差網(wǎng)絡(luò)結(jié)合，形成殘差注意力網(wǎng)絡(luò).在每個(gè)殘差塊中，對(duì)殘差塊第二層的輸出F(x)之后，接入一個(gè)注意力模塊，形成殘差注意力模塊，最終輸出為

把殘差注意力模塊加入ResNet50 網(wǎng)絡(luò)中，構(gòu)建新的殘差網(wǎng)絡(luò)注意力網(wǎng)絡(luò)Attention-ResNet50 作為特征提取網(wǎng)絡(luò).殘差注意力模塊結(jié)構(gòu)如圖4.

圖4: 殘差注意力模塊

2.2 GA-RPN

借鑒Wang 等人提出的GA-RPN 方法[12]，改進(jìn)傳統(tǒng)的RPN 網(wǎng)絡(luò)，新網(wǎng)絡(luò)包括兩個(gè)分支：區(qū)域中心點(diǎn)預(yù)測(cè)分支和目標(biāo)邊界框回歸分支，區(qū)域中心點(diǎn)預(yù)測(cè)分支主要對(duì)像素點(diǎn)是否為有用區(qū)域中心進(jìn)行二分類，邊界框回歸分支對(duì)像素點(diǎn)回歸生成邊界框的尺寸信息.

中心點(diǎn)預(yù)測(cè)分支的作用是針對(duì)像素點(diǎn)是否為有用中心點(diǎn)進(jìn)行分類，在訓(xùn)練階段，通過(guò)判斷像素點(diǎn)是否處于相應(yīng)類別人工標(biāo)注的目標(biāo)框的中心區(qū)域中，對(duì)特征點(diǎn)進(jìn)行分類，劃定閾值，篩選出相應(yīng)的中心點(diǎn)(xi,yi).

首先，特征圖FL輸入?yún)^(qū)域推薦網(wǎng)絡(luò)，進(jìn)入?yún)^(qū)域中心預(yù)測(cè)點(diǎn)分支，特征圖通過(guò)1×1 卷積壓縮到單通道，然后用Sigmoid 函數(shù)對(duì)每個(gè)像素點(diǎn)計(jì)算得分，預(yù)測(cè)該特征圖中每個(gè)像素點(diǎn)作為物體中心點(diǎn)的可能性.

中心區(qū)域是一個(gè)與標(biāo)注框形狀相同的矩形，其大小比例可以根據(jù)實(shí)際情況確定.本文實(shí)驗(yàn)所用中心區(qū)域大小為人工標(biāo)注框的1/4，圖5 為中心區(qū)域劃定示意圖.若某像素點(diǎn)落入人工標(biāo)注的目標(biāo)框的中心區(qū)域，分類為正樣本；若落入目標(biāo)框外，分類為負(fù)樣本；落入標(biāo)注框內(nèi)的無(wú)效區(qū)域，舍棄，不參與計(jì)算.

邊框回歸分支不同于RPN 直接給出每個(gè)像素點(diǎn)固定的9 個(gè)推薦框，而是直接對(duì)特征圖所有像素點(diǎn)進(jìn)行邊框回歸，預(yù)測(cè)每個(gè)位置的最優(yōu)形狀(W,H)，即與該像素點(diǎn)最近的人工標(biāo)注框的IOU 最大的形狀.考慮到W 和H 的取值范圍較大，所以先進(jìn)行如下轉(zhuǎn)化

其中S 是步長(zhǎng)，μ是經(jīng)驗(yàn)因子(本文中取σ =8).首先通過(guò)1×1 卷積層產(chǎn)生通道為2 的特征圖，得到預(yù)測(cè)的dW 和dH，然后經(jīng)過(guò)逐元素轉(zhuǎn)換層實(shí)現(xiàn)W 和H 的轉(zhuǎn)化.由于可以預(yù)測(cè)任何形狀的邊框，所以對(duì)于極端形狀的目標(biāo)具有更好的效果.

這部分使用絕對(duì)損失函數(shù)訓(xùn)練回歸網(wǎng)絡(luò)，將得到的預(yù)測(cè)框位置信息，結(jié)合有用區(qū)域中心點(diǎn)，篩選與人工標(biāo)注目標(biāo)框的IOU 大于0.7 的檢測(cè)框作為候選區(qū)域，輸出有用區(qū)域中心點(diǎn)的檢測(cè)框.

圖5: 中心區(qū)域劃定示意圖

2.3 候選區(qū)域所屬類和精確位置

與Faster R-CNN 一樣，在RPN 中得到區(qū)域推薦信息之后，將感興趣區(qū)域的坐標(biāo)映射到特征圖，得到了特征圖上的邊框坐標(biāo)后，使用Pooling 得到相同尺寸的特征圖輸出，ROI 池化采用最大化方法將感興趣區(qū)域內(nèi)的特征轉(zhuǎn)換為具有固定尺寸H ×W 的小特征圖，然后通過(guò)全連接層映射到特征向量.之后對(duì)特征向量進(jìn)行分類和回歸操作，這兩個(gè)操作的輸出是最終目的，輸出候選區(qū)域所屬的類和候選區(qū)域在圖像中的精確位置.具體過(guò)程如圖6 所示.

圖6: 候選區(qū)域所屬類和精確位置輸出

3 實(shí)驗(yàn)

實(shí)驗(yàn)硬件環(huán)境：GPU 卡為NVIDIA Tesla P100，16 GB 顯存，3584 個(gè)流處理器；主機(jī)CPU 為Xeon E5-2664 v4 Gold，3.2 GHz，16 核.深度網(wǎng)絡(luò)框架使用Pytorch1.1.0.

3.1 數(shù)據(jù)集

選取4C 檢測(cè)系統(tǒng)采集的1935 幅高分辨率接觸網(wǎng)圖像，圖像分辨率為6600?4400.數(shù)據(jù)集中包含絕緣子固定件、雙套管連接件、套管座、定位環(huán)連接件和定位器支座等支持裝置的5 類緊固件，對(duì)每張圖像進(jìn)行了標(biāo)注.類別使用one-hot 編碼.數(shù)據(jù)集采用VOC 格式.訓(xùn)練集、測(cè)試集和驗(yàn)證集的比例為0.70:0.15:0.15.

3.2 緊固件識(shí)別與定位

對(duì)本文構(gòu)造的數(shù)據(jù)集，分別采用Faster R-CNN 和本文改進(jìn)的Faster R-CNN 進(jìn)行緊固件識(shí)別與定位.特征提取網(wǎng)絡(luò)前者采用ResNet50，后者使用本文提出的Attention-ResNet50.區(qū)域推薦網(wǎng)絡(luò)均為GA-RPN.試驗(yàn)中，經(jīng)過(guò)超參數(shù)優(yōu)化，學(xué)習(xí)率設(shè)置為0.02，區(qū)域推薦網(wǎng)絡(luò)的IOU 的閾值為0.7，batch size 取2，優(yōu)化方法使用SGD，動(dòng)量參數(shù)設(shè)置為0.9，經(jīng)過(guò)20 次迭代，兩種方法的精度對(duì)比見(jiàn)表1.本文提出的方法對(duì)緊固件識(shí)別效果如圖7 所示.

圖7: 本文方法對(duì)緊固件識(shí)別效果圖

3.3 實(shí)驗(yàn)結(jié)果分析

從表1 中本文方法與Faster R-CNN 識(shí)別精度的對(duì)比可以看出，在幾乎沒(méi)有降低緊固件召回率的前提下，本文改進(jìn)的方法對(duì)絕緣子固定件、雙套管連接件、套管座定位環(huán)連接件和定位器支座的識(shí)別精度分別提高了3.2%、2.0%、2.2%、2.4%和2.8%.從表1 還可以看出，本文提出的部件識(shí)別方法，對(duì)各種接觸網(wǎng)緊固件的識(shí)別精度均達(dá)到了93.4%以上，這樣的識(shí)別精度是在1935 幅接觸網(wǎng)圖像數(shù)據(jù)集的70%樣本上訓(xùn)練的深度網(wǎng)絡(luò)模型得到的，如果采集更多的訓(xùn)練樣本，接觸網(wǎng)緊固件的識(shí)別精度還有一定的提升空間.

表1: 本文方法與Faster R-CNN 的精度對(duì)比

4 結(jié)論

本文針對(duì)高鐵接觸網(wǎng)緊固件的識(shí)別定位問(wèn)題，在Faster R-CNN 目標(biāo)檢測(cè)網(wǎng)絡(luò)中引入注意力機(jī)制，提取了更有效的特征，同時(shí)引入GA-RPN，改進(jìn)了原來(lái)的區(qū)域推薦網(wǎng)絡(luò)RPN，這兩種改進(jìn)策略有效地提升了接觸網(wǎng)緊固件識(shí)別效果.下一步將從4C 系統(tǒng)采集更多的緊固件圖像進(jìn)行訓(xùn)練，進(jìn)一步提升緊固件的識(shí)別精度.