杜曉亮，姜香菊

(蘭州交通大學(xué) 自動(dòng)化與電氣工程學(xué)院，蘭州 730070)

鐵路接觸網(wǎng)絕緣子作為接觸網(wǎng)的重要組成部分，起到電氣絕緣和接觸網(wǎng)支撐作用，其性能狀態(tài)對(duì)鐵路安全運(yùn)營(yíng)有較大的影響.由于長(zhǎng)期處在復(fù)雜的室外環(huán)境并受到列車運(yùn)行時(shí)的高速?zèng)_擊，絕緣子會(huì)出現(xiàn)破損、臟污、老化等故障，造成接觸網(wǎng)接地、絕緣子放電等安全隱患.因此，對(duì)絕緣子的表面狀態(tài)檢測(cè)是保障行車安全的重要環(huán)節(jié).目前，我國(guó)鐵路系統(tǒng)采用人工看圖的方式對(duì)4C系統(tǒng)采集的接觸網(wǎng)圖像進(jìn)行排查[1].該方法耗時(shí)長(zhǎng)，錯(cuò)檢和漏檢率高，自動(dòng)化水平低.為提高檢測(cè)效率和準(zhǔn)確度，學(xué)者將圖像處理技術(shù)引入絕緣子缺陷檢測(cè)研究當(dāng)中.

對(duì)絕緣子缺陷檢測(cè)的前提是絕緣子的精準(zhǔn)識(shí)別.近幾年來(lái)，對(duì)于絕緣子的識(shí)別定位，國(guó)內(nèi)外學(xué)者做了大量研究.文獻(xiàn)[2]基于Harri角點(diǎn)與圖像差分實(shí)現(xiàn)絕緣子的抗旋轉(zhuǎn)匹配和故障檢測(cè)；文獻(xiàn)[3]通過(guò)Canny邊緣特征與SURF(speeded up robust features)點(diǎn)特征對(duì)絕緣子邊緣進(jìn)行提取，實(shí)現(xiàn)接觸網(wǎng)絕緣子的智能識(shí)別；文獻(xiàn)[4]采用自動(dòng)重建法利用點(diǎn)云數(shù)據(jù)實(shí)現(xiàn)絕緣子的三維重建；文獻(xiàn)[5]利用接觸網(wǎng)絕緣子圖像的多樣性分布，提出了一種基于輪廓波變換和Chan-Vese模型的高速鐵路棒形絕緣子檢測(cè)與識(shí)別方法；文獻(xiàn)[6]以接觸網(wǎng)支架為參照，將絕緣子識(shí)別轉(zhuǎn)換為支架的識(shí)別，最后通過(guò)絕緣子與支架之間的相對(duì)位置定位絕緣子.這幾種方法雖然實(shí)現(xiàn)簡(jiǎn)單，但定位結(jié)果仍受到目標(biāo)形態(tài)、光照、背景的影響，普適性差.隨著深度學(xué)習(xí)在圖像處理領(lǐng)域的興起，卷積神經(jīng)網(wǎng)絡(luò)算法被大量應(yīng)用在了目標(biāo)檢測(cè)任務(wù)中.文獻(xiàn)[7]利用K-means++算法和YOLOv3構(gòu)建了一種對(duì)航拍絕緣子定位的輕量級(jí)網(wǎng)絡(luò)；文獻(xiàn)[8]利用二值賦范分類器與卷積神經(jīng)網(wǎng)絡(luò)算法進(jìn)行絕緣子的精細(xì)識(shí)別；文獻(xiàn)[9]提出基于卷積神經(jīng)網(wǎng)絡(luò)的絕緣子目標(biāo)識(shí)別方法，解決了復(fù)雜背景下的絕緣子識(shí)別；文獻(xiàn)[10]使用改進(jìn)Mask R-CNN算法對(duì)各類絕緣子進(jìn)行識(shí)別.此類算法都能夠?qū)崿F(xiàn)絕緣子的識(shí)別，但大多是對(duì)高壓輸電線絕緣子的識(shí)別，只有少量針對(duì)鐵路接觸網(wǎng)絕緣子.

因此，本文提出一種改進(jìn)Faster R-CNN的鐵路接觸網(wǎng)絕緣子識(shí)別方法.通過(guò)融合不同卷積層特征圖像，達(dá)到多尺度檢測(cè)要求，并采用改進(jìn)非極大值抑制(non-maximum suppression，NMS)算法提高算法整體的準(zhǔn)確率和召回率，以提高鐵路接觸網(wǎng)絕緣子的識(shí)別效果.

1 算法理論知識(shí)

1.1 Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)

Faster R-CNN是Fast R-CNN網(wǎng)絡(luò)結(jié)合RPN(region proposal network)組成，較于Fast R-CNN在VOC2007數(shù)據(jù)集上的70%的mAP(mean average precision)表現(xiàn)，F(xiàn)aster R-CNN將其提高到78%[11].Faster R-CNN主要分為特征提取模塊、RPN模塊、分類回歸模塊.Faster R-CNN具體網(wǎng)絡(luò)框架如圖1所示.

圖1 Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)

1.2 特征提取網(wǎng)絡(luò)

特征提取網(wǎng)絡(luò)目的是獲得輸入圖像的特征圖，一般有ZFNet[12]、VGGNet[13]、ResNet[14]等網(wǎng)絡(luò).由于ResNet-50具有適宜的深度，網(wǎng)絡(luò)非線性程度高，可以提取更多細(xì)節(jié)的特征，所以本文選擇該網(wǎng)絡(luò)作為絕緣子精確識(shí)別網(wǎng)絡(luò)的特征提取網(wǎng)絡(luò).ResNet-50組成結(jié)構(gòu)見(jiàn)表1.

表1 ResNet-50組成結(jié)構(gòu)

1.3 RPN網(wǎng)絡(luò)

RPN網(wǎng)絡(luò)作為Faster R-CNN核心，較于SS(selective search)算法[15]從原圖中提取2 000多個(gè)目標(biāo)框，RPN直接在特征圖像中生成候選區(qū)域，極大地提高了檢測(cè)速度和準(zhǔn)確率.RPN網(wǎng)絡(luò)選取一個(gè)3像素×3像素大小的滑動(dòng)窗口將特征圖像中的每個(gè)像素點(diǎn)依次作為基點(diǎn)在特征圖像上進(jìn)行滑動(dòng).滑動(dòng)窗口以該基點(diǎn)為中心生成K個(gè)anchor，K通常為9，對(duì)應(yīng)128像素×128像素、256像素×256像素、512像素×512像素三種大小和1∶1、1∶2、2∶1三種長(zhǎng)寬比.RPN結(jié)構(gòu)如圖2所示.

圖2 RPN結(jié)構(gòu)

在獲取到大量的錨框后，通過(guò)非極大值抑制獲取交并比(IOU)大于0.7的anchor作為正標(biāo)簽，小于0.3的作為負(fù)標(biāo)簽，將前后背景區(qū)分，之后對(duì)前景邊框進(jìn)行初步回歸.

RPN的損失函數(shù)由分類損失和邊界回歸損失兩部分組成，損失函數(shù)定義如下：

(1)

(2)

(3)

(4)

(5)

1.4 分類回歸

該模塊首先通過(guò)ROI Pooling層將RPN中生成的建議區(qū)域結(jié)合主干網(wǎng)絡(luò)提取的特征圖像計(jì)算得到尺寸固定的區(qū)域特征圖像，然后通過(guò)全連接層與一個(gè)Softmax對(duì)區(qū)域特征圖像進(jìn)行分類打分，同時(shí)利用全連接層與邊框回歸(bounding box regression)得到更加精確的目標(biāo)檢測(cè)框.分類回歸模塊網(wǎng)絡(luò)結(jié)構(gòu)圖如圖3所示.

圖3 分類回歸模塊

2 改進(jìn)Faster R-CNN算法

2.1 改進(jìn)特征提取網(wǎng)絡(luò)

傳統(tǒng)的Faster R-CNN目標(biāo)檢測(cè)算法是在主干網(wǎng)絡(luò)所提取的單一頂層特征圖像上進(jìn)行目標(biāo)檢測(cè).由于卷積神經(jīng)網(wǎng)絡(luò)運(yùn)算特性，在圖像特征提取過(guò)程中隨著網(wǎng)絡(luò)的加深，圖像經(jīng)過(guò)多次卷積和池化操作，使得最后輸出的特征圖像分辨率降低，從而導(dǎo)致大量細(xì)節(jié)信息遺漏，對(duì)于小目標(biāo)的特征會(huì)弱化，甚至遺漏.使用頂層特征圖像進(jìn)行目標(biāo)識(shí)別時(shí)，對(duì)小目標(biāo)檢測(cè)精度低，不能夠達(dá)到鐵路檢測(cè)系統(tǒng)對(duì)絕緣子多尺度識(shí)別的要求.為解決該問(wèn)題，采用文獻(xiàn)[16]中提出的改進(jìn)VGG16網(wǎng)絡(luò)中淺層特征與深層特征融合的思想，設(shè)計(jì)一種改進(jìn)的ResNet-50網(wǎng)絡(luò)，將不同特征層融合，可以將處于低層的高語(yǔ)義信息特征圖與高層目標(biāo)位置粗糙的特征圖進(jìn)行融合，達(dá)到絕緣子多尺度目標(biāo)檢測(cè)的要求.具體改進(jìn)Faster R-CNN算法網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示.

圖4 改進(jìn)Faster R-CNN算法網(wǎng)絡(luò)結(jié)構(gòu)

為獲得多尺度的特征圖，需要將深層特征圖像和淺層特征圖像進(jìn)行融合，生成新的特征圖.仿真實(shí)驗(yàn)表明，所引入的融合特征層組合可以獲得目標(biāo)信息更加完整的特征圖像.其具體組合是將ResNet-50網(wǎng)絡(luò)中C5層特征圖與C3層特征圖進(jìn)行融合，C4層特征與C2層特征融合得到新的特征層P3和特征層P2.得到的新特征圖像語(yǔ)義信息強(qiáng)，分辨率高.改進(jìn)網(wǎng)絡(luò)如圖5所示.圖5中，Conv()表示卷積操作，kernel_size()表示卷積核大小，stride()表示步長(zhǎng)，4×up表示4倍上采樣操作.

圖5 改進(jìn)特征提取網(wǎng)絡(luò)結(jié)構(gòu)

具體步驟：C4和C2層進(jìn)行1×1×256的卷積操作，擴(kuò)充通道數(shù)至256個(gè)；C4層通過(guò)4倍上采樣，保持與C2層圖像大小一致；之后將兩個(gè)特征層進(jìn)行融合操作；最后進(jìn)行一次3×3的卷積操作，消除混疊效應(yīng)，生成新的特征圖P2.C5與C3進(jìn)行上述同樣的操作生成特征圖P3、C4與C5各自經(jīng)過(guò)1×1×256的卷積和3×3的卷積操作，生成新的特征圖P5,P4.

通過(guò)上述操作后，新生成的特征圖層P2,P3,P4,P5的維度是256，而此時(shí)RPN在不同層級(jí)的特征圖中進(jìn)行計(jì)算.所以在RPN計(jì)算時(shí)，將感受野小的P2和P3特征層中的錨框設(shè)置為32像素×32像素和64像素×64像素大小，將感受野大的P4和P5特征層中的錨框設(shè)置為128像素×128像素和256像素×256像素大小，長(zhǎng)寬比仍然設(shè)置為1∶1，1∶2，2∶1三種類型.特征圖像如圖6所示.

圖6 特征圖像

2.2 優(yōu)化NMS算法

NMS算法[17]的性能直接影響候選框的品質(zhì)，從而影響識(shí)別精度.傳統(tǒng)的NMS算法是通過(guò)IOU得分的高低進(jìn)行計(jì)算，核心思想是將目標(biāo)框的IOU與設(shè)定閾值的大小進(jìn)行比較，一般閾值設(shè)定為0.3～0.5，IOU超出閾值的目標(biāo)框?qū)⒈徽J(rèn)為是冗余框，被剔除.該類算法雖然實(shí)現(xiàn)簡(jiǎn)單，但是在被剔除的檢測(cè)框中可能會(huì)包含目標(biāo)，導(dǎo)致目標(biāo)的漏檢，影響絕緣子識(shí)別的整體性能.傳統(tǒng)的NMS算法的表達(dá)式為：

(6)

其中:si為檢測(cè)框?qū)?yīng)類別的置信度;M為置信度最大的檢測(cè)框;IOU(M,bi)為交并比;Nt為設(shè)置的IOU閾值;bi表示目標(biāo)框.

為解決該問(wèn)題，本文引入文獻(xiàn)[18]中優(yōu)化的NMS算法，文中通過(guò)高斯降權(quán)函數(shù)對(duì)NMS算法進(jìn)行了優(yōu)化.改進(jìn)NMS算法的表達(dá)式為：

當(dāng)IOU(M,bi)

當(dāng)IOU(M,bi)≥Nt時(shí)，si值為:

(7)

其中:Ni為新增設(shè)定閾值；Nt為傳統(tǒng)NMS算法設(shè)置的IOU閾值，Ni

(8)

式中，σ為懲罰項(xiàng)因子.

優(yōu)化NMS算法的具體流程如下：

Step1:設(shè)置B為初始檢測(cè)框集合，si為檢測(cè)框bi對(duì)應(yīng)的置信度，Nt為原NMS算法中設(shè)定的閾值，Ni為優(yōu)化NMS算法中新增閾值條件，D為最終檢測(cè)框集合.

Step2:求出B集合中所有檢測(cè)框的置信度，尋出置信度最大的檢測(cè)框M.

Step3:將除M以外的剩余檢測(cè)框bi各自與M計(jì)算交并比IOU(M,bi)，之后IOU(M,bi)與Nt進(jìn)行比較，若值小于Nt，則將對(duì)應(yīng)bi保留在D集合中.

Step4:將IOU(M,bi)值大于等于Nt的檢測(cè)框進(jìn)行高斯降權(quán)處理，得到新的置信度si=sif(IOU(M,bi)).將si與Ni進(jìn)行比較，若si大于等于Ni時(shí)，將對(duì)應(yīng)bi保留在D中；若si小于Ni，則將bi剔除.

Step5:將剩余的bi重復(fù)步驟Step3、Step4，直至B集合為空，結(jié)束篩選，輸出最終結(jié)果.

3 實(shí)驗(yàn)驗(yàn)證及結(jié)果分析

3.1 數(shù)據(jù)集制作

本文數(shù)據(jù)為蘭州鐵路公司4C監(jiān)測(cè)系統(tǒng)所采集的圖像.挑選適用于本實(shí)驗(yàn)的2 200張?jiān)瓐D像，大小為6 600像素×4 400像素.之后通過(guò)加霧、改變曝光度、裁剪和旋轉(zhuǎn)等操作，將數(shù)據(jù)擴(kuò)充至3 500張.通過(guò)LabelImg將數(shù)據(jù)標(biāo)注為PASCAL VOC格式的數(shù)據(jù)集，圖像大小變換為660像素×440像素.數(shù)據(jù)按照1∶10的比例分為測(cè)試集和訓(xùn)練集.圖7為數(shù)據(jù)制作樣本，圖8為擴(kuò)充樣本數(shù).

圖7 數(shù)據(jù)集制作樣本

圖8 樣本擴(kuò)充示例

3.2 仿真實(shí)驗(yàn)環(huán)境及實(shí)驗(yàn)性能評(píng)價(jià)指標(biāo)

本實(shí)驗(yàn)使用Intel Core i7-10750H 2.6 GHz、NVIDIA GeForceRTX2060 GPU硬件環(huán)境.運(yùn)行環(huán)境為Windows10(64位)操作系統(tǒng)，PyTorch框架，Python3.7.10版本，Torch1.6.0版本，CUDA10.1版本，VS2020版本和CUDNN7.6深度學(xué)習(xí)加速器.

改進(jìn)Faster R-CNN算法中采用SGD(stochastic gradient descent)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練.SGD算法每次只選擇一個(gè)樣本進(jìn)行模型參數(shù)的更新，同時(shí)進(jìn)行在線更新，所以SGD算法有效避免了冗余數(shù)據(jù)的干擾，因此學(xué)習(xí)速度非?？?其計(jì)算公式為：

(9)

wi=wi-1-αw.

(10)

其中:x(i)為訓(xùn)練集樣本;y(i)為對(duì)應(yīng)目標(biāo)；w為初始參數(shù)；w為損失函數(shù)；f(x;w)為學(xué)習(xí)器；α是學(xué)習(xí)速率.

設(shè)定初始學(xué)習(xí)率為0.01，學(xué)習(xí)衰減速率為0.000 2，動(dòng)量為0.7，每個(gè)批次訓(xùn)練樣本量為16，訓(xùn)練步數(shù)最大為1 000，輸入圖片大小為660像素×440像素.

為評(píng)價(jià)檢測(cè)算法的效果，本文選擇檢測(cè)精度P(precision)和識(shí)別召回率R(recall)作為接觸網(wǎng)絕緣子檢測(cè)算法的評(píng)價(jià)指標(biāo)，直觀地了解網(wǎng)絡(luò)性能.表達(dá)式如下：

(11)

(12)

其中:Tp表示正確識(shí)別的接觸網(wǎng)絕緣子數(shù)量；Fp表示錯(cuò)誤識(shí)別的接觸網(wǎng)絕緣子數(shù)量；FN表示漏識(shí)別的接觸網(wǎng)絕緣子數(shù)量.

3.3 識(shí)別結(jié)果及算法性能分析

使用不同識(shí)別算法對(duì)接觸網(wǎng)絕緣子進(jìn)行識(shí)別，識(shí)別效果如圖9所示.圖9(a)是本文算法的識(shí)別結(jié)果，能夠精確地識(shí)別出絕緣子，同時(shí)對(duì)圖像中不完整的絕緣子也有較高的識(shí)別度；圖9(b)是傳統(tǒng)Faster R-CNN算法的識(shí)別結(jié)果，從圖中可以看出有兩個(gè)絕緣子因?yàn)榀B加遮擋，一個(gè)識(shí)別框檢測(cè)了兩個(gè)物體，同時(shí)對(duì)不完整的絕緣子識(shí)別不敏感；圖9(c)為YOLOv3算法的識(shí)別結(jié)果，可以看出有對(duì)絕緣子的遺漏及誤檢.從實(shí)驗(yàn)結(jié)果的對(duì)比中可知，改進(jìn)Faster R-CNN算法對(duì)絕緣子的識(shí)別準(zhǔn)確率較高，同時(shí)漏檢現(xiàn)象低，可靠性高，為后續(xù)絕緣子缺陷識(shí)別奠定了堅(jiān)實(shí)基礎(chǔ).

圖9 識(shí)別結(jié)果

表2為改進(jìn)Faster R-CNN算法、Faster R-CNN算法和YOLOv3算法識(shí)別測(cè)試結(jié)果數(shù)據(jù).

表2 各類算法性能指標(biāo)

從表2中的數(shù)據(jù)可以看出：改進(jìn)后的Faster R-CNN網(wǎng)絡(luò)對(duì)接觸網(wǎng)絕緣子的識(shí)別率為99.5%，召回率為99.02%，與傳統(tǒng)Faster R-CNN算法相比，識(shí)別率和召回率都有所提升，但由于NMS算法的改進(jìn)，處理時(shí)間有所增加；通過(guò)與YOLOv3算法對(duì)比可以看出，本文算法在識(shí)別準(zhǔn)確率上具有優(yōu)勢(shì)，但由于Faster R-CNN網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)，時(shí)效性不足.對(duì)比結(jié)果表明，特征提取網(wǎng)絡(luò)和NMS算法的改進(jìn)提高了網(wǎng)絡(luò)檢測(cè)接觸網(wǎng)絕緣子的準(zhǔn)確率和召回率，滿足鐵路系統(tǒng)對(duì)絕緣子準(zhǔn)確定位的要求.

特征融合后的改進(jìn)算法與原算法的訓(xùn)練總損失對(duì)比如圖10所示，連續(xù)曲線表示原算法中訓(xùn)練過(guò)程的損失，點(diǎn)曲線代表改進(jìn)算法中訓(xùn)練過(guò)程的損失.

因?yàn)槲闹兴惴ㄖ皇菍?duì)圖像中的絕緣子目標(biāo)進(jìn)行單一識(shí)別，從圖10中可以看出，訓(xùn)練過(guò)程中第140個(gè)批次后訓(xùn)練損失就開(kāi)始逐漸趨于穩(wěn)定.因?yàn)楦倪M(jìn)算法中加入了SGD算法對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練過(guò)程中排除了冗余數(shù)據(jù)的干擾，提高了訓(xùn)練速度，降低了訓(xùn)練損失，圖10中兩條曲線反映出改進(jìn)Faster R-CNN算法的最終訓(xùn)練損失為0.2，較于原算法0.5的損失值降低了0.3.

圖10 改進(jìn)前后算法訓(xùn)練損失對(duì)比

4 結(jié)論

1) 本文對(duì)接觸網(wǎng)絕緣子識(shí)別問(wèn)題進(jìn)行研究，提出一種基于改進(jìn)Faster R-CNN改進(jìn)目標(biāo)識(shí)別算法，對(duì)接觸網(wǎng)絕緣子進(jìn)行有效識(shí)別.該方法通過(guò)多維特征融合的思想，對(duì)特征提取網(wǎng)絡(luò)進(jìn)行改進(jìn)，實(shí)現(xiàn)了高層特征與低層特征的融合，提高了小目標(biāo)識(shí)別的準(zhǔn)確率.

2) 對(duì)傳統(tǒng)算法中處理區(qū)域建議框的NMS算法進(jìn)行優(yōu)化，采用高斯降權(quán)函數(shù)對(duì)候選框的置信度進(jìn)行降權(quán)，提高了算法的檢測(cè)準(zhǔn)確率和召回率.

3) 對(duì)本文中使用的數(shù)據(jù)集在相同硬件環(huán)境下，用不同識(shí)別算法進(jìn)行驗(yàn)證.仿真結(jié)果表明，改進(jìn)Faster R-CNN算法對(duì)鐵路接觸網(wǎng)絕緣子的識(shí)別準(zhǔn)確率較于其他算法更高，為后續(xù)絕緣子缺陷的檢測(cè)奠定了基礎(chǔ).