薛 冰

(中國(guó)石油大學(xué)(華東)計(jì)算機(jī)與通信工程學(xué)院，青島 266580)

近年來(lái)隨著經(jīng)濟(jì)社會(huì)的高速發(fā)展，社會(huì)用電需求迅猛增長(zhǎng)，電力設(shè)備數(shù)量逐年增多，電網(wǎng)的規(guī)模擴(kuò)大，電力供應(yīng)的可靠性變得尤為重要.電力設(shè)備長(zhǎng)期運(yùn)行，長(zhǎng)期缺乏及時(shí)的維護(hù)檢修，設(shè)備出現(xiàn)銹蝕缺陷問(wèn)題，存在安全隱患，導(dǎo)致設(shè)備運(yùn)行故障.一旦設(shè)備發(fā)生故障，就會(huì)影響整個(gè)電力系統(tǒng)正常運(yùn)行，將會(huì)嚴(yán)重影響生產(chǎn)生活，造成不可估量的經(jīng)濟(jì)損失.及時(shí)發(fā)現(xiàn)設(shè)備上發(fā)生的銹蝕缺陷并進(jìn)行及時(shí)處理，將大大降低危害，保障電網(wǎng)安全穩(wěn)定運(yùn)行[1].

目前主要利用無(wú)人機(jī)和巡檢機(jī)器人，對(duì)輸變電設(shè)備運(yùn)行全天候巡檢，進(jìn)行視頻圖像數(shù)據(jù)采集.然而，采集回的圖像數(shù)據(jù)，仍然需要依靠人工觀測(cè)，逐張查找設(shè)備上是否存在銹蝕問(wèn)題.采用人工觀測(cè)的方式雖然能夠發(fā)現(xiàn)設(shè)備上的銹蝕問(wèn)題，但是存在檢測(cè)效率低下，不能及時(shí)的進(jìn)行反饋，并且人力成本高，因此，研究一種用于電力設(shè)備銹跡檢測(cè)的智能識(shí)別具有重要意義[1].

最初的圖像識(shí)別算法在設(shè)備缺陷檢測(cè)中，主要針對(duì)邊緣、輪廓等特征進(jìn)行提取.如文獻(xiàn)[2]利用圖像匹配和形態(tài)學(xué)運(yùn)算方法，文獻(xiàn)[3]利用隨機(jī)Hough 變換檢測(cè)實(shí)現(xiàn)對(duì)防震錘的檢測(cè).文獻(xiàn)[4]利用Otsu 算法對(duì)Canny 算子進(jìn)行改良來(lái)提取圖像邊緣，實(shí)現(xiàn)障礙物的檢測(cè)識(shí)別.以上方法能夠檢測(cè)出設(shè)備中的缺陷目標(biāo)，但是在應(yīng)用中較容易受光照等外界條件的影響，導(dǎo)致目標(biāo)檢測(cè)的有效性不理想.

近年來(lái)，深度學(xué)習(xí)在目標(biāo)識(shí)別檢測(cè)方面表現(xiàn)突出.2012年在ILSVRC 競(jìng)賽上基于深度學(xué)習(xí)CNN網(wǎng)絡(luò)的AlexNet 取得突破性成果[5]，2014年Girshick 在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上設(shè)計(jì)出了R-CNN模型[6]，以此為契機(jī)點(diǎn)，不斷地對(duì)R-CNN 進(jìn)行改進(jìn)，出現(xiàn)了具有代表性的R-CNN 系列算法:SPPNet[7]、Fast R-CNN[8]、Faster RCNN[9]、Mask R-CNN[10]等.本文中利用Mask RCNN 算法對(duì)電力設(shè)備上的銹跡目標(biāo)進(jìn)行識(shí)別分割[11].獲得國(guó)家電網(wǎng)變電站內(nèi)部圖像數(shù)據(jù)，利用labelme 進(jìn)行樣本標(biāo)注，采用ResNet50[12]作為基準(zhǔn)網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)訓(xùn)練模型實(shí)現(xiàn)電力設(shè)備銹跡檢測(cè).

1 Mask R-CNN網(wǎng)絡(luò)結(jié)構(gòu)

Mask R-CNN網(wǎng)絡(luò)結(jié)構(gòu)如圖1[10]所示，主要分為Faster R-CNN、RoIAlign、FCN 三個(gè)模塊.Mask RC N N 在F a s t e r R-C N N的基礎(chǔ)上進(jìn)行改進(jìn)，用RoIAlign 代替RoIPooling，RoIAlign 采用雙線性插值法代替RoIPooling的取整量化，減小誤差，完成像素級(jí)的對(duì)齊；在候選對(duì)象RoI 上添加了第三個(gè)分支用于預(yù)測(cè)分割掩碼的分層，稱(chēng)為掩碼層(mask branch).Faster R-CNN 算法為每個(gè)候選對(duì)象RoI的基礎(chǔ)上增加了FCN 來(lái)產(chǎn)生對(duì)應(yīng)的MASK 分支，目標(biāo)檢測(cè)分割的效果良好，并且訓(xùn)練簡(jiǎn)單.

1.1 Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)介

Faster R-CNN 是由Ross Girshick 提出的，由區(qū)域建議網(wǎng)絡(luò)(RPN)和Fast R-CNN 兩部分組成[13].RPN代替了Fast R-CNN中的Selective Search(SS)，節(jié)省了區(qū)域建議檢測(cè)的時(shí)間，實(shí)現(xiàn)建議區(qū)域的確定；Fast RCNN 對(duì)RPN 生成的每個(gè)建議區(qū)域的分類(lèi)概率進(jìn)行預(yù)測(cè)判斷，優(yōu)化建議區(qū)域的偏移量，從而獲得精準(zhǔn)的目標(biāo)位置.

圖1 Mask R-CNN網(wǎng)絡(luò)結(jié)構(gòu)圖

1.2 RoIAlign 層

在Fast R-CNN、Faster R-CNN 等兩級(jí)檢測(cè)框架中，使用RoIPooling 根據(jù)預(yù)選框的坐標(biāo)在特征圖相應(yīng)的位置池化為固定尺寸的特征圖，再進(jìn)行分類(lèi)和包圍框回歸操作.而預(yù)選框的位置通常是由模型回歸得到的，一般都是浮點(diǎn)數(shù)，而池化后的特征圖要求尺寸固定.RoIPooling 首先將預(yù)選框邊界量化為整數(shù)點(diǎn)坐標(biāo)值；其次將量化后的邊界區(qū)域平均分割成n×n個(gè)單元，對(duì)每個(gè)單元的邊界進(jìn)行量化的兩次量化過(guò)程.經(jīng)過(guò)兩次量化，就會(huì)出現(xiàn)候選框與最開(kāi)始回歸出來(lái)的位置存在偏差，影響檢測(cè)分割精度.

為了能夠提高檢測(cè)分割精度，解決RoIPooling 存在的問(wèn)題，Mask R-CNN 提出了RoIAlign 方法[14].取消RoIPooling 量化操作:遍歷每一個(gè)候選區(qū)域，保持浮點(diǎn)數(shù)邊界不做量化，將候選區(qū)域分割成n×n個(gè)單元，每個(gè)單元的邊界不做量化；使用雙線性內(nèi)插方法:最后在每個(gè)單元中計(jì)算固定四個(gè)坐標(biāo)位置，使用雙線性內(nèi)插的方法計(jì)算出這四個(gè)位置的值，然后進(jìn)行最大池化操作.

在反向傳播過(guò)程中，常規(guī)的RoIPooling的反向傳播公式如式(1)所示.

其中，xi代表池化前特征圖上的像素點(diǎn)；yr j代表池化后的第r個(gè)候選區(qū)域的第j個(gè)點(diǎn)；i?(r,j)代表點(diǎn)yr j像素值的來(lái)源.

RoIAlign 與RoIPooling的反向傳播相比較進(jìn)行相應(yīng)的修改，i?(r,j)是一個(gè)浮點(diǎn)數(shù)的坐標(biāo)位置(前向傳播時(shí)計(jì)算出來(lái)的采樣點(diǎn))，在池化前的特征圖中，每一個(gè)與i?(r,j)橫縱坐標(biāo)均小于1的點(diǎn)都應(yīng)該接受與此對(duì)應(yīng)的點(diǎn)yr j回傳的梯度，RoI Align的反向傳播公式如式(2)所示.

其中，d(.)表示兩點(diǎn)之間的距離，Δh和Δw表示xi與i?(r,j)橫縱坐標(biāo)的差值，這里作為雙線性內(nèi)插的系數(shù)乘在原始的梯度上.

1.3 FCN網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)介

FCN[15]對(duì)圖像進(jìn)行像素級(jí)別的分類(lèi)，從而實(shí)現(xiàn)語(yǔ)義級(jí)別的圖像分割問(wèn)題.FCN 是一個(gè)端到端的網(wǎng)絡(luò)，使用反卷積對(duì)最后一個(gè)卷積層的特征圖進(jìn)行上采樣，不斷擴(kuò)大特征圖，直至恢復(fù)到與輸入圖像尺寸相同，對(duì)每一個(gè)像素值進(jìn)行分類(lèi)，從而實(shí)現(xiàn)對(duì)輸入圖像的準(zhǔn)確分割.

Faster R-CNN 為每個(gè)候選對(duì)象RoI 提供兩個(gè)輸出，一個(gè)類(lèi)標(biāo)簽，一個(gè)邊界框偏移量，Mask R-CNN 并行添加了第三個(gè)分割mask的分支，mask 分支是應(yīng)用到每一個(gè)ROI 上的一個(gè)小的FCN(Fully Convolutional Network)，用FCN 從每一個(gè)RoI中預(yù)測(cè)出一個(gè)m×m大小的mask，這使得mask 分支中的每個(gè)層能夠明確的保持m×m空間布局，而不將其折疊成缺少空間維度的向量表示.

2 圖像預(yù)處理與訓(xùn)練

2.1 圖像預(yù)處理

本文數(shù)據(jù)集是無(wú)人機(jī)和巡檢機(jī)器人采集到的圖片，有銹蝕的設(shè)備數(shù)量不是很多，學(xué)習(xí)樣本相對(duì)較少，在訓(xùn)練的過(guò)程中容易出現(xiàn)過(guò)擬合現(xiàn)象，因此使用數(shù)據(jù)增強(qiáng)方法，通過(guò)圖像水平/豎直翻轉(zhuǎn)，圖像縮放，圖像旋轉(zhuǎn)等方法從現(xiàn)有的訓(xùn)練樣本中生成更多的訓(xùn)練樣本，達(dá)到增強(qiáng)樣本的目的，從而降低過(guò)擬合.將訓(xùn)練樣本統(tǒng)一縮放至1920×1080，設(shè)備銹跡樣本示例如圖2所示.數(shù)據(jù)集總量為5000 張，4000 張作為訓(xùn)練集，1000 張作為測(cè)試集.使用labelme 標(biāo)注數(shù)據(jù)集，每一張圖片都會(huì)產(chǎn)生一個(gè)JSON 文件，存放繪制點(diǎn)的坐標(biāo)信息.

圖2 設(shè)備銹跡樣本示例

2.2 網(wǎng)絡(luò)訓(xùn)練

本文的實(shí)驗(yàn)平臺(tái)為Ubuntu14.0，實(shí)驗(yàn)環(huán)境:CPU 為Intel Core i7-6700 k，4.00 GHz×8，GPU 為GeForce GTX 1070.

相較于Faster R-CNN 增加了mask 分支，那么每個(gè)RoI的Loss 函數(shù)如式(3)所示.

Lcls為分類(lèi)損失函數(shù)，Lbox為邊框損失函數(shù)，Lmask為新增加的掩膜損失函數(shù).在訓(xùn)練過(guò)程中，mask 分支對(duì)于每個(gè)RoI的輸出維度為km2.使用了像素級(jí)的Sigmoid 函數(shù)和二進(jìn)制交叉熵?fù)p失.

經(jīng)過(guò)多次分析比較，對(duì)原模型中的參數(shù)進(jìn)行調(diào)整，迭代學(xué)習(xí)率設(shè)置為0.001.動(dòng)量和權(quán)重衰減因子使用經(jīng)驗(yàn)值0.9 和0.0005.

3 實(shí)驗(yàn)結(jié)果與分析

本文做了Faster R-CNN 和Mask R-CNN的對(duì)比實(shí)驗(yàn)，測(cè)試結(jié)果如圖3所示.其中圖3(a)為Faster RCNN 檢測(cè)結(jié)果，圖3(b)為Mask R-CNN 檢測(cè)結(jié)果.由于銹跡沒(méi)有規(guī)則的大小、形狀，F(xiàn)aster R-CNN 缺乏對(duì)目標(biāo)像素的描述，造成一些具有局部特征的非目標(biāo)被判斷為目標(biāo)，因此對(duì)銹跡進(jìn)行檢測(cè)，存在漏檢、誤檢現(xiàn)象；Mask R-CNN 添加了mask 層，可以實(shí)現(xiàn)像素級(jí)別的分類(lèi)，表現(xiàn)出良好的檢測(cè)效果.

本文中對(duì)1000個(gè)樣本進(jìn)行測(cè)試，獲得了Faster RCNN 和Mask R-CNN 檢測(cè)一張圖片所用的時(shí)間和準(zhǔn)確率對(duì)比結(jié)果，如表1所示.

從表1中的實(shí)驗(yàn)結(jié)果可以看出，F(xiàn)aster R-CNN的檢測(cè)速度比Mask R-CNN 快，在識(shí)別準(zhǔn)確率上Mask RCNN 加入了mask 分支，并且使用了像素級(jí)的Sigmoid函數(shù)和二進(jìn)制交叉熵?fù)p失，在準(zhǔn)確率方面有顯著提高，達(dá)到94%.

4 結(jié)論

本文針對(duì)電力設(shè)備無(wú)規(guī)則銹跡的檢測(cè)，采用Mask R-CNN的模型方法，Mask R-CNN 在每一個(gè)RoI 上添加了掩模分支，實(shí)現(xiàn)像素級(jí)別的分類(lèi)，取得了較好的檢測(cè)效果.本文認(rèn)為可以進(jìn)行的改進(jìn)是加強(qiáng)樣本的數(shù)量和質(zhì)量，因?yàn)橛?xùn)練樣本的規(guī)模和質(zhì)量影響著模型性能的優(yōu)劣，訓(xùn)練集規(guī)模越大，質(zhì)量越高訓(xùn)練的模型的性能越優(yōu)秀.從改進(jìn)數(shù)據(jù)的數(shù)量和質(zhì)量提高模型的準(zhǔn)確性和泛化能力，從而識(shí)別效果更好.

圖3 檢測(cè)結(jié)果圖

表1 實(shí)驗(yàn)評(píng)估結(jié)果