王 文，周晨軼，徐亦白，盧 杉，周夢蘭

(國網(wǎng)浙江省電力有限公司信息通信分公司，浙江 杭州 310012)

0 引 言

目標(biāo)檢測是計算機視覺的一項基礎(chǔ)工作，任務(wù)是找出圖像中所有感興趣的目標(biāo)(物體)，確定它們的位置和大小，是機器視覺領(lǐng)域的核心問題之一。由于各類物體有不同的外觀、形狀、姿態(tài)，加上成像時光照、遮擋等因素的干擾，目標(biāo)檢測一直是機器視覺領(lǐng)域最具有挑戰(zhàn)性的問題。

銹斑檢測是目標(biāo)檢測的實際應(yīng)用之一，目前的斑點檢測算法研究主要有使用RGB顏色空間中收集的銹色譜來定義銹色范圍做銹斑識別，基于SIFT[1]、SVM[2]和Canny[3]邊緣檢測算法等傳統(tǒng)方法來檢測研究對象，以及基于深度神經(jīng)網(wǎng)絡(luò)的方法。在真實場景中深度學(xué)習(xí)模型相對傳統(tǒng)方法可以達到更好的效果。

本文提出一種基于神經(jīng)網(wǎng)絡(luò)的多尺度電表銹斑檢測方法。首先，基于大量的銹斑數(shù)據(jù)，訓(xùn)練識別銹斑的卷積神經(jīng)網(wǎng)絡(luò)(CNN)模型；而后，利用所訓(xùn)練出的CNN模型，實現(xiàn)對電表表面銹斑的實時識別，同時對電表表箱的位置進行檢測。通過融合獲得的多尺度特征，提高捕獲目標(biāo)物體的精度；設(shè)計一種級聯(lián)的RPN網(wǎng)絡(luò)(Region Proposal Network)[4]進行微調(diào)，獲得更精確的目標(biāo)。

1 研究現(xiàn)狀

當(dāng)前在銹斑檢測的問題中沒有公開的數(shù)據(jù)集，大多是根據(jù)自己想要解決的問題，如鐵銹缺陷識別，采集相關(guān)數(shù)據(jù)并制作數(shù)據(jù)集。解決該問題可采用傳統(tǒng)方法或采用深度神經(jīng)網(wǎng)絡(luò)方法。

Shen等人[5]提出了一種基于顏色和紋理特征的鐵銹缺陷識別方法(RUDERM)，該方法將傅里葉變換與彩色圖像處理相結(jié)合。RUDERM使用RGB顏色空間中收集的銹色譜來定義銹色范圍，用于區(qū)分生銹與其他缺陷。

2018年姚明海等人[6]針對磁片表面對比度低、磨合紋理干擾和缺陷塊小且亮度變化大等難點，提出了一種基于深度主動學(xué)習(xí)的缺陷檢測方法。該方法的缺陷檢測識別率達到了96.7%。

2018年Li等人[7]提出了一種自適應(yīng)多閾值斑點面積自適應(yīng)標(biāo)定算法檢測船舶上的大量較小銹斑，該方法的檢測率和范圍均優(yōu)于傳統(tǒng)方法。Liao等人[8]為了提高鋼筋生銹區(qū)域的檢測精度，提出了由3種不同的檢測技術(shù)組成的圖像識別算法，達到86%的識別率。安宗權(quán)等人[9]提出了一種金屬產(chǎn)品的表面缺陷檢測方法，實現(xiàn)對金屬表面缺陷的準(zhǔn)確檢測，檢測結(jié)果正確率達到93.33%。

由此可見，現(xiàn)有方法主要有傳統(tǒng)的方法和基于深度神經(jīng)網(wǎng)絡(luò)的方法，其中傳統(tǒng)的方法在魯棒性和精準(zhǔn)度方面表現(xiàn)較差，而基于深度神經(jīng)網(wǎng)絡(luò)的方法沒有充分考慮到銹斑的細(xì)微特征。為此，本文提出采用多尺度提取和合并特征，添加級聯(lián)RPN，受細(xì)粒度模型[10-13]的啟發(fā)，裁剪出電表，對銹斑特征再次分類，增強精確度的研究設(shè)想。

2 面向變壓箱的多尺度銹斑檢測算法

由于銹斑部分相對于整體表面來說面積較小，為了更好地對電能表區(qū)域的銹斑進行識別與檢測，本文設(shè)計一種多尺度的識別與檢測網(wǎng)絡(luò)結(jié)構(gòu)。如圖1所示，該網(wǎng)絡(luò)框架主要分為卷積網(wǎng)絡(luò)編碼器的特征抽取階段、多尺度特征提取模塊以及級聯(lián)RPN模塊3個部分。其中，基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器用來處理圖像并提取更為抽象的圖像特征，該特征包含了執(zhí)行準(zhǔn)確目標(biāo)檢測和圖像分類所必要的語義信息。編碼器由ResNet-50[14]網(wǎng)絡(luò)組成，經(jīng)過多層卷積操作，得到為原圖1/16大小的特征圖。利用該特征圖，可以通過目標(biāo)檢測模塊得到目標(biāo)可能存在的區(qū)域并利用級聯(lián)RPN進一步強化電表是否存在銹斑的分類效果。

圖1 提取特征圖

檢測解碼器被設(shè)計為基于回歸的檢測系統(tǒng)。參照Faster R-CNN[4]，選擇一種基于候選區(qū)域的解碼器，使得可以進行端對端的回歸，提升訓(xùn)練和推理過程的效率與質(zhì)量。受FPN[15]啟發(fā)，對多層特征進行提取并融合，提高檢測精度。受CRAFT[16]和Part-based R-CNN[10]算法的啟發(fā),對目標(biāo)區(qū)域執(zhí)行再分類，本文設(shè)計的級聯(lián)RPN如圖2所示，級聯(lián)RPN將第1階段的proposal作為新的anchor來處理，并將它們發(fā)送到第2階段的RPN中。最后，根據(jù)檢測模塊對這些新方案進行分類和調(diào)整。這使得網(wǎng)絡(luò)可以利用不同層次、蘊含更多幾何本質(zhì)信息的特征。

圖2 級聯(lián)RPN

2.1 多尺度特征提取和合并

對于conv2_x、 conv3_x、 conv4_x與conv5_x，這些剩余塊的輸出為{F2，F(xiàn)3，F(xiàn)4，F(xiàn)5}，它們的步長分別為{4，8，16，32}。高級特征映射包含強大的語義信息，但是邊界信息不清楚；較低級的特征映射具有弱的語義信息，但是由于有限次采樣時間，更有利于定位。自上而下路徑將F5的空間分辨率分解為具有多尺度的強大語義特征圖，如圖1所示。將反卷[17]特征映射與主干網(wǎng)中相應(yīng)的特征映射合并(本文為ResNet)。合并前，下層特征映射進行1×1卷積層，以減小信道尺寸。這個過程被迭代，直到生成最好的分辨率映射。由于F5是最高級別的特征映射，因此沒有更高級的特征映射來與它合并。為了開始迭代，只需在F5之后附加一個1×1卷積層，以生成最粗的分辨率圖。對于這些操作，為了減少上采樣的混疊效應(yīng)，在每個合并映射上連接一個3×3卷積以生成最終的特征映射。因此，這些最終合并的特征映射為{R2，R3，R4，R5}，對應(yīng)于{F2，F(xiàn)3，F(xiàn)4，F(xiàn)5}，它們都具有相同的空間大小。

Region Proposal Network是Faster R-CNN[4]對于生成提案的一個巨大改進。它是一個滑動窗口不可知的對象檢測器，將RPN應(yīng)用于多尺度特征映射{R2，R3，R4，R5}，而不是單尺度特征映射。與Faster R-CNN一樣，本文將3×3卷積層和2個同級1×1卷積附加到每個新的特征映射。對于新生成的特征圖，每個新合并的特征分別代表特殊的比例，沒有必要在這些合并的特征圖上設(shè)置多尺度錨。因此，只需要為每個新特征映射選擇單個比例[18]。正式地，它們將錨設(shè)置為分別在{R2,R3,R4,R5,R6}上具有{32,64,128,256,512}個像素的比例。M6只是M5的2個子采樣的步幅,它僅用于覆蓋512的錨標(biāo)度，并且在各級使用仍然不同的縱橫比{1:2,1:1,2:1}。因此，在這些特征上總共有15個錨。

2.2 微調(diào)

本文在每個新的合并特征映射之后，應(yīng)用一個級聯(lián)RPN，將在第1階段生成的方案作為新的錨，然后將這些新錨輸入第2階段生成最終提案。這項工作使對象建議更加緊湊和更局部化。

如圖2所示，第1級RPN以滑動窗口的方式定期訓(xùn)練，以便在圖像中以特定的尺度和不同的縱橫比產(chǎn)生一系列和Faster R-CNN具有相同參數(shù)的錨。對于每個生成的錨，后面跟著一個感興趣區(qū)域(ROI)池化層，從特征映射中提取一個固定長度的特征向量，其中ROI池化層僅僅是SPPNET[19]中使用的空間金字塔其中的一個金字塔級層的特殊情況。并且每個特征映射都被輸入到2個完全連接的同級層中，一個用于估計這個錨是否包含一個對象，另一個用于估計對象的4個參數(shù)值。在詳細(xì)的應(yīng)用中，針對每個新的合并特征使用3個不同的縱橫比，因此BBox回歸輸出具有4×3個通道，對3個錨的4個坐標(biāo)進行編碼，并且softmax層輸出具有2×3個信道，該2×3個信道估計每個提案的對象或非對象的概率。當(dāng)人們從第1階段RPN中得到建議區(qū)域時，再次將這些建議區(qū)域輸入到第2階段RPN中，而不需要任何操作，將這些建議區(qū)域視為微調(diào)的新錨位置并產(chǎn)生最終建議區(qū)域。

3 實 驗

3.1 數(shù)據(jù)集

為了訓(xùn)練并評估本文提出的網(wǎng)絡(luò)結(jié)構(gòu)與算法的有效性，實地采集5000幅正常工作的電表圖像。鑒于正常工作的電表上出現(xiàn)腐蝕痕跡的比例過小，為了防止訓(xùn)練過程中負(fù)樣本的比重過大，對其進行數(shù)據(jù)增強處理，將報廢電表加入數(shù)據(jù)樣本當(dāng)中，同時對部分正常電表的表面進行仿銹蝕處理。最終，含有銹跡的電表圖像20000幅與正常電表5000幅，比例為8:2。

3.2 訓(xùn)練

實驗建立在TensorFlow[20]框架上，采用Nvidia 1080Ti顯卡，Backbone選用的是在ImageNet[21]下進行預(yù)訓(xùn)練過的ResNet50與ResNet101，優(yōu)化器選擇的是Adam，初試學(xué)習(xí)率為0.0002。訓(xùn)練數(shù)據(jù)、驗證數(shù)據(jù)與測試數(shù)據(jù)比例為6:2:2，迭代次數(shù)為200次。

3.3 電表檢測結(jié)果

圖3展示了本文的電表檢測方法在數(shù)據(jù)集上的直觀效果。利用多尺度的特征以及級聯(lián)的RPN網(wǎng)絡(luò)，降低了誤檢與漏檢的概率，極大地提升了電表檢測的精確度，同時在時間上的額外開銷很小。

圖3 電表檢測量化結(jié)果

3.4 評估

對于目標(biāo)檢測模塊，使用交并比(Intersection over Union, IOU)為0.5時的平均精度作為結(jié)果的評價指標(biāo)。對于電表檢測部分，使用均值平均精度(Mean Average Precision, mAP)作為評測標(biāo)準(zhǔn)；對于銹蝕檢測二分類部分，使用正確率(Accuracy, AC)作為評價標(biāo)準(zhǔn)。

3.4.1 多尺度特征提取

為了驗證本文的多尺度特征提取和合并特征策略是有效的，計算不同IOU比率下方案的召回率Recall，如圖4所示，其中FM代表本文采用的多尺度特征融合方案，selective search代表選擇性搜索。當(dāng)建議區(qū)域從2000降到300時，selective search方法在不同的IOU對應(yīng)的召回率均出現(xiàn)了不同程度的下降，比如IOU=0.5時，召回率從0.96下降到0.82，而VGG16和VGG16+FM由于采用了RPN網(wǎng)絡(luò)，變化不大。VGG16方案和VGG16+FM方案之間差異很小，這充分說明特征融合方法(FM)能夠很好地利用特征圖，即使只有300個建議區(qū)域。

(a) 建議區(qū)域為2000

(b) 建議區(qū)域為300

如表1所示，F(xiàn)aster R-CNN基于ResNet50的mAP為91.3%，基于ResNet101的mAP為91.7%，而采用多尺度特征提取和合并特征策略，基于ResNet50的mAP為93.4%，基于ResNet101的mAP為93.8%，相對于Faster R-CNN提高2.1個百分點。同時對于電表銹斑分類的正確率也提升了1.8和2.0個百分點。獲得更好的效果主要是因為采用多尺度特征使對象定位更好，尤其是對于小對象，從而能夠使目標(biāo)檢測精度得到提高。這些結(jié)果表明，本文的策略能提供更高質(zhì)量的建議區(qū)域，從而獲得更好的精度。

表1 多尺度特征提取合并方法FM與Faster R-CNN方法在IOU=0.5時的實驗結(jié)果

方法電表檢測(mAP)/%銹斑分類(AC)/%Faster R-CNN+ResNet50Faster R-CNN+ResNet10191.391.790.790.9FM+RPN+ResNet50FM+RPN+ResNet10193.493.892.592.9

3.4.2 級聯(lián)RPN

同樣地，為了驗證級聯(lián)RPN的有效性，如表2所示，本文做了單個RPN和2個RPN的對比實驗。Faster R-CNN基于ResNet50的mAP為91.3%，基于ResNet101的mAP為91.7%，本文的方法，即采用級聯(lián)RPN(DRPN)，基于ResNet50的mAP為93.6%，基于ResNet101的mAP為94.2%，相對于Faster R-CNN分別提高2.3和2.5個百分點。級聯(lián)RPN相對于單個RPN精度更高，主要是因為第2個RPN以第1個RPN的輸出為輸入，學(xué)習(xí)更細(xì)致的特征，專注于查找類內(nèi)的差異，減少了誤分類的可能性。

表2 級聯(lián)RPN方法DRPN與Faster R-CNN方法在IOU=0.5時的實驗結(jié)果

方法電表檢測(mAP)/%銹斑分類(AC)/%Faster R-CNN+ResNet50Faster R-CNN+ResNet10191.391.790.790.9DRPN+ResNet50DRPN+ResNet10193.694.292.993.1

3.4.3 與其他模型對比

同時，如表3所示，本文的方法結(jié)合多尺度特征提取和合并、級聯(lián)RPN 2種方法，基于ResNet50，在電表檢測上相對于只使用多尺度特征融合方法提高1.1個百分點，相對于只使用級聯(lián)RPN方法提高了0.9個百分點。同時不論是在電表檢測還是在銹斑分類上，都高于目前主流的目標(biāo)檢測框架，其中在電表檢測上高于YOLOv2[22]方法3.8個百分點，銹斑分類上高4個百分點，實驗結(jié)果充分說明結(jié)合多尺度特征融合和級聯(lián)RPN 2種方法能夠進行有效的電表檢測和銹斑分類的任務(wù)。

表3 不同方法在IOU=0.5時的實驗結(jié)果

方法電表檢測(mAP)/%銹斑分類(AC)/%YOLOv2[22]91.190.5SSD+ResNet50[23]89.387.7DRPN+ResNet5093.692.9DRPN+ResNet10194.093.1FM+RPN+ResNet5093.492.5FM+RPN+ResNet10193.892.9DRPN+FM+ResNet5094.594.3DRPN+FM+ResNet10194.994.5

4 結(jié)束語

配電柜銹蝕導(dǎo)致的后果，小的影響有接觸不良，不能有效接通，虛接、發(fā)熱，出現(xiàn)缺相或者信號失效現(xiàn)象。最壞的可能會導(dǎo)致火災(zāi)、爆掉部分電氣控制設(shè)備。

理論和實驗結(jié)果表明，多尺度CNN可以很好地刻畫銹斑的細(xì)微特征，從而從根本上改善銹斑識別的實時性、精準(zhǔn)性和穩(wěn)定性。

不同配電箱設(shè)置不同的感知識別設(shè)備與算法，怎樣讓這些不同設(shè)備的數(shù)據(jù)與銹斑態(tài)勢實現(xiàn)通信與共享，使得在物聯(lián)網(wǎng)意義下感知更智能、更高效、更可靠，從而讓變電站遠(yuǎn)離銹斑的困擾，是下一步的研究重點之一。