張晶焯， 佘楚云， 伍國興， 肖黎， 賴振宇， 齊冬蓮

(1. 深圳供電局有限公司，深圳 518001；2. 浙江大學(xué)電氣工程學(xué)院，浙江 杭州 310027)

0 引言

絕緣子廣泛應(yīng)用于高壓架空輸電線路、發(fā)電廠和變電站等電力系統(tǒng)場景，起到母線和電氣設(shè)備絕緣及機械固定的作用[1—2]。絕緣子的功能完整是電網(wǎng)安全穩(wěn)定運行的必要前提。然而，絕緣子大多安裝在室外，長期暴露在自然環(huán)境下,容易產(chǎn)生局部破損、自爆缺失、懸掛異物等問題[3—6]。常規(guī)巡檢中，一般通過人工目視判斷絕緣子是否異常，存在效率低、巡檢周期長等問題。視頻監(jiān)控系統(tǒng)、智能巡檢機器人和無人機巡檢等技術(shù)的發(fā)展使基于圖像處理的絕緣子缺陷檢測成為可能[7—10]。

基于圖像的絕緣子缺陷檢測算法一般由絕緣子定位和缺陷識別2部分組成。其中，絕緣子定位算法已得到廣泛研究[11—13]，并取得了不錯的定位效果?，F(xiàn)有的缺陷識別算法以識別絕緣子自爆缺失為主。例如，基于直方圖統(tǒng)計和空間序列關(guān)系的特征檢測算法[14]，基于缺陷圖像和標準圖像異或操作的缺陷定位算法[15]，基于輪廓和歐式距離的自爆缺陷檢測算法[16]等。但上述絕緣子定位算法需要人為設(shè)計圖像特征，對復(fù)雜背景的抗干擾性較差。而后續(xù)缺陷識別算法嚴重依賴于絕緣子輪廓提取或前景分割效果，無法應(yīng)對局部破損、裂紋等情況，且往往只適用于特定場景，難以快速地大規(guī)模應(yīng)用。

深度學(xué)習(xí)理論在計算機視覺領(lǐng)域的快速發(fā)展和廣泛應(yīng)用給絕緣子的缺陷識別提供了新的思路[17]。與傳統(tǒng)圖像處理技術(shù)相比，基于深度學(xué)習(xí)的算法不需要人為設(shè)計特征且具有更強的特征提取能力，可從大量圖像數(shù)據(jù)中自動學(xué)習(xí)人類難以觀測的圖像特征，并同時適用于多類場景。以快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(faster regional convolution neural net works,Faster RCNN)、單次檢測網(wǎng)絡(luò)(you only look once,YOLO)、單發(fā)檢測器(single shot detector,SSD)為代表的檢測算法逐漸被應(yīng)用于絕緣子缺陷檢測中[18—21]，并取得了不錯的表現(xiàn)。但是，上述算法一般只利用了最后一層或幾層特征用于絕緣子的定位和缺陷識別，缺少低層特征和高層特征之間的信息融合，在拍攝距離較遠、缺陷區(qū)域較小等情況下效果不佳。此外，基于深度學(xué)習(xí)的檢測算法一般采用矩形框表示被檢測的物體位置，由于拍攝角度和絕緣子自身特點，矩形框內(nèi)絕緣子像素的比例較低，存在較大的背景干擾，不利于特征提取。

針對上述問題，文中提出一種基于增強特征金字塔和可變形卷積的絕緣子缺陷識別方法：在網(wǎng)絡(luò)結(jié)構(gòu)上，以已有特征金字塔網(wǎng)絡(luò)(feature pyramid network,FPN)[22]為基礎(chǔ)，增加增強的自底而上的路徑，實現(xiàn)不同維度、不同路徑特征的充分融合，提高小目標檢測精度；在特征提取上，采用可變形卷積網(wǎng)格(deformable convolutional networks,DCN)[23]代替普通卷積，通過自適應(yīng)改變采樣點，增大模型感受野，降低背景的干擾。最后，利用多場景采集的多類絕緣子圖片對該方法進行效果驗證，并將實驗結(jié)果與采用已有方法得到的結(jié)果進行對比分析，表明使用該方法可明顯地提升性能。

1 增強特征金字塔

1.1 自底而上的路徑

經(jīng)典的檢測網(wǎng)絡(luò)一般采用直筒型的特征提取模式，從輸入圖片到最后一層特征圖，通過步長為2的卷積或池化操作，逐步降低特征圖的分辨率大小，形成自底而上的路徑，即特征金字塔。低層的特征圖空間分辨率較大，具有更精確的位置信息，但提取的圖像語義信息較弱，噪聲干擾更多；而高層的特征圖經(jīng)過更多的卷積操作，具有更強的語義信息，但空間分辨率較小，位置信息逐漸丟失，不利于精確定位。文中定義所有寬高為1/2k原圖大小的特征圖中的最后一層為Ck，得到由{C2,C3,C4,C5}組成的自底而上的路徑，如圖1所示。其中，Ck與Ck+1之間一般由多個卷積(conv)、激活函數(shù)(ReLu等)和批歸一化層(BN)等組成，由選取的基礎(chǔ)網(wǎng)絡(luò)的具體結(jié)構(gòu)確定。

圖1 增強特征金字塔結(jié)構(gòu)Fig.1 Structure of enhanced feature pyramid

1.2 自頂而下的路徑

結(jié)合上述低層特征和高層特征的優(yōu)點，F(xiàn)PN網(wǎng)絡(luò)[15]在原有的自底而上路徑的基礎(chǔ)上，增加一個自頂而下的路徑，實現(xiàn)高低層特征融合。首先，直接對C5進行1×1卷積操作得到P5；接著，對高層的特征圖Pk+1進行步長為2的最近鄰上采樣，產(chǎn)生與Ck相同分辨率的特征圖，其具有更強的語義信息，有助于分類任務(wù)；對低層的特征圖Ck進行1×1的卷積操作，產(chǎn)生與Pk+1相同通道數(shù)的特征圖，其具有更精確的位置信息，有助于坐標回歸任務(wù)；最后，將這2個新的特征圖進行逐像素相加，得到特征圖Pk。考慮計算效率，最終得到由{P3,P4,P5}組成的自頂而下的路徑。

1.3 增強的自底而上的路徑

上述自頂而下的路徑使得低層的特征圖在保持原有位置信息的同時，能夠獲取更強的語義信息，從而提升模型對小目標物體的檢測性能。但是，這種自頂而下的路徑一般經(jīng)過幾十甚至上百個卷積層操作，不利于信息傳遞和訓(xùn)練時的梯度回傳。因此，增加一個增強的自底而上的路徑，縮短信息流動的路徑，同時將低層準確的位置信息進一步融入到新的特征圖中，進一步加強對小目標物體的檢測，提升模型整體性能。

具體來說，P3直接用于后續(xù)預(yù)測，即L3。接著，對低層的特征圖Lk-1進行步長為2的下采樣，產(chǎn)生與Pk相同分辨率的特征圖；對高層的特征圖Pk進行1×1的卷積操作，產(chǎn)生與Lk-1通道數(shù)相同的特征圖；然后將2個新的特征圖進行逐像素相加，得到特征圖Lk，用于最終的預(yù)測。最終得到由{L3,L4,L5}組成的增強的自底而上的路徑。

2 可變形卷積

絕緣子長條狀的外形特點和多變的拍攝角度使得常規(guī)的矩形框表示形式下，絕緣子有效信息的像素比例較低，特征提取過程受到較大的背景干擾，如圖2(a)，(b)所示。因此采用可變形卷積代替常規(guī)卷積，增強模型的特征提取能力，幾種卷積方式見圖2(c)—(e)。

圖2 可變形卷積Fig.2 Illustration of deformable convolutions

一般情況下，卷積神經(jīng)網(wǎng)絡(luò)采用普通卷積操作，如圖2(c)所示(以3×3卷積為例)。普通卷積以滑動窗口的形式在輸入特征圖x上的規(guī)則網(wǎng)格G內(nèi)進行采樣操作，例如：G={(-1,-1),(-1,0),…,(0,1),(1,1)}，代表步長為1的3×3卷積的采樣網(wǎng)格。

輸出特征圖y上的每個位置l0計算如下 ：

(1)

式中：ln為第n個點的采樣偏移量；x(·)為特征圖對應(yīng)位置的值；w(·)為卷積核對應(yīng)位置的權(quán)重。

對于可變形卷積，采樣網(wǎng)格G中的每個點增加偏移量{Δln|n=1,…,N},N=|G|，則式(1)修改為：

(2)

通過自適應(yīng)學(xué)習(xí)上述偏移量，模型可以根據(jù)輸入樣本中絕緣子的形態(tài)，動態(tài)調(diào)整采樣點的位置，間接增大了模型的感受野。

由于每個點的偏移量一般是小數(shù)，因此須采用雙線性插值計算得到每個浮點坐標的像素值。顯然，普通卷積和空洞卷積是可變形卷積的特例，而可變形卷積往往具有更強的特征提取能力。

3 整體方案設(shè)計

3.1 基礎(chǔ)網(wǎng)絡(luò)

選取ResNet[24]殘差網(wǎng)絡(luò)作為絕緣子缺陷檢測模型的基礎(chǔ)網(wǎng)絡(luò)，其特點是采用跳躍連接的結(jié)構(gòu)，解決了網(wǎng)絡(luò)太深導(dǎo)致的模型退化問題。同時上述結(jié)構(gòu)有利于訓(xùn)練過程中的梯度反向傳播，在圖像分類、目標檢測等計算機視覺基礎(chǔ)任務(wù)中得到廣泛應(yīng)用?？紤]算法推理速度和識別性能，分別選取ResNet-18和ResNet-101作為基礎(chǔ)網(wǎng)絡(luò)。

3.2 頭部預(yù)測結(jié)構(gòu)

分別選取Faster RCNN和YOLOv3 2類不同的頭部預(yù)測結(jié)構(gòu)，如圖3所示。其中，F(xiàn)aster RCNN采用兩階段檢測思路，借助區(qū)域推薦網(wǎng)絡(luò)(region proposal network,RPN)篩除大量無用的候選框，實現(xiàn)稀疏預(yù)測；YOLOv3采用一階段檢測，直接在多個特征圖上設(shè)置密集的錨框，借助密集預(yù)測達到與Faster RCNN相當?shù)男阅堋?/p>

圖3 頭部預(yù)測結(jié)構(gòu)Fig.3 Structure of head prediction

3.3 算法整體流程

文中提出的基于增強特征金字塔和可變形卷積的絕緣子缺陷識別算法的整體流程如圖4所示。

圖4 整體流程Fig.4 Overall process

3.4 絕緣子缺陷數(shù)據(jù)集

采集的絕緣子圖像覆蓋變電站、鐵路接觸網(wǎng)、高壓輸電線等多個場景，包含瓷絕緣子、玻璃絕緣子等多種類型。采用人工標注的方法對收集到的絕緣子圖片進行處理。

由于帶缺陷的絕緣子圖片數(shù)量遠少于正常絕緣子，文中采用一系列數(shù)據(jù)增強操作進行正樣本擴充，包括：隨機旋轉(zhuǎn)、水平翻轉(zhuǎn)、“復(fù)制-粘貼”策略、隨機裁剪、“擦除”策略等。此外，為增強模型的泛化能力，在訓(xùn)練過程中加入隨機噪聲、隨機光照和對比度等操作。最后，得到共5 560張絕緣子缺陷圖片，按照2∶1∶1的比例，劃分為訓(xùn)練集、驗證集和測試集。

4 實驗結(jié)果

首先在公開的COCO數(shù)據(jù)集上對搭建的模型進行預(yù)訓(xùn)練，然后用預(yù)訓(xùn)練好的模型權(quán)重初始化絕緣子缺陷檢測模型，再用制作好的訓(xùn)練集進行訓(xùn)練，并在驗證集上評估對比不同模型的性能。文中所有實驗均采用隨機梯度下降法訓(xùn)練絕緣子缺陷檢測模型，初始學(xué)習(xí)率0.005，迭代次數(shù)40 000次，在第30 000次和第35 000次時學(xué)習(xí)率降為原來的1/10。

采用平均精確率(average percision,AP)來評價模型性能的優(yōu)劣。在固定交并比(intersection over uni on,IoU)閾值下，計算不同召回率下的平均準確率。AP值越大，檢測精度越高。

(3)

(4)

(5)

式中：NTP為缺陷絕緣子被正確檢測到的個數(shù)；NFP為正常絕緣子被錯誤預(yù)測為缺陷絕緣子的個數(shù)；NFN為缺陷絕緣子未被檢測到的個數(shù)；N為測試集中所有圖片的個數(shù)；P(k)為在能識別出k個圖片的時候P的值； Δr(k)為識別圖片個數(shù)從k-1變化到k時R值的變化情況。。

4.1 對比分析

不同模型結(jié)構(gòu)在驗證集上計算得到AP值，其結(jié)果如表1和表2所示(“√”代表使用該模塊)?？梢钥闯?，增強的自底而上的路徑對模型的性能提升明顯，且隨著基礎(chǔ)網(wǎng)絡(luò)特征提取能力的增強而增強(ResNet-18：+0.045，ResNet-101：+0.063)。加入可變形卷積分別得到0.032和0.018的提升。增強特征金字塔結(jié)構(gòu)和可變形卷積能夠兼容，并取得最佳性能(ResNet-18:由0.537提升至0.604,+12.4%, ResNet-101:由0.583提升至0.691,+18.5%)。兩階段的頭部預(yù)測結(jié)構(gòu)的性能整體上要優(yōu)于一階段(ResNet-18：兩階段為0.604，一階段為0.589；ResNet-101:兩階段為0.691，一階段為0.670)。

表1 ResNet-18對比實驗結(jié)果Table 1 Comparison results based on ResNet-18

表2 ResNet-101對比實驗結(jié)果Table 2 Comparison results based on ResNet-101

4.2 實例驗證

將最終訓(xùn)練得到的基于增強特征金字塔和可變形卷積的絕緣子缺陷檢測模型在測試集上驗證實際效果，如圖5所示。紅色橢圓部分為缺陷區(qū)域，“jyz_zc”代表絕緣子正常，“jyz_yc”代表檢測到絕緣子缺陷，數(shù)字代表檢測結(jié)果的置信度分數(shù)。其中，(a)為巡檢機器人仰視拍攝的玻璃絕緣子缺失圖片結(jié)果；(b)為巡檢機器人仰視拍攝的豎立陶瓷絕緣子裂紋圖片結(jié)果；(c)為鐵路巡檢車夜間拍攝的絕緣子局部破損圖片結(jié)果；(d)為工作人員手機拍攝的豎立絕緣子破損圖片結(jié)果?？梢钥闯觯Ｐ湍軌蛟诓煌臄z角度、不同背景情況下，識別不同類型的絕緣子并定位缺陷絕緣子，包括自爆缺失、裂紋、局部破損等常見缺陷類型，體現(xiàn)了深度學(xué)習(xí)模型強大的泛化能力。

圖5 不同場景下的檢測結(jié)果Fig.5 Test results of different scenarios

5 結(jié)語

針對絕緣子局部破損、裂紋等小目標檢測情況，提出一種基于增強特征金字塔和可變形卷積的絕緣子缺陷檢測方法，并在多場景采集的圖像中對文中提出的改進方法進行了對比分析和實例驗證。最終實驗結(jié)果表明，該方法能夠顯著提高缺陷區(qū)域較小情況下的檢測精度，同時可以根據(jù)實際任務(wù)要求，自由選擇合適的基礎(chǔ)網(wǎng)絡(luò)、頭部預(yù)測結(jié)構(gòu)。此外，該方法適用于變電站、高壓輸電線等各類絕緣子應(yīng)用場景，具有較好的通用性。后續(xù)將在模型部署方面進行進一步優(yōu)化，在保持檢測精度的同時，降低模型對GPU等硬件資源的要求，降低部署難度和應(yīng)用成本。