賈立業(yè),韓 軍,余鴻飛

(上海大學(xué) 通信與信息工程學(xué)院，上海 200444)

0 引言

在電網(wǎng)系統(tǒng)中，輸電線路中防震錘的目的是為了減少導(dǎo)線因風(fēng)力引起的振動，導(dǎo)線振動時，其懸掛處的工作條件很不利，此時防震錘起著關(guān)鍵作用，對其進行檢測至關(guān)重要。國內(nèi)外針對防震錘部件識別的算法大致可分為兩類：基于傳統(tǒng)圖像處理的目標(biāo)識別和基于深度學(xué)習(xí)的目標(biāo)檢測。傳統(tǒng)的圖像識別算法主要通過對目標(biāo)的固定特征(如邊緣、顏色、紋理、輪廓等)進行處理實現(xiàn)檢測任務(wù)。宋偉等[1]結(jié)合直方圖均衡化、形態(tài)學(xué)處理和RGB彩色模型對防震錘圖像處理，實現(xiàn)銹蝕缺陷的檢測。但該方法存在著識別速率和魯棒性低的問題。金立軍等[2]提出將類Haar特征與級聯(lián)AdaBoost算法應(yīng)用于防震錘識別。計算圖像的Haar特征后利用AdaBoost算法選取具有較強分類特性的特征，然后通過級聯(lián)的方式組成級聯(lián)AdaBoost分類器進行防震錘的分類識別。張東等[3]提出一種結(jié)合多尺度聚合通道特征(ACF)和復(fù)頻域特征的檢測算法。通過引入多尺度聚合通道特征提取圖像的空間域特征和復(fù)頻域特征進行加權(quán)融合，然后利用AdaBoost分類器和NMS算法識別防震錘。這兩種方法識別準(zhǔn)確率尚可，但存在算法復(fù)雜度高，魯棒性低的問題。在深度學(xué)習(xí)領(lǐng)域，湯踴等[4]提出利用Faster-RCNN網(wǎng)絡(luò)對輸電線部件進行識別，針對不同目標(biāo)使用不同的卷積核優(yōu)化識別率。薛冰等[5]提出基于Mask R-CNN的電力設(shè)備銹跡檢測識別方法。先使用Faster R-CNN完成目標(biāo)檢測的功能，利用FCN完成語義分割的功能，實現(xiàn)像素級別的分類識別，解決了不規(guī)則銹跡的檢測問題。這兩種方法并未充分利用防震錘與周圍部件的上下文信息，因此識別準(zhǔn)確率不高。

目前，國內(nèi)外對于防震錘的研究主要集中在其定位與識別上，對于缺陷診斷還未取得突破性進展，圖1所示為各種缺陷類型，這些缺陷會對輸電線路產(chǎn)生極大的影響。針對這些缺陷，考慮利用語義分割[6]將這些防震錘區(qū)域分割出來，然后針對不同的缺陷類型進行判別。針對掉把與歪斜缺陷，根據(jù)其與正常防震錘的邊界形狀特征判別；針對碰撞缺陷，計算其分割區(qū)域的像素寬度與正常防震錘區(qū)域?qū)Ρ扰袆e；針對漂移缺陷，分割出來后計算其與上下防震錘的相對距離判別；針對銹蝕缺陷，分析其分割區(qū)域的HSV顏色特征判斷銹蝕。其中，掉把缺陷對于輸電線路的正常運行危害最大，且其出現(xiàn)的幾率也更高，因此本文著重針對正常防震錘的識別和掉把缺陷的診斷進行研究，后文所指缺陷均為掉把缺陷。

圖1 防震錘缺陷類型

綜上，本文針對防震錘部件識別準(zhǔn)確率不高，掉把缺陷無法診斷的問題，提出一種結(jié)合語義分割和空間上下文信息的防震錘識別和缺陷診斷方法。算法結(jié)構(gòu)如圖2所示，包括三部分。第一部分是數(shù)據(jù)集的制作和預(yù)處理，利用LabelMe對防震錘圖片標(biāo)注后進行圖像分塊制作成數(shù)據(jù)集Hammer_2，對Hammer_2進行預(yù)處理，增強圖像質(zhì)量以提高分割效果。第二部分將防震錘數(shù)據(jù)集通過DeepLabV3+網(wǎng)絡(luò)訓(xùn)練，對正常防震錘與掉把缺陷區(qū)分，得到訓(xùn)練模型Hammer_model。第三部分通過防震錘模型與其他部件模型得到防震錘與其他部件分割區(qū)域，通過這兩個區(qū)域建立空間上下文關(guān)系，縮小防震錘識別范圍。最后得到識別結(jié)果圖。

圖2 算法流程圖

1 DeepLabV3+網(wǎng)絡(luò)

DeepLabV3+網(wǎng)絡(luò)是目前語義分割網(wǎng)絡(luò)中準(zhǔn)確率最優(yōu)的網(wǎng)絡(luò)[7]，計算速度和分割精度表現(xiàn)十分良好。因此，本文基于DeepLabV3+網(wǎng)絡(luò)構(gòu)建防震錘的識別與缺陷診斷，其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，主要由特征提取網(wǎng)絡(luò)、編解碼器結(jié)構(gòu)、空洞空間金字塔池化模塊(ASPP，atrous spatial pyramid pooling)等組成。對于輸電線路防震錘部件的待識別圖像，在編碼器部分，首先利用Xception網(wǎng)絡(luò)(圖中的DCNN模塊)提取防震錘目標(biāo)特征[8]，然后通過ASPP模塊[9]從不同尺度上提取防震錘的語義信息，接著將ASPP模塊輸出的結(jié)構(gòu)通過1×1的卷積層進行通道數(shù)變換。在解碼器部分，對Xception網(wǎng)絡(luò)中較為底層的防震錘圖像的特征圖用1×1卷積操作變換通道，與編碼器輸出的防震錘不同尺度的特征圖在統(tǒng)一尺寸后進行堆疊。在合并特征后再經(jīng)過3×3的卷積層后使得防震錘特征更優(yōu)，再上采樣得到與輸入圖同樣大小的特征圖。

DeepLabV3+網(wǎng)絡(luò)最大的優(yōu)點是采用了編解碼器結(jié)構(gòu)和ASPP結(jié)構(gòu)。編解碼器結(jié)構(gòu)可以有效的將防震錘的高層特征和底層特征融合起來，ASPP結(jié)構(gòu)可以通過調(diào)整擴張率組[10]來提取防震錘的不同尺度特征，這兩者對防震錘邊界恢復(fù)都有顯著作用。分析正常防震錘與掉把缺陷的形狀，發(fā)現(xiàn)兩種防震錘的邊界形狀有顯著差異，利用DeepLabV3+可以有效恢復(fù)這兩類防震錘的邊界，從而鑒別這兩類防震錘，實現(xiàn)缺陷診斷。

2 數(shù)據(jù)集制作與預(yù)處理

2.1 防震錘數(shù)據(jù)集制作

目前，沒有防震錘的公開數(shù)據(jù)集，故需要制作可用于本文研究的數(shù)據(jù)集。本文收集到的輸電線路圖片主要包含正常防震錘及其掉把缺陷，需制作正常與缺陷防震錘數(shù)據(jù)集Hammer_2。將無人機拍攝的防震錘邊緣清晰且完整的圖片篩選出來，然后使用標(biāo)注軟件LabelMe通過多邊形對防震錘目標(biāo)進行標(biāo)注，根據(jù)正常和缺陷防震錘這兩類目標(biāo)將標(biāo)簽設(shè)為:hammer、bad_hammer，如圖4所示。

圖3 DeepLabV3+網(wǎng)絡(luò)結(jié)構(gòu)

圖4 防震錘標(biāo)注類別

收集到的輸電線路圖片基本都是4 288×2 848的高分辨率圖像，防震錘只占總像素的5%到8%，在DeepLabV3+訓(xùn)練時需要設(shè)置圖像的隨機裁剪值(通常為513×513像素)，從圖像中隨機裁剪513×513像素大小圖片進行訓(xùn)練，導(dǎo)致訓(xùn)練內(nèi)容大部分屬于背景信息。為減少背景干擾，提出一種適用于防震錘的圖像分塊方式。圖像分塊的具體方式如下：由于防震錘在一張圖像中所占像素通常大于513×513小于1 026×1 026，所以分塊時統(tǒng)一將圖像分為1 026×1 026大小的圖像。在分塊時，考慮到由于分塊會造成一個防震錘被分成兩半，所以同一張圖像需要從不同的像素點開始切割，將整張圖片循環(huán)切塊，保證每一個防震錘都能存在一張完整的小圖。之后將分塊出來的圖像進行整理，把帶有防震錘且完整的圖像挑選出來，如圖5，完成數(shù)據(jù)集Hammer_2的制作。

圖5 圖像分塊處理

2.2 Hammer_2數(shù)據(jù)集的預(yù)處理

由于無人機拍攝背景復(fù)雜，拍攝角度的不同，同時無人機拍攝過程中存在抖動，因此目標(biāo)存在邊緣模糊，與背景對比度不明顯的問題。本文采用自動色階算法[11]對防震錘圖像進行增強，提高防震錘與背景的對比度。自動色階算法能自動調(diào)整圖像的明暗程度，去除圖像中不正常的高亮區(qū)和黑暗區(qū)，可以有效提高防震錘與復(fù)雜背景的對比度。自動色階的處理過程如圖6所示。

圖6 自動色階流程圖

采用對目標(biāo)邊緣保持更好的自適應(yīng)雙邊濾波算法[12]對防震錘進行平滑處理。自適應(yīng)雙邊濾波能夠根據(jù)不同防震錘圖像的噪聲水平和邊緣強度，自適應(yīng)調(diào)整雙邊濾波的空間標(biāo)準(zhǔn)差參數(shù)和亮度標(biāo)準(zhǔn)差參數(shù)，實現(xiàn)雙邊濾波參數(shù)根據(jù)輸入防震錘圖像的本質(zhì)特征自適應(yīng)獲取，避免了參數(shù)的人工設(shè)置，在濾除噪聲的同時最大程度地防震錘的邊緣信息。利用自動色階算法和自適應(yīng)雙邊濾波算法對圖像分塊后的防震錘數(shù)據(jù)集Hammer_2進行處理，效果如圖7所示。

3 結(jié)合空間上下文關(guān)系的防震錘識別

3.1 防震錘空間上下文關(guān)系描述

圖像中對象之間的空間位置關(guān)系通常有三種：方向關(guān)系、距離關(guān)系與拓撲關(guān)系。根據(jù)防震錘的安裝位置分析其與周圍部件的空間位置關(guān)系：防震錘依附于導(dǎo)線下方，最接近方向關(guān)系，防震錘安裝在遠離均壓環(huán)和線夾的位置，最接近距離關(guān)系，如圖8所示。本文利用方向關(guān)系描述防震錘與導(dǎo)線的空間上下文關(guān)系，距離關(guān)系描述防震錘與均壓環(huán)和線夾的空間上下文關(guān)系。正常防震錘與掉把防震錘的位置關(guān)系通常一致，為方便表述，本節(jié)統(tǒng)一以防震錘表述。

圖7 防震錘圖片的預(yù)處理前后對比

圖8 兩種空間關(guān)系示意圖

在未引入空間上下文的防震錘識別實驗中，由于識別時會對圖像裁剪分塊進行逐一識別，導(dǎo)致識別感受野變小，存在將均壓環(huán)或線夾的一部分誤識別成防震錘的問題，雖然識別召回率很高，但精確率并不理想。據(jù)統(tǒng)計，其中將均壓環(huán)的一部分誤識別為防震錘占62%左右，線夾誤識別為防震錘占33%左右，其余占5%。導(dǎo)線、均壓環(huán)、線夾三類部件在圖像中的像素占比相較于防震錘更高，DeepLabV3+網(wǎng)絡(luò)對它們的識別效果也更好。據(jù)此，可以建立防震錘與它們的空間上下文關(guān)系[13]，縮小識別范圍，排除誤識別，提升精確率。如圖9所示為防震錘與周圍部件的空間關(guān)系示意圖。

圖9 防震錘與周圍部件之間的空間位置關(guān)系

3.2 基于空間上下文關(guān)系的防震錘識別

根據(jù)3.1節(jié)分析防震錘與周圍部件的空間上下文關(guān)系分為方向關(guān)系與距離關(guān)系，其中方向關(guān)系包括上邊(ABOVE)、下邊(BELOW)、左邊(LEFT)和右邊(RIGHT)，距離關(guān)系包括靠近(NEAR)和遠離(FAR)。為確定防震錘.與周圍部件空間關(guān)系的具體類別，以防震錘與均壓環(huán)為例，根據(jù)第1節(jié)內(nèi)容通過DeepLabV3+網(wǎng)絡(luò)分割出防震錘區(qū)域A與均壓環(huán)區(qū)域B，根據(jù)分割出的區(qū)域像素計算以下變量：

1)兩個區(qū)域的共同邊界長度與防震錘區(qū)域A的邊界長度比ρab=lab/la，其中l(wèi)ab為兩個區(qū)域的共同邊界長度，la為防震錘區(qū)域A的邊界長度；

2)防震錘區(qū)域A與均壓環(huán)區(qū)域B的邊界像素之間的最短距離dab；

3)連接防震錘區(qū)域A與均壓環(huán)區(qū)域B的中心線和水平線之間的夾角θab，該角計算為：

(1)

其中:vax和vay是防震錘區(qū)域A的中心va的x和y坐標(biāo)，vbx和vby是均壓環(huán)區(qū)域B的中心vb的x和y坐標(biāo)。

根據(jù)以上變量，通過模糊空間關(guān)系的隸屬函數(shù)[14]計算防震錘與周圍部件區(qū)域之間的隸屬度，不同空間關(guān)系的隸屬函數(shù)可由以下公式來計算：

對于方向關(guān)系，在約束條件φABOVE+φBELOW+φLEFT+φRIGHT=1下，使用角度θab來定義截斷余弦型隸屬函數(shù)：

(2)

(3)

φLEFT(A,B)=

(4)

(5)

對于距離關(guān)系，在約束條件φNEAR+φFAR=1下，使用邊界長度比ρab和區(qū)域邊界之間的距離dab來定義S型隸屬函數(shù)：

(6)

(7)

其中，β是確定隔斷遠離和靠近關(guān)系的閾值參數(shù)，α是決定函數(shù)確定性的參數(shù)。

通過以上幾個隸屬函數(shù)計算防震錘與周圍部件之間的隸屬度，計算出各個空間關(guān)系的隸屬函數(shù)值后，利用該隸屬函數(shù)的最大值，決定兩個區(qū)域的方向關(guān)系和距離關(guān)系的具體類別。統(tǒng)計100個正確識別的防震錘與周圍部件的隸屬度，得到一個標(biāo)準(zhǔn)的防震錘與導(dǎo)線、均壓環(huán)和線夾空間關(guān)系的平均隸屬度表，如表1所示?？梢钥闯?，正常識別出的防震錘與導(dǎo)線之間的方向關(guān)系是在導(dǎo)線下方，防震錘與均壓環(huán)和線夾的距離關(guān)系是遠離均壓環(huán)和線夾。

表1 防震錘與周圍部件之間空間關(guān)系的平均隸屬度表

因拍攝角度和視距問題，圖像中的導(dǎo)線不能保證處于傳統(tǒng)視角上的水平方向，在分析時，以導(dǎo)線所在方向作為水平方向，防震錘所在區(qū)域作為垂直方向的下方，且不能保證圖像中會同時出現(xiàn)防震錘與導(dǎo)線、均壓環(huán)和線夾，需要確定上下文分析優(yōu)先級：因防震錘依附安裝導(dǎo)線上，故導(dǎo)線優(yōu)先級最高，再根據(jù)3.1節(jié)統(tǒng)計誤識別中均壓環(huán)與線夾所占比例，確定均壓環(huán)優(yōu)先級次之，最后是線夾。通過防震錘模型識別出防震錘區(qū)域，通過導(dǎo)線、均壓環(huán)和線夾模型識別出相應(yīng)部件區(qū)域，將識別出的每個防震錘分別與導(dǎo)線、均壓環(huán)和線夾進行空間上下文分析。具體過程如下：若防震錘與導(dǎo)線的方向關(guān)系不是在導(dǎo)線下方，則直接判定為誤識別，否則再分析與均壓環(huán)的距離關(guān)系，若距離關(guān)系是靠近，則判定為誤識別，否則繼續(xù)分析與線夾的距離關(guān)系，若與線夾的距離關(guān)系是靠近，則判定為誤識別，否則是正確識別，則保留。通過此過程對每一個防震錘進行分析判斷，直至最后一個防震錘得到識別結(jié)果圖。算法流程如圖10所示。

圖10 基于空間位置關(guān)系的防震錘識別算法框圖

4 實驗結(jié)果與分析

實驗在裝有一塊NVIDIA TITAN x GPU的計算機上訓(xùn)練和評估所有模型，操作系統(tǒng)為Ubuntu 16.04，顯卡型號為GeForce GTX1080Ti，Python版本是2.7，CUDA版本為9.0，CUDNN版本為 7.0，訓(xùn)練框架為Tensorflow 1.6.0。

本文采用語義分割常用評價標(biāo)準(zhǔn)均交并比(MIoU)以及深度學(xué)習(xí)常用評價指標(biāo)精確率(Precision)和召回率(Recall)評估算法的有效性，相關(guān)公式如下：

(8)

式中，i表示真實值，j表示預(yù)測值，pij表示將i預(yù)測為j。

(9)

(10)

式中，TP代表正樣本被正確識別為正樣本，F(xiàn)P代表負樣本被錯誤識別為正樣本，F(xiàn)N代表正樣本被錯誤識別為負樣本。

本文收集正常與掉把防震錘原始圖像共計800張，隨機選取500張用來制作訓(xùn)練集和驗證集，300張用作測試集。利用500張原始圖像根據(jù)2.1節(jié)制作出數(shù)據(jù)集共計3 000張，其中正常防震錘共計1 500張，掉把防震錘共計1 500張。模型訓(xùn)練參數(shù)統(tǒng)一為初始學(xué)習(xí)率設(shè)置為10-4，擴張率組采用[5,9,17]。采用三組實驗來驗證本文提出方法的可行性。

第一組實驗?zāi)康氖球炞C圖像分塊和數(shù)據(jù)集預(yù)處理能夠提升識別效果。本組實驗中，統(tǒng)一采用正常防震錘數(shù)據(jù)集1 500張，其中訓(xùn)練集共計1 000張，驗證集共計500張，評價標(biāo)準(zhǔn)為MIoU，為了排除實驗偶然性，采用幾組不同迭代次數(shù)進行訓(xùn)練，結(jié)果如表2所示。

表2 對數(shù)據(jù)集不同處理下的分割結(jié)果

從表2可以看出，相較于原始DeepLabV3+算法，對數(shù)據(jù)集進行預(yù)處理后， MIoU提升了3%～5%，這是因為對圖像預(yù)處理可以增加目標(biāo)與背景對比度，增強防震錘邊緣輪廓，有利于語義分割。對數(shù)據(jù)集進行圖像分塊處理后，MIoU提升了約15%，這表明圖像分塊可以有效降低防震錘復(fù)雜背景干擾，大幅提高分割精度。在對數(shù)據(jù)集進行預(yù)處理和圖像分塊后，MIoU能夠達到90%以上，這證明對數(shù)據(jù)集的處理可以提高語義分割網(wǎng)絡(luò)的分割精度。同時，迭代次數(shù)的增加對于訓(xùn)練效果也有略微提升，但迭代次數(shù)在達到20萬次后提升就比較小了，因此后文訓(xùn)練次數(shù)統(tǒng)一采用20萬次。

第二組實驗?zāi)康氖球炞CDeepLabV3+網(wǎng)絡(luò)對正常和掉把防震錘的區(qū)分能力。實驗分為三次，第一次實驗采用1 500張正常防震錘數(shù)據(jù)集，第二次實驗采用1 500張掉把防震錘數(shù)據(jù)集，第三次實驗采用750張正常+750張掉把的混合防震錘數(shù)據(jù)集，訓(xùn)練集與驗證集與第一組實驗一致，數(shù)據(jù)集都進行過圖像分塊和預(yù)處理，評價指標(biāo)為MIoU。結(jié)果如表3所示。

表3 防震錘區(qū)分實驗結(jié)果

從表3可以看出，在對防震錘進行單分類訓(xùn)練時，無論是正常還是掉把防震錘，DeepLabV3+網(wǎng)絡(luò)識別的MIoU能夠達到94%，在將兩類防震錘混合在一起訓(xùn)練時，MIoU會有降低，在85%左右，雖然混合訓(xùn)練的識別效果不如單獨訓(xùn)練的效果好，但是本文認為85.3%的MIoU表示網(wǎng)絡(luò)對于兩種防震錘的區(qū)分效果可以滿足掉把缺陷診斷的應(yīng)用。

第三組實驗將未加入空間上下文與加入空間上下文兩組實驗在設(shè)置相同參數(shù)的情況下進行訓(xùn)練。這組實驗中，采用第二組實驗所得最好分割效果的混合防震錘模型，測試集中包括未參與訓(xùn)練的兩類防震錘圖像共計300張，評價標(biāo)準(zhǔn)為精確率(P)與召回率(R)，測試結(jié)果如表4所示。可以看出，在引入防震錘與導(dǎo)線、均壓環(huán)和線夾部件的空間上下文關(guān)系后，無論是正常防震錘還是缺陷防震錘，其精確率有大幅提升(約16%～17%)，召回率有略微提升(約2%～3%)。原因是通過建立防震錘與周圍部件的空間上下文信息，能夠縮小防震錘的識別范圍，排除大量錯誤識別，提高精確率與召回率。

表4 引入空間上下文關(guān)系的防震錘識別結(jié)果對比

5 結(jié)束語

本文針對目前輸電線路中防震錘識別率不高，缺陷無法診斷的問題，提出利用圖像分塊解決網(wǎng)絡(luò)輸入帶來的圖像信息損失，結(jié)合防震錘與周圍部件的空間上下文關(guān)系縮小識別范圍，通過DeepLabV3+網(wǎng)絡(luò)將正常與缺陷防震錘分割出來進行缺陷診斷。實驗結(jié)果表明，圖像分塊可以有效提升分割精度，結(jié)合上下文能大幅提升識別精確率和召回率，語義分割網(wǎng)絡(luò)能有效診斷防震錘的掉把缺陷。下一步研究方向是針對防震錘的其他缺陷問題，利用DeepLabV3+網(wǎng)絡(luò)將其分割出來進行分類診斷。