張子健，馬吉恩，2，李旭峰，方攸同

(1.浙江大學(xué) 電氣工程學(xué)院,浙江 杭州 310027；2.浙江大學(xué) 西部發(fā)展研究院,浙江 杭州 310012；3.浙江科技學(xué)院 機(jī)械與汽車工程學(xué)院，浙江 杭州 310023)

接觸網(wǎng)作為電氣化鐵路的重要組成部分，其狀態(tài)的優(yōu)劣直接影響到電氣化鐵路的運(yùn)行安全和可靠性[1]。目前的檢測(cè)系統(tǒng)主要是通過人工識(shí)別圖像進(jìn)行檢測(cè)，存在檢測(cè)效率低、檢測(cè)周期長(zhǎng)等問題。

隨著高速鐵路的快速發(fā)展，接觸網(wǎng)檢測(cè)和維護(hù)成為高速鐵路后期運(yùn)營(yíng)維護(hù)的重要內(nèi)容[2]。為了實(shí)現(xiàn)接觸網(wǎng)快速、有效、自動(dòng)檢測(cè)和故障反饋，各研究機(jī)構(gòu)和科研院所開展了一系列基于圖像處理技術(shù)的高鐵接觸網(wǎng)方面的研究。文獻(xiàn)[3]利用形態(tài)學(xué)圖像處理與Hough變換相結(jié)合的方法，實(shí)現(xiàn)受電弓滑板狀態(tài)檢測(cè)。文獻(xiàn)[4]利用鏈碼與Randon變換相結(jié)合的方法，實(shí)現(xiàn)接觸網(wǎng)定位器檢測(cè)。文獻(xiàn)[5]利用二代曲波變換以及條帶能量法進(jìn)行絕緣子故障檢測(cè)。文獻(xiàn)[6]利用模板匹配進(jìn)行絕緣子的定位，利用灰度奇異值檢測(cè)實(shí)現(xiàn)狀態(tài)判斷。文獻(xiàn)[7]基于輪廓波變換和Chan-Vese模型，提出一種檢測(cè)和識(shí)別高速鐵路棒式絕緣子的方法。文獻(xiàn)[8]利用Harris角點(diǎn)與譜聚類實(shí)現(xiàn)絕緣子的抗旋轉(zhuǎn)匹配和故障檢測(cè)。文獻(xiàn)[9]利用Harris角點(diǎn)配準(zhǔn)與圖像差分實(shí)現(xiàn)了絕緣子的定位和故障檢測(cè)。文獻(xiàn)[10]提出一種HOG特征與二維Gabor小波相結(jié)合的圖像檢測(cè)方法。文獻(xiàn)[11]利用深度學(xué)習(xí)Faster R-CNN模型和Hough變換進(jìn)行接觸網(wǎng)定位器坡度測(cè)量。文獻(xiàn)[12]利用SIFT算法和改進(jìn)的RANSAC算法實(shí)現(xiàn)雙耳部件定位，利用Hough變換和灰度值統(tǒng)計(jì)實(shí)現(xiàn)銷釘狀態(tài)檢測(cè)。

本文針對(duì)高鐵接觸網(wǎng)絕緣子故障檢測(cè)問題，提出一種基于EAST模型的絕緣子定位方法。在定位的基礎(chǔ)上，提取絕緣子每片輪廓，利用Hu不變矩進(jìn)行相似度對(duì)比，判斷絕緣子是否存在故障。主要包括以下兩部分內(nèi)容：

第一部分是絕緣子區(qū)域的檢測(cè)，檢測(cè)流程為

(1)將待檢測(cè)圖像輸入深度卷積神經(jīng)網(wǎng)絡(luò)提取多層級(jí)的特征。

(2)將不同層級(jí)的特征融合。

(3)將融合結(jié)果送入輸出層生成掩膜圖，與輸入圖像進(jìn)行掩膜操作得到絕緣子區(qū)域圖像。

第二部分是基于Hu不變矩的絕緣子故障檢測(cè)，檢測(cè)流程為：

(1)二值化邊緣檢測(cè)提取絕緣子每片輪廓。

(2)利用Hu不變矩逐片進(jìn)行輪廓相似度對(duì)比，通過對(duì)比結(jié)果判斷絕緣子是否存在故障。

1 基于深度學(xué)習(xí)的絕緣子區(qū)域檢測(cè)

高效且準(zhǔn)確的文本檢測(cè)器(Efficient and Accurate Scene Text Detector，EAST)是由ZHOU等[13]基于文本檢測(cè)問題提出的算法。該方法與以往文本檢測(cè)方法不同之處在于，省去不必要的中間過程，使用全卷積網(wǎng)絡(luò)直接在圖像中產(chǎn)生單詞或文本行級(jí)別的預(yù)測(cè)，預(yù)測(cè)結(jié)果可以是任意方向的四邊形。在文本檢測(cè)標(biāo)準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，EAST算法的精度和效率都達(dá)到了較高水平。由于EAST模型的預(yù)測(cè)結(jié)果可以是任意方向的，可用于高鐵接觸網(wǎng)場(chǎng)景下絕緣子的檢測(cè)識(shí)別。

1.1 特征提取

檢測(cè)階段流程如圖1所示。使用在ImageNet數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練的、卷積層和池化層交錯(cuò)的神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取。提取出4個(gè)層級(jí)的特征圖，特征圖fi的尺寸分別為輸入圖像的1/32，1/16，1/8，1/4。采用ResNet-50[14]作為特征提取網(wǎng)絡(luò)，各卷積階段的輸出結(jié)果分別作為4個(gè)層級(jí)的特征圖。

圖1 檢測(cè)算法流程

1.2 特征融合

在目標(biāo)檢測(cè)場(chǎng)景中，目標(biāo)的尺寸往往差異較大， 小目標(biāo)的檢測(cè)依賴于網(wǎng)絡(luò)淺層的位置信息，大目標(biāo)的檢測(cè)依賴于網(wǎng)絡(luò)深層的語義信息，但由于淺層語義及深層位置信息較少，導(dǎo)致檢測(cè)不夠準(zhǔn)確。將淺層和深層的特征圖進(jìn)行融合操作，可以提高檢測(cè)的準(zhǔn)確性。

將提取出的不同層級(jí)的特征圖進(jìn)行融合

(1)

(2)

式中：gi為特征融合的基礎(chǔ)；fi為各層級(jí)的特征圖；hi為融合后的特征圖；unpool為反池化層；convn×n為卷積核大小為n×n的卷積層；運(yùn)算符[·;·]表示沿深度方向連結(jié)。在每個(gè)融合階段，將上一階段的融合后的特征圖hi-1送入反池化層使其尺寸翻倍，得到gi-1與當(dāng)前階段的特征圖fi連結(jié)。通過卷積核尺寸1×1的卷積層削減特征圖的深度，減少計(jì)算量。最后通過卷積核尺寸3×3的卷積層聚合信息，生成本階段的融合結(jié)果hi。在最后一個(gè)特征融合階段，h4通過卷積核尺寸3×3的卷積層生成特征融合階段最終的特征圖，并將其送入輸出層。

1.3 輸出階段

在輸出階段，特征融合階段輸出的特征圖通過卷積核尺寸1×1、深度為1的卷積層生成掩膜圖，掩膜圖與輸入圖像進(jìn)行掩膜操作得到輸出結(jié)果。對(duì)掩膜圖計(jì)算最小包圍矩形，取出絕緣子并旋轉(zhuǎn)至水平送入后續(xù)故障檢測(cè)算法。

EAST模型損失函數(shù)定義為

(3)

式中：Ypre為模型預(yù)測(cè)的掩膜圖；Ygt為訓(xùn)練數(shù)據(jù)真實(shí)的掩膜圖；ξ為防止分母為0的小正值。

2 基于Hu不變矩法的絕緣子故障檢測(cè)

對(duì)于輸出結(jié)果圖像，通過最小包圍矩形將其絕緣子單獨(dú)提取出來，對(duì)絕緣子進(jìn)行故障檢測(cè)。傳統(tǒng)方法如模板匹配算法或特征點(diǎn)匹配算法，在不同場(chǎng)景下，由于其拍攝角度、拍攝距離及光照等因素影響，對(duì)不同絕緣子直接匹配相似度效果不好。故采用Hu不變矩逐片進(jìn)行絕緣子相似度對(duì)比。

2.1 圖像預(yù)處理

為了提高圖像識(shí)別算法的精度，降低噪聲對(duì)絕緣子圖像輪廓提取的影響并使輪廓更加明顯，需要對(duì)圖像進(jìn)行降噪和銳化的預(yù)處理操作。

本文采用中值濾波降噪法，其是一種常用的非線性平滑濾波器，原理是把數(shù)字圖像中一點(diǎn)的值用以該點(diǎn)領(lǐng)域中各點(diǎn)值的中值替換。其主要功能是讓周圍象素灰度值相差較大的像素改取為與周圍的像素值接近的值，從而消除孤立的噪聲點(diǎn)。中值濾波器不但能去除噪聲，而且能保護(hù)圖像的邊緣，從而降低圖像的失真度。

圖像銳化是指增強(qiáng)圖像邊緣及灰度跳變部分，以此使得圖像清晰。根據(jù)其算子的不同，圖像銳化操作也分為多類，現(xiàn)在普遍采用的是拉普拉斯算子。拉普拉斯銳化是根據(jù)圖像中某個(gè)像素的周圍像素到此像素的灰度跳變程度，它的依據(jù)是圖像像素的變化程度。當(dāng)某鄰域中心像素灰度低于它所在的領(lǐng)域內(nèi)其他像素的平均灰度時(shí)，此中心像素的灰度應(yīng)該被降低；反之此中心像素的灰度應(yīng)該被升高。以此來實(shí)現(xiàn)圖像的銳化處理。

拉普拉斯銳化圖像的具體原理如下

(4)

(5)

(6)

以上為一階微分法，能用來檢測(cè)圖像邊緣是否存在。

以下為二階微分法，即拉普拉斯算子可以確定邊緣的位置。

f(x+1,y)-f(x,y-1)

(7)

形式為式(7)的拉普拉斯算子的模板可用矩陣表示為

將算得的值替換原(x，y)處的像素值，可以找到類似邊界的地方，最后根據(jù)式(8)銳化圖像。銳化效果如圖2所示，可以看出銳化后圖像更為清晰，便于接下來進(jìn)行輪廓提取。

圖2 銳化圖像

(8)

2.2 絕緣子輪廓檢測(cè)

絕緣子圖像經(jīng)過上述預(yù)處理后，即可進(jìn)行輪廓提取。先對(duì)圖像進(jìn)行二值化操作，再對(duì)二值化圖片進(jìn)行輪廓提取，判定黑白交接處為邊緣輪廓。由于相機(jī)對(duì)絕緣子拍攝角度的影響，對(duì)圖像進(jìn)行拉伸處理，突出輪廓的弧度以便后續(xù)的輪廓相似度對(duì)比。圖像二值化的公式為

(9)

式中：r代表圖像像素點(diǎn)的灰度值；0表示最黑；255表示最白；A、B分別代表灰度值的兩個(gè)邊界閾值。二值化結(jié)果如圖3所示。

圖3 二值化結(jié)果

2.3 絕緣子單片輪廓定位

為了尋找到最佳的絕緣子各單片輪廓，對(duì)每次二值化邊緣檢測(cè)后的輪廓進(jìn)行分析，設(shè)定單片輪廓大小和數(shù)量作為標(biāo)定的輪廓數(shù)據(jù)，將檢測(cè)到的輪廓數(shù)據(jù)，即單片輪廓長(zhǎng)寬和單片輪廓數(shù)量，與設(shè)定的值相比較，自動(dòng)調(diào)節(jié)圖像二值化操作的閾值。A的初始值為60，B的初始值為255，此處的自動(dòng)調(diào)節(jié)閾值是對(duì)A進(jìn)行調(diào)節(jié)，使其值從60向250進(jìn)行遞增變化，每次遞增步長(zhǎng)值為1，直到檢測(cè)到符合要求的絕緣子圖像的單片輪廓。若未檢測(cè)到要求的輪廓，則降低輪廓數(shù)量要求，并重復(fù)上述方法進(jìn)行輪廓檢測(cè)。如圖4所示，對(duì)于檢測(cè)到符合要求的絕緣子圖像的單片輪廓，保留其弧形區(qū)域，即圖4中的每片輪廓的左半邊區(qū)域，剩下的區(qū)域用直線段對(duì)保留的弧形區(qū)域首尾進(jìn)行連接。

圖4 二值化邊緣檢測(cè)及輪廓提取結(jié)果

2.4 絕緣子輪廓相似度對(duì)比

對(duì)于輪廓數(shù)不足設(shè)定數(shù)量的輪廓圖，計(jì)算每片絕緣子輪廓質(zhì)心及相鄰質(zhì)心的距離。根據(jù)距離信息判斷絕緣子是否存在缺片故障。對(duì)于輪廓數(shù)滿足要求以及距離計(jì)算未發(fā)現(xiàn)異常的輪廓圖，進(jìn)行相似度對(duì)比判斷絕緣子是否存在缺陷。

輪廓相似度對(duì)比的原理是基于圖像的7個(gè)Hu不變矩，對(duì)上述方法提取到的絕緣子單片輪廓保留結(jié)果，選取其中一片輪廓與其他輪廓兩兩進(jìn)行相似度對(duì)比，得到一組數(shù)據(jù)并計(jì)算標(biāo)準(zhǔn)偏差，然后換一片輪廓與其他輪廓兩兩進(jìn)行相似度對(duì)比，再得到一組數(shù)據(jù)并計(jì)算標(biāo)準(zhǔn)偏差，直到所有單片輪廓都與其他輪廓兩兩比較完，比較得到最大標(biāo)準(zhǔn)偏差。輪廓相似度對(duì)比所得值越大表示兩輪廓不相似程度越大。

矩是描述圖像特征的算子，它可用于圖像分析領(lǐng)域并用于圖像特征的提取。常見的矩算子可分為以下幾種：幾何矩、復(fù)數(shù)矩、旋轉(zhuǎn)矩和正交矩。其中幾何矩提出的時(shí)間最早且對(duì)它的研究最為充分。幾何矩主要表現(xiàn)了圖像區(qū)域的幾何特征，由于其具有平移、旋轉(zhuǎn)、大小等特性的不變特征，所以又稱其為不變矩。對(duì)于圖像的不變特征屬性，Hu教授在1962年提出了7個(gè)不變矩(簡(jiǎn)稱為Hu矩)[15]。在圖像處理中，幾何不變矩可作為一個(gè)重要的特征對(duì)圖像進(jìn)行比對(duì)等操作。

一幅數(shù)字圖像f(x，y)的二維(p+q)階矩定義為

(10)

式中：p，q=0，1，2，…。

相應(yīng)中心矩定義為

(11)

歸一化(p+q)階中心矩定義為

(12)

可由以上公式推導(dǎo)出以下7個(gè)對(duì)縮放、平移、旋轉(zhuǎn)和鏡像都不敏感的二維不變矩集合及7個(gè)Hu不變矩。

φ1=φ20+φ02

(13)

(14)

φ3=(φ30-3φ12)2+(3φ21-φ03)2

(15)

φ4=(φ30+φ12)2+(φ21+φ03)2

(16)

φ5=(φ30-3φ12)(φ30+φ12)[(φ30+φ12)2-

3(φ21+φ03)2]+(3φ21-φ03)(φ21+φ03)·

[3(φ30+φ12)2-(φ21+φ03)2]

(17)

φ6=(φ20-φ02)[(φ30+φ12)2-(φ21+φ03)2]+

4φ11(φ30+φ12)(φ21+φ03)

(18)

φ7=(3φ21-φ03)(φ30+φ21)[(φ30+φ12)2-

3(φ21+φ03)2]+(3φ12-φ30)(φ21+φ03)

[3(φ30+φ12)2-(φ21+φ03)2]

(19)

對(duì)于得到的7個(gè)Hu不變矩，通過式(20)計(jì)算如A，B兩個(gè)輪廓之間的相似度，0為兩個(gè)輪廓完全相似，其值越大越不相似。選取其中一片絕緣子輪廓與其他輪廓進(jìn)行一一對(duì)比相似度，得到一組輪廓相似度數(shù)據(jù)，對(duì)該數(shù)據(jù)按照式(21)計(jì)算標(biāo)準(zhǔn)偏差。

(20)

(21)

3 實(shí)驗(yàn)結(jié)果與分析

3.1 基于EAST模型的絕緣子區(qū)域檢測(cè)

為了驗(yàn)證基于EAST的絕緣子檢測(cè)模型的可靠性，采用實(shí)際鐵路拍攝的3 500張接觸網(wǎng)圖像為樣本集。將該樣本集隨機(jī)分為訓(xùn)練集(2 000張)和測(cè)試集(1 500張)。選用ResNet-50作為特征提取網(wǎng)絡(luò)，運(yùn)行環(huán)境為Intel Core i7-7700和NVDIA TITAN Xp，訓(xùn)練階段迭代次數(shù)24 000次。

如圖5所示，檢測(cè)階段，待檢測(cè)圖像通過特征提取網(wǎng)絡(luò)提取多層級(jí)特征并進(jìn)行特征融合，根據(jù)得到的融合結(jié)果預(yù)測(cè)掩膜圖，最后與待檢測(cè)圖像進(jìn)行掩膜操作得到結(jié)果圖。

圖5 檢測(cè)過程示意

傳統(tǒng)的目標(biāo)檢測(cè)方法對(duì)圖像一致性要求較高，高鐵接觸網(wǎng)圖像由于拍攝角度不同存在形變、拍攝距離不同存在多種尺度、光照條件不同及背景干擾等原因，導(dǎo)致傳統(tǒng)方法難以達(dá)到較高的精度。而EAST模型使用卷積神經(jīng)網(wǎng)絡(luò)提取圖像由淺到深不同層級(jí)的特征，與傳統(tǒng)方法相比，對(duì)形變、多尺度等不同場(chǎng)景的適應(yīng)性更強(qiáng)。圖6展示了本文模型對(duì)于正反兩種定位結(jié)構(gòu)、單一/多目標(biāo)、不同尺度、存在遮擋等情況下的檢測(cè)結(jié)果。

圖6 部分檢測(cè)結(jié)果

準(zhǔn)確率評(píng)價(jià)標(biāo)準(zhǔn)為：預(yù)測(cè)絕緣子區(qū)域和絕緣子真實(shí)區(qū)域交并比超過75%即為預(yù)測(cè)正確，具體計(jì)算如式(22)所示。

(22)

在測(cè)試集1 500張圖像上，準(zhǔn)確率達(dá)到了97.1%。除檢測(cè)精度以外，檢測(cè)速度也是衡量模型的一項(xiàng)重要指標(biāo)。經(jīng)過實(shí)驗(yàn)，在本文運(yùn)行環(huán)境下，基于EAST模型的絕緣子區(qū)域檢測(cè)算法檢測(cè)每張圖像的平均時(shí)長(zhǎng)為0.37 s，基本達(dá)到了高鐵接觸網(wǎng)場(chǎng)景下實(shí)時(shí)檢測(cè)的要求。

從實(shí)驗(yàn)結(jié)果可以看出，基于EAST模型的檢測(cè)算法較為魯棒，在不同場(chǎng)景下可以保證一個(gè)較高的檢測(cè)精度和較快的檢測(cè)速度，實(shí)現(xiàn)了高精度實(shí)時(shí)絕緣子區(qū)域檢測(cè)識(shí)別。

3.2 基于Hu不變矩法的絕緣子故障檢測(cè)

根據(jù)前文所述流程進(jìn)行故障檢測(cè)，檢測(cè)步驟分為圖像預(yù)處理(降噪和銳化)，圖像二值化，提取絕緣子每片輪廓，逐片計(jì)算絕緣子輪廓的Hu矩，兩兩計(jì)算其Hu矩的相似度以及最大標(biāo)準(zhǔn)偏差，并與閾值進(jìn)行比較，大于閾值則認(rèn)為存在故障。

正常絕緣子輪廓提取結(jié)果如圖7(a)所示，其輪廓相似度標(biāo)準(zhǔn)偏差最大值為0.304，具體結(jié)果見表1，這里的數(shù)據(jù)是選取了第2片絕緣子輪廓與其他絕緣子輪廓一一對(duì)比相似度，可見其值均較小，其標(biāo)準(zhǔn)偏差也較小，因此可判定該絕緣子無缺陷。

圖7 測(cè)試圖像及輪廓提取

表1 輪廓相似度(標(biāo)準(zhǔn)偏差0.304)

如圖7(b)所示缺陷絕緣子，可以看到其第9片絕緣子片有缺損情況，對(duì)其輪廓圖像進(jìn)行相似度計(jì)算，其輪廓相似度標(biāo)準(zhǔn)偏差最大值為0.661，具體結(jié)果見表2，這里的數(shù)據(jù)是選取了第8片絕緣子輪廓與其他絕緣子輪廓一一對(duì)比相似度，當(dāng)與第9片絕緣子做對(duì)比時(shí)，其值過大，可判定第9片絕緣輪廓與所選第8片絕緣子輪廓不相似，絕緣子存在缺陷。

表2 輪廓相似度(標(biāo)準(zhǔn)偏差0.661)

如圖7(c)所示缺陷絕緣子，可以看到其自左向右第4片絕緣子有較嚴(yán)重缺損情況，其輪廓提取圖像中只包含10片輪廓，計(jì)算其輪廓間距見表3，可見編號(hào)為3的間距明顯過大，進(jìn)一步確認(rèn)絕緣子存在缺陷。

表3 絕緣子片間距

圖7(d)所示為正常絕緣子，其輪廓相似度計(jì)算結(jié)果見表4，其表面未帶有缺陷，標(biāo)準(zhǔn)偏差卻達(dá)到了較高的3.0。造成這樣結(jié)果的原因是該絕緣子圖像拍攝角度較正，對(duì)該絕緣子提取到的輪廓偏窄，細(xì)微的不同也會(huì)對(duì)相似度計(jì)算產(chǎn)生較大影響，從而引起誤判。

表4 輪廓相似度(標(biāo)準(zhǔn)偏差3.0)

如圖7(e)所示缺陷絕緣子，可以看到其第1片絕緣子片左側(cè)有臟污情況，其輪廓相似度計(jì)算結(jié)果見表5，標(biāo)準(zhǔn)偏差僅為為0.264。由輪廓提取圖可以看出，該缺陷對(duì)輪廓提取未造成影響。

表5 輪廓相似度(標(biāo)準(zhǔn)偏差0.264)

整個(gè)測(cè)試數(shù)據(jù)共選取了圖片1 050張，其中正常絕緣子1 000張，缺陷絕緣子50張。設(shè)定相似度數(shù)據(jù)的最大標(biāo)準(zhǔn)偏差閾值為0.42，超過0.42的為有缺陷，檢測(cè)結(jié)果見表6，誤報(bào)94張，漏報(bào)2張。分析誤報(bào)圖片，主要分為以下兩類：一是質(zhì)量較低，圖像較為模糊，提取不到有效的輪廓信息；二是拍攝角度較正，絕緣子圖像提取到的輪廓較狹窄，稍有不同就會(huì)得到較高的相似度偏差，從而被誤判為缺陷。分析漏報(bào)的2張圖片，有以下特點(diǎn)：缺陷不在絕緣子片上，無法通過輪廓相似度進(jìn)行區(qū)分。

表6 檢測(cè)結(jié)果統(tǒng)計(jì)

4 結(jié)束語

為解決高鐵接觸網(wǎng)絕緣子故障檢測(cè)問題，本文引入深度學(xué)習(xí)EAST模型，實(shí)現(xiàn)較為魯棒、快速、高精度的絕緣子定位。故障檢測(cè)階段，采用二值化邊緣檢測(cè)提取絕緣子每片輪廓，根據(jù)Hu不變矩進(jìn)行相似度對(duì)比，通過相似度差異判斷絕緣子是否存在故障。本文提出的基于深度學(xué)習(xí)的定位方法較傳統(tǒng)方法性能有較大提升，故障檢測(cè)方法通過對(duì)同一絕緣子不同片相似度判斷絕緣子狀態(tài)，避免了接觸網(wǎng)圖像一致性較差的問題，為高鐵接觸網(wǎng)絕緣子故障檢測(cè)提供一種新思路。