任爽，商繼財，楊凱，祁繼明，魏翔宇，蔡永根

(東北石油大學(xué) 電氣信息工程學(xué)院，黑龍江 大慶 163318)

絕緣子是輸電線路中實現(xiàn)電氣絕緣和機(jī)械固定功能的基本元件，也是輸電線路巡檢工作中的重要檢測對象。受自然災(zāi)害和環(huán)境因素的影響，絕緣子很容易出現(xiàn)自爆現(xiàn)象，這直接影響著整個電力系統(tǒng)的安全運(yùn)行[1-2]。傳統(tǒng)輸電線路巡檢方式為工作人員親臨現(xiàn)場巡視線路元件故障，這種巡檢方式精度高，但是受天氣和地形因素影響較大，巡檢工作費(fèi)時費(fèi)力。隨著我國電網(wǎng)智能化水平的提高，具有低成本、易操縱和高效率等優(yōu)勢的無人機(jī)巡檢逐步取代人工巡檢[3]，計算機(jī)視覺領(lǐng)域的不斷突破也賦予無人機(jī)巡檢極大的發(fā)展?jié)摿Α?/p>

近年來，針對絕緣子識別及缺陷檢測研究，國內(nèi)發(fā)展極為迅速。武建華等[4]通過改進(jìn)YOLOv3網(wǎng)絡(luò)可以準(zhǔn)確判斷出紅外圖像中絕緣子的故障發(fā)熱點(diǎn)。麥俊佳等[5]構(gòu)建了具有2級卷積神經(jīng)網(wǎng)絡(luò)的檢測模型，可進(jìn)行絕緣子自爆和金屬銷釘缺失的自動識別。唐睿等[6]在YOLOv3模型的基礎(chǔ)上加入了空間金字塔池化(spatial pyramid pooling,SPP)模塊，在識別準(zhǔn)確率上提高了6.4%，但檢測速度下降了2.8%。丘靈華等[7]提出基于“FPN+Cascade- RCNN+RoIAlign”的檢測模型，在測試中取得了每張近0.45 s的識別速度。張欣等[8]提出一種改進(jìn)的Cascade R-CNN方法，可有效檢測絕緣子自爆、電弧燒傷和傘裙破損3種故障。王孝余等[9]使用YOLOv3識別絕緣子圖像，通過水平投影法定位絕緣子缺陷位置，在大量數(shù)據(jù)作為測試集的情況下達(dá)到了很好的檢測效果，但實驗時間較長。唐小煜等[10]對絕緣子串進(jìn)行語義分割，然后基于YOLOv4模型進(jìn)行絕緣子缺陷定位，測試時檢測自爆絕緣子的識別精度達(dá)0.96，研究中沒有絕緣子識別，可在這方面加以改進(jìn)。針對上述研究的不足，本文以單階段目標(biāo)檢測模型YOLOv4為基礎(chǔ)，對絕緣子識別及缺陷定位展開研究，重點(diǎn)介紹YOLOv4基礎(chǔ)模型、改進(jìn)方法和實驗對比結(jié)果。該模型可以有效減少參數(shù)量，節(jié)約訓(xùn)練時間，提高絕緣子檢測精度，具有一定的實際應(yīng)用意義。

1 YOLOv4基礎(chǔ)模型

Joseph Redmon等[11]提出端到端的實時目標(biāo)檢測模型YOLO，在此基礎(chǔ)上相繼衍生出YOLOv2[12]和YOLOv3模型[13]。之后，Alexey Bochkovskiy等[14]提出YOLOv4模型，與其他經(jīng)典檢測模型相比，其檢測速度和精度都大大提高。

YOLOv4檢測模型由主干網(wǎng)絡(luò)(backbone)、特征融合網(wǎng)絡(luò)(neck)和檢測頭網(wǎng)絡(luò)(head)3部分組成。

1.1 主干網(wǎng)絡(luò)

主干網(wǎng)絡(luò)CSPDarknet-53由Darknet-53網(wǎng)絡(luò)和跨級局部網(wǎng)絡(luò)(cross stage partial network，CSPNet)組成。

a)CSPDarknet-53：YOLOv4模型中提出了特征提取網(wǎng)絡(luò)CSPDarknet-53，其中共52層卷積用作網(wǎng)絡(luò)主體部分，最后為1個全連接層，如圖1所示。其主要結(jié)構(gòu)是5組重復(fù)的殘差單元，重復(fù)次數(shù)分別為1、2、8、8、4，表示為“[1，2，8，8，4]”，下同。這種網(wǎng)絡(luò)結(jié)構(gòu)更好地利用了圖像處理單元(graphic processing unit，GPU)，與其他網(wǎng)絡(luò)結(jié)構(gòu)相比，它對于目標(biāo)的檢測速度和精度都有很大提升。

b)CSPNet：Chien-Yao Wang等提出使用CSPNet來減少計算量并適應(yīng)梯度變化[15]，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。CSPNet是CSPDarknet53網(wǎng)絡(luò)中殘差塊的內(nèi)部結(jié)構(gòu)，主要思想是：將基礎(chǔ)層的特征分為2部分，一部分經(jīng)過卷積處理，然后通過跨階層次結(jié)構(gòu)與另一部分合并，這不僅可以提高卷積網(wǎng)絡(luò)的學(xué)習(xí)能力，還可以減少計算瓶頸和內(nèi)存消耗。

圖1 CSPDarknet53網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 CSPDarknet53 network architecture

1.2 特征融合網(wǎng)絡(luò)

特征融合網(wǎng)絡(luò)由空間金字塔池化網(wǎng)絡(luò)(spatial pyramid pooling network，SPP-net)和路徑聚合網(wǎng)絡(luò)(path aggregation network,PANet)組成。SPP-net能夠增加感受野，融合網(wǎng)絡(luò)在不同尺度上提取到的特征，這可以提高深度網(wǎng)絡(luò)的識別精度；PANet使用自下而上的路徑增強(qiáng)，拼接低維度特征與高維度特征。這種方式充分利用了底層特征，使得輸出具有更多的特征信息，有利于網(wǎng)絡(luò)進(jìn)行分類和回歸。

1.3 檢測頭網(wǎng)絡(luò)

檢測頭網(wǎng)絡(luò)使用YOLOv3的檢測頭，它負(fù)責(zé)對檢測頭網(wǎng)絡(luò)從主干網(wǎng)絡(luò)提取和融合的特征進(jìn)行檢測，起到分類和定位的作用。圖像經(jīng)過YOLOv4網(wǎng)絡(luò)處理后，得到3個特征輸出層，通過檢測頭網(wǎng)絡(luò)2層卷積的處理，得到特征層的預(yù)測結(jié)果。

2 改進(jìn)YOLOv4的絕緣子檢測模型

2.1 網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)

2.1.1 特征提取網(wǎng)絡(luò)

近年來，為了滿足資源受限的嵌入式系統(tǒng)的使用需求，SqueezeNet、MobileNet和ShuffleNet等系列輕量化網(wǎng)絡(luò)被提出并應(yīng)用于嵌入式平臺[16]。

MobileNetV1利用深度可分離卷積構(gòu)建輕量型深度神經(jīng)網(wǎng)絡(luò)，并引入2個壓縮超參數(shù)減小網(wǎng)絡(luò)尺寸[17]，將其應(yīng)用于目標(biāo)檢測，可有效減少網(wǎng)絡(luò)計算量和模型參數(shù)量。MobileNetV1采用分離卷積的形式將標(biāo)準(zhǔn)卷積分解為深度卷積(depthwise convolution)和逐點(diǎn)卷積(pointwise convolution)[18]。如圖2所示，深度卷積的計算很簡單，它對輸入特征的每個通道分別使用1個卷積核，然后將輸出進(jìn)行拼接。逐點(diǎn)卷積即為1×1卷積，它可以改變輸出通道的數(shù)量，并融合深度卷積輸出的特征圖。與標(biāo)準(zhǔn)卷積相比，深度可分離卷積的參數(shù)計算量會減少約2/3，大大提高了網(wǎng)絡(luò)計算效率。

圖2 深度可分離卷積Fig.2 Depthwise separable convolution

在MobileNetV1基本結(jié)構(gòu)中，除了第1層為標(biāo)準(zhǔn)卷積，其他都是深度可分離卷積。在卷積層后接平均池化層和全連接層，最后利用Softmax激活函數(shù)將輸出歸一化到0～1的概率值，根據(jù)概率值可得到圖像預(yù)測結(jié)果。實驗表明，使用MobileNetV1代替CSPDarknet53作為主干網(wǎng)絡(luò)進(jìn)行特征提取，會大大減少模型參數(shù)量，但檢測精度也會下降。因此，本文結(jié)合MobileNetV1和CSPDarknet53這2個檢測框架，在減少模型參數(shù)量的基礎(chǔ)上，提高模型的特征提取能力。

為了保證MobileNetV1和CSPDarknet53輸出的特征層尺度一致，在MobileNetV1的基本結(jié)構(gòu)中保留前面的卷積層，去掉池化層及其后邊的結(jié)構(gòu)，輸出3個特征層尺寸，如圖3所示。

圖3 MobileNetV1網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 MobileNetV1 network architecture

2.1.2 PANet改進(jìn)

在PANet中，高維度特征下采樣后與下一層特征拼接，低維度特征上采樣后與上一層特征拼接，充分利用了底層特征信息。精簡PANet結(jié)構(gòu)，僅保留其上采樣部分，同時使用深度可分離卷積替換3×3標(biāo)準(zhǔn)卷積，可在幾乎不損失精度的情況下提高模型計算效率。

2.1.3 解耦頭

YOLOv4基礎(chǔ)網(wǎng)絡(luò)中的檢測頭結(jié)構(gòu)較簡單，會損失檢測精度。替換為解耦頭(decoupled head)，可提高檢測頭的表達(dá)能力，加快網(wǎng)絡(luò)收斂速度。解耦頭網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

以輸入特征尺寸(13，13，512)為例，對目標(biāo)框的類別預(yù)測輸出為Cls_out，判斷目標(biāo)框是前景還是背景信息，輸出為Obj_out，目標(biāo)框的坐標(biāo)信息輸出為Reg_out。將3個預(yù)測信息拼接融合得到(13，13，7)的特征信息，同理可得輸入尺寸為(26，26，256)和(52，52，128)的特征信息(26，26，7)和(52，52，7)。對輸出信息進(jìn)行重塑操作，總體拼接后可得預(yù)測框的二維向量信息，用于后續(xù)損失函數(shù)計算和網(wǎng)絡(luò)參數(shù)更新。

2.1.4 整體模型

改進(jìn)YOLOv4的絕緣子檢測模型如圖5所示。將CSPDarknet53網(wǎng)絡(luò)中重復(fù)卷積的操作次數(shù)由[1，2，8，8，4]變?yōu)閇1，1，1，1，1]，目的是在減少模型參數(shù)量的基礎(chǔ)上，最大限度地保留其特征提取能力。使用CSPDarknet53和MobileNetV1網(wǎng)絡(luò)同時進(jìn)行特征提取，輸出的特征層分別進(jìn)行堆疊處理，并使用1×1卷積將其通道數(shù)縮減為原來的一半，降低模型計算量。特征層1的輸出進(jìn)入SPP-net，經(jīng)過1×1、5×5、9×9和13×13這4種卷積核的最大池化處理后進(jìn)行拼接。在PANet中，低維度特征上采樣后與上一層特征拼接，使用解耦頭預(yù)測輸出。

2.2 模型訓(xùn)練改進(jìn)

2.2.1 訓(xùn)練策略

遷移學(xué)習(xí)是一種機(jī)器學(xué)習(xí)方法，是將一個領(lǐng)域(源領(lǐng)域)的知識遷移到另一個領(lǐng)域(目標(biāo)領(lǐng)域)，使得目標(biāo)領(lǐng)域能夠取得更好的學(xué)習(xí)效果[19]。本文利用基于特征的遷移學(xué)習(xí)方法實現(xiàn)不同特征空間之間的知識遷移，可有效減少訓(xùn)練時間[20]。使用PASCAL VOC數(shù)據(jù)集訓(xùn)練完成的YOLOv4模型作為源領(lǐng)域，將其訓(xùn)練模型參數(shù)遷移至絕緣子目標(biāo)檢測領(lǐng)域，然后利用數(shù)據(jù)集進(jìn)行2階段訓(xùn)練。第1階段為凍結(jié)訓(xùn)練，先凍結(jié)主干網(wǎng)絡(luò)的模型參數(shù)，訓(xùn)練其余結(jié)構(gòu)；第2階段解凍主干網(wǎng)絡(luò)的所有參數(shù)進(jìn)行訓(xùn)練，最終得到模型即可進(jìn)行絕緣子識別及缺陷檢測。

2.2.2 數(shù)據(jù)增強(qiáng)

為了增加絕緣子圖像數(shù)據(jù)的多樣性，使用Mosaic數(shù)據(jù)增強(qiáng)方法豐富圖像背景，主要思想是隨機(jī)裁剪4張圖片，拼接到1張圖片上作為訓(xùn)練數(shù)據(jù)，可增強(qiáng)模型的定位能力，提高訓(xùn)練效率。

在模型中加入Mosaic訓(xùn)練迭代參數(shù)，改變數(shù)據(jù)增強(qiáng)方法在迭代過程中的使用占比。實驗表明，參數(shù)設(shè)置為0.7對絕緣子的檢測效果最好，即在100次迭代過程中，前70次進(jìn)行Mosaic數(shù)據(jù)增強(qiáng)訓(xùn)練，后30次關(guān)閉此進(jìn)程。

2.2.3 學(xué)習(xí)率設(shè)置

在凍結(jié)訓(xùn)練階段，初始學(xué)習(xí)率設(shè)為0.001，可以加快模型的收斂。在解凍訓(xùn)練階段，初始學(xué)習(xí)率設(shè)為0.000 1，主要是進(jìn)行模型的微調(diào)。兩階段訓(xùn)練時學(xué)習(xí)率均采用等間隔調(diào)整方法，調(diào)整系數(shù)設(shè)為0.94，迭代1次即更新1次學(xué)習(xí)率。

3 實驗結(jié)果與分析

3.1 實驗介紹

3.1.1 數(shù)據(jù)集

實驗數(shù)據(jù)采用中國電力線路絕緣子數(shù)據(jù)集(Chinese power line insulator dataset，CPLID)數(shù)據(jù)，包含絕緣子圖像848張，分辨率為1 152×864。針對現(xiàn)有數(shù)據(jù)集中的缺陷絕緣子圖像進(jìn)行裁剪和旋轉(zhuǎn)操作，達(dá)到豐富缺陷絕緣子樣本的目的。使用Albumentations工具對圖像進(jìn)行翻轉(zhuǎn)和調(diào)色操作，進(jìn)一步擴(kuò)充絕緣子數(shù)據(jù)集至2 678張。部分圖像數(shù)據(jù)展示如圖6所示。

圖6 數(shù)據(jù)集圖示Fig.6 Illustration of data set

使用Labelme圖片標(biāo)注工具標(biāo)注絕緣子數(shù)據(jù)集圖像，如圖7所示。輸入圖像讀取部分所需標(biāo)注采用VOC2012格式，它支持的文件讀取格式為XML，使用Labelme標(biāo)注后產(chǎn)生的所有信息文件為json格式，利用Python將其轉(zhuǎn)化為xml格式文件后進(jìn)行實驗。標(biāo)注文件中包含文件名、圖像尺寸、檢測目標(biāo)的坐標(biāo)和分類信息等。

圖7 絕緣子圖像標(biāo)注示例Fig.7 Example of insulator image annotation

3.1.2 參數(shù)設(shè)置

本文使用的訓(xùn)練參數(shù)見表1，包括兩階段訓(xùn)練批處理尺寸、迭代次數(shù)和輸入圖像尺寸等。在凍結(jié)訓(xùn)練階段迭代40次，不進(jìn)行參數(shù)更新，批處理尺寸設(shè)為4。解凍訓(xùn)練階段迭代60次，批處理尺寸設(shè)為2。

表1 實驗參數(shù)Tab.1 Experimental parameters

3.1.3 實驗平臺配置

實驗平臺配置如下：GPU為RTX 3060 6G，操作系統(tǒng)為Windows10，深度學(xué)習(xí)軟件采用Pytorch架構(gòu)。

3.1.4 評價標(biāo)準(zhǔn)

本文采用平均精度均值(mean average precision，MAP)來評價絕緣子識別及缺陷檢測的準(zhǔn)確度，使用平均精確率(average precision，AP)表示每一類的識別效果。

召回率R是用來評價查準(zhǔn)率的指標(biāo)，其表達(dá)式為

(1)

式中：TP為被正確劃分為正樣本個數(shù)；FN為被錯誤劃分的正樣本數(shù)。

精確率P是用來評價查準(zhǔn)率的指標(biāo)，其表達(dá)式為

(2)

式中FP為被錯誤劃分的負(fù)樣本數(shù)。

AP值定義為P-R曲線上所有精確度的均值。mAP為所有類別AP的平均值，其計算公式為

(3)

式中：AAPi為第i類別的AP值；n為類別數(shù)。

3.2 實驗結(jié)果分析

測試集共有268張絕緣子圖像，包括316個絕緣子和183個缺陷。實驗使用閾值設(shè)為0.5時的絕緣子識別及缺陷檢測平均精度來衡量模型的檢測效果。YOLOv4基礎(chǔ)模型訓(xùn)練的mAP為70.74%，在訓(xùn)練中加入遷移學(xué)習(xí)方法后檢測精度大幅提升。

表2為加入各改進(jìn)方法后絕緣子的檢測效果。實驗所采用的方法使YOLOv4基礎(chǔ)模型的內(nèi)存占用減少了69.16%，在節(jié)約訓(xùn)練時間的同時，提高了模型對于絕緣子識別及缺陷檢測的能力。

表2 改進(jìn)方法檢測效果Tab.2 Detection effect of improved method

表3對比了改進(jìn)后模型與其他經(jīng)典模型絕緣子檢測效果。改進(jìn)后模型的mAP可達(dá)98.17%，較YOLOv4基礎(chǔ)模型提高4.3%，對于單張絕緣子圖像的識別速度提升了5 ms。

表3 模型對比Tab.3 Model contrast

由式(1)、(2)可計算出絕緣子識別和缺陷定位在不同置信度下的精度和召回率。當(dāng)置信度設(shè)為0.5時，該模型對于絕緣子缺陷定位的精度可達(dá)99.21%，對于絕緣子識別的精度為97.13%，其圍成的面積即AP值如圖8所示。

圖8 P-R曲線展示測試結(jié)果Fig.8 Test results shown by P-R curve

自制絕緣子圖像視頻檢驗?zāi)Ｐ偷淖R別效果如圖9所示。視頻時長1 min，包含60張絕緣子圖像。可以看出，該模型對于絕緣子的識別及缺陷檢測效果較好，但是難以識別極小目標(biāo)絕緣子和被遮擋的絕緣子。

圖9 視頻測試結(jié)果Fig.9 Video test results

4 結(jié)束語

本文基于YOLOv4網(wǎng)絡(luò)基本架構(gòu)，使用“CSPDarknet53+MobileNetV1”作為主干特征提取網(wǎng)絡(luò)，精簡PANet網(wǎng)絡(luò)結(jié)構(gòu)并使用解耦頭作為檢測頭，可有效提高模型的檢測精度及效率。動態(tài)視頻實驗表明本文所提方法可進(jìn)行實時絕緣子識別及缺陷檢測，但是對于極小目標(biāo)絕緣子的識別能力有待提高，所以對圖像進(jìn)行分塊處理和放大識別等方法將成為未來的重點(diǎn)研究方向。