高偉，周宸，郭謀發(fā)

(福州大學(xué) 電氣工程與自動化學(xué)院，福州 350108)

0 引 言

絕緣子作為輸電線路中起著機(jī)械支撐和電氣絕緣作用的部件，是輸電線路中不可缺少的重要組成元件。因絕緣子終年曝露于戶外，極易遭受自然氣候災(zāi)害、機(jī)械負(fù)荷及人為因素的破壞，成為易發(fā)生缺陷的部件之一[1]。

絕緣子缺陷的快速檢測一直是國內(nèi)外學(xué)術(shù)界研究的熱點問題。傳統(tǒng)的檢測方法是人工定期對輸電線路進(jìn)行巡視和觀測[2]。該方法雖然簡單，但效率不高，而且還需要借助外部儀器測量，如紅外熱成像儀[3]、超聲波儀[4]等，在觀察角度和光線的影響下，很容易出現(xiàn)誤判。

近幾年來，以低成本、易操縱、易懸停為特點的無人駕駛飛機(jī)逐漸應(yīng)用于輸電線路的巡檢工作[5]。無人機(jī)巡檢雖然可獲得大量詳實的輸電線路圖像，后期卻需要人工進(jìn)行圖像的閱讀和分析，工作量巨大。此外，工作人員由于自身專業(yè)水平的參差不齊以及視覺疲勞而導(dǎo)致的精力不足，常常容易判斷疏漏。為解決這一問題，機(jī)器視覺和機(jī)器學(xué)習(xí)自動辨識圖像成為當(dāng)前研究的熱門，其本質(zhì)是利用算法代替人眼對圖像進(jìn)行閱讀、處理和識別。此方法無需人工處理數(shù)據(jù)和經(jīng)驗判斷，提高了巡檢效率，增強(qiáng)了電網(wǎng)的安全可靠性[6-8]。

基于機(jī)器視覺的絕緣子缺陷檢測方法需要在圖像中定位絕緣子的位置，并將其與背景進(jìn)行分割，透過特征提取或規(guī)則設(shè)定來區(qū)分正常和缺陷絕緣子。文獻(xiàn)[9]使用最大類間方差法對絕緣子圖像進(jìn)行閾值分割，并用絕緣子對應(yīng)位置的像素點個數(shù)來定位絕緣子的缺陷位置。文獻(xiàn)[10]根據(jù)絕緣子片在圖像中呈現(xiàn)橢圓形的特點，對分割后的絕緣子片輪廓點進(jìn)行橢圓擬合，以缺陷絕緣子擬合橢圓誤差大于正常絕緣子作為判據(jù)，區(qū)分正常與缺陷絕緣子。文獻(xiàn)[11]對絕緣子片進(jìn)行獨立分割，根據(jù)分割后相鄰絕緣子片間的歐氏距離判斷其是否存在缺陷，文獻(xiàn)[12]首先區(qū)分出絕緣子片是否重合或分離。對于重合的絕緣子片，沿軸向切成條狀，然后按照分離式絕緣子篇的方式處理，即以固定的歐氏距離分割單個絕緣子片。最后，根據(jù)分割后的絕緣子片中心點連線是否為直線，對其缺陷進(jìn)行判斷。基于機(jī)器視覺的缺陷檢測方法實現(xiàn)簡單，在特定條件下能快速地定位缺陷位置，但也存在局限：算法的準(zhǔn)確率嚴(yán)重依賴分割結(jié)果。由于輸電線路的絕緣子多處于崇山峻嶺之中，背景環(huán)境復(fù)雜，光線干擾嚴(yán)重，這些因素會嚴(yán)重影響分割質(zhì)量。同時，人為確定的缺陷識別特征缺乏魯棒性，當(dāng)背景環(huán)境、拍攝角度、缺陷位置等發(fā)生變化時，將導(dǎo)致識別精確度下降。在圖像處理方面，機(jī)器學(xué)習(xí)已經(jīng)取得了很大的成功，利用機(jī)器學(xué)習(xí)算法來檢測無人機(jī)航拍的絕緣子圖像和識別缺陷已逐漸成為電力領(lǐng)域中一種新的巡檢方法。文獻(xiàn)[13]先采用Faster R-CNN算法定位絕緣子位置，接著將AlexNet與VGG16相結(jié)合實現(xiàn)絕緣子缺陷檢測。然而，這種定位后再進(jìn)行缺陷辨識的方法在診斷程序上比較復(fù)雜，并且使用了區(qū)域建議網(wǎng)絡(luò)，使得檢測速度降低，實時性差。文獻(xiàn)[14]采用YOLOv2網(wǎng)絡(luò)進(jìn)行絕緣子定位，對定位的絕緣子通過垂直投影的曲線判別缺陷類型。但是，YOLOv2網(wǎng)絡(luò)對同一個預(yù)測框內(nèi)多個目標(biāo)識別能力差，而且文獻(xiàn)中提出的先定位再分類方案比較復(fù)雜，處理時間長。雖然機(jī)器學(xué)習(xí)算法能自適應(yīng)的從海量的航拍圖像中挖掘絕緣子的表層特征，對噪聲干擾有很強(qiáng)的魯棒性，但還存在諸多問題：

(1)缺陷檢測模型的目標(biāo)是既能準(zhǔn)確地辨識出缺陷又能滿足實時檢測的要求，但事實上，檢測速度與準(zhǔn)確率無法同時提升。

(2)在實際的應(yīng)用中，缺乏足夠數(shù)量的缺陷樣本，而充足的正負(fù)樣本是保證目標(biāo)檢測算法精確度的關(guān)鍵。

(3)缺陷本身比較微小，在圖像中表現(xiàn)為低分辨率目標(biāo)，經(jīng)過多次卷積后在特征圖中存在信息丟失的情況。

針對以上問題，本研究的主要貢獻(xiàn)為：

(1)提出了一種數(shù)據(jù)增強(qiáng)方法，通過分割圖像前景與新背景融合，豐富訓(xùn)練數(shù)據(jù)的背景與數(shù)量，保證有足夠的數(shù)據(jù)用于網(wǎng)絡(luò)訓(xùn)練。

(2)在YOLOv4模型的訓(xùn)練過程中，通過多階段遷移學(xué)習(xí)進(jìn)行訓(xùn)練并動態(tài)改變各階段的學(xué)習(xí)率，使訓(xùn)練后的模型整體性能得到提升。

(3)在YOLOv4模型的檢測過程中，通過改變輸出網(wǎng)絡(luò)結(jié)構(gòu)提高網(wǎng)絡(luò)檢測速度，對難以檢測的圖像通過SR-GAN生成高分辨率圖像后進(jìn)行檢查，提升檢測的準(zhǔn)確性。

1 數(shù)據(jù)增強(qiáng)

基于深度學(xué)習(xí)的缺陷檢測算法需要大量帶缺陷的樣本用于訓(xùn)練。針對缺陷樣本不足的問題，一般使用數(shù)據(jù)增強(qiáng)技術(shù)進(jìn)行處理。最常見的數(shù)據(jù)增強(qiáng)方式為對樣本進(jìn)行縮放、旋轉(zhuǎn)、翻轉(zhuǎn)。為了豐富數(shù)據(jù)樣本背景，需要將分割后的目標(biāo)融合各種不同的背景。本研究使用的數(shù)據(jù)增強(qiáng)步驟如圖1所示，分別為：1)圖像預(yù)處理；2)前景背景分割；3)前景與新背景融合；4)隨機(jī)數(shù)據(jù)增強(qiáng)。

圖1 缺陷絕緣子樣本的生成過程Fig.1 Generation process of defective insulator samples

無人機(jī)拍攝的圖像受制于現(xiàn)場環(huán)境條件，往往含有大量的噪聲以及背景帶來的干擾。為排除這些干擾對背景分割的負(fù)面影響，需要對圖像進(jìn)行預(yù)處理。一般會采用均值濾波與高斯濾波去除環(huán)境噪聲以提高圖像的對比度。接著使用Grabcut算法[15]結(jié)合模板匹配算法[16]對圖像進(jìn)行背景分割以獲得較好的分割效果，步驟如圖2所示。

圖2 分割算法的流程Fig.2 Flow of segmentation algorithm

具體步驟是：1)模板庫構(gòu)建。模板匹配算法需要先構(gòu)建一個模板庫，模板庫圖像為從現(xiàn)場圖像中提取出各尺度的絕緣子圖像。2)使用模板匹配算法對輸入圖像進(jìn)行處理。算法通過遍歷整張圖像，與模板庫圖像進(jìn)行對比，畫出與模板庫圖像相似部分的前景框?？蛑邪壳熬凹吧倭勘尘埃瑴p少大部分背景的影響。3)Grabcut算法分割。對模板匹配畫出的前景框通過Grabcut算法進(jìn)行分割，得到所需前景的邊界輪廓。最后，將前景圖像放入新背景的隨機(jī)位置進(jìn)行像素融合，融合圖像中的新背景為無人機(jī)在現(xiàn)場航拍中的背景圖像。像素點融合的公式如式(1)所示：

(1)

式中：Pnew為新生成圖像某一像素點的像素值；Pb為該像素點處背景圖像像素；Pf為該像素點處前景圖像像素；α，β分別為背景像素融合參數(shù)與前景像素融合參數(shù)，α,β∈[0,1]且α+β=1。圖像融合參數(shù)的設(shè)置能使新生成的圖像邊緣更加平滑，融合后的像素點表現(xiàn)更為自然。

2 YOLOv4檢測模型

YOLO(You Only Look Once)模型是一種基于深度學(xué)習(xí)的目標(biāo)檢測模型，運(yùn)行速度較快，在實時系統(tǒng)中被廣泛使用。YOLOv4模型[17]是最新的YOLO系列模型，由Alexey Bochkovskiy等人于2020年提出。與YOLOv3模型[18]相比，YOLOv4的檢測精度與速度分別提升了10%與12%。

YOLOv4的結(jié)構(gòu)如圖3所示，由主干網(wǎng)絡(luò)、外加模塊和特征處理層構(gòu)成。

2.1 主干網(wǎng)絡(luò)

YOLOv4的主干網(wǎng)絡(luò)為CSPDarkNet53，主要作用是提取目標(biāo)對象的特征，具體結(jié)構(gòu)如圖3所示。對于一個輸入維度為(416,416,3)的圖像，由于1網(wǎng)絡(luò)中每個殘差塊包含一個3×3的卷積核和一個1×1的卷積核，因此特征圖每次經(jīng)過殘差塊處理后，通道數(shù)翻倍，尺寸縮小為原來的二分之一。最后提取網(wǎng)絡(luò)最后三層特征圖用于后續(xù)處理，這三個殘差塊輸出的特征圖維度分別為(13,13,1 024)、(26,26,512)和(52,52,256)。高層特征圖擁有較大的感受野，但分辨率較低，適合大目標(biāo)檢測。低層特征圖分辨率高，細(xì)節(jié)信息表達(dá)能力強(qiáng)，適合小目標(biāo)檢測。

2.2 外加特征處理模塊

YOLOv4模型的外加特征處理模塊為SPPNet與PANet，具體作用如圖3所示。SPPNet僅對殘差塊1輸出的特征進(jìn)行處理，該特征會輸入四個大小分別為13×13、9×9、5×5和1×1最大池化核，將每個池化后的結(jié)果堆疊后再輸出。PANet對高層特征進(jìn)行上采樣，特征圖的維度變?yōu)樵瓉淼膬杀逗笈c上一層同維度特征進(jìn)行堆疊。對低層特征進(jìn)行下采樣，特征圖的維度變?yōu)樵瓉淼囊话牒笈c下一層同維度特征進(jìn)行堆疊，輸出包含三個特征層信息的特征供特征處理層使用。經(jīng)過外加模塊后，YOLOv4模型的三個輸出層構(gòu)成特征金字塔結(jié)構(gòu)，維度大小分別為(13,13,75)、(26,26,75)、(52,52,75)，特征中包含更多的細(xì)節(jié)和語義信息，能讓特征處理層更好的利用這些特征進(jìn)行分類及回歸。

2.3 特征處理層

特征處理層對輸出的特征進(jìn)行解碼，得出預(yù)測結(jié)果。預(yù)測過程如圖3所示。經(jīng)過YOLOv4網(wǎng)絡(luò)處理后，輸出特征的維度為n×n×75，然后將圖片分成n×n的網(wǎng)格，確認(rèn)每個網(wǎng)格中是否存在物體。存在物體的網(wǎng)格將構(gòu)成先驗框，最后根據(jù)特征中的信息，調(diào)整先驗框后即為特征層的預(yù)測結(jié)果。每個特征層輸出的特征都進(jìn)行一次解碼，取各特征層預(yù)測結(jié)果中置信度最大的那個作為最終的預(yù)測結(jié)果。

圖3 YOLOv4模型結(jié)構(gòu)Fig.3 Model structure of YOLOv4

3 改進(jìn)YOLOv4的絕緣子缺陷檢測方法

3.1 模型訓(xùn)練改進(jìn)

(1)訓(xùn)練策略

本研究采用多階段遷移學(xué)習(xí)[19]作為模型訓(xùn)練的迭代策略。遷移學(xué)習(xí)是一種將已經(jīng)訓(xùn)練好且在其他目標(biāo)檢測領(lǐng)域辨識效果較好的模型用于另一個領(lǐng)域模型訓(xùn)練的方法。其通過發(fā)掘兩個領(lǐng)域數(shù)據(jù)之間的內(nèi)在聯(lián)系，能有效減少訓(xùn)練時間，提高模型辨識準(zhǔn)確率。多階段遷移學(xué)習(xí)示意圖如圖4所示。首先，通過加載一個在ImageNet上使用VOC數(shù)據(jù)集訓(xùn)練完成的YOLOv4模型作為預(yù)訓(xùn)練模型。其次，將源域的圖像特征遷移至目標(biāo)域的圖像，發(fā)掘兩個域圖像之間的共同特征，同時將源域模型參數(shù)遷移至目標(biāo)域模型。最后，通過絕緣子數(shù)據(jù)集對模型進(jìn)行兩段訓(xùn)練。第一階段在凍結(jié)n個殘差塊后訓(xùn)練余下的殘差塊及全連接層。n的大小與訓(xùn)練集大小有關(guān)，訓(xùn)練集越大，能訓(xùn)練的參數(shù)就越多，凍結(jié)的殘差塊越少。凍結(jié)的模塊作為特征提取器參與訓(xùn)練但不改變權(quán)重。第二階段解凍所有殘差塊進(jìn)行訓(xùn)練。此時，只需要較小的學(xué)習(xí)率進(jìn)行訓(xùn)練，并對整個模型進(jìn)行微調(diào)。微調(diào)完成的模型即可用于絕緣子缺陷檢測。

圖4 遷移學(xué)習(xí)示意圖Fig.4 Schematic diagram of transfer learning

(2)學(xué)習(xí)率設(shè)置

由于采用了多階段遷移學(xué)習(xí)，凍結(jié)訓(xùn)練階段與解凍訓(xùn)練階段的學(xué)習(xí)率不同：凍結(jié)訓(xùn)練階段需要較大的學(xué)習(xí)率加快網(wǎng)絡(luò)收斂，解凍訓(xùn)練階段只需要較小的動態(tài)學(xué)習(xí)率對模型進(jìn)行微調(diào)。傳統(tǒng)的動態(tài)學(xué)習(xí)率調(diào)整方法，在訓(xùn)練開始時設(shè)置較大學(xué)習(xí)率加快網(wǎng)絡(luò)收斂，訓(xùn)練后期設(shè)置較小的學(xué)習(xí)率使網(wǎng)絡(luò)更好地收斂。但較小的學(xué)習(xí)率在訓(xùn)練過程容易陷入局部最優(yōu)，導(dǎo)致網(wǎng)絡(luò)無法向全局最優(yōu)點靠攏。為解決上述問題，本研究采用余弦退火學(xué)習(xí)率衰減法[20]進(jìn)行學(xué)習(xí)率調(diào)節(jié)。它是一種在訓(xùn)練過程中動態(tài)調(diào)整學(xué)習(xí)率的方法，過程如圖5所示。

圖5 余弦退火學(xué)習(xí)率衰減法Fig.5 Cosine annealing learning rate decay

首先，設(shè)置一個學(xué)習(xí)率上限和下限。接著，隨著訓(xùn)練次數(shù)增加，學(xué)習(xí)率先是線性增加至上限，再以余弦函數(shù)的形式降至下限。然后，重復(fù)這個過程直至訓(xùn)練完成。當(dāng)學(xué)習(xí)率由大變小時，網(wǎng)絡(luò)逐漸向一個局部最優(yōu)點靠攏；當(dāng)學(xué)習(xí)率線性增大時，網(wǎng)絡(luò)能夠跳出該局部最優(yōu)點，向下一個局部最優(yōu)點靠攏，最終以各局部最優(yōu)點的最優(yōu)值作為輸出結(jié)果。

3.2 目標(biāo)檢測過程改進(jìn)

(1)輸出層改進(jìn)

圖像經(jīng)過YOLOv4網(wǎng)絡(luò)處理后，輸出3個n×n×75維的張量進(jìn)行預(yù)測。這里的75是由(3×(1+4+20))計算得到。其中，3代表3個不同尺度的先驗框；1代表先驗框中預(yù)測物體的置信度；4代表先驗框的調(diào)整策略，包括中心點x，y坐標(biāo)調(diào)整策略和長寬調(diào)整策略，調(diào)整先驗框中心點的位置及長寬；20代表VOC2007數(shù)據(jù)集的類別個數(shù)。但絕緣子串檢測中輸出的類別不足20類時，可以根據(jù)絕緣子串檢測的具體需求對網(wǎng)絡(luò)輸出結(jié)構(gòu)進(jìn)行適應(yīng)性改進(jìn)，將網(wǎng)絡(luò)輸出張量變?yōu)閚×n×x。其中x的定義如下：

x=num_anchor×(num_class+5)

(2)

式中，num_anchor為先驗框的數(shù)量，num_classes為要分類的數(shù)量，5為輸出對應(yīng)類的置信度和先驗框的調(diào)整策略中的中心點調(diào)整策略和寬高調(diào)整策略。本研究將絕緣子類型分為正常絕緣子與缺陷絕緣子兩類，因此網(wǎng)絡(luò)的輸出張量變?yōu)閚×n×21。

(2)檢測圖像改進(jìn)

訓(xùn)練好的模型在目標(biāo)檢測中，有時候會生成不止一個預(yù)測框，此時就要設(shè)置約束條件對生成的預(yù)測框進(jìn)行篩選。首先，設(shè)置一個置信度閾值，當(dāng)預(yù)測框置信度大于閾值時，預(yù)測框才會被保留。其余的預(yù)測框被刪除。其次，當(dāng)剩余的多個預(yù)測框重疊時，通過非極大值抑制算法(non-maximum suppression，NMS)[21]篩選出某一片區(qū)域置信度最大的預(yù)測框。保留它，同時抑制其余的框，最后剩下的框即為預(yù)測結(jié)果。

在絕緣子缺陷檢測中，缺陷在整張圖像中屬于非常微小的一部分，圖像在模型中經(jīng)過進(jìn)一步壓縮后，圖像中的小目標(biāo)容易出現(xiàn)特征丟失的現(xiàn)象，產(chǎn)生小目標(biāo)漏檢問題。為此，本研究提出了結(jié)合超分辨率生成網(wǎng)絡(luò)(super-resolution reconstruction generative adversarial networks，SR-GAN)[22]的絕緣子缺陷目標(biāo)檢測方法。SR-GAN是利用圖像重建技術(shù)，將低分辨率(low Resolution，LR)圖像生成高分辨率(high resolution，HR)圖像。最后將生成的HR圖像用于目標(biāo)檢測。

對抗生成網(wǎng)絡(luò)(generative adversarial networks，GAN)[23]主要由生成器(Generator，G)和判別器(Discriminator，D)兩個模型構(gòu)成。生成器通過輸入的信息偽造數(shù)據(jù)，判別器則判斷偽造數(shù)據(jù)屬于真實數(shù)據(jù)的概率。當(dāng)判別器判斷偽造數(shù)據(jù)是真實數(shù)據(jù)的概率小于0.5，優(yōu)化生成器重新生成數(shù)據(jù)用于判別；當(dāng)判別器判別偽造數(shù)據(jù)是真實數(shù)據(jù)的概率大于0.5，優(yōu)化判別器重新判別數(shù)據(jù)[24]。通過生成器和判別器的不斷對抗，直至G模型和D模型達(dá)到博弈平衡，最終將訓(xùn)練完成的生成器用于生成數(shù)據(jù)。SR-GAN是GAN衍生模型，訓(xùn)練過程如圖6所示，具體步驟為：(1)對原始圖像進(jìn)行下采樣獲得LR圖像；(2)將LR圖像放入生成器G中生成高分辨率圖像；(3)把高分辨率圖像與原始圖像輸入判別網(wǎng)絡(luò)D判定：若D網(wǎng)絡(luò)判斷生成圖像屬于輸入圖像的概率小于0.5，則模型返回G網(wǎng)絡(luò)中繼續(xù)訓(xùn)練；若判斷生成圖像屬于輸入圖像概率大于0.5，則模型返回D網(wǎng)絡(luò)中繼續(xù)訓(xùn)練，直至優(yōu)化判別網(wǎng)絡(luò)次數(shù)大于一百次時，訓(xùn)練結(jié)束；(4)將生成器G用于圖像超分辨率重建。

圖6 SR-GAN訓(xùn)練流程圖Fig.6 Training flow of SR-GAN

使用SR-GAN生成的高分辨率圖像，如圖7所示。可以看出，所生成的高分辨率圖像突出了圖像中的細(xì)節(jié)特征，使目標(biāo)物體的紋理更為清晰。雖然生成的高分辨率圖像能有效提升圖像質(zhì)量，提高目標(biāo)檢測精度，但SR-GAN生成高分辨率圖像需要較長的運(yùn)行時間，影響網(wǎng)絡(luò)的實時性。而且許多圖片并不需要生成高分辨率圖像就能獲得準(zhǔn)確的結(jié)果。

圖7 高低分辨率圖片對比Fig.7 Comparison of high and low resolution pictures

通過觀察發(fā)現(xiàn)，現(xiàn)場采集的絕緣子圖像中，絕緣子數(shù)量少于三個時，圖像中的絕緣子一般屬于較大目標(biāo)，這類圖像不需要生成高分辨率圖像即可定位絕緣子及缺陷位置。在固定尺寸的圖像中絕緣子數(shù)量越多，越容易出現(xiàn)小目標(biāo)。圖像中的小目標(biāo)，經(jīng)過特征提取后，容易出現(xiàn)目標(biāo)信息部分丟失，導(dǎo)致檢測結(jié)果表現(xiàn)為出現(xiàn)低置信度的預(yù)測框，再經(jīng)過NMS時就被抑制了。而置信度低于0.3的預(yù)測框中大部分為非絕緣子的誤檢目標(biāo)，不需要考慮。因此，鑒于SR-GAN使用過程的局限性，在使用SR-GAN進(jìn)行目標(biāo)檢測時，本研究設(shè)定了兩個約束：

(1)圖像中檢測到三個及以上置信度大于0.3且預(yù)測框無重合的絕緣子。

(2)圖像中存在置信度為0.3～0.5的預(yù)測框。

對同時滿足上述兩個約束的圖像采用SR-GAN生成高分辨率圖像后再進(jìn)行檢測，將此次的檢測結(jié)果作為最終預(yù)測結(jié)果。

3.3 基于改進(jìn)YOLOv4的絕緣子缺陷檢測

對于輸入為(416,416,3)的圖像，經(jīng)過YOLOv4后輸出的三個特征層維度為(13,13,21)、(26,26,21)、(52,52,21)，對特征層解碼后即為預(yù)測結(jié)果。以輸出維度為(13,13,21)的特征層為例，對輸入圖像的解碼過程如圖8所示。首先，將輸入圖像分為13×13的網(wǎng)格，每個網(wǎng)格負(fù)責(zé)檢測其區(qū)域內(nèi)的目標(biāo)。若物體的中心點位于圖中紅色的網(wǎng)格內(nèi)，則物體就由這個網(wǎng)格點來預(yù)測。接下來，該網(wǎng)格點生成三個藍(lán)色的先驗框，先驗框根據(jù)特征層中坐標(biāo)調(diào)整策略與長寬調(diào)整策略進(jìn)行調(diào)整后，模型預(yù)測出調(diào)整后三個先驗框的置信度。取調(diào)整后三個先驗框中置信度最高的黃色框，作為最后的預(yù)測框，輸出該預(yù)測框及其置信度。最后，判斷該圖片是否滿足約束1及約束2：若不滿足，則該預(yù)測框即為最終預(yù)測結(jié)果；若滿足，則將圖片輸入SR-GAN網(wǎng)絡(luò)生成高分辨率圖像后用高分辨率圖像重新檢測，將此次的檢測結(jié)果為最終的預(yù)測結(jié)果。

圖8 絕緣子缺陷檢測過程Fig.8 Process of insulator defect detection

4 實驗結(jié)果及分析

4.1 實驗介紹

(1)數(shù)據(jù)集

在無人機(jī)航拍過程中收集到2 100張正常絕緣子和40張缺陷絕緣子圖像，分辨率為1 200×900，所有的標(biāo)簽采用VOC2007格式。圖9展示了正常和缺陷絕緣子的航拍圖像。由于缺陷絕緣子的數(shù)量太少，因此對40張進(jìn)行數(shù)據(jù)增強(qiáng)，得到1 840張新生成圖像，從而構(gòu)成1 880張缺陷絕緣子數(shù)據(jù)集，效果如圖10所示。絕緣子數(shù)據(jù)集由2 100張正常絕緣子和1 880張缺陷絕緣子圖像構(gòu)成，從中隨機(jī)選取3 600張組成訓(xùn)練集，剩余的380張圖像作為測試集。置信度閾值取0.6。

圖9 現(xiàn)場絕緣子圖片F(xiàn)ig.9 Insulator image on site

圖10 生成缺陷絕緣子圖片F(xiàn)ig.10 Generated image of defective insulator

(2)實驗環(huán)境配置

計算機(jī)配置為Xeon(R)W-2123處理器、2塊NVDIA GeForce GTX 1080Ti顯卡和32G內(nèi)存；操作系統(tǒng)為Ubuntu16.04；深度學(xué)習(xí)軟件架構(gòu)是Pytorch。

(3)評價標(biāo)準(zhǔn)

包括精確度(Precision，Pre)、召回率(Recall，Rec)、每類目標(biāo)的平均精度(Average Precision，AP)、平均精度均值(mean Average Precision，mAP)和每秒傳輸幀數(shù)(Frames Per Second，F(xiàn)PS)。其中，精確度用于衡量算法找出樣本的準(zhǔn)確性；召回率用于衡量算法找出數(shù)據(jù)集中某類樣本的能力，計算公式如下：

(3)

(4)

式中：TP為模型判定為正樣本且本身也為正樣本的樣本數(shù)；FP為模型判定為正樣本但本身為負(fù)樣本的樣本數(shù)；FN為模型判定為負(fù)樣本但本身為正樣本的樣本數(shù)。

當(dāng)交并比(intersection over union，IOU)的閾值不同時，檢測結(jié)果的精確度與召回率也會發(fā)生改變，因此使用單一的精確度或者召回率作為評價指標(biāo)都存在局限性。當(dāng)選取的IOU值足夠多時，各IOU值的精確度與召回率組成的曲線稱為PR(Precision-Reacll)曲線。AP值[25]定義為P-R曲線與坐標(biāo)軸所圍成的面積，其同時衡量了算法在檢測某類目標(biāo)時的精確度與召回率。AP值越大，算法對該目標(biāo)的檢測效果越好。當(dāng)求出所有目標(biāo)的AP值后，mAP的計算公式為：

(5)

式中：n為分類的總數(shù)；APi為第i類的AP值。mAP值越大，表明算法整體檢測效果越好。FPS定義為算法每秒處理的圖片數(shù)量。FPS越大，每秒處理的圖像數(shù)量越多，代表算法運(yùn)行速度越快。

(4)參數(shù)設(shè)置

由于采用了多階段遷移學(xué)習(xí)的訓(xùn)練策略，每階段的學(xué)習(xí)率、批處理尺寸和迭代次數(shù)都不一樣。具體參數(shù)如表1所示。

表1 實驗參數(shù)Table 1 Experimental parameters

4.2 改進(jìn)措施的性能驗證

為了提高絕緣子缺陷辨識的準(zhǔn)確率，本研究提出了改進(jìn)YOLOv4模型，通過施加一些方法改善網(wǎng)絡(luò)的整體性能。包括在訓(xùn)練過程采用多階段遷移學(xué)習(xí)、余弦退火學(xué)習(xí)率衰減法，檢測過程通過優(yōu)化輸出層結(jié)構(gòu)和SR-GAN實現(xiàn)對缺陷快速準(zhǔn)確的辨識。為此，本節(jié)評價了各種改進(jìn)措施對網(wǎng)絡(luò)整體性能的影響，并通過實驗確定各種措施所對應(yīng)的最佳參數(shù)。

多階段遷移學(xué)習(xí)凍結(jié)的層數(shù)需要根據(jù)數(shù)據(jù)集的大小來確定。數(shù)據(jù)集越小，需要參與訓(xùn)練的參數(shù)就越少，凍結(jié)的層數(shù)就越多。因此，通過對不使用遷移學(xué)習(xí)和凍結(jié)不同層數(shù)的遷移學(xué)習(xí)模型的檢測效果對比，尋找最合適的訓(xùn)練參數(shù)，結(jié)果如表2所示?？梢钥闯?，由于多階段遷移學(xué)習(xí)載入預(yù)訓(xùn)練權(quán)重訓(xùn)練，訓(xùn)練過程只需對模型未凍結(jié)部分進(jìn)行微調(diào)，顯著提升網(wǎng)絡(luò)的訓(xùn)練速度及模型的整體性能。相比于傳統(tǒng)的無遷移學(xué)習(xí)，遷移學(xué)習(xí)訓(xùn)練出的模型使算法的mAP值至少提升了14%，訓(xùn)練速度提高了三倍。針對本研究使用的數(shù)據(jù)集，發(fā)現(xiàn)在網(wǎng)絡(luò)凍結(jié)25層時檢測效果最好，由此確定最佳的凍結(jié)參數(shù)。接著，結(jié)合本研究提出其他不同改進(jìn)措施進(jìn)行測試，其表現(xiàn)如表3所示，其中，“√”表示施加了對應(yīng)的措施。

表2 訓(xùn)練策略對算法的影響Table 2 Impact of training strategy on algorithm

從表3中可以看出，單獨使用YOLOv4模型進(jìn)行檢測，mAP值達(dá)到70.15%。倘若訓(xùn)練過程采用余弦退火法改進(jìn)學(xué)習(xí)率，由于算法從各局部最優(yōu)點中選出最優(yōu)值生成最終模型，其mAP值提升了4%。根據(jù)目標(biāo)檢測任務(wù)的實際需求，將網(wǎng)絡(luò)輸出維度由n×n×75變?yōu)閚×n×21，降低了檢測網(wǎng)絡(luò)的計算量，極大提高了檢測速度。通過SR-GAN生成的圖像能夠增強(qiáng)圖像的細(xì)節(jié)紋理信息，提高圖像的質(zhì)量，許多原圖中檢測不到的東西，能在新的圖像中得到檢測，如圖11所示?？梢园l(fā)現(xiàn)，高質(zhì)量的檢測圖像能顯著提高網(wǎng)絡(luò)對小目標(biāo)的辨識能力，相比于改進(jìn)前，mAP值又提升了9%。

表3 改進(jìn)策略對算法的影響Table 3 Impact of training strategy on algorithm

圖11 檢測結(jié)果對比Fig.11 Comparison of test result

4.3 實驗過程及結(jié)果

測試集中有380張圖像，所有圖像中存在551個絕緣子與181個缺陷。檢測過程中統(tǒng)計出各類別目標(biāo)在對應(yīng)置信度下的TP、FP與FN，并根據(jù)公式(3)和(4)計算出各類目標(biāo)在不同置信度下的精確度與召回率，圍成的曲線如圖12所示。

圖12 檢測結(jié)果P-R曲線Fig.12 Test result expressed by P-R curve

根據(jù)圖12得知，絕緣子的AP值為92.2%，缺陷的AP值為86.88%。最后根據(jù)公式(5)計算出的mAP值為89.54%，檢測結(jié)果如圖13所示?？梢钥闯?，算法對于山地、平原、房屋、桿塔等復(fù)雜背景環(huán)境中的絕緣子，都能給出較好的辨識效果；改進(jìn)模型本身結(jié)合SR-GAN生成高分辨率圖像能準(zhǔn)確的辨識出絕緣子及其微小的缺陷。實驗結(jié)果表明算法能精確且快速的辨識出絕緣子缺陷。

圖13 檢測結(jié)果展示Fig.13 Show off detection result

為了檢驗訓(xùn)練模型的魯棒性和對新缺陷的識別能力，又從現(xiàn)場獲得20張帶缺陷絕緣子的照片，用訓(xùn)練好的模型進(jìn)行測試。測試結(jié)果如下：絕緣子檢測的AP值92.5%，缺陷的AP值為85.5%，mAP值為89%。測試結(jié)果和380張數(shù)據(jù)集的結(jié)果接近，說明所訓(xùn)練的模型在測試新缺陷的時候，不會降低或喪失辨識能力。

所提算法在實際應(yīng)用的魯棒性和實時性值得進(jìn)一步探究，為此采用現(xiàn)場拍攝的未經(jīng)任何處理的無人機(jī)視頻進(jìn)行測試。在無人機(jī)巡檢時，圖像中可能存在很多背景絕緣子，但是一般會圍繞一個焦點絕緣子進(jìn)行觀測。因此，本研究以焦點絕緣子為分析對象，從絕緣子辨識和缺陷定位能力方面進(jìn)行評價。選取一段總時長10 s的視頻，每秒30幀畫面。算法對每張圖像的識別時間是0.08 s，為保證檢測過程的流暢性，以每十幀提取一張圖片進(jìn)行檢測，即每秒識別3張。

視頻的拍攝角度為：無人機(jī)由遠(yuǎn)及近、從上往下拍攝絕緣子，當(dāng)絕緣子完全出現(xiàn)在畫面中，再環(huán)繞拍攝。從圖14可以看出，絕緣子識別的置信度逐漸提高，由于本研究的置信度閾值為0.6，因此，對于絕緣子，算法能100%檢測到出來。在視頻播放至第3.67 s(第11張圖片)時，缺陷輪廓暴露在畫面中，缺陷檢測的置信度瞬間從0變化到0.8，算法立刻定位到缺陷的位置。隨著角度的變化，在第8 s(第24張圖片)時，缺陷消失于畫面中，置信度又瞬間跌落到0。視頻檢測實驗證明所提方法在實際應(yīng)用中具有良好的魯棒性和實時性。

圖14 動態(tài)視頻檢測結(jié)果Fig.14 Dynamic video detection results

4.4 方法對比

目前，目標(biāo)檢測算法按照檢測過程可以分為一階段檢測算法(One-stage)和兩階段檢測算法(Two-stage)。一階段檢測算法通過主干網(wǎng)絡(luò)給出的特征張量直接回歸目標(biāo)的類別置信度與預(yù)測框位置；兩階段檢測算法先通過區(qū)域建議網(wǎng)絡(luò)生成候選框，再通過目標(biāo)區(qū)域檢測網(wǎng)絡(luò)回歸目標(biāo)類別置信度與預(yù)測框位置。一階段檢測算法檢測速度較快，以YOLO系列算法為代表；兩階段檢測算法檢測速度雖然不如前者，但精度更高，以Faster-RCNN算法為代表。因此，通過將所提方法與YOLOv3及Faster-RCNN進(jìn)行對比，以評估所提方法在目標(biāo)檢測上的性能差異。對比指標(biāo)為mAP與FPS。

Tao等人[26]提出了一種級聯(lián)型Faster-RCNN網(wǎng)絡(luò)用于絕緣子缺陷檢測，通過級聯(lián)兩個Faster-RCNN模型完成絕緣子缺陷檢測。模型一的主干網(wǎng)絡(luò)為VGG-16，用于絕緣子定位；模型二的主干網(wǎng)絡(luò)為ResNet-101，用于缺陷檢測。吳濤等人[27]采用YOLOv3網(wǎng)絡(luò)用于檢測缺陷絕緣子，通過刪除網(wǎng)絡(luò)中的冗余卷積塊構(gòu)成輕量級網(wǎng)絡(luò)，網(wǎng)絡(luò)提取出的特征構(gòu)成特征金字塔結(jié)構(gòu)并用于絕緣子及其缺陷的分類及定位。

對比結(jié)果如表4所示?？梢园l(fā)現(xiàn)，F(xiàn)aster-RCNN算法在絕緣子定位的準(zhǔn)確率上高于YOLOv3算法；YOLOv3算法采用了特征金字塔結(jié)構(gòu)，通過多層次特征進(jìn)行檢測，在檢測缺陷這種小目標(biāo)的準(zhǔn)確率大于Faster-RCNN算法；所提方法使用了外加模塊SPPNet與PANet實現(xiàn)特征融合，拓展網(wǎng)絡(luò)的感受野，極大提高了網(wǎng)絡(luò)辨識的準(zhǔn)確率。在處理速度上，F(xiàn)aster-RCNN不如YOLO系列算法。相對于YOLOv3算法，所提方法的處理速度比前者快了一倍。

表4 不同目標(biāo)檢測算法對比Table 4 Comparison of different target detection algorithms

5 結(jié) 論

本研究提出了基于YOLOv4的絕緣子定位及缺陷檢測的方法。相比于現(xiàn)有方法，YOLOv4模型具有速度更快，精度更高的特點。針對缺陷檢測中出現(xiàn)的缺陷樣本不足、模型對小目標(biāo)泛化能力低下問題，提出了一種數(shù)據(jù)增強(qiáng)和基于SR-GAN的高分辨率圖像檢測的方法，同時在訓(xùn)練過程中采用了多階段遷移學(xué)習(xí)和余弦退火衰減學(xué)習(xí)率策略顯著提高了模型整體的性能。實驗結(jié)果表明，所提方法的缺陷檢測mAP值達(dá)到89.54%，F(xiàn)PS達(dá)到每秒12.24幀，高于Faster-RCNN和YOLOv3算法。所提方法在實際應(yīng)用中可以滿足絕緣子缺陷檢測的準(zhǔn)確性和實時性要求。未來，可進(jìn)一步開展對低照度以及模糊背景下所提方法應(yīng)用和性能提高的研究工作。