裘瑾怡 任新新 陳希

技術(shù)應(yīng)用

基于卷積神經(jīng)網(wǎng)絡(luò)的輸電線路金具缺陷檢測方法

裘瑾怡1任新新1陳希2

（1.新昌縣新明實業(yè)有限公司，浙江 新昌 312500 2.長沙理工大學(xué)，湖南 長沙 410000）

針對架空輸電線路長期處于惡劣、復(fù)雜的自然環(huán)境中，線路上的金具受氣候、地形、外力作用等影響出現(xiàn)的不同類型缺陷，提出一種基于YOLO V3卷積神經(jīng)網(wǎng)絡(luò)的輸電線路金具缺陷檢測方法。通過YOLO V3卷積神經(jīng)網(wǎng)絡(luò)提取不同類型缺陷的特征，并對其進行適應(yīng)性改進，識別與定位這些缺陷在輸電線路上的位置，可提高檢測的準確性和實時性，及時發(fā)現(xiàn)線路故障，確保輸電線路安全穩(wěn)定運行，提高輸電線路巡檢的效率和電網(wǎng)的智能化程度。

輸電線路金具；YOLO V3卷積神經(jīng)網(wǎng)絡(luò)；缺陷檢測

0 引言

架空輸電線路長時間暴露在自然環(huán)境中，輸電線路上的螺栓銹蝕、導(dǎo)線破損和防震錘形變等情況[1]時有發(fā)生，及時發(fā)現(xiàn)這些線路金具缺陷對電力系統(tǒng)安全穩(wěn)定運行是非常必要的。傳統(tǒng)的輸電線路巡檢工作需要大量的人力和時間，并受限于交通、氣候等條件，無法滿足日益發(fā)展的電力系統(tǒng)需求。通過高清攝像頭采集輸電線路圖像，檢測金具缺陷的方式有無人機巡檢和帶電作業(yè)機器人巡檢[2]等，這些巡檢方式比人工巡檢更精準、快捷、安全，可大面積、長時間地巡檢，然而，仍需要人工肉眼觀察輸電線路圖像中的故障，無法實現(xiàn)自動檢測。為此，本文提出采用視覺技術(shù)檢測輸電線路金具缺陷的方法，提高線路巡檢工作的智能化程度。

卷積神經(jīng)網(wǎng)絡(luò)具有權(quán)值共享和局部連接的特性，適合處理圖像問題。隨著計算機算力的提升和深度學(xué)習(xí)的發(fā)展，使卷積神經(jīng)網(wǎng)絡(luò)在計算機視覺領(lǐng)域得到充分應(yīng)用；同時，降低了圖像分類錯誤率，提高目標檢測準確性，并逐步實現(xiàn)實時目標檢測。

本文采用基于深度卷積神經(jīng)網(wǎng)絡(luò)的YOLO V3算法[3]識別輸電線路金具缺陷。YOLO V3算法將目標檢測問題處理為回歸問題，直接從輸入圖像預(yù)測目標的位置和類別信息，網(wǎng)絡(luò)結(jié)構(gòu)簡單，檢測速度快捷。在416×416輸入圖像分辨率下，對MS COCO數(shù)據(jù)集[4]實現(xiàn)了55.3%的mAP，速度達到35幀/s，檢測精度和檢測速度都超過SSD算法。針對本文的識別任務(wù)，對YOLO V3算法的主體網(wǎng)絡(luò)結(jié)構(gòu)進行適應(yīng)性改進，使其在識別輸電線路金具缺陷時，具有較高的準確率和良好的實時性。

1 輸電線路金具圖像數(shù)據(jù)集

1.1 圖像數(shù)據(jù)采集

首先，在不同光照強度、背景、角度、遠近的情況下，利用輸電線路帶電作業(yè)機器人或人工的拍攝方式，采集輸電線路上的螺栓（銹蝕螺栓、正常螺栓）、破損導(dǎo)線和防震錘的圖像各600幅；然后，整理采集的圖像并統(tǒng)一剪裁為416×416像素；最后，對圖像進行±45°隨機旋轉(zhuǎn)、隨機水平/垂直翻轉(zhuǎn)和隨機裁剪，將螺栓、破損導(dǎo)線和防震錘的圖像分別擴增至1 486幅。這些數(shù)據(jù)擴展方式不僅不會影響目標本身的特征信息，還可以在數(shù)據(jù)量不足的情況下，增加樣本的多樣性，提高檢測模型的泛化性。

1.2 圖像標注與數(shù)據(jù)集制作

用矩形框標注1 468 × 3 = 4 458幅圖像中的螺栓、破損導(dǎo)線和防震錘，標注過程如圖1所示。

圖1 數(shù)據(jù)集標注過程

2 基于改進YOLO V3的輸電線路金具檢測方法

2.1 YOLO V3基本原理

在CVPR2016上，REDMON J等[6]提出You Only Look Once（YOLO）算法。該算法沒有采用當時盛行的Two Stage方法，放棄了在圖像上生成建議區(qū)域的過程，而是將整幅圖像作為一個全卷積神經(jīng)網(wǎng)絡(luò)的輸入，直接在輸出層回歸邊界框的坐標信息及其所屬的類別信息，實現(xiàn)實時的目標檢測任務(wù)。YOLO V3作為YOLO算法的第三個版本，繼承了其單階段檢測的特性。本文在YOLO V3算法的基礎(chǔ)上提出輸電線路金具缺陷檢測方法。

2.2 YOLO V3主體結(jié)構(gòu)

為達到更好的分類效果，YOLO V3借鑒ResNet網(wǎng)絡(luò)結(jié)構(gòu)，采用更深的卷積神經(jīng)網(wǎng)絡(luò)Darknet-53。Darknet-53網(wǎng)絡(luò)主要由1×1和3×3的卷積層組成，每個卷積層后都接一個批次歸一化層[7]和一個LeakyRelu激活層；引入ResNet[8]殘差模塊，解決網(wǎng)絡(luò)深度加大時出現(xiàn)的訓(xùn)練退化問題；引入多尺度融合，改善YOLO算法識別小目標的效果。Darknet-53網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，該網(wǎng)絡(luò)共進行5次降采樣。

2.3 多尺度融合預(yù)測

YOLO算法是在整幅輸入圖像上進行預(yù)測，導(dǎo)致其識別小目標時效果不好。為此，YOLO V3借鑒了FPN網(wǎng)絡(luò)[9]的思想，將不同尺度的特征圖融合后再做預(yù)測。由于高層次特征圖包含的信息更抽象，表達的語義信息更強，感受野更大，適合檢測大尺度目標；低層次特征圖含有目標更多細節(jié)，感受野較小，適合檢測小尺度目標。因此，將高層次特征圖與低層次特征圖進行特征融合，可充分利用圖像的低層語義信息，提升小目標檢測效果。

圖2 Darknet-53網(wǎng)絡(luò)結(jié)構(gòu)

2.4 適應(yīng)性的改進方法

本文數(shù)據(jù)集是無人機拍攝的輸電線路圖像，屬于遠視角圖像，而需要識別的目標為螺栓、破損導(dǎo)線和防震錘，屬于小尺度目標。YOLO V3算法融合的特征圖是針對MS COCO 數(shù)據(jù)集設(shè)計的，不適用于本文數(shù)據(jù)集的識別目標，易出現(xiàn)漏檢或誤檢情況。為此，本文針對輸電線路金具缺陷，對YOLO V3算法做了相應(yīng)改進。

2.4.1 數(shù)據(jù)集標注框維度聚類的改進

YOLO V3引入了Faster RCNN的錨框機制，將錨框作為先驗框來預(yù)測目標的邊界框。而Faster RCNN的錨框比例和大小是根據(jù)經(jīng)驗而定，在訓(xùn)練過程中再調(diào)整。雖然過多的錨框可以保障檢測效果，但同時也會影響算法的檢測速度。因此，REDMON J等在YOLO V2算法中提出了維度聚類方法[6]。利用K-means算法在數(shù)據(jù)集上聚類，得到合適的錨框個數(shù)和初始尺寸，并將簇中心的個數(shù)作為算法的錨框個數(shù)。

標準的K-means算法利用歐式距離衡量兩點間的距離，然而在邊框尺寸較大時，其誤差也較大。為使先驗框和預(yù)測框之間的交并比更大，且交并比與邊框尺寸無關(guān)，本文通過交并比定義距離函數(shù)。計算公式為

對本文自制數(shù)據(jù)集進行聚類分析，聚類過程中簇的中心個數(shù)K和平均交并比的關(guān)系如圖3所示。

由圖3可知，當= 6時，曲線開始收斂，即當錨框數(shù)為6時，錨框可較好地貼合標注框。本文數(shù)據(jù)集中聚類得到的6種錨框尺寸分別為(29, 60)、(49, 92)、(85, 95)、(96, 153)、(130, 89)、(306, 152)。

2.4.2 多尺度融合的改進

YOLO V3算法針對MS COCO數(shù)據(jù)集分別在13×13、26×26和52×52的尺度下進行特征圖融合與預(yù)測。本文數(shù)據(jù)集包括3個小尺度目標，且尺度變化較大。因此，改進的YOLO V3算法只在26×26和52×52的尺度下做預(yù)測，這樣可以更加專注于小目標檢測。每種尺度有3種錨框，以降低誤檢或漏檢情況。

首先，26×26特征圖經(jīng)過1×1的卷積核改變通道數(shù)，使其與52×52特征圖的通道數(shù)相同；其次，做2倍上采樣（最鄰近上采樣法）；再次，通過像素間加法將其與低層次特征融合；最后，融合后的特征圖經(jīng)過3×3卷積核處理，消除上采樣帶來的混疊效應(yīng)[9]。通過上采樣和特征融合，提高了小目標的檢測效果。兩次預(yù)測總計10140個邊界框，在減少預(yù)測框個數(shù)的同時，保證了對小目標的檢測效果。改進后的多尺度融合結(jié)構(gòu)如圖4所示。

圖4 改進后的多尺度融合結(jié)構(gòu)

為充分利用低層次特征信息，針對本文自制數(shù)據(jù)集進行相應(yīng)改進。在兩種較大尺度的特征圖上利用特征圖融合方式進行2次預(yù)測，提高小目標的檢測效果，同時降低網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性，從理論上提高檢測速度。

2.5 訓(xùn)練與檢測結(jié)果

本文的實驗環(huán)境如表1所示。

表1 實驗環(huán)境

本文實驗的數(shù)據(jù)集由螺栓、破損導(dǎo)線和防震錘的圖像各1 486幅及其標注信息組成。隨機抽取螺栓、破損導(dǎo)線和防震錘圖像各1 000幅作為訓(xùn)練集，剩余圖像作為測試集。

在訓(xùn)練改進的YOLO V3算法時，載入原YOLO V3的權(quán)重文件。首先，訓(xùn)練網(wǎng)絡(luò)的最后三層80個迭代次數(shù)，凍結(jié)其余層，得到較為穩(wěn)定的loss值，此階段訓(xùn)練的批次大小batch_size為16，RMSprop優(yōu)化算法設(shè)置初始學(xué)習(xí)率為0.001；然后，將網(wǎng)絡(luò)所有層訓(xùn)練100個迭代次數(shù)，訓(xùn)練的批次大小batch_size為16，RMSprop優(yōu)化算法設(shè)置學(xué)習(xí)率為0.0001。訓(xùn)練28 h后loss基本收斂，得到最優(yōu)的訓(xùn)練模型。

本文實驗利用486 × 3 = 1 458幅測試集圖像及其標注信息進行測試，采用召回率、準確率和檢測速度評估改進的YOLO V3算法性能，并與YOLO V3算法進行對比，對比結(jié)果如表2所示，螺栓、破損導(dǎo)線、防震錘檢測結(jié)果分別如圖5、圖6、圖7所示。

表2 實驗對比結(jié)果

圖5 螺栓的檢測結(jié)果

圖6 破損導(dǎo)線的檢測結(jié)果

圖7 防震錘的檢測結(jié)果

由表2可知，改進的YOLO V3算法的召回率比YOLO V3算法降低了1.8%，準確率提高了6.7%，僅用6種錨框做2次預(yù)測，檢測速度達到32幀/s，驗證本文對YOLO V3算法做適應(yīng)性改進是有效、可行的。

改進的YOLO V3算法在光照強度變化、大部分遮擋和多目標檢測情況下，依然可以檢測出銹蝕螺栓、破損導(dǎo)線、防震錘變形，檢測結(jié)果分別如圖8、圖9、圖10所示，說明該算法具有較強的泛化性和魯棒性。

圖8 部分遮擋的螺栓檢測結(jié)果

圖9 不同光照強度的破損導(dǎo)線檢測結(jié)果

圖10 多目標的檢測結(jié)果

3 線路金具缺陷檢測

通過改進的YOLO V3算法可識別與定位輸電線路的螺栓、破損導(dǎo)線和防震錘。由于是針對破損導(dǎo)線進行模型訓(xùn)練，因此破損導(dǎo)線缺陷可以直接檢測。輸電線路的銹蝕螺栓和防震錘形變需利用改進的YOLO V3算法進一步檢測。

3.1 螺栓銹蝕檢測

采用改進的YOLO V3算法可以準確、快速地檢測輸電線路上的螺栓，利用這個檢測結(jié)果可進一步識別銹蝕螺栓情況。正常螺栓和銹蝕螺栓的表面顏色特征不同，正常螺栓表面多是銀色，而銹蝕螺栓表面多是暗紅色或黑色。因此，可以利用圖像處理技術(shù)識別螺栓銹蝕區(qū)域，從而判斷螺栓是否發(fā)生銹蝕。

采集的輸電線路圖像是RGB圖像，R（紅色）、G（綠色）、B（藍色）。RGB圖像易受光照影響，且無法直觀地表達人眼觀察的顏色。HSV圖像不受光照影響，是與人類視覺感知接近的顏色模型。因此，本文利用螺栓的HSV圖像對螺栓銹蝕區(qū)域進行識別。

螺栓銹蝕區(qū)域識別流程為：

1）根據(jù)YOLO V3算法的檢測結(jié)果，在輸電線路圖像中裁剪出螺栓圖像；

2）將裁剪的螺栓圖像從RGB顏色空間模型轉(zhuǎn)換為HSV顏色空間模型；

3）對螺栓HSV圖像進行閾值分割，并通過大量實驗確定銹蝕區(qū)域的、、分量的分割閾值為

式中，

——色度；

——飽和度；

——明度。

4）統(tǒng)計二值化后的螺栓圖像中銹蝕區(qū)域的面積。

正常螺栓銹蝕檢測結(jié)果如圖11所示，銹蝕螺栓銹蝕檢測結(jié)果如圖12所示。

圖11 正常的螺栓的檢測圖

圖12 銹蝕的螺栓的檢測圖

由圖12可知，輸電線路上正常螺栓經(jīng)過二值化處理后，識別為銹蝕區(qū)域的面積較?。欢P蝕螺栓經(jīng)過二值化處理后，識別為銹蝕區(qū)域的面積較大。因此，可通過銹蝕面積判斷螺栓是否銹蝕。

3.2 防震錘形變檢測

輸電線路上的防震錘因風(fēng)力或外力作用，使其兩側(cè)錘頭出現(xiàn)形變，影響防震效果。本文通過檢測防震錘兩側(cè)的錘頭頂點和線夾體中點這3個關(guān)鍵點來判斷防震錘是否形變。防震錘的3個關(guān)鍵點如圖13所示。

圖13 防震錘上的3個關(guān)鍵點

本文利用Mobilenet V2卷積神經(jīng)網(wǎng)絡(luò)來訓(xùn)練預(yù)測防震錘上的3個關(guān)鍵點。Mobilenet V2將標準卷積分解為深度卷積和逐點卷積，降低網(wǎng)絡(luò)結(jié)構(gòu)的計算量，從而提高檢測速度。利用YOLO V3算法檢測出輸電線路圖像中防震錘位置，然后將防震錘圖像及3個關(guān)鍵點的標注信息作為Mobilenet V2網(wǎng)絡(luò)的輸入，利用RMSE損失函數(shù)計算預(yù)測關(guān)鍵點與標注關(guān)鍵點的距離，從而識別防震錘3個關(guān)鍵點。防震錘關(guān)鍵點檢測結(jié)果如圖14所示。

圖14 防震錘關(guān)鍵點檢測結(jié)果

通過防震錘上3個關(guān)鍵點的坐標信息，可判斷防震錘是否形變。

4 結(jié)論

本文針對輸電線路的銹蝕螺栓、破損導(dǎo)線和防震錘形變等缺陷，提出基于YOLO V3的輸電線路金具缺陷檢測方法。根據(jù)本文的識別對象對目標檢測網(wǎng)絡(luò)的結(jié)構(gòu)進行相應(yīng)改進，利用K-means聚類算法得到合適的錨框數(shù)目和錨框尺寸。通過實驗結(jié)果對比，改進的YOLO V3算法相比于YOLO V3算法在準確率和檢測速度上都有顯著提升。將該算法部署到帶電作業(yè)機器人或無人機上，可實現(xiàn)機器人自主巡檢輸電線路故障并實時監(jiān)控輸電線路狀況，取代人工巡檢，提高電網(wǎng)智能化程度。

[1] 胡毅,劉凱,吳田,等.輸電線路運行安全影響因素分析及防治措施[J].高電壓技術(shù),2014,40(11):3491-3499.

[2] 肖曉暉,史鐵林,杜娥.高壓輸電線路巡線作業(yè)機器人的動力學(xué)建模[J].機械與電子,2004(10):44-47.

[3] REDMON J, FARHADI A. Yolov3: an icrement-al improvement[C]//IEEE Conference on Com-puter Vision and Pattern Recognition,2018.

[4] LIN T Y, MAIRE M, BELONGIE S, et al. Micro-soft COCO: common objects in context[C]//Pro-ceedings of European Conference on Computer Vision. New York: Springer, 2014: 740-755.

[5] EVERINGHAM M, VAN COOL L,WILLIAMS C K I, et al. The pascal visual object classes(VOC) challenge[J]. International Journal of Computer Vision, 2010,88(2):303-338.

[6] REDMON J,FARHADI A.YOLO9000: better, faster, stronger [C]//Proceedings of IEEE Con-ference on Computer Vision and Pattern Reco-gnition. New York:IEEE Press,2017:101-110

[7] IOFFE S, SZEGEDY C. Batch normalization: accelerating deep networ training by reduceoing interal covariate shift[C]// Proceedings of International Conference on Machine Learning. Heidelberg: Springer Press, 2015:448-456.

[8] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//Proceed-ings of IEEE Conference on Computer Vision and Pattern Recognition.New York:IEEE Press, 2016:770-778.

[9] LIN T Y, DOLLAR P, GIRSHICK R, et al. Feature pyramid networks for object detection[C]//Pr-oceedings of IEEE Conference on Computer Vi-sion and Pattern Recognition.New York:IEEE Press, 2017:936-944.

Detection Method of Transmission Line Fittings Defects Based on Convolution Neural Network

QIU Jinyi1REN Xinxin1CHEN Xi2

(1.Xinchang Xinming Industrial Co., Ltd. Zhejiang 312500, China 2.Changsha University of Technology, Changsha 410000, China)

Aiming at the different types of defects of the fittings on the overhead transmission line, which are affected by the climate, terrain and external force, a method for detecting the defects of the fittings on the transmission line based on YOLO V3 convolutional neural network is proposed. The YOLO V3 convolutional neural network is used to extract the characteristics of different types of defects and make adaptive improvement to them. Identifying and locating the positions of these defects on the transmission line can improve the accuracy and real-time of detection, timely detect line faults, ensure the safe and stable operation of the transmission line, improve the efficiency of transmission line inspection and the intelligence of the power grid.

transmission line fittings; YOLO V3 convolutional neural networks; defect detection

TP183

A

1674-2605(2022)04-0008-07

10.3969/j.issn.1674-2605.2022.04.008

裘瑾怡,任新新,陳希.基于卷積神經(jīng)網(wǎng)絡(luò)的輸電線路金具缺陷檢測方法[J].自動化與信息工程,2022,43(4):36-41,47.

QIU Jinyi, REN Xinxin, CHEN Xi. Detection method of transmission line fittings defects based on convolution neural network[J]. Automation & Information Engineering, 2022,43(4):36-41,47.

裘瑾怡，女，1995年生，本科，助理工程師，主要研究方向：電力通信運檢。E-mail: qjy081152@163.com

任新新，女，1989年生，碩士，工程師，主要研究方向：電力通信運檢。E-mail: 807264446@qq.com

陳希，女，1997年生，碩士，主要研究方向：圖像處理。E-mail: 1430094269@qq.com