羅 瀟，於 鋒，彭 勇

基于深度學(xué)習(xí)的無人機電網(wǎng)巡檢缺陷檢測研究

羅 瀟1，於 鋒2，彭 勇1

(1.國網(wǎng)上海市電力公司, 上海 200120；2.南通大學(xué)電氣工程學(xué)院，江蘇 南通 226019)

由于無人機電網(wǎng)巡檢存在檢測區(qū)域面積小、背景復(fù)雜、計算量大等特點，導(dǎo)致深度學(xué)習(xí)算法的準(zhǔn)確率和實時性難以實現(xiàn)。為實現(xiàn)無人機電網(wǎng)巡檢的準(zhǔn)確、快速識別，分析了各類深度學(xué)習(xí)算法在復(fù)雜環(huán)境下對絕緣子的檢測效果，提出了一種基于YOLO v3的目標(biāo)檢測算法。首先選用ResNet18作為主干網(wǎng)絡(luò)結(jié)構(gòu)，然后構(gòu)建一個多尺度特征金字塔，將其與主干網(wǎng)絡(luò)進(jìn)行融合，形成深度融合的電網(wǎng)巡檢絕緣子檢測模型，可在提高檢測準(zhǔn)確率的同時，滿足實時性的檢測要求。實驗結(jié)果表明，YOLO v3網(wǎng)絡(luò)的均值平均精度(mAP)達(dá)98.10%，相比于Faster R-CNN提高了6.71%；其每秒檢測幀數(shù)高達(dá)47.52幀，分別是R-CNN和Faster R-CNN的25倍和12倍。所提的YOLO v3網(wǎng)絡(luò)具有更優(yōu)的識別精度和檢測速度。

無人機巡檢；深度學(xué)習(xí)；YOLO v3；ResNet18；絕緣子

0 引言

絕緣子是一種在輸電線路中起到支撐導(dǎo)線和防止電流回地作用的絕緣控件[1]。隨著交直流線路電壓等級的提升，絕緣子的機械強度要求不斷提高，在長期運行狀態(tài)下，絕緣子不可避免地會出現(xiàn)瓷套管斷裂、絕緣子斷裂等問題。由于輸電線路長期處在復(fù)雜的地理位置以及不可預(yù)知的氣候環(huán)境下，絕緣子缺陷會影響電網(wǎng)的安全性，甚至影響社會經(jīng)濟(jì)[2]。因此，為了確保電網(wǎng)的穩(wěn)定運行，絕緣子缺陷檢測具有重要意義。

傳統(tǒng)的絕緣子缺陷檢測方法主要由人工借助檢測工具進(jìn)行實地勘察，或者采用傳統(tǒng)檢測算法排查絕緣子隱患[3-4]。但是，這些算法在安全性、準(zhǔn)確性、抗干擾性、快速性等方面都存在明顯的缺陷。文獻(xiàn)[5]分析說明了傳統(tǒng)絕緣子檢測算法存在的缺點：超聲波檢測法只適用于停電時作業(yè)，檢測效率較低；紅外熱波檢測法以及振動聲學(xué)檢測法易受環(huán)境影響，具有一定的局限性。文獻(xiàn)[6]分析了絕緣子斷裂的基本特征，并對異常外觀絕緣子進(jìn)行隱患排查，通過外觀檢查、彎曲試驗和法蘭附件拆解等試驗的檢測結(jié)果，驗證了檢測方法的可行性。由于我國電網(wǎng)輸電線路的規(guī)模迅速擴大，傳統(tǒng)巡檢模式已無法適應(yīng)電網(wǎng)發(fā)展與體制變革的要求[7]。通過人工勘測或傳統(tǒng)方法，不僅對專業(yè)技術(shù)能力要求高，耗時耗力，而且準(zhǔn)確度易受環(huán)境、視覺角度等因素影響。近年來，隨著人工智能的快速發(fā)展，深度學(xué)習(xí)技術(shù)得到越來越多學(xué)者的關(guān)注，并在目標(biāo)檢測、計算機視覺、語義分析等領(lǐng)域得到推廣與應(yīng)用[8]。基于此，國內(nèi)電網(wǎng)公司開始將人工智能與電力系統(tǒng)相結(jié)合，以無人機等圖像采集設(shè)備作為媒介[9]，應(yīng)用深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolutional Neural Network, DCNN)解決絕緣子缺陷檢測問題。DCNN是一種包含多級非線性變換的層級機器學(xué)習(xí)方法，通過自主學(xué)習(xí)的訓(xùn)練方式，可以顯著提升網(wǎng)絡(luò)的特征提取能力，為復(fù)雜環(huán)境下絕緣子的缺陷檢測提供新的思路[10]。DCNN在目標(biāo)檢測領(lǐng)域主要分為兩類：一是基于區(qū)域生成網(wǎng)絡(luò)(Region Proposal Network, RPN)的檢測方法，該方法先通過算法生成一系列樣本候選框，然后采用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)對檢測目標(biāo)進(jìn)行分類，R-CNN[11]、Fast R-CNN[12]以及Faster R-CNN[13]等網(wǎng)絡(luò)模型都屬于此類檢測方法；二是基于回歸的檢測方法，該方法不生成候選框，而是在實現(xiàn)目標(biāo)定位的同時處理預(yù)測目標(biāo)分類問題，YOLO[14-16]系列網(wǎng)絡(luò)屬于此類檢測方法。前者檢測方法識別準(zhǔn)確率高、漏報率低，但是檢測速度較慢，后者在檢測速度上占有優(yōu)勢，在準(zhǔn)確率上基本能達(dá)到前者方法的水平。目前，DCNN廣泛應(yīng)用于絕緣子識別與缺陷檢測。文獻(xiàn)[17]回顧了R-CNN系列模型，并選擇了目標(biāo)檢測效果最好的Faster R-CNN模型，進(jìn)行了針對絕緣子定位任務(wù)的微調(diào)，使得巡檢圖片中絕緣子的定位效果顯著提升。文獻(xiàn)[18]基于Faster R-CNN算法，通過對模型參數(shù)進(jìn)行優(yōu)化再訓(xùn)練，有效提高了絕緣子定位精度和識別率。文獻(xiàn)[19]通過Faster R-CNN構(gòu)建絕緣子檢測模型，并采用CNN算法實現(xiàn)了絕緣子缺陷判別，識別算法能夠自動展示出絕緣子的運行狀況。文獻(xiàn)[20]提出預(yù)測框選擇方法，基于YOLO v3框架實現(xiàn)了電網(wǎng)多部件故障的缺陷檢測與識別。文獻(xiàn)[21]基于YOLO v3提出了一個新的特征提取網(wǎng)絡(luò)，在保證精度不變的情況下，顯著提升了網(wǎng)絡(luò)檢測速度。

然而，現(xiàn)有文獻(xiàn)中無人機電網(wǎng)巡檢絕緣子缺陷只針對基于區(qū)域生成或者基于回歸的檢測方法，缺乏各類DCNN算法在復(fù)雜環(huán)境下采用無人機對巡檢絕緣子的檢測效果對比。由于無人機電網(wǎng)巡檢中絕緣子檢測區(qū)域具有面積小、背景復(fù)雜、計算量大等特點，影響了目標(biāo)檢測算法的準(zhǔn)確率和實時性。為此，本文將R-CNN、Faster R-CNN以及YOLO v3算法應(yīng)用于無人機電網(wǎng)巡檢絕緣子的缺陷檢測領(lǐng)域，采用準(zhǔn)確率、召回率、誤報率和漏報率等評價指標(biāo)對各類DCNN算法進(jìn)行統(tǒng)一處理與對比研究。通過對各算法結(jié)果的綜合考量，來實現(xiàn)復(fù)雜環(huán)境下無人機巡檢絕緣子的精準(zhǔn)、快速識別。

1 技術(shù)背景與方法

1.1 R-CNN

采用R-CNN對電網(wǎng)巡檢絕緣子進(jìn)行檢測。R-CNN網(wǎng)絡(luò)是將Region Proposal和CNN (Convolutional Neural Network)結(jié)合的一種基于區(qū)域生成的Region-CNN檢測算法，簡稱R-CNN。圖1所示為R-CNN的網(wǎng)絡(luò)模型。首先，提取輸入圖像中的感興趣區(qū)域，將圖像尺寸調(diào)整為227×227×3；然后，通過CNN前向傳播算法計算出每個區(qū)域的特征信息；最后，將提取出的候選區(qū)域特征向量輸入到SVM分類器中，使SVM對整個特征向量中的每個類別單獨打分，并采用非極大值抑制的方法得到目標(biāo)候選框。

圖1 R-CNN網(wǎng)絡(luò)模型

1.2 Faster R-CNN

采用Faster R-CNN網(wǎng)絡(luò)對電網(wǎng)巡檢絕緣子進(jìn)行檢測，網(wǎng)絡(luò)模型如圖2所示。Faster R-CNN算法首先對輸入圖像本身進(jìn)行特征提取，生成特征映射圖；然后利用RPN網(wǎng)絡(luò)對特征圖進(jìn)行處理，生成多個尺寸的目標(biāo)候選區(qū)域；最后利用感興趣區(qū)域池化層(RoI pooling)將不同大小的候選區(qū)域映射為固定尺寸的特征向量，將其與特征圖進(jìn)行綜合分析并提取目標(biāo)候選框，隨后送入分類回歸網(wǎng)絡(luò)判定候選區(qū)域所屬類別。由于Faster R-CNN使用全卷積層代替了全連接層[22]，網(wǎng)絡(luò)在檢測速度上有所提升。

圖2 FasterR-CNN網(wǎng)絡(luò)模型

2 YOLO v3網(wǎng)絡(luò)模型

2.1 多尺度檢測模型

與R-CNN系列網(wǎng)絡(luò)模型不同，YOLO網(wǎng)絡(luò)是采用基于回歸的檢測方法來提取目標(biāo)圖像的特征，直接利用單個網(wǎng)絡(luò)對輸入圖像進(jìn)行目標(biāo)預(yù)測以及分類，不用產(chǎn)生候選框。YOLO v3利用多尺度特征進(jìn)行目標(biāo)檢測，同時借鑒殘差結(jié)構(gòu)、錨點框選擇機制等[16]，使網(wǎng)絡(luò)模型性能得到極大提升。YOLO v3網(wǎng)絡(luò)在檢測速度上優(yōu)于R-CNN系列網(wǎng)絡(luò)，但是，在使用DCNN進(jìn)行特征提取時，網(wǎng)絡(luò)深度的增加意味著網(wǎng)絡(luò)訓(xùn)練難度增大、檢測速度降低，甚至可能出現(xiàn)模型退化和梯度消失問題。YOLO v3原模型采用Darknet-53作為主干網(wǎng)絡(luò)，深度達(dá)53層，且網(wǎng)絡(luò)采用多尺度融合，將算法應(yīng)用于無人機設(shè)備進(jìn)行目標(biāo)檢測過程中會出現(xiàn)誤檢、漏檢的問題[23]，不能保證無人機電網(wǎng)巡檢絕緣子的實時性檢測效果。由于本文的檢測對象分為絕緣子的正常以及缺陷兩類，檢測目標(biāo)易于提取，且使用小數(shù)據(jù)集進(jìn)行檢測任務(wù)，故采用ResNet18作為本文YOLO v3的主干網(wǎng)絡(luò)。ResNet18是一個18層的深度學(xué)習(xí)網(wǎng)絡(luò)，網(wǎng)絡(luò)模型中引入了殘差塊機制，即采用跳躍連接來解決網(wǎng)絡(luò)深度增加引起的梯度消失問題[24]。同時，殘差塊只是對數(shù)據(jù)進(jìn)行恒等映射，不會增加網(wǎng)絡(luò)的參數(shù)和復(fù)雜性[25-26]。

基于此，本文構(gòu)建YOLO v3絕緣子檢測網(wǎng)絡(luò)模型，如圖3所示。主干網(wǎng)絡(luò)是深度殘差網(wǎng)絡(luò)，能夠避免網(wǎng)絡(luò)出現(xiàn)過擬合問題，在YOLO v3主網(wǎng)絡(luò)后構(gòu)建一個多尺度特征金字塔，具體為：采用3個卷積層對輸入進(jìn)行特征提取，得到3種不同尺度的特征圖，從而形成了一個多尺度特征金字塔，有效提高了網(wǎng)絡(luò)檢測精度；同時，對該特征金字塔執(zhí)行上采樣操作，將其與主干網(wǎng)絡(luò)中的殘差塊進(jìn)行融合，形成深度融合的電網(wǎng)巡檢絕緣子檢測模型，實現(xiàn)絕緣子檢測的實時性與快速性。

圖3 YOLO v3絕緣子檢測網(wǎng)絡(luò)模型

相比于原YOLO v3_Darknet-53網(wǎng)絡(luò)，本文YOLO v3_ResNet18網(wǎng)絡(luò)則是在保證檢測準(zhǔn)確率的基礎(chǔ)上追求無人機巡檢的實時性。該方法的檢測流程為：首先，輸入數(shù)據(jù)為整個圖像，YOLO v3使用深度殘差網(wǎng)絡(luò)ResNet18提取絕緣子特征；然后，在4個殘差塊后添加3個卷積層，即采用3種不同尺度的特征圖進(jìn)行模型預(yù)測，從而形成多尺度預(yù)測網(wǎng)絡(luò)架構(gòu)；為了使特征圖獲得更多的尺度信息，每種特征圖都與主干網(wǎng)絡(luò)中對應(yīng)的殘差塊進(jìn)行融合，使其增加上采樣特征，便于模型在檢測精度和定位精度上更好地預(yù)測不同尺度的目標(biāo)；最后，利用非極大值抑制(Non-Maximum Suppression, NMS)的方法濾去多余的預(yù)測框，得到電網(wǎng)巡檢絕緣子的檢測結(jié)果。根據(jù)上述多尺度預(yù)測模型分別獲得兩個類別的置信度，在使用NMS篩選預(yù)測框時，首先，刪除置信度低于0.5閾值的誤檢預(yù)測框，將剩余預(yù)測框按照置信度從高到低排序，值最高的預(yù)測框為保留的第一個預(yù)測框1。計算其余預(yù)測框與1的交并比值IoU (Interesting over Union)，刪除IoU大于0.5閾值的重復(fù)預(yù)測框，至此完成第一次迭代。隨后，在剩余未被刪除的預(yù)測框中選取置信度最高的預(yù)測框為保留的第二個預(yù)測框2，刪除IoU大于0.5閾值的重復(fù)預(yù)測框，至此完成第二次迭代。若仍存在未被刪除的預(yù)測框，則進(jìn)行重復(fù)迭代操作，直至保留下來的預(yù)測框中，任意兩者之間的IoU值均小于0.5，則輸出即為最終目標(biāo)預(yù)測框。通過NMS方法得到的絕緣子預(yù)測框，可以滿足檢測精度和定位精度的要求。

2.2 網(wǎng)絡(luò)架構(gòu)

本文YOLO v3主干網(wǎng)絡(luò)的各層網(wǎng)絡(luò)參數(shù)配置如表1所示。第一個卷積層采用64個大小為7×7的卷積核過濾尺寸為227×227×3的輸入圖像；然后，將第一個卷積層的輸出作為下層輸入，采用尺寸為3×3的濾波器以及2個像素的步長對輸入進(jìn)行下采樣操作；隨后，增加殘差塊以加深網(wǎng)絡(luò)的深度，該殘差塊由3×3的卷積層組成，分別獲取52×52、26×26、13×13尺寸的特征圖。為了避免網(wǎng)絡(luò)過擬合現(xiàn)象，Res2、Res3、Res4中的第一層卷積層采用2個像素的步長進(jìn)行特征提取，代表卷積數(shù)減半，且不進(jìn)行另外的填充。Res2、Res3、Res4殘差塊除了卷積核數(shù)目與特征圖尺寸不同外，每一個殘差塊都相似。最后將上一節(jié)提出的上采樣特征圖與該特征圖進(jìn)行融合，構(gòu)成特征金字塔進(jìn)行絕緣子預(yù)測。

表1 主干網(wǎng)絡(luò)ResNet18參數(shù)配置

Table 1 Configuration of ResNet18 parameters of trunk network

3 實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)

隨著大數(shù)據(jù)分析和人工智能技術(shù)的興起，電力行業(yè)的缺陷檢測開始采用無人機進(jìn)行巡檢作業(yè)。基于此，本文在實驗中選取的無人機為大疆經(jīng)緯M300 RTK(Real-time kinematic，實時動態(tài))，其6個面上同時集成有雙目視覺[27]和ToF(Time of flight)傳感器，具備強大的感知定位和避障能力，如圖4所示。

圖4 大疆經(jīng)緯M300 RTK的外觀模型

本文以某電網(wǎng)公司提供的無人機電網(wǎng)巡檢絕緣子圖片作為缺陷檢測研究的數(shù)據(jù)集。原始數(shù)據(jù)集中包括絕緣子、螺栓、塔號牌、金具等類別。由于本文主要研究對象為電網(wǎng)絕緣子部件的缺陷檢測，通過數(shù)據(jù)分類挑選出絕緣子數(shù)據(jù)，并將文獻(xiàn)[28]中開源絕緣子數(shù)據(jù)集中的圖片篩選后加入到本文數(shù)據(jù)集中，最終圖片總數(shù)為860張，其RGB圖片尺寸為1 152像素×864像素，保存為jpg格式。為了增加數(shù)據(jù)的多樣性，圖片中包含瓷絕緣子和玻璃絕緣子，包含桿塔、裸地、農(nóng)田、河流等復(fù)雜背景的情況，還包含順光、逆光等光照情況。實驗過程中，將無人機電網(wǎng)巡檢絕緣子數(shù)據(jù)集的圖像尺寸統(tǒng)一修改為227×227×3，并按照4:1的比例分為訓(xùn)練集和測試集。程序在Matlab 2020中實現(xiàn)，采用Image Labeler 工具對數(shù)據(jù)集進(jìn)行人工標(biāo)注，框選出正常絕緣子類和缺陷絕緣子類，具體數(shù)據(jù)分配情況如表2所示。

表2 無人機電網(wǎng)巡檢絕緣子數(shù)據(jù)集

Table 2 UAV power grid inspection insulator data set

3.2 網(wǎng)絡(luò)訓(xùn)練

實驗采用ResNet18深度學(xué)習(xí)框架，計算機配置為CPU Inter Core i5-10400F，GPU為NVIDIA GTX 1080Ti，內(nèi)存16 GB，操作系統(tǒng)為Windows 10。輸入圖像大小為227×227×3，每次訓(xùn)練迭代的小批量大小為10，輪次(epoch)為30，動量因子為0.9，初始學(xué)習(xí)率為0.001。

由于模型是基于Resnet18主干網(wǎng)絡(luò)進(jìn)行訓(xùn)練，有必要對不同檢測模型的絕緣子檢測性能進(jìn)行對比分析。因此，采用R-CNN、Faster R-CNN以及YOLO v3檢測模型進(jìn)行網(wǎng)絡(luò)訓(xùn)練，訓(xùn)練損失曲線如圖5所示?？梢钥闯?，網(wǎng)絡(luò)在前500次迭代中迅速擬合，損失值在1 500次迭代訓(xùn)練后基本穩(wěn)定，R-CNN、Faster R-CNN以及YOLO v3的損失值依次降為0.82、0.36以及0.001左右，網(wǎng)絡(luò)訓(xùn)練結(jié)果較為理想。

圖5 網(wǎng)絡(luò)訓(xùn)練損失曲線

3.3 實驗結(jié)果

3.3.1實驗1

采用測試集對網(wǎng)絡(luò)模型進(jìn)行檢驗，即172張絕緣子圖像作為檢測樣本，包括126張正常絕緣子和46張缺陷絕緣子。為了評估網(wǎng)絡(luò)模型的檢測效果，在目標(biāo)檢測領(lǐng)域普遍使用的評價標(biāo)準(zhǔn)有準(zhǔn)確率(Precision)和召回率(Recall)，具體的計算公式如式(1)、式(2)所示。

式中：是預(yù)測為正樣本、實際為正樣本的個數(shù)；是預(yù)測為正樣本、實際為負(fù)樣本的個數(shù)；是預(yù)測為負(fù)樣本、實際為正樣本的個數(shù)。

準(zhǔn)確率和召回率的值越高，模型的表現(xiàn)效果越好，但是這兩者在某些情況下是矛盾的。平均精確率(Average Precision, AP)是從準(zhǔn)確率和召回率兩個角度對檢測模型進(jìn)行綜合衡量，通過準(zhǔn)確率-召回率(Precision-Recall, PR)曲線可以計算出目標(biāo)檢測AP值，進(jìn)一步分析各類別的檢測效果。本文采用AP值以及對應(yīng)的mAP(mean Average Precision)值作為評價指標(biāo)，mAP值越高表明模型在全部類別中的綜合檢測性能越好。具體的計算公式如式(3)、式(4)所示。

式中，為類別數(shù)，本文中為2。

分別采用R-CNN、Faster R-CNN以及YOLO v3模型對測試集進(jìn)行檢測，圖6為3種檢測模型中正常絕緣子和缺陷絕緣子的PR關(guān)系曲線，表3為3種模型的性能對比結(jié)果。

圖6 3種網(wǎng)絡(luò)對絕緣子檢測的PR曲線

表3 3種網(wǎng)絡(luò)的檢測性能對比

Table 3 Comparison of detection performance of three networks

從圖6和表3中可以看出，YOLO v3網(wǎng)絡(luò)的性能明顯優(yōu)于R-CNN和Faster R-CNN網(wǎng)絡(luò)。原始R-CNN和Faster R-CNN中缺陷絕緣子的AP分別為0.58%和92.80%，YOLO v3算法缺陷絕緣子的AP為99.18%，由此證明YOLO v3算法的有效性以及在提升絕緣子缺陷檢測精度方面的優(yōu)越性。相比于Faster R-CNN，YOLO v3的mAP值提高了6.71個百分點，在正常絕緣子和缺陷絕緣子的AP值上分別提高了7.04和6.38個百分點，可以較為準(zhǔn)確地預(yù)測絕緣子預(yù)測框的類別以及位置。綜上，YOLO v3網(wǎng)絡(luò)的檢測精度和定位精度更高，訓(xùn)練誤差更小，在電網(wǎng)巡檢絕緣子的檢測性能上表現(xiàn)更佳。

3.3.2實驗2

為了更直觀地表現(xiàn)YOLO v3算法的優(yōu)越性，考慮三種網(wǎng)絡(luò)模型在不同復(fù)雜背景下的性能不同，隨機抽取兩幅測試圖像并分別采用R-CNN、Faster R-CNN以及YOLO v3網(wǎng)絡(luò)模型進(jìn)行測試，檢測結(jié)果如圖7所示。

圖7表明，三種算法均能正確判別絕緣子的類別，但預(yù)測框的位置表現(xiàn)各異：R-CNN算法只能框選出部分絕緣子；Faster R-CNN算法能框選出大部分絕緣子，但置信度較低；而YOLO v3算法的預(yù)測框能完整框選出絕緣子的位置，置信度較高，能夠成功完成絕緣子目標(biāo)識別的任務(wù)。綜上所述，YOLO v3算法在桿塔、裸地、農(nóng)田、河流等復(fù)雜背景下的絕緣子檢測性能更佳。

圖7 不同算法識別效果

對數(shù)據(jù)集進(jìn)行目標(biāo)檢測，檢驗YOLO v3網(wǎng)絡(luò)的性能表現(xiàn)。計算各類網(wǎng)絡(luò)模型的幀速率，并通過計算各類目標(biāo)的誤報率(False Alarm)和漏報率(Miss Rate)對網(wǎng)絡(luò)測試結(jié)果進(jìn)行評估，如式(5)、式(6)所示。誤報率和漏報率可以反映網(wǎng)絡(luò)模型正確預(yù)測正、負(fù)樣本純度的能力，值越低，模型的表現(xiàn)效果越好。

式中，是預(yù)測為正樣本、實際為負(fù)樣本的個數(shù)。

三種模型在數(shù)據(jù)集上的誤報率、漏報率和幀速率記錄如表4所示。YOLO v3網(wǎng)絡(luò)的幀速率為47.85 f/s，分別是R-CNN和Faster R-CNN的25倍和12倍，能夠滿足實時檢測要求；相比于Faster R-CNN，YOLO v3的誤報率上升了0.83個百分點，但漏報率降低了1.23個百分點。這表明YOLO v3在缺陷絕緣子的識別上表現(xiàn)更好，可用于輸電線路中缺陷絕緣子的定位。結(jié)果表明，YOLO v3算法優(yōu)化了網(wǎng)絡(luò)性能，提高了網(wǎng)絡(luò)識別精度和速度。

表4 不同算法的誤報率和漏報率

Table 4 Flase alarm and miss alarm of different algorithms

4 結(jié)論

本文以無人機電網(wǎng)巡檢絕緣子為研究對象，通過對DCNN各類算法的對比研究，實現(xiàn)電網(wǎng)巡檢絕緣子的精準(zhǔn)、快速判別。

(1) 采用各類DCNN算法，即R-CNN、Faster R-CNN以及YOLO v3進(jìn)行綜合考量，選用ResNet18作為目標(biāo)檢測模型的主干網(wǎng)絡(luò)，實現(xiàn)電網(wǎng)巡檢絕緣子的缺陷檢測。最終在測試集上的mAP值分別為0.78%、91.39%、98.10%，與Faster R-CNN網(wǎng)絡(luò)相比，YOLO v3網(wǎng)絡(luò)在mAP值上提高了6.71個百分點。

(2) 為了對各類算法進(jìn)行對比分析，選擇了不同絕緣子在復(fù)雜背景下三種算法的性能對比實驗。結(jié)果表明，YOLO v3算法在預(yù)測框和置信度上均優(yōu)于R-CNN以及Faster R-CNN算法。YOLO v3網(wǎng)絡(luò)在數(shù)據(jù)集上的幀速率達(dá)47.85 f/s，漏報率達(dá)1.87%，相比于Faster R-CNN，誤報率上升了0.83個百分點。綜合考量，YOLO v3網(wǎng)絡(luò)的識別效果更好。

(3) YOLO v3_ResNet18借鑒了殘差塊和深度融合思想，使網(wǎng)絡(luò)易于訓(xùn)練，并且在保證準(zhǔn)確率的同時，可以滿足無人機電網(wǎng)巡檢的實時性要求。YOLO v3縮減了網(wǎng)絡(luò)的卷積層數(shù)量，并有效提高了絕緣子的檢測精度和速度，為電網(wǎng)巡檢缺陷檢測提供參考。

[1] MIAO Xiren, LIU Xinyu, CHEN Jing, et al.Insulator detection in aerial images for transmission line inspection using single shot multibox detector[J]. IEEE Access, 2019(7): 9945-9956.

[2] 胡長猛, 謝從珍, 袁超, 等. 霧霾對輸變電設(shè)備外絕緣特性影響機理綜述[J]. 電力系統(tǒng)保護(hù)與控制, 2015, 43(16): 147-154.

HU Changmeng, XIE Congzhen, YUAN Chao, et al. A review on influence mechanism of haze on external insulation characteristics of transmission and transformation equipment[J]. Power System Protection and Control, 2015, 43(16): 147-154.

[3] 胡志坤, 趙超越, 王振東, 等.基于邊緣計算和無人機巡檢圖像的輸電桿塔關(guān)鍵部位隱患智能識別[J]. 浙江電力, 2020, 39(10): 21-27.

HU Zhikun, ZHAO Chaoyue, WANG Zhendong, et al. Intelligent identification of hidden troubles in key parts of transmission towers based on edge computing and UAV inspection images[J]. Zhejiang Electric Power, 2020, 39(10): 21-27.

[4] 劉子英, 張靖, 鄧芳明. 基于BP神經(jīng)網(wǎng)絡(luò)的高壓隔離開關(guān)分合閘監(jiān)測識別[J]. 電力系統(tǒng)保護(hù)與控制, 2020, 48(5): 134-140.

LIU Ziying, ZHANG Jing, DENG Fangming. Monitoring and identification of state of opening or closing isolation switch based on BP neural network[J]. Power System Protection and Control, 2020, 48(5): 134-140.

[5] 王黎明, 劉立帥, 梅紅偉, 等. 基于脈沖紅外熱波技術(shù)的支柱絕緣子無損檢測方法[J]. 中國電機工程學(xué)報, 2017, 37(24): 7359-7366, 7450.

WANG Liming, LIU Lishuai, MEI Hongwei, et al. Nondestructive testing method of post porcelain insulator based on pulsed infrared thermal wave technology[J]. Proceedings of the CSEE, 2017, 37(24): 7359-7366, 7450.

[6] 王瓊, 侯宇嘉, 褚文超, 等. 支柱絕緣子斷裂原因分析及其隱患排查方法[J]. 電瓷避雷器, 2020(3): 213-218.

WANG Qiong, HOU Yujia, CHU Wenchao, et al. Analysis on the cause of post insulator broken and inspection method[J]. Insulators and Surge Arresters, 2020(3): 213-218.

[7] 趙振兵, 齊鴻雨, 聶禮強. 基于深度學(xué)習(xí)的輸電線路視覺檢測研究綜述[J]. 廣東電力, 2019, 32(9): 11-23.

ZHAO Zhenbing, QI Hongyu, NIE Liqiang. Research overview on visual detection of transmission lines based on deep learning[J]. Guangdong Electric Power, 2019, 32(9): 11-23.

[8] 汪穎, 孫建風(fēng), 肖先勇, 等. 基于優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的電纜早期故障分類識別[J]. 電力系統(tǒng)保護(hù)與控制, 2020, 48(7): 10-18.

WANG Ying, SUN Jianfeng, XIAO Xianyong, et al. Cable incipient fault classification and identification based on optimized convolution neural network[J]. Power System Protection and Control, 2020, 48(7): 10-18.

[9] HU Zhuangli, HE Tong, ZENG Yihui, et al. Fast image recognition of transmission tower based on big data[J]. Protection and Control of Modern Power Systems, 2018, 3(2): 149-158.

[10] 周飛燕, 金林鵬, 董軍. 卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 計算機學(xué)報, 2017, 40(6): 1229-1251.

ZHOU Feiyan, JIN Linpeng, DONG Jun. Review of convolutional neural network[J]. Chinese Journal of Computers, 2017, 40(6): 1229-1251.

[11] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C] // 2014 IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2014, Columbus, OH, USA: 580-587.

[12] GIRSHICK R. Fast R-CNN[C] // 2015 IEEE International Conference on Computer Vision (ICCV), December 7-13, 2015, Santiago, Chile: 1440-1448.

[13] REN Shaoqing, HE Kaiming, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[14] REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: unified, real-time object detection[C] // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 27-30, 2016, Las Vegas, NV, USA: 779-788.

[15] REDMON J, FARHADI A. YOLO9000: better, faster, stronger[C] // 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Honolulu, HI, USA: 6517-6525.

[16] REDMON J, FARHADI A. YOLOv3: an incremental improvement[J]. arXiv e-prints, 2018.

[17] 張蕾. 基于R-CNN的絕緣子圖像定位研究[D]. 北京: 華北電力大學(xué), 2018.

ZHANG Lei. Research on the localization of insulator images based on R-CNN[D]. Beijing: North China Electric Power University, 2018.

[18] 楊焰飛, 曹陽. 基于深度學(xué)習(xí)的無人機拍攝圖像絕緣子目標(biāo)檢測[J]. 激光雜志, 2020, 41(10): 63-66.

YANG Yanfei, CAO Yang. Image insulator target detection based on deep learning for UAV[J]. Laser Journal, 2020, 41(10): 63-66.

[19] 何寧輝, 王世杰, 劉軍福, 等. 基于深度學(xué)習(xí)的航拍圖像絕緣子缺失檢測方法研究[J]. 電力系統(tǒng)保護(hù)與控制, 2021, 49(12): 132-140.

HE Ninghui, WANG Shijie, LIU Junfu, et al. Research on infrared image missing insulator detection method based on deep learning[J]. Power System Protection and Control, 2021, 49(12): 132-140.

[20] 顧曉東, 唐丹宏, 黃曉華. 基于深度學(xué)習(xí)的電網(wǎng)巡檢圖像缺陷檢測與識別[J]. 電力系統(tǒng)保護(hù)與控制, 2021, 49(5): 91-97.

GU Xiaodong, TANG Danhong, HUANG Xiaohua. Deep learning-based defect detection and recognition of a power grid inspection image[J]. Power System Protection and Control, 2021, 49(5): 91-97.

[21] 王凱, 許敏, 孫翔, 等．改進(jìn)YOLOv3的絕緣子自爆缺陷檢測方法[J/OL]. 小型微型計算機系統(tǒng), 1-7 [2021-11-20]. https://kns.cnki.net/kcms/detail/21.1106.TP.20211102.1606.048.html.

WANG Kai, XU Min, SUN Xiang, et al. Insulator self-explosion defect detection method based on improved YOLOv3[J/OL]. Journal of Chinese Computer Systems, 1-7[2021-11-20]. https://kns.cnki.net/kcms/detail/21.1106. TP.20211102.1606.048.html.

[22] 羅元, 王薄宇, 陳旭. 基于深度學(xué)習(xí)的目標(biāo)檢測技術(shù)的研究綜述[J]. 半導(dǎo)體光電, 2020, 41(1): 1-10.

LUO Yuan, WANG Boyu, CHEN Xu. Research progresses of target detection technology based on deep learning[J]. Semiconductor Optoelectronics, 2020, 41(1): 1-10.

[23] 郭敬東, 陳彬, 王仁書, 等. 基于YOLO的無人機電力線路桿塔巡檢圖像實時檢測[J]. 中國電力, 2019, 52(7): 17-23.

GUO Jingdong, CHEN Bin, WANG Renshu, et al. YOLO-based real-time detection of power line poles from unmanned aerial vehicle inspection vision[J]. Electric Power, 2019, 52(7): 17-23.

[24] PAIDI V, HASAN F, ROGER G N. Deep learning-based vehicle occupancy detection in an open parking lot using thermal camera[J]. IET Intelligent Transport Systems, 2020, 14(10): 1295-1302.

[25] HE Kaiming, Zhang Xiangyu, Ren Shaoqing, et al. Identity mappings in deep residual networks[C] // 21st ACM Conference on Computer and Communications Security, November 3-7, 2016, Amsterdam, Netherlands: 630-645.

[26] 張富凱, 楊峰, 李策. 基于改進(jìn)YOLOv3的快速車輛檢測方法[J]. 計算機工程與應(yīng)用, 2019, 55(2): 12-20.

ZHANG Fukai, YANG Feng, LI Ce. Fast vehicle detection method based on improved YOLOv3[J]. Computer Engineering and Applications, 2019, 55(2): 12-20.

[27] 陳炎, 楊麗麗, 王振鵬. 雙目視覺的匹配算法綜述[J]. 圖學(xué)學(xué)報, 2020(5): 702-708.

CHEN Yan, YANG Lili, WANG Zhenpeng. Literature survey on stereo vision matching algorithms[J]. Journal of Graphics, 2020(5): 702-708.

[28] TAO Xian, ZHANG Dapeng, WANG Zihao, et al. Detection of power line insulator defects using aerial images analyzed with convolutional neural networks[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2020, 50(4): 1486-1498.

UAV power grid inspection defect detection based on deep learning

LUO Xiao1, YU Feng2, PENG Yong1

(1. State Grid Shanghai Municipal Electric Power Company, Shanghai 200120, China; 2. School of Electrical Engineering, Nantong University, Nantong 226019, China)

In power grid inspection by an unmanned aerial vehicle (UAV), traditional deep learning algorithms may fail to achieve the high-accuracy and operate in real time owing to the characteristics of small detection area, complex background and intensive computation. To achieve accurate and fast identification of UAV power grid inspection, the detection effects of various deep learning algorithms are analyzed in detail, and an improved target detection algorithm based on YOLO v3 is proposed. The ResNet18 is adopted as the backbone network structure and a multi-scale feature pyramid is constructed. Then a deeply integrated grid inspection model is built to detect insulators via aligning the ResNet18 with the multi-scale feature pyramid, by which the detection can be executed in real time with a high-accuracy. Specifically, the mean average precision of the YOLO v3 network is 98.10%, which is increased by 6.71% over that of Faster R-CNN. Also, YOLO v3 detects up to 47.52 frames per second, 25 times and 12 times R-CNN and Faster R-CNN, respectively. The improved YOLO v3 network has better identification accuracy and detection speed.

UAV inspection; deep learning; YOLO v3; ResNet18; insulator

10.19783/j.cnki.pspc.211664

國家電網(wǎng)公司科技項目資助(B30970200003)

This work is supported by the Science and Technology Project of State Grid Corporation of China (No. B30970200003).

2021-12-07；

2022-01-20

羅 瀟(1987—)，男，博士，高級工程師，研究方向為新能源并網(wǎng)、帶電作業(yè)新技術(shù)、電力人工智能技術(shù)；E-mail: luoxiao0424@foxmail.com

於 鋒(1985—)，男，通信作者，博士，副教授，研究方向為電力電子技術(shù)；E-mail: yufeng628@ntu.edu.cn

彭 勇(1985—)，男，碩士，高級工程師，研究方向為帶電作業(yè)新技術(shù)。E-mail: pengy@sh.sgcc.com.cn

(編輯 張愛琴)