易繼禹，陳慈發(fā)，龔國強

（三峽大學(xué)計算機與信息學(xué)院，湖北宜昌 443000）

0 概述

絕緣子是輸電線路中的重要組成部分，在長期自然環(huán)境以及惡劣條件作用下，絕緣子可能發(fā)生故障，影響電力系統(tǒng)的穩(wěn)定運行［1］，因此定期巡檢輸電線路絕緣子，及時發(fā)現(xiàn)并處理故障絕緣子對電力系統(tǒng)的穩(wěn)定性與可靠性具有重要意義。目前，我國主要的輸電線路巡檢方式是無人機巡檢［2］，它在一定程度上彌補了傳統(tǒng)人工巡檢的不足，有效降低了巡檢人員登桿檢查的工作強度并提高了安全性，能快速且準確地判斷缺陷情況［3］，顯著提高巡檢效率以及線路維護的響應(yīng)速度。無人機巡檢主要通過采集海量航拍圖像進行檢測，因此航拍圖像中的絕緣子自動檢測研究就顯得十分重要。

最初的圖像識別算法主要通過搜集圖像，再對圖像進行處理以實現(xiàn)絕緣子檢測。文獻［4］采用邊緣檢測方法實現(xiàn)對絕緣子的檢測。文獻［5］利用自適應(yīng)形態(tài)學(xué)算法實現(xiàn)可見光圖像中絕緣子的檢測。文獻［6］通過圖像的灰度信息計算絕緣子和背景區(qū)域的形狀特征值，設(shè)計分類決策條件進行絕緣子檢測。文獻［7］提出基于可見光圖像的絕緣子識別與故障檢測方法。文獻［8］利用閾值分割進行分步定位提取絕緣子。文獻［9］通過結(jié)合形態(tài)學(xué)、Lab 彩色空間與最大類間方差法來實現(xiàn)絕緣子“掉串”故障檢測。文獻［10］提出基于最優(yōu)閾值的改進型Canny 算子電力設(shè)備圖像檢測算法。上述方法能實現(xiàn)簡單目標的絕緣子檢測，但局限于某一類別，在現(xiàn)實應(yīng)用中受到環(huán)境等因素的影響，導(dǎo)致檢測結(jié)果不理想。隨后，基于機器學(xué)習(xí)方法的絕緣子識別成為研究人員關(guān)注的熱點問題。文獻［11］利用目標建議算法與結(jié)構(gòu)搜索對絕緣子進行識別定位。文獻［12］采用支持向量機（Support Vector Machine，SVM）算法實現(xiàn)對高壓輸電線路故障的識別與分類。機器學(xué)習(xí)技術(shù)可在一定程度上提高識別可靠性，但在識別時間和準確率上仍有進一步提升的空間。

近年來，深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）在目標檢測［13］任務(wù)中表現(xiàn)突出并得到廣泛應(yīng)用。文獻［14］運用Faster RCNN 網(wǎng)絡(luò)實現(xiàn)多種類別的小部件識別定位。文獻［15］結(jié)合深度學(xué)習(xí)和隨機森林對電力設(shè)備圖像進行檢測。文獻［16］利用深度遷移學(xué)習(xí)提出一種單階段多框檢測器的目標檢測算法，并采用軟性懲罰非極大值抑制等方法進行優(yōu)化，實現(xiàn)電力小部件檢測。上述方法相較傳統(tǒng)識別方法在識別時間和準確率方面均有較大的性能提升，但其研究主要集中于絕緣子識別和故障檢測，對于復(fù)雜背景下的絕緣子檢測研究較少。本文針對航拍圖像中的輸電線路絕緣子檢測問題，通過多尺度訓(xùn)練提升系統(tǒng)魯棒性，優(yōu)化區(qū)域生成網(wǎng)絡(luò)（Region Proposal Network，RPN）候選框比例使檢測結(jié)果更貼合目標，改進Faster RCNN［17］模型并引入遮擋掩膜生成困難樣本，通過不斷檢測學(xué)習(xí)提升遮擋情況下的絕緣子檢測精確度。

1 絕緣子檢測方法

在RCNN［18］和Fast RCNN［19］的基礎(chǔ)上，2015 年微軟研究院的任少慶等人提出了Faster RCNN 算法，該算法將特征提取、建議框提取、邊框回歸、分類回歸整合于一個網(wǎng)絡(luò)中，使得整體性能得到大幅提升，尤其在檢測速度方面，真正實現(xiàn)了端到端的目標檢測框架。

在海量航拍圖像中，絕緣子形態(tài)不一且目標檢測魯棒性差。為提高目標檢測準確性和檢測速度并降低漏檢率，本文選用Faster RCNN 為基礎(chǔ)模型進行航拍絕緣子檢測，在此基礎(chǔ)上結(jié)合多尺度訓(xùn)練、候選區(qū)域比例微調(diào)和遮擋樣本的對手生成策略，解決目標尺寸不一、遮擋等因素對絕緣子檢測的影響，進一步提高絕緣子檢測的精確度。航拍絕緣子檢測流程如圖1 所示。

圖1 航拍絕緣子檢測流程Fig.1 Procedure of aerial insulator detection

1.1 航拍圖像處理及數(shù)據(jù)集建立

本文中的絕緣子數(shù)據(jù)集涵蓋了不同地點、不同時期的6 500 張無人機巡檢航拍絕緣子圖像。航拍圖像中部分圖像拍攝角度視野過大，檢測目標不明顯，于是對部分圖像進行預(yù)處理以減少非目標信息，并對訓(xùn)練集中每張圖像出現(xiàn)的絕緣子進行標記。為更好地識別出測試集中的絕緣子，在標注時盡量減少標注框內(nèi)的其他物體信息，同時較好地貼合航拍圖像中的絕緣子，如圖2 所示。對于測試樣本，本文選用400 張圖像作為測試集，并且測試集中不使用訓(xùn)練樣本中的圖像。在識別測試集時，標記出航拍圖像中的絕緣子，包括殘缺和遮擋的絕緣子，表示實現(xiàn)一次成功的識別。

圖2 圖像處理及標注Fig.2 Image processing and labeling

1.2 Faster RCNN 檢測方法

Faster RCNN 檢測方法的基本流程如圖3 所示，檢測過程具體如下：1）輸入需要測試的圖像；2）通過一組基礎(chǔ)的CNN 網(wǎng)絡(luò)對輸入的整張圖像進行特征提??；3）每張圖像通過RPN 網(wǎng)絡(luò)生成300 個建議窗口；4）將建議窗口映射到CNN 網(wǎng)絡(luò)的最后一層卷積特征圖上；5）通過感興趣區(qū)域（Region of Interest，RoI）池化層使每個RoI 生成固定尺寸的特征圖；6）對分類概率和邊框回歸進行聯(lián)合訓(xùn)練。

圖3 Faster RCNN 檢測方法的基本流程Fig.3 The basic procedure of the Faster RCNN detection method

Faster RCNN 檢測方法包括提取候選框的RPN網(wǎng)絡(luò)和檢測目標的分類回歸網(wǎng)絡(luò)兩部分。RPN 的本質(zhì)是基于滑窗的無類別目標檢測器，作用是提供高質(zhì)量的目標候選框，結(jié)構(gòu)如圖4 所示，特征圖中每個像素點都配備了k種錨點作為初始檢測框，判斷該錨點是否成功覆蓋目標以及為物體錨點進行坐標修正。由于RPN 網(wǎng)絡(luò)對輸入樣本數(shù)據(jù)的分類為二分類問題，使得分類層可得到2k個評分，并且坐標修正為4 個值（x，y，w，h），因此回歸層可得到4k個參數(shù)化坐標。

圖4 RPN 結(jié)構(gòu)Fig.4 RPN structure

在訓(xùn)練RPN 時，對交并比（Intersection over Union，IoU）大于0.7 的候選框分配正標簽，IoU 小于0.3 的候選框分配負標簽。損失函數(shù)計算公式為：

1.3 改進的Faster RCNN 網(wǎng)絡(luò)模型

為使Faster RCNN 網(wǎng)絡(luò)模型更好地應(yīng)用于絕緣子檢測，本文在原始Faster RCNN 網(wǎng)絡(luò)模型的基礎(chǔ)上結(jié)合多尺度訓(xùn)練、候選區(qū)域比例微調(diào)和對手生成策略增強模型性能。

1.3.1 多尺度訓(xùn)練

在輸電線路中，絕緣子尺寸差異較大，原始Faster RCNN 模型通常會對所有訓(xùn)練圖像采用恒定的尺寸，在這種情況下會使尺寸不同的目標檢測效果較差。本文采用多尺度訓(xùn)練，在保持絕緣子圖像原有比例不變的前提下，將圖像大小進行隨機調(diào)整，將圖像較短一邊的像素設(shè)置為480、600 和750，并在這3 種條件下進行網(wǎng)絡(luò)訓(xùn)練。實驗結(jié)果證明，多尺度訓(xùn)練使Faster RCNN網(wǎng)絡(luò)對絕緣子尺寸具有一定魯棒性。

1.3.2 候選區(qū)域比例微調(diào)

Faster RCNN 網(wǎng)絡(luò)的主要優(yōu)勢為選用提取候選RPN 網(wǎng)絡(luò)代替耗時較多的選擇性搜索過程。在原始Faster RCNN 網(wǎng)絡(luò)中RPN 共使用128×128、256×256、512×512 這3 種縮放比例以及1∶2、1∶1、2∶1 這3 種候選區(qū)域比例，因此每個錨位置產(chǎn)生了9 個錨框。由于航拍圖像中絕緣子尺寸與公共數(shù)據(jù)集中多數(shù)目標不同，因此為了得到更好的識別結(jié)果，需要微調(diào)候選區(qū)域比例。對航拍絕緣子圖像訓(xùn)練集中6 500 張圖像進行統(tǒng)計，圖像中多數(shù)絕緣子候選區(qū)域比例為1∶1、1∶2、1∶3、1∶4 和1∶5，絕緣子數(shù)量分別為552 張、981 張、1 877 張、1 789 張 和751 張。將RPN 網(wǎng)絡(luò)中原有3 種候選區(qū)域比例進行擴展，尋找最適宜的比例，如圖5 所示。

圖5 改進前后的候選區(qū)域比例對比Fig.5 Comparison of the proportion of candidate regions before and after improvement

1.3.3 對手生成策略

由于航拍中的不確定因素以及輸電線路結(jié)構(gòu)的復(fù)雜多樣，因此導(dǎo)致航拍圖像中出現(xiàn)了背景物件過多且絕緣子被遮擋的情況，如圖6 所示，在圖6（a）中中間絕緣子顏色與桿塔近似且大部分與桿塔重疊，在圖6（b）中左上角兩個絕緣子也出現(xiàn)了類似情況。

圖6 被遮擋的絕緣子樣本Fig.6 Samples of shaded insulators

基于上述情況，如果直接對絕緣子進行檢測，則將會導(dǎo)致識別率大幅降低。借鑒A-Fast-RCNN［20］網(wǎng)絡(luò)模型中使用對抗網(wǎng)絡(luò)生成遮擋來訓(xùn)練檢測網(wǎng)絡(luò)的思想，本文將對手生成策略引入Faster RCNN 網(wǎng)絡(luò)中解決遮擋樣本的檢測問題。改進的Faster RCNN網(wǎng)絡(luò)框架如圖7 所示。

圖7 改進的Faster RCNN 網(wǎng)絡(luò)框架Fig.7 Improved Faster RCNN network framework

將RoI 池化層之后的部分稱為CO 網(wǎng)絡(luò)，它將原始的一個網(wǎng)絡(luò)擴展為兩個共享網(wǎng)絡(luò)。網(wǎng)絡(luò)1 的輸入是Faster RCNN 中RoI 池化后的特征圖，通過全連接層生成遮擋掩膜，判斷在特征圖中哪些部分應(yīng)丟棄后生成困難樣本，并且所有操作都是向前的。網(wǎng)絡(luò)2中包含向前和向后操作，它的輸入是網(wǎng)絡(luò)1 所產(chǎn)生的困難樣本，輸出的損失函數(shù)能使網(wǎng)絡(luò)1 中的掩膜進行自動調(diào)整。在整個過程中會訓(xùn)練一個對手網(wǎng)絡(luò)，產(chǎn)生檢測困難的遮擋樣本。經(jīng)過訓(xùn)練的檢測網(wǎng)絡(luò)會檢測出某個區(qū)域被遮擋，從而遮擋此區(qū)域特征，以便使檢測網(wǎng)絡(luò)對困難遮擋情況進行充分分析，最終得到更高的檢測準確率。

網(wǎng)絡(luò)1 的輸入是特征圖，而掩膜會丟棄特征圖某一部分的特征，從而使特征對象更難檢測。特征X的尺寸為d×d×c，其中，d是 空間維度，c是通道數(shù)。掩膜Y會輸出d×d個值，這些值為0 或1。若Yij是第i行、第j列的掩膜值，則Xij是第i行、第j列的k通道特征值，其中?K表示任意的k通道。當(dāng)Yij=1時，丟棄特征圖上的所有通道值，計算公式為：

在訓(xùn)練過程中，使用d/3×d/3 的滑窗丟棄滑框內(nèi)的特征值，生成候選區(qū)域中的新特征向量。在所有滑窗中選取損失最高的滑窗，利用該滑窗生成單一掩膜，對于n個候選區(qū)域生成n個訓(xùn)練樣{(X1,Y1),本(X2,Y2),…,(Xn,Yn)}。假 設(shè)O是CO 網(wǎng)絡(luò)的生成器，那么O（X）就是生成的困難樣本，訓(xùn)練CO 網(wǎng)絡(luò)的損失函數(shù)計算公式為：

其中，F(xiàn)是檢測器，X是候選目標。式（6）表明在對生成特征進行分類時，若過程較順利，則產(chǎn)生的損失較大，反之產(chǎn)生的損失較小，目的是生成使網(wǎng)絡(luò)具有高損失值的掩膜，其交叉熵損失函數(shù)計算公式為：

其中，Y表示困難樣本中的生成掩膜，Oij(Xε)表示輸入特征圖Xε的（i,j）位置中的網(wǎng)絡(luò)輸出。

2 實驗結(jié)果與分析

本文實驗運行在配置為Inter Core i7-9700F@4.50 GHz、8 GB 內(nèi)存、RTX2070 Super Ultra OC GPU的計算機上，選取含有絕緣子的航拍圖片共6 500 張，其中，6 100 張為訓(xùn)練集，400 張為測試集，航拍圖像示例如圖8 所示。

圖8 航拍圖像示例Fig.8 Examples of aerial images

為評估本文實驗的有效性，使用精確度（Precision）和召回率（Recall）［21］來衡量模型檢測結(jié)果，計算公式為：

其中，TTP表示正值正樣本，F(xiàn)FP表示負值正樣本，F(xiàn)FN表示負值負樣本。

2.1 網(wǎng)絡(luò)訓(xùn)練對檢測結(jié)果的影響

在訓(xùn)練時設(shè)置批次大小為128，即每次輸入128 張航拍圖像進行訓(xùn)練，權(quán)值衰減為0.000 5，初始學(xué)習(xí)率為0.001。通過損失值來判斷網(wǎng)絡(luò)訓(xùn)練效果，如圖9所示?？梢钥闯觯瑩p失值隨著迭代次數(shù)增多逐漸呈現(xiàn)下降趨勢，在迭代次數(shù)達到一定值時，無限收斂于0，說明隨著迭代次數(shù)的增加，訓(xùn)練效果越來越好。

圖9 損失值隨迭代次數(shù)的變化曲線Fig.9 The change curve of the loss values with the number of iterations

平均準確率與迭代次數(shù)的關(guān)系如圖10 所示。獲取額外100 張圖像作為驗證集，在模型迭代4 000 次后，驗證集中絕緣子識別的平均準確率接近80%并逐漸上升，在迭代次數(shù)為14 000 次時達到87%的最大值。本文將迭代14 000 次后的網(wǎng)絡(luò)模型作為目標檢測模型，并使用不同方法進行檢測。

圖10 平均準確率隨迭代次數(shù)的變化曲線Fig.10 The change curve of the average accuracy with the number of iterations

2.2 候選區(qū)域比例對檢測結(jié)果的影響

通過調(diào)整RPN 網(wǎng)絡(luò)中候選區(qū)域的比例數(shù)量，對本文建立的數(shù)據(jù)集進行檢測，得到的檢測結(jié)果平均精度（Average Precision，AP）如表1 所示。

表1 不同候選區(qū)域比例下的檢測結(jié)果Table 1 Detection results under different proportion of candidate regions

由表1 可知，最優(yōu)的候選區(qū)域比例為1∶4、1∶3、1∶2、1∶1、2∶1、3∶1、4∶1。隨著候選區(qū)域比例數(shù)量的增加，會使檢測精度降低，微調(diào)后的模型精度比初始模型提升了8.16%。微調(diào)候選區(qū)域比例前后的實驗結(jié)果如圖11 所示，在圖11（a）中兩串絕緣子被單獨識別，在圖11（b）中識別框更貼合絕緣子目標，說明微調(diào)候選區(qū)域比例后，改進的Faster RCNN 網(wǎng)絡(luò)模型能更準確地識別絕緣子區(qū)域，減少識別區(qū)域內(nèi)的非絕緣子信息。

圖11 微調(diào)候選區(qū)域比例前后的實驗結(jié)果對比Fig.11 Comparison of experimental results before and after fine tuning the proportion of candidate regions

2.3 改進Faster RCNN 網(wǎng)絡(luò)模型的檢測結(jié)果

Fast RCNN、YOLOv3［22］、Faster RCNN 和改進的Faster RCNN 網(wǎng)絡(luò)模型的檢測結(jié)果如圖12 所示。可以看出，本文改進的Faster RCNN 網(wǎng)絡(luò)模型相較Fast RCNN、YOLOv3 和Faster RCNN 網(wǎng)絡(luò)模型，能更完整地識別出被桿塔遮擋的絕緣子部分，且能識別出微小的絕緣子目標，同時識別框更貼合目標絕緣子。

圖12 4 種網(wǎng)絡(luò)模型的檢測結(jié)果對比Fig.12 Comparison of detection results of four network models

本文使用不同網(wǎng)絡(luò)模型對400 張測試集進行檢測，若能準確標識出圖像中的所有絕緣子，包括殘缺以及遮擋絕緣子，且標識框能較好地貼合絕緣子，則將其視為能正確標識測試圖片，得到的檢測結(jié)果如表2 所示?？梢钥闯?，改進的Faster RCNN 網(wǎng)絡(luò)模型的精確度相較Fast RCNN、YOLOv3 和Faster RCNN網(wǎng)絡(luò)模型分別提升了5.10、3.58 和4.33 個百分點，召回率分別提升了9.75、5.75、7.75 個百分點。從表3可以看出，改進的Faster RCNN 網(wǎng)絡(luò)模型的平均檢測時間相比YOLOv3 和Faster RCNN 網(wǎng)絡(luò)有少許增加，但仍能滿足巡檢要求。

表2 4 種網(wǎng)絡(luò)模型的檢測性能對比Table 2 Comparison of detection performance of four network models

表3 4 種網(wǎng)絡(luò)模型的平均檢測時間對比Table 3 Comparison of average detection time of four network models s

本文采用5 種策略對網(wǎng)絡(luò)進行訓(xùn)練和測試，進一步驗證改進的Faster RCNN 網(wǎng)絡(luò)模型的有效性。策略內(nèi)容具體如下：1）未改進候選區(qū)域比例，未使用多尺度訓(xùn)練和對手生成策略；2）改進候選區(qū)域比例，未使用多尺度訓(xùn)練和對手生成策略；3）改進候選區(qū)域比例，使用多尺度訓(xùn)練和未使用對手生成策略；4）改進候選區(qū)域比例，未使用多尺度訓(xùn)練和使用對手生成策略；5）改進候選區(qū)域比例、使用多尺度訓(xùn)練和對手生成策略。如表4 所示，策略2 相比策略1 調(diào)整了候選區(qū)域比例，使得檢測精確度提升了0.67 個百分點，可以更精確地檢測多尺寸絕緣子，策略3 相比策略2 采用多尺度訓(xùn)練，使得檢測精確度提升了2.15 個百分點，具有更好的魯棒性，策略4 相比策略2 將對手生成機制引入網(wǎng)絡(luò)模型中，使得檢測精確度提升了2.92 個百分點。綜上所述，改進候選區(qū)域比例，使用多尺度訓(xùn)練和對手生成策略這3 種方法均能提升改進的Faster RCNN 網(wǎng)絡(luò)模型的檢測精確度。

表4 基于5 種策略的改進Faster RCNN 網(wǎng)絡(luò)模型檢測結(jié)果比較Table 4 Comparison of detection results of improved Faster RCNN network model based on five strategies %

3 結(jié)束語

本文提出一種基于改進的Faster RCNN 網(wǎng)絡(luò)模型的輸電線路航拍絕緣子檢測方法，引入多尺度訓(xùn)練提升目標檢測魯棒性，通過微調(diào)RPN 候選區(qū)域比例，使得檢測結(jié)果更精確且檢測框更貼合絕緣子，并設(shè)計對手生成策略提高困難樣本的檢測精確度。實驗結(jié)果表明，改進的Faster RCNN 網(wǎng)絡(luò)模型的檢測精確度相比Faster RCNN 網(wǎng)絡(luò)模型提升了4.33 個百分點，但平均檢測時間有所增加，并且實驗數(shù)據(jù)集中的圖像均為理想環(huán)境下拍攝得到，因此后續(xù)將通過添加紅外、缺陷等絕緣子圖像擴充實驗數(shù)據(jù)集，并進一步優(yōu)化Faster RCNN 網(wǎng)絡(luò)模型，從而減少測試時間及提升檢測準確性。