冉奇

（西北工業(yè)大學(xué) 陜西省西安市 710072）

1 引言

近年來，無人機（Unmanned Aerial Vehicle, UAV）在輸電線路巡檢上的應(yīng)用越來越多。相較傳統(tǒng)人工巡檢，無人機巡檢有著巡檢效率高，安全性高，勞動成本低的特點。但通過無人機采集的大量圖像數(shù)據(jù)，無法通過人工方法來實現(xiàn)真正的效率提高。因此研究一種可以智能化、大批量檢測輸電線部件和缺陷的技術(shù)具有重要的實際應(yīng)用價值。

針對輸電線上的部件識別和缺陷檢測問題國內(nèi)外研究學(xué)者已經(jīng)取得了一定的進展。常用的方法可以分為數(shù)字圖像處理技術(shù)、機器學(xué)習(xí)和深度學(xué)習(xí)三類。對于數(shù)字圖像處理技術(shù)，李芳等[1]采用隨機Hough 變換進行直線檢測。徐晶等[2]通過搜索符合鳥巢樣本的HSV 顏色特征量的連通區(qū)域，作為候選的鳥巢區(qū)域，分析候選區(qū)域的形狀特性參數(shù)來檢測出鐵塔上的鳥巢。

隨后機器學(xué)習(xí)方法也得到快速發(fā)展。伍洋[3]采用AdaBoost 級聯(lián)分類器提取圖像中的幾何特征與形狀特征。雖然機器學(xué)習(xí)的方法能夠建立良好的模型，但是參數(shù)的設(shè)置以及特征點的旋轉(zhuǎn)十分依賴設(shè)計者的經(jīng)驗，并且在準確率和識別實踐上仍有較大的提升空間。

目前，由于深度學(xué)習(xí)相關(guān)技術(shù)的突破，越來越多的研究員考慮采用深度學(xué)習(xí)的方法完成輸電線上的部件識別和缺陷檢測任務(wù)。主流的深度學(xué)習(xí)的目標(biāo)檢測算法有Fast R-CNN (Fast Region Convolutional Neural Network)[4]和 Faster R-CNN (Faster Region Convolutional Neural Network)[5]等，其特點是檢測精度高?？紤]到任務(wù)要求和模型復(fù)雜程度，所以采用Faster -RCNN 模型比較符合實際需求。但是已有實驗證明此模型對小目標(biāo)的檢測效果不好[6]，如果直接套用原始的Faster- RCNN 模型可能會造成不少目標(biāo)漏檢。

針對上述方法中的各種問題，本文針對輸電線部件和缺陷檢測的目標(biāo)任務(wù)，在Faster-RCNN 的基礎(chǔ)上提出改進模型。通過對采集的圖像進行擴增建立了輸電線巡檢圖像樣本庫，針對圖像中絕緣子具有尺寸多樣的特點，通過改進錨框得到改進模型，達到更好的絕緣子識別效果。

2 基于Faster-RCNN的輸電線圖像檢測原理

2.1 簡述

對于一張輸電線圖像，首先通過卷積層進行特征提取，得到該輸電線圖像的特征圖。RPN（Region Proposal Network)區(qū)域生成網(wǎng)絡(luò)通過softmax 函數(shù)判斷特征圖上的錨框（anchors）屬于前景（foreground）還是背景（background），輸出區(qū)域建議（regionproposals）。RoI (Region of Interest)池化層，綜合卷積網(wǎng)絡(luò)產(chǎn)生的輸電線圖像特征圖和RPN網(wǎng)絡(luò)產(chǎn)生的區(qū)域建議提取生成特征向量，然后利用softmax 判斷候選區(qū)域中的類別，同時利用邊框回歸函數(shù)確定準確位置。檢測模型如圖1所示。

表1：錨框參數(shù)變化

表2：實驗結(jié)果

圖1：基于Faster-RCNN的輸電線圖像檢測模型

2.2 基于CNN的輸電線路圖像特征提取

從上述流程檢測的原理可以看見，特征提取是檢測中的重要一步，本文選擇Vgg16 為特征提取網(wǎng)絡(luò)。加深神經(jīng)網(wǎng)絡(luò)的層數(shù)可以提取更好的特征，但同時也對計算性能要求更高，所以也不宜選擇卷積層數(shù)更多的ResNet101 網(wǎng)絡(luò)結(jié)構(gòu)。另一方面在郭夢浩等[7]和湯踴等[8]的研究中也實驗證實了Vgg16 網(wǎng)絡(luò)是較好的選擇。

圖2：RPN 結(jié)構(gòu)

圖3：數(shù)據(jù)集樣本

圖4：數(shù)據(jù)擴充

2.3 RPN網(wǎng)絡(luò)

RPN 網(wǎng)絡(luò)的作用是選擇性搜索，是Faster-RCNN 的核心。RPN網(wǎng)絡(luò)使用的滑動窗口機制可以實現(xiàn)多個候選區(qū)的同時預(yù)測。每個滑動窗口在滑動后，隨后會產(chǎn)生一個特征向量。RPN 網(wǎng)絡(luò)的具體任務(wù)有兩個，一個是利用Softmax 判斷候選框獲得的是背景還是前景，另一個任務(wù)是計算回歸預(yù)測候選框的偏移量以獲得精確的定位，降低定位的誤差。RPN 網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。每個待測區(qū)域會產(chǎn)生K個預(yù)測候選區(qū)域，因為待測目標(biāo)尺寸和長寬比不一，需要根據(jù)實際情況調(diào)整錨框的種類和數(shù)目。

圖5：圖像中識別目標(biāo)較多情況

圖6：圖像中錯誤識別情況

圖7：圖像中邊緣識別情況

2.4 錨框改進

由于待檢測的目標(biāo)容易受到輸電線塔和自然環(huán)境下的樹葉等的遮擋，以及數(shù)據(jù)集中拍攝距離和角度的較大差異，所以原始Faster-RCNN 中的錨框不能很好地定位待檢測的目標(biāo)。例如，絕緣子在輸電線塔上形狀變化多樣，對于長條形狀的絕緣子，現(xiàn)有的錨框不能完全框選，所以需要根據(jù)待檢測目標(biāo)的特征對錨框進行調(diào)整。原始Faster-RCNN 包含9 種錨框，其長寬比為0.5、1、2，尺寸為8、16、32。原始圖像在經(jīng)過池化后，所有特征圖各點對應(yīng)得到的感受視野尺寸為16x16，而由于圖像拍攝角度和距離多異，在檢測過程中不可避免會出現(xiàn)定位偏差，進而造成誤檢。因此需要結(jié)合待檢測物體的形狀特點，對原始RPN 網(wǎng)絡(luò)中錨框的尺寸進行調(diào)整（如表1所示），實驗證明，調(diào)整后的錨框可以提高檢測精度。

3 數(shù)據(jù)采集與處理

3.1 數(shù)據(jù)采集

本文數(shù)據(jù)集主要以網(wǎng)絡(luò)搜集而得，在內(nèi)容上涵蓋多個數(shù)據(jù)源，拍攝地點多樣化，數(shù)據(jù)分辨率不一，增強了研究的適用性。本文針對輸電線路部件和缺陷兩類研究對象，選用絕緣子，電線塔（桿）上的鳥巢，電線上懸掛的風(fēng)箏三類為訓(xùn)練目標(biāo)。樣本如圖所示。整理收集帶有鳥巢的輸電線照片100 張，風(fēng)箏等異物懸掛照片98 張，輸電線上絕緣子照片84 張。樣本如圖3所示。

3.2 數(shù)據(jù)集預(yù)處理

因為通過網(wǎng)絡(luò)爬蟲的方式獲取的數(shù)據(jù)集較少無法獲得較為滿意的訓(xùn)練結(jié)果，所以通過旋轉(zhuǎn)和鏡像等方式擴增數(shù)據(jù)。擴增后每張原始圖片生成20 張圖片，共獲得5920 張圖片。圖片旋轉(zhuǎn)角度如下所示。具體細分為訓(xùn)練集3315 張，驗證集1421 張，測試集1184 張。并對每一張圖片打上標(biāo)簽信息。標(biāo)簽信息為roost(鳥巢)、kite(風(fēng)箏)、insulator(絕緣子)。數(shù)據(jù)擴增如圖4所示。

4 實驗結(jié)果與分析

本節(jié)通過在自建數(shù)據(jù)集上訓(xùn)練Faster-RCNN、YOLOv3、以及本文改進后的Faster-RCNN 模型，從AP、mAP 和圖像識別速度等評價指標(biāo)進行對比，以驗證改進后模型的有效性。

4.1 實驗軟件與硬件

本實驗采用Google TensorFlow 深度學(xué)習(xí)框架，并采用GPU 加速訓(xùn)練。硬件環(huán)境為i7,16G 內(nèi)存，NVIDIA 1080TI 顯卡。軟件環(huán)境Tensorflow-gpu 1.8.0，CUDA 9.0，CUDANN7.0。

4.2 模型訓(xùn)練

采用Faster-RCNN 網(wǎng)絡(luò)模型，VGG16 特征提取網(wǎng)絡(luò)。用第2.2節(jié)中準備的數(shù)據(jù)集進行網(wǎng)絡(luò)訓(xùn)練，網(wǎng)絡(luò)迭代次數(shù)為40000 次，批處理大小為256，學(xué)習(xí)率為0.001，權(quán)重衰減率為0.0005。同時將改進后的模型與YOLOv3 對比，YOLOv3 最大迭代次數(shù)為40000，其它參數(shù)不變。采用精確度均值(Average Precision，AP)來衡量檢測效果。用平均精確度（mAP）來評價模型整體好壞。實驗結(jié)果如表2所示。

4.3 訓(xùn)練結(jié)果分析

從表2 可以看出，改進后的Faster-RCNN 模型各類的識別情況都比原始模型效果好。其中絕緣子的AP 由75.10%提升到84.97%，說明增加錨框的種類和數(shù)量確實提高了對多長寬比絕緣子的識別效果，但是該提升對鳥巢和風(fēng)箏識別提升并不明顯，考慮原因是因為這兩類物體的長寬比較為固定，原始錨框可以較好定位和識別目標(biāo)。另一方面改進后的Faster-RCNN 網(wǎng)絡(luò)識別時間增加了100ms 左右，與YOLOv3 的檢測速度有較大差距。

YOLOv3 對鳥巢和風(fēng)箏識別效果較好，但絕緣子識別效果較差?？紤]原因為采用遷移學(xué)習(xí)前的風(fēng)箏種類，所以風(fēng)箏識別效果較好。

4.4 圖像結(jié)果分析

從測試集中選擇了三張圖片，來具體比較改進后模型的效果。識別結(jié)果如圖5,6,7所示，其中左側(cè)為原始模型測試結(jié)果，右側(cè)為改進模型測試結(jié)果。其中右圖紅框部分為改進效果。

從圖5 中可以看出，當(dāng)圖像中識別目標(biāo)相近且數(shù)目較多時，原始模型存在漏檢的情況，但改進模型可以完全檢測。原始模型左圖中沒有識別出的絕緣子，在改進模型中得到了識別。

從圖6 中可以看出，對于圖像尺寸較小且相近的情況，原始模型存在錯誤識別的情況，如左圖中將風(fēng)箏的一角識別成為絕緣子，但改進模型可以正確無誤識別。

從圖7 中可以看出，當(dāng)待識別的目標(biāo)位于圖像邊緣且尺寸較小時，原始模型無法檢測，左圖中沒有識別出圖像右下角的絕緣子，但改進后成功識別。

綜上所述，改進的Faster-RCNN 模型在絕緣子的識別上效果顯著，雖然在風(fēng)箏和鳥巢的識別上AP 值提升不大，但是圖像結(jié)果顯示也提高了識別的效果，減少了誤識別。

5 結(jié)束語

本文對于輸電線部件和缺陷檢測這一問題，以采用了Faster-RCNN 為基礎(chǔ)，提出了一種改進的Faster-RCNN 深度學(xué)習(xí)模型，并通過自建數(shù)據(jù)集來訓(xùn)練模型驗證結(jié)論。針對搜集數(shù)據(jù)過少的問題，采用對稱和旋轉(zhuǎn)的方法擴充數(shù)據(jù)集。

本文實驗證明通過增加錨框的數(shù)量和種類，可以提高模型的識別準確率（mAP）。針對測試集，原始模型的mAP 從85.25%提高到88.87%，其中對輸電線部件絕緣子的識別準確率從75.10%顯著提高到84.97%。表明Faster-RCNN 網(wǎng)絡(luò)可以在輸電線的部件識別和缺陷檢測中得到很好的應(yīng)用，為后期的自動化巡檢奠定了基礎(chǔ)。