韋汶妍, 劉曉立，楊傳凱，菅永峰，沙潔韻， 杜建超

(1. 國網陜西省電力公司電力科學研究院，陜西 西安 710100；2.國網陜西省電力公司經濟技術研究院，陜西 西安 710075；3. 西安電子科技大學 通信工程學院， 陜西 西安 710071)

桿塔是輸電線路中的重要設施，是電力巡檢的主要監(jiān)測對象。當前對桿塔的巡檢主要依靠人工、無線傳感器等手段，巡檢方法的智能化水平較低[1]。隨著人工智能和無人機技術的發(fā)展，將其應用于輸電設備的自動巡檢，將極大提高電力巡視的智能化水平[2]。在自動巡視過程中，利用視頻攝像頭采集圖像，并對畫面中的桿塔進行自動識別和定位，可進一步判別桿塔狀態(tài)，引導無人機自主飛行[3]。

一些研究采用傳統(tǒng)的圖像處理方法對桿塔進行檢測。例如文獻[4]使用自相似性特征提取高分辨率合成孔徑雷達圖像中的桿塔。文獻[5]結合無人機載攝像機標定，對桿塔進行投影變換，提取投影后的直線段特征進行聚類分析。文獻[6] 使用融合地理位置信息后的可變形部件模型的方法檢測桿塔。傳統(tǒng)算法普遍處理速度慢，算法效率低，易受到噪聲干擾，存在一定的虛警概率。隨著機器學習在目標檢測領域的應用，一些文獻使用機器學習中監(jiān)督學習的方式，利用方向梯度直方圖特征訓練支持向量機來檢測輸電線路中的桿塔位置[7]，但漏檢率高于虛檢率，檢測效果還有進一步提升空間。文獻[8]使用無人機拍攝不同方位的桿塔，提取方向梯度直方圖特征作為輸入訓練多層感知機。這雖然縮短了檢測時間和具有較好的檢測精度，但是輸入圖像要求近距離拍攝3個方位的桿塔。

近幾年深度學習在圖像處理領域有了普遍的使用[9]。深度學習中的CNN算法放棄了傳統(tǒng)方法的手工描述特征，通過對大量數據進行標注和訓練，得到能自動提取目標深層特征[10]的網絡參數，這類算法在目標檢測任務中表現出高準確率，且訓練得出的模型泛化能力強。文獻[11]指出：各類卷積神經網絡性能優(yōu)異，計算能力強，還擁有超過100萬張圖片的大型數據庫ImageNet。實際的桿塔檢測任務中，數據集達不到此規(guī)模，訓練得到的模型存在提取目標深層特征困難、檢測準確度低、誤檢率高的問題。為了解決這些問題，圖像增廣和遷移學習是2種可行的方法。圖像增廣技術采用一些方式改變原始圖像的狀態(tài)，例如圖像旋轉、隨機裁剪及加噪聲等方法，使之與原圖存在不同但又不改變桿塔的特征，這一方法能擴充數據集數量，提高模型的檢測精度[12]。文獻[13]提出，將在大型數據集上訓練好的網絡參數遷移到小型數據集進行訓練，能解決小數據集規(guī)模不足以支撐深度學習網絡訓練的問題。針對這2點，本文對實際采集的桿塔圖像，采用鏡像、旋轉、銳化等圖像增廣技術進行擴充以提高訓練樣本數量，同時使用基于ImageNet訓練得到的VGG16網絡作為特征提取器，利用遷移學習的原理，將VGG16已訓練得到的參數作為初始化值，遷移淺層網絡的基礎特征提取能力，對這部分網絡層參數進行凍結，輸入的桿塔圖像進行訓練時反向傳播調整其他層參數，最終得到能提取桿塔淺層基礎特征以及深層抽象特征的模型。將調整好的VGG16特征提取器結合深度學習網絡Faster 區(qū)域卷積神經網絡(regional convolutional neural networks，R-CNN)，即Faster R-CNN[14],實現了輸電桿塔的準確檢測。算法的整體方案如圖1所示。

圖1 桿塔檢測方案總體框架Fig.1 Overall framework of tower inspection scheme

1 桿塔圖像增廣

圖像增廣可有效增加訓練樣本集數量，改善深度學習模型的性能?；趯嶋H采集的巡檢圖片，采用3種方式進行增廣：鏡像、銳化和旋轉。鏡像不改變原圖內容，只在水平方向上進行對稱處理；旋轉分為順時針和逆時針，分別旋轉5°、10°、15°、20°，旋轉一定的角度產生了區(qū)別于原圖的桿塔狀態(tài)但是不改變桿塔特征的圖像；對旋轉后的圖集采用非銳化掩蔽的方法進行銳化，增強桿塔的邊緣，使其輪廓更加清晰[15]。非銳化掩蔽的原理為

A(m,n)=B(m,n)+θK(m,n).

(1)

式中：m,n分別為像素點橫、縱坐標；A(m,n)、B(m,n)分別為銳化輸出圖像和輸入圖像；θ為縮放因子；K(m,n)為校正值，且

K(m,n)=B(m,n)-G(m,n)，

(2)

G(m,n)是圖像經過高斯模糊處理后得到的值。具體做法是使用1個3×3的高斯權重矩陣遍歷圖像上每個像素點，將權重矩陣上的每個權重乘以對應位置的像素點得到新的像素值，每個像素點經高斯模糊后的值為周圍8個點和自身的新像素值之和。

利用增廣將訓練數據集擴充了19倍。一些增廣的圖例如圖2所示。

圖2 圖像增廣Fig.2 Image augmentation

2 桿塔檢測

標注過的圖像被輸入VGG16網絡進行特征提取，此網絡已經基于ImageNet圖像庫進行了分類任務的學習。ImageNet圖像庫包含了1 400萬張以上的圖像，共分為2萬多個類別，大類包括了鳥類、花卉、食品、樂器、人、交通工具等[16]，VGG16網絡從中學會提取目標邊緣、紋理特征的參數。本文的桿塔不包含在ImageNet圖像庫中，并且與其收錄的圖像相似性低，但VGG16網絡的淺層學習是學會提取目標的色彩斑點的權重，與輸入圖像集類別關系不大[17]，可以采用遷移學習的方式，利用VGG16已訓練得到的參數作為初始化值后，凍結網絡淺層的參數不參與訓練，將這部分網絡提取目標基礎特征的能力直接遷移到桿塔的特征提取中，結合輸入桿塔圖像集反向傳播微調其他層的參數，達到最好的檢測結果。與隨機初始化特征提取網絡或者參數從零開始訓練相比，使用遷移學習能提高訓練速度，得到更好的特征提取效果[18]。

2.1 基于遷移學習的模型訓練

VGG16網絡[19]結構如圖3所示，包括13個卷積層和3個全連接層，每個卷積層Conv3使用的卷積核大小Kernel_size為3×3，步長stride為1，邊界填充pad為1。池化層使用大小為2×2的卷積核，步長為2，邊界填充為0，采用極大值函數max()的池化方式。輸入圖片的長和寬分別為M和N，每一層處理后的圖片長W按式(3)計算，同理可以計算寬H。卷積層的處理不改變長和寬，而經過一次池化層Maxpool處理，長和寬都變?yōu)榍耙粚拥亩种?。每層經過卷積后使用非線性的ReLU[20-23]函數f(x)作為激勵函數，表達式見式(4)。在存在導數時，ReLU函數導數f′(x)為常數1，不會出現梯度消失的情況，而且反向傳播求誤差梯度時計算量更小，x為神經元的輸入。

圖3 VGG16網絡結構Fig.3 Vgg16 network structure

W=(M-Kernel_size+2pad)/stride+1,

(3)

(4)

經過上述處理，最終輸出W=M/16和H=N/16,且維度為512的特征圖。

VGG16共有13個卷積層，前4個卷積層主要提取目標的淺層特征，可以不進行遷移學習，直接保留初始參數；后9個卷積層用來提取目標的深層特征，故對它們進行遷移學習。學習前后部分參數變化情況見表1。表1中列出了4組網絡參數的值，對每組網絡參數而言，上面1行為遷移學習前的值，下面1行為遷移學習后的值。由表1可以看出：遷移學習后這些參數在初始值基礎上出現了微調，這些參數的變化體現了新模型對本地目標進行特征提取的適應性改變。利用此種遷移學習，提高了特征提取網絡的訓練速度，實現了模型的本地化訓練。

表1 遷移學習前后部分網絡參數的變化Tab.1 Changes of some network parameters before and after transfer learning

2.2 桿塔檢測

將由VGG16網絡進行特征提取生成的桿塔特征圖送入Faster R-CNN的區(qū)域生成網絡(region proposal network，RPN)進行進一步處理。此網絡分為2部分，分別使用softmax分類器的分類層和微調候選框的回歸層。經過RPN的卷積層和池化層處理得到的特征圖，每個特征點都被配備了k個錨，具有3種長寬比{1∶1,2∶1,1∶2}和覆蓋整個輸入特征圖。下一步使用softmax分類器對每個錨進行二分類判斷，判斷是目標還是背景。VGG16網絡輸出的特征圖中每個特征點經二分類之后轉化為2k個目標和背景的得分值。結合錨和softmax分類得到的候選框與正確的邊界框存在一定的偏移量，用中心點坐標和長寬偏移表示為：

(5)

(6)

(7)

最后一部分采用全連接層和softmax分類器處理RPN網絡生成的包含候選區(qū)域的特征圖，計算特征圖中每個候選區(qū)域屬于哪個類別并輸出其概率，同時再次使用回歸層微調候選區(qū)域邊界框，得到最終的目標檢測框。

3 實驗結果

3.1 模型訓練

原始圖像和增廣后的數據集規(guī)模見表2。將191張原始圖像和3 706張增廣后圖像，按7∶3分為訓練集和測試集訓練2個模型，訓練模型時的學習率均設置為0.001。因原始圖像數量較少，批量訓練圖片數量設置為64，增廣后的數據集為256，迭代次數都為20 000次。

表2 數據集規(guī)模Tab.2 Dataset size

3.2 桿塔檢測性能

VGG16遷移學習原始圖像集訓練后的模型稱為A模型，VGG16遷移學習增廣圖像集訓練后的模型稱為B模型，下面對2個模型在測試集上的檢測結果進行比較。首先根據網絡輸出的檢測精確度計算得到A模型和B模型檢測桿塔的精度均值分別為52.7%和90.5%；其次，采用精確率和召回率進行評價，即將檢測結果按照正確檢出與否進行分類統(tǒng)計，其中：正確檢出桿塔的數量記為TTP，誤檢的數量記為TFP,漏檢的數量記為TFN，按照式(8)、(9)計算精確率fprecision和召回率frecall：

(8)

(9)

根據式(8)、(9)計算可得精確率-召回率曲線如圖4、5所示。由圖4、5可以看出：A模型效果較差，精確率只有0.7左右，而召回率只有0.6；B模型在測試集上的精確率和召回率均接近1，說明B模型的誤檢率和漏檢率都很低，B模型的檢測效果具有較大幅度提升。

圖4 A模型精確率-召回率曲線Fig.4 Precision-recall rate curves of model A

圖5 B模型精確率-召回率曲線Fig.5 Precision-recall rate curves of model B

1張圖像中通常會出現多個桿塔，在檢測結果中，有些圖像中的桿塔能全部正確檢出，有些圖像則只能部分檢出，或存在誤檢。在下面的統(tǒng)計中，設全部送檢的圖像總數為I、桿塔全部正確檢出的圖像數量為I1、部分正確檢出的圖像數量為I2及存在誤檢的圖像數量為I3。

式(10)用來計算I1、I2、I3在送檢圖像總數中分別所占的比率p1、p2和p3，統(tǒng)計結果見表3。

表3 A模型及B模型檢測結果對比Tab.3 Comparison of test results between model A and model B

(10)

從表3可以看出：A模型的檢測結果中，p1僅為32.8%，而p2和p3高達62.1%和5.2%，說明有大量未完全正確檢出的圖像，特別是存在漏檢的圖像數量超過了總圖像數的一半；B模型的檢測結果中，p1提升為97.8%，而p2和p3僅為1.8%和0.5%，誤檢和漏檢的情況明顯改善。

一些檢測結果的圖例被列在圖6中。由圖6可以看出：左側的A模型檢測出的結果中，圖例1和圖例5的邊界框回歸效果差，包含了許多圖像背景，圖例3和圖例4漏檢和誤檢現象較為嚴重，一些尺度較小的桿塔未被檢測出，準確度不高；而右側的B模型能檢測到多種尺度的桿塔(如圖例1和圖例3所示)，小尺度桿塔被準確檢測，圖例5中背光模糊的桿塔也被檢測出；并且B模型的邊界框定位的準確度明顯高于A模型，更準確地給出了桿塔在圖像中的位置。由此可見，增廣圖像集訓練后的模型可以更充分地學習到桿塔的淺層特征和深層特征并加以融合，提高了對圖像中多尺度目標的檢測準確度，降低了漏檢和誤檢概率，增強了模型的泛化性。

圖6 A模型和B模型檢測效果對比圖Fig.6 Comparison of inspection effects between model A and model B

4 結束語

文章提出了一種基于深度學習網絡的輸電桿塔智能檢測算法，即將VGG16網絡作為Faster R-CNN深度學習框架的特征提取器。該算法首先使用銳化、旋轉、鏡像的方式大幅擴充桿塔圖像數據集，然后基于ImageNet圖像庫分類任務的遷移學習對VGG16網絡進行參數調整。實驗結果表明：文章所提算法提高了精度均值、精確率-召回率和正確檢出圖像數量等多個性能評價指標，對于1張圖片中包含多個不同尺度桿塔具有良好的檢測效果，對背光和模糊圖像的檢測也有較好的效果。