成 怡，田文斌，鄭騰龍

1.天津工業(yè)大學(xué) 控制科學(xué)與工程學(xué)院，天津 300387

2.天津工業(yè)大學(xué) 天津市電氣裝備智能控制重點實驗室，天津 300387

我國電力供電系統(tǒng)中，電力輸送主要由高壓架空輸電方式實現(xiàn)。高壓架空線路由大型基桿塔搭建，基桿塔與線路的巡檢是保障高壓輸電網(wǎng)絡(luò)安全運行的基本技術(shù)保證。輸電線路所處地形一般復(fù)雜、惡劣，人工巡檢時存在安全風(fēng)險、效率低下等諸多不利因素。因此，無人機逐漸成為電力巡檢的主力軍[1]。無人機在目前電力巡檢工作時，普遍采用人工遙控方式巡檢，在某些復(fù)雜惡劣的地形情況下難以避障，且人工操作巡檢時，不穩(wěn)定因素較多、危險性高，容易導(dǎo)致巡檢過程中無人機與基桿塔發(fā)生碰撞或電擊穿，為此，基于圖像處理的深度學(xué)習(xí)智能無人機在避障與航向識別方面的研究越來越受到重視[2]。

在深度學(xué)習(xí)的圖像識別與檢測領(lǐng)域，Inception-Resnet-V2網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)秀、精度較高，被國內(nèi)外學(xué)者廣泛研究和應(yīng)用。北京科技大學(xué)鄧能輝等[3]在表面缺陷檢測的研究中，用Inception-Resnet-V2模型進行遷移學(xué)習(xí)，提出的檢測方法在中厚板表面常見缺陷實現(xiàn)了大于98%的檢出率，平均識別率也大于88%。南京農(nóng)業(yè)大學(xué)袁培森等[4]利用Inception-Resnet-V2網(wǎng)絡(luò)的特征提取能力，結(jié)合雙線性回合操作，開發(fā)了基于Flask框架的在線菌類識別系統(tǒng)，實現(xiàn)了較高精度的細粒度菌類表型在線識別。復(fù)旦大學(xué)王云軍等[5]在一次大規(guī)模的初步研究中，使用深度卷積神經(jīng)網(wǎng)絡(luò)通過組織病理學(xué)對甲狀腺腫瘤進行多分類。其中Inception-Resnet-V2網(wǎng)絡(luò)模型可以達到94.42%的平均診斷準確率。華北電力大學(xué)朱有產(chǎn)等[6]在一種基于改進的NIC算法的圖像字幕生成研究中，利用Inception-Resnet-V2網(wǎng)絡(luò)更好的特征提取能力和避免網(wǎng)絡(luò)深化所造成的性能退化的特點，改進后的算法具有良好的圖像描述生成效果。

Inception-Resnet-V2網(wǎng)絡(luò)雖然圖像識別精度較高，但網(wǎng)絡(luò)參數(shù)、計算量較大、實時性較差。而無人機在復(fù)雜環(huán)境下進行電力巡檢作業(yè)的過程中，避障和航向預(yù)測功能對圖像識別的精度、時效性都有較高的要求。因此，本文引入深度可分離卷積，研究并優(yōu)化了Inception-Resnet-V2網(wǎng)絡(luò)，改進后的網(wǎng)絡(luò)保證了在對基桿塔圖像識別精度基本不變的情況下降低了計算量。在實際電力巡檢實驗中，驗證了提出的無人機航向識別方法的有效性。

1 Inception-Resnet-V2網(wǎng)絡(luò)結(jié)構(gòu)及其改進

Inception網(wǎng)絡(luò)[7]通過將稀疏矩陣聚類成相對密集的子矩陣來提高計算性能。使用1×1的卷積把相關(guān)性高、同一空間位置不同通道的特征連接在一起，構(gòu)建出符合Hebbian原理的高效稀疏網(wǎng)絡(luò)結(jié)構(gòu)[8-9]。

結(jié)構(gòu)更深的網(wǎng)絡(luò)往往有更好的表現(xiàn)，但普遍存在梯度彌散的問題，且網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)與計算量較大，消耗計算成本并不利于模型在集成芯片上的搭載。Google提出在Inception模塊中加入殘差結(jié)構(gòu)的Inception-Resnet-V2網(wǎng)絡(luò)[10]，充分利用了Resnet網(wǎng)絡(luò)結(jié)構(gòu)恒等映射的特性，提高了網(wǎng)絡(luò)的精度并解決了網(wǎng)絡(luò)退化和梯度消失的問題[11]，因此可以拓展成更深的模型。為保證網(wǎng)絡(luò)模型的優(yōu)越性并進一步降低網(wǎng)絡(luò)的計算復(fù)雜度，本文基于可分離卷積核的卷積形式，引用三層Resnet卷積模塊的卷積結(jié)構(gòu)，對Inception-Resnet-V2網(wǎng)絡(luò)結(jié)構(gòu)中Stem、Inception-Resnet-A、Reduction的各網(wǎng)絡(luò)模塊3×3的卷積層進行卷積核和卷積結(jié)構(gòu)的改進。

當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)中的3×3卷積核進行卷積運算時，對應(yīng)圖像區(qū)域內(nèi)的所有通道同時參與運算。深度可分卷積對不同的輸入通道采用不同的卷積核，通過先深度卷積后逐點卷積的方法降低了計算復(fù)雜度[12]。Inception-Resnet-A模塊的部分3×3卷積輸入尺寸為h×w×c，卷積層有k個3×3卷積核，輸出為h×w×k。計算量為h×w×k×3×3，參數(shù)量為c×3×3×k。本文將3×3卷積核改進為深度可分離卷積核，將普通卷積操作分解為深度卷積和逐點卷積兩個過程[13]，將Inception-Resnet-V2網(wǎng)絡(luò)結(jié)構(gòu)中3×3卷積層的計算量壓縮為：

改進后的卷積模塊如圖1所示。在可分離卷積核卷積操作之前，使用1×1的卷積核將該卷積層輸入進行降維，可分離卷積操作后再次使用1×1的卷積核還原維度，優(yōu)化了時間復(fù)雜度和空間復(fù)雜度，并進一步減少計算成本、加深網(wǎng)絡(luò)結(jié)構(gòu)。

圖1 改進后卷積結(jié)構(gòu)Fig.1 Improved convolution

本文的提出的卷積層計算量壓縮為：

本文用提出的卷積層代替了Inception-Resnet-V2網(wǎng)絡(luò)中Inception-Resnet-A模塊的3×3卷積層，并在Resnet-A模塊中，通過添加layer-add，將layer2中改進3×3卷積層卷積后的特征進行融合，增加圖像特征下的信息量，再進行l(wèi)ayer3改進3×3卷積層的卷積操作，加深網(wǎng)絡(luò)結(jié)構(gòu)、減小計算量，從而有利于網(wǎng)絡(luò)模型的識別效果。

2 改進網(wǎng)絡(luò)的性能測試與分析

為驗證改進后的Inception-Resnet-V2網(wǎng)絡(luò)模型的特性，本文選取VGG的Fine-Grain Recognition Datasets數(shù)據(jù)集中的四個類別進行圖像識別，其中每個類別由800張圖片組成，驗證集每個類別160張圖片，測試集每個類別160張圖片，共計3 200個樣本。Inception-Resnet-V2網(wǎng)絡(luò)模型定義的輸入尺寸大小為299×299，故本文將數(shù)據(jù)集中的所有樣本像素大小預(yù)處理為299×299。將預(yù)處理后的數(shù)據(jù)作為輸入數(shù)據(jù)，訓(xùn)練改進的網(wǎng)絡(luò)模型。訓(xùn)練網(wǎng)絡(luò)策略中關(guān)鍵的參數(shù)設(shè)置及其說明，如表1所示。

表1 訓(xùn)練網(wǎng)絡(luò)策略中關(guān)鍵的參數(shù)設(shè)置及其說明Table 1 Key parameters and instructions

訓(xùn)練結(jié)果如圖2所示。改進后的網(wǎng)絡(luò)在迭代次數(shù)達到一定數(shù)量時訓(xùn)練和驗證的精度都開始大幅提升，經(jīng)過多次迭代后網(wǎng)絡(luò)最終收斂。模型在驗證集上的損失值逐漸衰減，最后穩(wěn)定在0.69，驗證精度最終達到0.88，訓(xùn)練精度達到1.0。

圖2 改進網(wǎng)絡(luò)模型訓(xùn)練結(jié)果Fig.2 Improved training results

訓(xùn)練后的改進Inception-Resnet-V2網(wǎng)絡(luò)模型，在Fine-Grain Recognition Datasets測試集中的樣本識別結(jié)果示例如圖3、圖4所示。

圖3 對房屋樣本數(shù)據(jù)的識別Fig.3 Recognition of housing sample data

圖4 對雕塑樣本數(shù)據(jù)的識別Fig.4 Recognition of sculpture sample data

由圖3可知，改進后Inception-Resnet-V2網(wǎng)絡(luò)模型對測試集中房屋測試樣本能夠準確地預(yù)測標簽值，得分約為0.86。圖4中改進的網(wǎng)絡(luò)模型能正確地識別測試集中雕塑類別，預(yù)測得分約為0.99。改進后的模型對測試集其他樣本類別也成功識別并獲得了較高的預(yù)測得分。

為了測試與分析改進網(wǎng)絡(luò)結(jié)構(gòu)與其他網(wǎng)絡(luò)結(jié)構(gòu)的識別結(jié)果，本文采用準確率、召回率、F1_score、參數(shù)量、計算量指標對網(wǎng)絡(luò)模型的識別性能進行分析。其中準確率為識別正確的樣本數(shù)與總樣本數(shù)之比，召回率的公式為：

其中，TP表示預(yù)測為正且判斷正確，F(xiàn)P表示預(yù)測為負且判斷錯誤。

F1_score是模型精確率和召回率的一種加權(quán)平均數(shù)，F(xiàn)1_score的計算公式為：

其中，F(xiàn)N表示預(yù)測為負且判斷錯誤。本文選取Alexnet[14]、VGG[15]、Inception-V4、Inception-Resnet-V2、X-ception[16]網(wǎng)絡(luò)與改進后的Inception-Resnet-V2網(wǎng)絡(luò)進行對比。在同一數(shù)據(jù)集下，各網(wǎng)絡(luò)模型的性能評價結(jié)果如表2所示。

在表2中，改進的Inception-Resnet-V2網(wǎng)絡(luò)模型在測試集中準確率為92.50%，召回率達到92.52%，F(xiàn)1_score達到了92.51%，綜合性能做到了平衡。改進后的網(wǎng)絡(luò)模型精度高于Alexnet、VGG等經(jīng)典網(wǎng)絡(luò)模型的精度，與X-ception網(wǎng)絡(luò)模型精度相同，但參數(shù)量與計算量得到了進一步降低且具有其優(yōu)良的網(wǎng)絡(luò)結(jié)構(gòu)。與Inception-Resnet-V2網(wǎng)絡(luò)模型相比，在保證達到92%以上高精度的同時，只損失了3個百分點的精度，卻降低了參數(shù)量和計算量。故對比本文所選的其他經(jīng)典網(wǎng)絡(luò)模型，改進的Inception-Resnet-V2網(wǎng)絡(luò)模型能夠在保證較高精確度與優(yōu)越網(wǎng)絡(luò)結(jié)構(gòu)的同時，減少網(wǎng)絡(luò)模型的參數(shù)量與計算量，提高時效性。

表2 改進Inception-Resnet-V2與其他網(wǎng)絡(luò)模型的對比Table 2 Comparison of performance between improved network and other network models

Inception-Resnet-V2網(wǎng)絡(luò)模型的計算總量為9.06 GFlops，參數(shù)總量為2.752×107。改進后的網(wǎng)絡(luò)模型的計算總量為6.25 GFlops，參數(shù)總量為2.228×107。改進后的網(wǎng)絡(luò)模型stem模塊中的參數(shù)總量約為1.2×105，而Inception-Resnet-A、Reduction-A和Reduction-B模塊的參數(shù)總量分別約為3.4×104、5.3×105和1.42×106。在Incepon-Resnet-V2網(wǎng)絡(luò)中，stem模塊中的參數(shù)總量約為6.0×105，Inception-Resnet-A、Reduction-A和Reduction-B模塊的參數(shù)總量分別約為8.8×104、2.9×106和3.54×106。改進后網(wǎng)絡(luò)模型和原網(wǎng)絡(luò)各組成模塊的參數(shù)量對比如圖5所示，改進后的網(wǎng)絡(luò)模型在stem層、Inception-Resnet-A以及Reduction-A、B層的參數(shù)量明顯降低。

圖5 改進網(wǎng)絡(luò)模型與原網(wǎng)絡(luò)各模塊參數(shù)量的對比Fig.5 Comparison of parameters between improved network and original network

改進后網(wǎng)絡(luò)模型各模塊的卷積計算量如表3所示。綜合網(wǎng)絡(luò)的識別精度與計算復(fù)雜度，改進后的網(wǎng)絡(luò)模型與其他網(wǎng)絡(luò)模型相比得到了有效的提升。

表3 改進Inception-Resnet-V2網(wǎng)絡(luò)模型各模塊的卷積計算量Table 3 Convolutional computation for each module of improved Inception-Resnet-V2 network

為直觀地展現(xiàn)改進后網(wǎng)絡(luò)模型的優(yōu)越性，繪制了Improved Inception-Resnet-V2網(wǎng)絡(luò) 與VGG網(wǎng)絡(luò)基于測試集實驗結(jié)果的ROC曲線。該曲線根據(jù)網(wǎng)絡(luò)模型的預(yù)測結(jié)果，從閾值選取的角度評價網(wǎng)絡(luò)模型的泛化性能與精度。ROC曲線的縱軸是真正例率TPR，是指正確預(yù)測為正例的樣本占所有正例的比例。橫軸是假正例率FPR，是指錯誤預(yù)測為正例的樣本占所有負例的比例。兩者分別定義為：

ROC曲線將真正例率和假正例率以圖示方法結(jié)合在一起，可準確反映改進Inception-Resnet-V2真正例率和假正例率的關(guān)系，是檢測網(wǎng)絡(luò)模型準確性的綜合代表。通過該曲線可以簡單、直觀地分析網(wǎng)絡(luò)模型的準確性。本文將測試集中各樣本數(shù)據(jù)的預(yù)測得分值，從小到大依次排列作為閾值，計算FPR、TPR并繪制了各類別的ROC曲線，如圖6、圖7所示。

由圖6、圖7所示的ROC曲線分析可知，在同一測試集下，改進的Inception-Resnet-V2網(wǎng)絡(luò)對應(yīng)于測試集中各類別的ROC曲線，比VGG網(wǎng)絡(luò)對應(yīng)類別的ROC曲線，更靠近坐標系的左上角，這一特性表明了改進的Inception-Resnet-V2網(wǎng)絡(luò)比VGG網(wǎng)絡(luò)有更高的準確性。綜上可知，改進后的Inception-Resnet-V2網(wǎng)絡(luò)在參數(shù)量與MACC計算總量縮減的同時仍具有較好的識別效果。

圖6 改進的Inception-Resnet-V2的ROC曲線Fig.6 ROC curve of improved Inception-Resnet-V2

圖7 VGG網(wǎng)絡(luò)模型的ROC曲線Fig.7 ROC curve of VGG network model

3 改進網(wǎng)絡(luò)在電力巡檢航向識別中的應(yīng)用

為驗證無人機搭載改進后網(wǎng)絡(luò)模型進行實際電力巡檢時航向識別的效果，本文采用大疆無人機M210RTK進行實驗。實驗的操作環(huán)境為64位Windows7操作系統(tǒng)、GTX 1080Ti GPU、Pycharm2018、MagicEXIFv1.08、Visual Studio2017。

首先對復(fù)雜環(huán)境下的基塔圖像進行采集，對其預(yù)處理并制作數(shù)據(jù)集。數(shù)據(jù)集共有1 600個樣本，其中包含訓(xùn)練集1 280個樣本、驗證集160個樣本、測試集160個樣本。使用MagicEXIF元數(shù)據(jù)編輯器分析樣本圖像，得到訓(xùn)練集中每個樣本圖像數(shù)據(jù)標題的標簽值，從而獲得位置信息。無人機航向下行偏移量、左下偏移量、左偏移量、左上偏移量、右下偏移量、右偏移量、右上偏移量、上升偏移量的標值分別設(shè)置為0~7。測試集中左右標題的樣本圖像如圖8、圖9所示。

圖8 無人機左偏移航向數(shù)據(jù)集樣本Fig.8 Sample of left offset heading dataset

圖9 無人機右偏移航向數(shù)據(jù)集樣本Fig.9 Sample of right offset heading dataset

為了直觀地體現(xiàn)出改進卷積結(jié)構(gòu)的效果，將改進后的卷積層卷積操作后得到的特征圖可視化。圖8、圖9所示的樣本圖像分別被改進后Inception-Resnet-V2網(wǎng)絡(luò)的Stem層第一層3×3的卷積層卷積操作后，得到的特征圖如圖10、圖11所示?？梢娸敵鎏卣鲌D的紋理、細節(jié)特征都很清晰，便于后續(xù)深層網(wǎng)絡(luò)的卷積運算。

圖10 圖8的特征圖Fig.10 Feature map of Fig.8

圖11 圖9的特征圖Fig.11 Feature map of Fig.9

無人機搭載訓(xùn)練后的網(wǎng)絡(luò)，在對有方向標簽的圖像進行識別后，輸出的航向預(yù)測結(jié)果如圖12、圖13所示。其中圖8的測試樣本實際方向為左偏移航向，圖12中對應(yīng)的預(yù)測結(jié)果標簽值為2，航向為Left，預(yù)測概率約為0.99。圖9中實際方向是右偏移航向，圖11中對應(yīng)的預(yù)測結(jié)果的標簽值為5，航向為Right，預(yù)測概率約為0.99，準確預(yù)測了無人機的航向。測試集中其他樣本也具有較高精度的預(yù)測結(jié)果，可見本文提出的方法能使無人機在復(fù)雜環(huán)境下電力巡檢時高精度的識別出基桿塔，并且以較高預(yù)測分數(shù)進行航向識別。

圖12 左偏移航向數(shù)據(jù)集樣本的預(yù)測結(jié)果Fig.12 Prediction results for offset heading dataset sample

圖13 右偏移航向數(shù)據(jù)集樣本的預(yù)測結(jié)果Fig.13 Prediction results for right offset heading dataset sample

將測試集的預(yù)測結(jié)果用混淆矩陣表示，圖像橫軸為航向的預(yù)測結(jié)果，縱軸為真實的航向，其中0~7分別表示8個方向的標簽值，分別為垂直下降、左下偏移、左下偏移、左上偏移、右下偏移、右上偏移和垂直上升。在混淆矩陣中，正確的預(yù)測結(jié)果都在對角線上，預(yù)測錯誤的數(shù)據(jù)量呈現(xiàn)在對角線外面。當(dāng)混淆矩陣的預(yù)測結(jié)果大量集中于混淆矩陣的對角線時，航向識別的預(yù)測結(jié)果較好。

針對不同的航向，本文共進行20次無人機實驗。航向預(yù)測的混淆矩陣如圖14所示，圖中右側(cè)為樣本數(shù)量與混淆矩陣色圖顏色對應(yīng)示意，樣本最大值20對應(yīng)圖中最深顏色，樣本最小值0對應(yīng)圖中最淺顏色。其中，對下左偏移量、左偏移量、右偏移量、垂直上升量的樣本數(shù)據(jù)進行了正確預(yù)測。對于垂直下降、左上偏移和右下偏移的樣本數(shù)據(jù)，每類中有兩個樣本數(shù)據(jù)的預(yù)測是錯誤的，左上偏移航向中的一個樣本數(shù)據(jù)的預(yù)測是錯誤的。

圖14 測試集的預(yù)測結(jié)果混淆矩陣Fig.14 Confusion matrix of test set prediction results

對混淆矩陣進行分析可得各航向的精度，如圖15所示。各航向的預(yù)測準確率都較高，其中最高預(yù)測準確率為100%，最低預(yù)測準確率為90%。在實際飛行實驗中，共對160幅樣本圖像進行預(yù)測，其中正確預(yù)測了153幅圖像，平均預(yù)測準確率為95.63%，召回率為96.31%。

圖15 各航向的預(yù)測精度Fig.15 Prediction accuracy of each heading

因此，改進后的Inception-Resnet-V2網(wǎng)絡(luò)模型在實際復(fù)雜的環(huán)境下進行電力巡檢時，可以高精度地識別基桿塔并能夠較好地預(yù)測無人機的飛行航向。在實際應(yīng)用中表明，改進的網(wǎng)絡(luò)模型不僅具有Inception優(yōu)秀的網(wǎng)絡(luò)結(jié)構(gòu)，而且能夠較好地兼顧航向識別精度與實時性。

4 結(jié)論

本文基于Inception-Resnet-V2網(wǎng)絡(luò)，引入深度可分離卷積，對其結(jié)構(gòu)中Stem層以及各網(wǎng)絡(luò)模塊中3×3卷積層進行改進。優(yōu)化了Inception-Resnet-V2網(wǎng)絡(luò)結(jié)構(gòu)，降低了參數(shù)量與計算量，在保持網(wǎng)絡(luò)模型對圖像高精度識別的同時提高了運行的實時性。通過在標準數(shù)據(jù)集上與其他同類網(wǎng)絡(luò)的性能進行對比，取得了明顯的優(yōu)勢。在實際復(fù)雜環(huán)境下電力巡檢的實驗中能夠準確識別基桿塔，依據(jù)識別后的圖像信息還原位置信息從而預(yù)測出無人機航向，預(yù)測精度高達95.63%。因此，本文提出的基于改進Inception-Resnet-V2網(wǎng)絡(luò)的無人機航向識別方法具有實際應(yīng)用價值。