李海峰，武劍靈，李立學(xué)

(1.國網(wǎng)黑龍江省電力有限公司檢修公司，黑龍江 哈爾濱 150090； 2.內(nèi)蒙古超高壓供電局，內(nèi)蒙古 呼和浩特010000；3.上海交通大學(xué)，上海 200240)

隨著現(xiàn)代社會經(jīng)濟(jì)的發(fā)展，高壓輸電線路的覆蓋面積急劇增大。輸電線路橫跨山川、河流、城市、農(nóng)村等，復(fù)雜的環(huán)境使其遭受外力破壞危害的概率大幅提升。輸電線路一旦發(fā)生事故導(dǎo)致停電，必定造成巨大的經(jīng)濟(jì)損失，對社會產(chǎn)生極大影響；因此，對輸電線路的監(jiān)控與維護(hù)必不可少。當(dāng)前，對輸電線路的運(yùn)行維護(hù)多依賴于人力巡查，以及依靠前端攝像頭傳回的圖片進(jìn)行人工監(jiān)視。然而輸電線路數(shù)量龐大，橫跨地域廣，以上方式的效率差強(qiáng)人意，需要耗費(fèi)大量人力，成本高昂。

隨著工業(yè)與信息技術(shù)的發(fā)展，作為智能電網(wǎng)重要的一環(huán)，輸電線路自動化監(jiān)測技術(shù)[1]日趨完善，其長時間不間斷的監(jiān)控以及利用圖像識別技術(shù)的自動預(yù)警功能[2-4]比起人眼監(jiān)視圖像有著更高的效率。近年來，在人工智能、神經(jīng)網(wǎng)絡(luò)與目標(biāo)檢測技術(shù)的不斷推動下，自動化監(jiān)控的預(yù)警準(zhǔn)確率也突破到了一個新的高度，使得自動化取代人力的進(jìn)程向前邁進(jìn)了一大步。在自動化監(jiān)控的圖像識別技術(shù)中，YOLOv3網(wǎng)絡(luò)模型憑借其高精度和快速等優(yōu)勢，成為主流的目標(biāo)檢測方案。顏宏文等人[5]基于YOLOv3網(wǎng)絡(luò)對絕緣子串進(jìn)行定位與狀態(tài)識別，對于采用的YOLOv1、YOLOv2版本存在小目標(biāo)精度不高的問題，作者在YOLOv3版本中通過特征金字塔等方式進(jìn)行減緩，但檢測精度還是不盡人意。李慕鍇等人[6]針對該問題，通過引入SE block到Y(jié)OLOv3網(wǎng)絡(luò)，來提高小目標(biāo)檢測精度，但該方法只針對紅外圖像。鞠默然等人[7]通過改變YOLOv3網(wǎng)絡(luò)架構(gòu)，來降低小目標(biāo)信息的丟失程度，從而加強(qiáng)檢測能力，但同時損失了其他尺寸物體的檢測能力。本文從訓(xùn)練策略、模塊性能和網(wǎng)絡(luò)架構(gòu)等多個方面進(jìn)行優(yōu)化，在提升小目標(biāo)精度的同時，加強(qiáng)網(wǎng)絡(luò)總體的目標(biāo)檢測能力，并保持圖像檢測速度幾乎不變，且盡量不增加計算資源消耗。

1 目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)

目標(biāo)檢測是計算機(jī)視覺的基礎(chǔ)研究領(lǐng)域，是指對輸入圖像進(jìn)行相關(guān)處理后，給出圖像中物體的類別與位置信息。近年來，依靠神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測的方式[8-9]相較于傳統(tǒng)目標(biāo)檢測算法[10-11]，在性能上有顯著提升。

目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)目前主要有2個類別：一是單階段檢測網(wǎng)絡(luò)，二是雙階段檢測網(wǎng)絡(luò)。雙階段檢測網(wǎng)絡(luò)的代表是區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(regions-convolutional neural networks，RCNN)系列[12]，網(wǎng)絡(luò)分為2個階段，第1階段將圖像中的物體提取出來，第2階段將提取出來的物體進(jìn)行分類。單階段檢測網(wǎng)絡(luò)則不分2步走，而是在1個網(wǎng)絡(luò)結(jié)構(gòu)中，直接輸出圖像中物體的類別和位置信息，代表為YOLO系列[13-14]和SSD系列[15]。相較于雙階段網(wǎng)絡(luò)，單階段檢測網(wǎng)絡(luò)模型復(fù)雜度更低，檢測速度更快，能夠達(dá)到實時處理的水準(zhǔn)，基于YOLOv3的推理速度甚至可以達(dá)到每秒60幀。本文針對單階段檢測網(wǎng)絡(luò)YOLOv3進(jìn)行性能改進(jìn)，在保持單階段檢測速度快優(yōu)勢的同時，進(jìn)一步提高檢測準(zhǔn)確率，并加強(qiáng)對小目標(biāo)的檢測性能，使網(wǎng)絡(luò)對圖像的處理方式更加符合輸電線路監(jiān)控的要求。

YOLOv3是YOLO系列的第3代版本，2018年由Redmon等人提出，有著速度快、準(zhǔn)確度高的優(yōu)點(diǎn)。YOLOv3采用了darknet53結(jié)構(gòu)，盡管不同于一些傳統(tǒng)的特征提取網(wǎng)絡(luò)，darknet53依然通過殘差模塊[16]來提升網(wǎng)絡(luò)深度，該結(jié)構(gòu)提取過程如圖1所示。在darknet53網(wǎng)絡(luò)的特征提取過程中，有23個殘差模塊，每個殘差模塊中都有1個1×1的卷積和1個3×3的卷積。利用殘差模塊提高網(wǎng)絡(luò)深度，可以使網(wǎng)絡(luò)提取到更高級別的語義特征，從而提升檢測性能。

圖1 darknet53結(jié)構(gòu)特征提取Fig.1 Feature extraction of darknet53 structure

在每個殘差模塊集合的前一層，都有1層步長為2的降采樣卷積層，用來取代傳統(tǒng)網(wǎng)絡(luò)中的池化層，可避免池化層帶來的梯度負(fù)面效果。darknet53中有5個降采樣卷積層，可將輸入圖像的尺寸縮小32倍。在特征提取之后，利用多尺度的方式[17-18]，將darknet53在3個不同的尺度下分別進(jìn)行輸出(如圖2所示)，以此提高小目標(biāo)的檢測準(zhǔn)確度。

圖2 darknet53結(jié)構(gòu)中的多尺度輸出Fig.2 Multi-scale output in darknet53 structure

小目標(biāo)有2種定義方法：一種是根據(jù)物體在圖片中的相對大小，當(dāng)目標(biāo)的物理面積小于圖片面積的10%，屬于小目標(biāo)；另一種是根據(jù)物體的絕對大小，將尺寸小于32×32像素的物體認(rèn)定為小目標(biāo)。在輸電線路圖像監(jiān)測中，部分類似汽吊的物體，盡管實際像素在圖片中的占比較低，但其真實值的矩形框會因為機(jī)械臂的伸長而變大，故不能單純依靠矩形框的大小來判斷其是否為小目標(biāo)。本文結(jié)合輸電線路的具體場景特性，在基于相對大小定義的基礎(chǔ)上，將目標(biāo)物體尺寸小于原圖尺寸20%、且目標(biāo)物體所在區(qū)域內(nèi)背景部分占比超過50%的，也定義為小目標(biāo)物體。圖3(a)、(b)所示均為輸電線路圖像監(jiān)控中的小目標(biāo)物體。

圖3 小目標(biāo)物體實物圖Fig.3 Pictures of small target objects

在小目標(biāo)研究上，Li等[19]利用感知生成式對抗網(wǎng)絡(luò)來提高小目標(biāo)的檢測率；Li、Peng等[20]人通過比較識別與檢測的落差，針對檢測特性，建立專門用于檢測的骨干網(wǎng)絡(luò)，以提升小目標(biāo)的檢測精度。本文在YOLOv3的基礎(chǔ)上，結(jié)合新的高功能模塊來提升YOLOv3網(wǎng)絡(luò)小目標(biāo)的檢測性能，在不損失YOLOv3網(wǎng)絡(luò)檢測速度優(yōu)勢的情況下，進(jìn)一步改善小目標(biāo)物體的檢測精度。

2 YOLOv3-ad算法

針對輸電線路監(jiān)控設(shè)備安裝位置一般較高、距離地面上的物體較遠(yuǎn)，從而大多數(shù)監(jiān)控圖像中物體成像較小的特點(diǎn)，本文提出新的網(wǎng)絡(luò)模型YOLOv3-ad，旨在加強(qiáng)對圖像中小目標(biāo)的檢測性能。該模型通過改善降采樣問題、添加訓(xùn)練優(yōu)化層、更換高性能模塊以及提高特征復(fù)用性，可以更好地解決圖像中小目標(biāo)識別準(zhǔn)確度低的問題。

2.1 膨脹卷積與降采樣

盡管采用神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測的起步時間晚于圖像分類，但經(jīng)過4～5 a的發(fā)展，目標(biāo)檢測在很大程度上沿襲了分類的結(jié)構(gòu)設(shè)計，這其中就包括降采樣。降采樣是在空間維度下對圖像信息進(jìn)行凝練，雖然可以相應(yīng)地降低計算量，提高感受野的大小，但也會導(dǎo)致空間信息丟失，而空間信息的不完備又會進(jìn)一步影響到邊界框的回歸。同時，在多尺度架構(gòu)的目標(biāo)檢測網(wǎng)絡(luò)中，低分辨率的輸出層由于降采樣次數(shù)過多而會遺棄掉小目標(biāo)信息；高分辨率的輸出層雖然是由語義信息強(qiáng)的深層結(jié)合分辨率高的淺層得到的，但小目標(biāo)已經(jīng)在深層不可見，而淺層中可見的小目標(biāo)又由于層淺的原因語義信息較弱，較難被檢測到。

針對上述問題，本文將YOLOv3中原有的5次降采樣減少到4次，以此來增大網(wǎng)絡(luò)的輸出尺寸，避免因為空間信息的過多丟失而導(dǎo)致小目標(biāo)檢測準(zhǔn)確度的下降。同時對于降采樣次數(shù)減少帶來的計算量增加、感受野變小的問題，通過減少4次采樣后的隱藏層通道數(shù)來避免計算量增加，然后利用膨脹卷積的方法[21]來提高感受野大小。

圖4所示為膨脹卷積示意圖，該方法最初起源于語義分割領(lǐng)域，將其應(yīng)用在目標(biāo)檢測結(jié)構(gòu)中能夠起到獨(dú)特的效果。由圖4可以看出：相比于一般的卷積操作，膨脹卷積能夠感受到更大范圍的信息，這樣對于空間信息的提煉就不再只局限于降采樣。本文在YOLOv3第5次降采樣后的殘差模塊中加入膨脹卷積，替換掉原有的普通3×3卷積層。由于不需要連續(xù)進(jìn)行卷積膨脹，避免了其在像素尺度上不連續(xù)的問題。

2.2 AE層

輔助激勵(assisted excitation，AE)層利用課程學(xué)習(xí)的原理，即學(xué)習(xí)應(yīng)該按照由易到難的順序進(jìn)行，讓模型先從簡單的樣本開始學(xué)習(xí)，之后逐漸提升樣本難度，使模型能夠找到局部最優(yōu)并加速收斂速率，最終提高網(wǎng)絡(luò)的檢測精度，其結(jié)構(gòu)如圖5所示。本文在網(wǎng)絡(luò)的最大分辨率輸出支路上添加1層AE層來加強(qiáng)網(wǎng)絡(luò)對小目標(biāo)的檢測[22]。并根據(jù)真實的目標(biāo)信息中目標(biāo)的大小進(jìn)行篩選，對于不屬于該支路檢測的目標(biāo)不給予真實信息提示。不同于將真實的目標(biāo)信息中所有目標(biāo)信息附加到特征圖上，篩選后的AE層只針對小目標(biāo)進(jìn)行信息加強(qiáng)，使得網(wǎng)絡(luò)對小目標(biāo)的檢測更加精準(zhǔn)。

圖4 膨脹卷積示意圖Fig.4 Schematic diagram of dilated convolution

圖5 AE層結(jié)構(gòu)Fig.5 AE layer structure

訓(xùn)練圖片中正負(fù)樣本的不均衡是YOLOv3廣受詬病的原因之一。大量容易分辨的負(fù)樣本在較大程度上影響網(wǎng)絡(luò)的訓(xùn)練方向，減少正樣本以及難以分辨樣本的貢獻(xiàn)。而AE層通過引導(dǎo)訓(xùn)練難度曲線，使正樣本和難分樣本能夠在訓(xùn)練初期更好地影響模型的迭代方向，從而緩解YOLOv3中大量易分負(fù)樣本堆砌的問題。同時，AE層的增強(qiáng)也會作用于反向傳播中，由于它對真實的目標(biāo)信息區(qū)域的反應(yīng)更強(qiáng)，也會增大感受野的響應(yīng)，使正樣本提供更多的貢獻(xiàn)，而降低易分負(fù)樣本的作用。

對某一隱藏層的輸出以通道為單位進(jìn)行平均，之后在像素級上與真實的目標(biāo)信息中的mask相乘(該mask的數(shù)值只取決于篩選后的目標(biāo)物體，不受被篩選掉目標(biāo)的影響)，再乘以1個激勵系數(shù)α后，與輸入的每個通道相加，計算式如下：

αc,i,j,l+1=αc,i,j,l+α(t)ec,i,j；

(1)

其中

(2)

(3)

式(1)—(3)中：αc,i,j,l+1和αc,i,j,l分別為l+1層和l層的輸入，c、i、j分別為輸入特征圖的通道數(shù)、行坐標(biāo)和列坐標(biāo)；ec,i,j為激勵函數(shù)；t為訓(xùn)練迭代次數(shù)；M為網(wǎng)絡(luò)訓(xùn)練的總迭代次數(shù)；gi,j根據(jù)真實的目標(biāo)信息得到mask值為1或0，當(dāng)坐標(biāo)為(i,j)的像素不在標(biāo)注框之內(nèi)，gi,j=0，否則gi,j=1；d為特征圖通道數(shù)。

在訓(xùn)練的初期，α值較大，將真實的目標(biāo)信息更多地附加到樣本上，從而降低樣本困難度。在訓(xùn)練快結(jié)束的時候，α值趨于0，網(wǎng)絡(luò)訓(xùn)練不再受AE層的影響。該AE層只在訓(xùn)練時起作用，不影響推理時的速度。

2.3 ResneXt

ResneXt模塊[23]是在Resnet殘差模塊上進(jìn)行的改進(jìn)，在不增加參數(shù)復(fù)雜度的前提下可提高準(zhǔn)確率。圖6(a)所示為YOLOv3中的殘差結(jié)構(gòu)，圖6(b)為改進(jìn)后的ResneXt結(jié)構(gòu)。ResneXt結(jié)構(gòu)在Resnet殘差模塊的基礎(chǔ)上，結(jié)合Inception結(jié)構(gòu)中的split-transform-merge策略，提出cardiality超參數(shù)來控制單個模塊下transform路徑的數(shù)量，這里定義為32，并且transform路徑的拓?fù)浣Y(jié)構(gòu)都一樣。

由圖6可知：ResneXt在利用Inception結(jié)構(gòu)來平衡分組卷積的同時，摒棄掉了Inception中不同分支不同拓?fù)浣Y(jié)構(gòu)的特點(diǎn)，從而避免了大量參數(shù)的調(diào)整工作。在路徑合并時，RexneXt也不同于Inception先鏈接后采樣的方式，而是在每條路徑最后采用恢復(fù)到輸入的尺寸，再對所有路徑進(jìn)行相加。依靠這種平行堆疊相同拓?fù)浣Y(jié)構(gòu)的模塊來代替原來Resnet的殘差模塊，在不明顯增加參數(shù)量級的情況下能夠提升模型準(zhǔn)確率。本文將YOLOv3中所有殘差模塊替換為ResneXt模塊，提升了YOLOv3的整體性能。2.1節(jié)中使用的膨脹卷積也相應(yīng)地替換最后1個ResneXt模塊的3×3卷積層。

圖6 YOLOv3中的殘差結(jié)構(gòu)及改進(jìn)后的ResneXt結(jié)構(gòu)Fig.6 Residual structure in YOLOv3 and the improved ResneXt structure

2.4 Dense

盡管利用殘差塊能夠在性能不退化的情況下堆疊更深的網(wǎng)絡(luò)結(jié)構(gòu)，但隨著殘差塊數(shù)量的增加，在網(wǎng)絡(luò)中流動的冗余信息也在增加，這些冗余信息會給網(wǎng)絡(luò)帶來負(fù)面影響。特別是小目標(biāo)，由于其攜帶的信息較少，會更加容易受到冗余信息或者噪點(diǎn)的影響。另一方面，在網(wǎng)絡(luò)的深度和寬度到達(dá)一定程度后，繼續(xù)增加層數(shù)不再會帶來性能上的提高。為了解決上述問題，進(jìn)一步提高網(wǎng)絡(luò)性能，Dense模塊[24-25]從特征復(fù)用的角度出發(fā)，這一點(diǎn)不同于傳統(tǒng)的Resnet模塊與Inception模塊。

在Dense模塊中，每個卷積層的輸入Xl都與它之前所有層的輸出X0,X1,X2,…Xl-1有關(guān)，即

Xl=Hl(X0,X1,X2,…,Xl-1)，

(4)

式中Hl為輸入與輸出之間的激勵。

對比殘差模塊式(5)，其輸入Xl只與前一層輸出Xl-1有關(guān)，由此可知，在特征的傳遞和復(fù)用上，Dense模塊有著更高的效率。

Xl=Hl(Xl-1)+Xl-1.

(5)

圖7為在1個Dense模塊中特征圖的信息流向。需要注意的是，Dense模塊中各個層的聚合是以通道的連接執(zhí)行的，而不是對應(yīng)通道進(jìn)行數(shù)值相加，因此會在Dense模塊之后加入一個1×1卷積過渡層，來降低由于相連導(dǎo)致的最后輸出通道數(shù)過于龐大的問題。

圖7 Dense模塊Fig.7 Dense module

針對YOLOv3，本文減少了原本結(jié)構(gòu)中殘差塊的數(shù)量，來減少冗余信息的生成，同時添加2個Dense模塊來建立不同層之間的連接關(guān)系，提高對特征的利用率，減輕網(wǎng)絡(luò)回傳時梯度消失的問題，從而提高網(wǎng)絡(luò)的性能。

2.5 YOLOv3-ad網(wǎng)絡(luò)結(jié)構(gòu)

改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示，在原有基本框架的基礎(chǔ)上，去掉了底部8層的殘差塊，增加了2層的Dense模塊來提高特征的提取效果，提升特征的復(fù)用率。并且去除了圖像尺寸從26—13的降采樣過程來遏制空間信息的過多流失，取而代之的膨脹卷積添加到ResneXt模塊中的3×3卷積層中，從而彌補(bǔ)減少降采樣次數(shù)導(dǎo)致的感受野不足問題。在第2次上采樣和網(wǎng)絡(luò)靠前的淺層特征圖聚合之后，添加AE層來強(qiáng)化小目標(biāo)物體的檢測，同時緩解在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中樣本的不平衡。

3 現(xiàn)場實測效果

表1為各網(wǎng)絡(luò)在COCO數(shù)據(jù)集下的性能指標(biāo)，相比YOLOv3網(wǎng)絡(luò)，本文改進(jìn)后的網(wǎng)絡(luò)模型YOLOv3-ad在AP上有3個點(diǎn)的提升。在AP50指標(biāo)下，YOLOv3-ad已經(jīng)超過了ResNet101FPN結(jié)構(gòu)的RetinaNet。表1中：AP表示平均精度，AP50表示閾值為50%時的平均精度，AP75表示閾值為75%時的平均精度。

表2展示了本文改進(jìn)方法具體對模型性能的提升，表中“？”表示是否使用該模塊或采用該方法。將Resnet模塊更換為ResneXt模塊后，模型性能提升了0.6%；添加Dense模塊后，有1.1%的提升；利用膨脹卷積并減少降采樣次數(shù)后，模型提升了0.9%；最后，使用AE層后有0.5%提升。通過對以上各個子模塊的添加、修改和優(yōu)化，神經(jīng)網(wǎng)絡(luò)性能提升超過36.1%。

表3為各個尺寸目標(biāo)的檢測性能，其中YOLOv3-ad在各尺寸上都比YOLOv3好。在中型和大型目標(biāo)物體上，YOLOv3-ad高出3%～4%，而在小目標(biāo)物體的檢測上，AP則提升了將近7%。在推理用時上，YOLOv3每幀耗時為51 ms，而YOLOv3-ad的耗時為57 ms，耗時基本一致，并沒有增加太多的計算開銷。表3中：APS表示小目標(biāo)精度，APM表示中等目標(biāo)精度，APL表示大目標(biāo)精度。

圖8 YOLOv3-ad網(wǎng)絡(luò)結(jié)構(gòu)Fig.8 YOLOv3-ad network structure

表1 各網(wǎng)絡(luò)在COCO數(shù)據(jù)集下的性能指標(biāo)Tab.1 Performance of each network in COCO data set

表2 各個改進(jìn)方法對YOLOv3的影響Tab.2 Impact of each improvement method on YOLOv3

表3 YOLOv3與YOLOv3-ad檢測性能對比Tab.3 Comparison of YOLOv3 and YOLOv3-ad detection performance

如圖9所示，分別在圖中的3個箭頭標(biāo)記(Stage1、2、3)處插入AE層來測試改進(jìn)效果。

圖9 AE層插入位置示意圖Fig.9 Schematic diagram of AE layer insertion position

表4給出了不同位置處，AE層對整個網(wǎng)絡(luò)性能的影響。盡管在Stage1位置處總體AP最高，但在Stage3處時，小目標(biāo)的檢測精度最高，故本文將AE層插在Stage3的位置。同時也可以看出，AE層通過真實的目標(biāo)信息來強(qiáng)調(diào)難分樣本和負(fù)樣本的重要程度，降低樣本間的不平衡，以此來提升網(wǎng)絡(luò)訓(xùn)練后的檢測效果。

表4 不同位置加入AE層的效果Tab.4 Effect of AE in different positions

4 結(jié)束語

本文通過降低降采樣次數(shù)、添加AE層、替換新的殘差結(jié)構(gòu)和使用Dense模塊等方法，基于YOLOv3算法，提出一種新的優(yōu)化模型YOLOv3-ad?，F(xiàn)場實測圖像的識別效果證明，在輸電線路圖像監(jiān)測識別方面，該模型在不犧牲速度的情況下，整體提升了目標(biāo)檢測的準(zhǔn)確度，尤其是對小目標(biāo)物體的檢測有較大的提升，從而提高了輸電線路場景下對施工機(jī)械、樹木和山火等進(jìn)行圖像監(jiān)測和自動化識別預(yù)警的準(zhǔn)確率，降低了輸電線路發(fā)生外破等安全危害的風(fēng)險。