張煜彬，方中純

(1.內(nèi)蒙古科技大學(xué) 信息工程學(xué)院，內(nèi)蒙古 包頭 014010；2.內(nèi)蒙古科技大學(xué) 工程訓(xùn)練中心創(chuàng)新創(chuàng)業(yè)教育學(xué)院，內(nèi)蒙古 包頭 014010)

電力產(chǎn)業(yè)是十分重要的公共基礎(chǔ)事業(yè)，與國(guó)民經(jīng)濟(jì)的發(fā)展和社會(huì)安定有著密不可分的聯(lián)系[1].其中，架空輸電線路是電力系統(tǒng)的重要組成部分，幾乎覆蓋了全國(guó)各地，是電力傳輸?shù)臉蛄?，架空輸電線路的安全運(yùn)行是電網(wǎng)穩(wěn)步發(fā)展的前提條件.然而分布廣泛的輸電線路的安全性往往遭到威脅.據(jù)國(guó)內(nèi)數(shù)據(jù)統(tǒng)計(jì)，30%的輸電線路故障事件是由外力破壞導(dǎo)致的，外力破壞已成為除雷害以外的輸電線路安全運(yùn)行的最大隱患[2].常見的外力破壞危險(xiǎn)行為主要有：低空飛行物、線路起火、超大工程車輛、懸掛異物、搭建違章建筑、林區(qū)高樹成長(zhǎng)壓線、可疑人員蓄意破壞、桿塔沉降傾斜等.

目前，輸電線路在線監(jiān)測(cè)技術(shù)已在實(shí)際中得到應(yīng)用.和傳統(tǒng)的人工巡檢相比，在線監(jiān)測(cè)可以實(shí)時(shí)檢測(cè)輸電線路的運(yùn)行狀態(tài)，一定程度上提升了工作效率.但仍然靠后臺(tái)人工篩選出有隱患的圖像進(jìn)行預(yù)警，缺點(diǎn)是：一方面預(yù)警信息不具備實(shí)時(shí)性；另一方面大量無預(yù)警信息圖像占據(jù)了寶貴的通信資源.因此，架空輸電線路警戒區(qū)危險(xiǎn)行為的自動(dòng)預(yù)警與識(shí)別是當(dāng)前基于監(jiān)測(cè)圖像的輸電線路故障與危險(xiǎn)行為識(shí)別的關(guān)鍵[3].

提出了一種改進(jìn)的危險(xiǎn)行為檢測(cè)方法，該方法基于經(jīng)典YOLOv3算法，能夠滿足實(shí)時(shí)監(jiān)控的要求，具有較高的檢測(cè)精度和準(zhǔn)確度，同時(shí)也可以直接嵌入到遠(yuǎn)程攝像頭中進(jìn)行工作，提高了工作效率[4,5,6].

1 經(jīng)典YOLOv3算法

YOLOv3算法于2018年提出，是目前目標(biāo)檢測(cè)領(lǐng)域最具有代表性的算法[7,8,9]，該算法在YOLOv2基礎(chǔ)上進(jìn)行了改進(jìn)，具體的改進(jìn)包括：重新設(shè)計(jì)了骨干網(wǎng)絡(luò)；修改了損失函數(shù)，通過交叉熵函數(shù)實(shí)現(xiàn)分類任務(wù)；使用了多尺度訓(xùn)練方法[10]，改善了小目標(biāo)的檢測(cè)效果.

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

為了學(xué)習(xí)更加豐富的特征信息，YOLOv3增加了網(wǎng)絡(luò)層數(shù)，設(shè)計(jì)了由52個(gè)卷積層和1個(gè)全連接層組成的特征提取網(wǎng)絡(luò)——Darknet-53.整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)由連續(xù)的1×1和3×3卷積層以及1個(gè)全連接層組成，每個(gè)卷積層后面都有Batch normalization層和Leaky ReLU函數(shù)層.Darknet-53的卷積層之間使用了shortcut跨層連接，可以避免梯度彌散和梯度爆炸.Darknet-53結(jié)構(gòu)如圖1所示，圖中左側(cè)的數(shù)字代表的是殘差單元的重復(fù)個(gè)數(shù).殘差單元是由2個(gè)卷積層和1個(gè)短接鏈路組成，如圖2所示.

圖1 Darknet-53網(wǎng)絡(luò)結(jié)構(gòu)

圖2 殘差單元圖

1.2 損失函數(shù)

YOLOv3損失函數(shù)包含3部分：邊界框回歸損失、目標(biāo)置信度損失和目標(biāo)分類損失.損失函數(shù)公式如式(1)所示.

(1)

1.3 NMS算法

在基于anchor的目標(biāo)檢測(cè)算法中，產(chǎn)生了大量的矩形候選框，但這些矩形框有許多是針對(duì)同一目標(biāo)的，因此存在大量冗余矩形框.非極大值抑制算法(Non-Maximum Suppression，NMS)的作用是通過消除多余框來尋找最佳的物體檢測(cè)位置.在圖像中只有單個(gè)物體被檢測(cè)的情況下，改算法具有很好的效果.然而圖像中若存在2個(gè)或2個(gè)以上重疊度很高的物體時(shí)，該算法會(huì)濾除掉其中置信度較低的目標(biāo)，導(dǎo)致漏檢.表達(dá)式如式子(2)所示.si為候選框i的得分，M為當(dāng)前得分最高的候選框，iou(M，bi)為候選框bi與M的交并比，Nt為超參數(shù)設(shè)定的重疊閾值.

(2)

2 改進(jìn)的YOLOv3算法

為了實(shí)現(xiàn)對(duì)輸電線路外力破壞危險(xiǎn)行為檢測(cè)的研究，采用了較高準(zhǔn)確性和實(shí)時(shí)性的YOLOv3模型作為外力破壞危險(xiǎn)行為檢測(cè)的基礎(chǔ)模型，并做了改進(jìn).首先，針對(duì)文中檢測(cè)目標(biāo)的特征對(duì)YOLOv3的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn).其次，針對(duì)外力破壞危險(xiǎn)行為的漏檢問題，對(duì)損失函數(shù)進(jìn)行改進(jìn)，減少漏檢現(xiàn)象.最后，針對(duì)圖像的輸出處理時(shí)使用的非極大值抑制的方法進(jìn)行改進(jìn).

2.1 網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)

網(wǎng)絡(luò)結(jié)構(gòu)是在YOLOv3網(wǎng)絡(luò)的前段加入3個(gè)卷積層，功能是對(duì)輸入的圖片進(jìn)行特征提取，生成更高層次的抽象特征，并不是針對(duì)經(jīng)典YOLOv3骨干網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行的增改.改進(jìn)后的檢測(cè)模型網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示.本檢測(cè)模型中，為所有樣本的每個(gè)不同尺度的特征圖只設(shè)計(jì)了2種預(yù)選框.經(jīng)典YOLOv3中設(shè)置的3種預(yù)選框，分別用來檢測(cè)大、中、小物體，而在研究的項(xiàng)目中圖像出現(xiàn)的小目標(biāo)代表著目標(biāo)離輸電線路警戒區(qū)域較遠(yuǎn)，對(duì)輸電線路暫時(shí)不會(huì)造成危害，不必要進(jìn)行檢測(cè).故本模型只將圖片劃分成13×13和26×26的單元格[11].這樣可以在不損失模型精度的條件下，使模型的檢測(cè)速度得到提升.改進(jìn)后的檢測(cè)模型網(wǎng)絡(luò)原理如圖4所示.

圖3 檢測(cè)模型網(wǎng)絡(luò)結(jié)構(gòu)

2.2 損失函數(shù)改進(jìn)

在目標(biāo)檢測(cè)問題中，網(wǎng)絡(luò)模型的輸出包含檢測(cè)框的位置信息，一般以中心點(diǎn)坐標(biāo)和寬高表示，記為(x，y，w，h)，還包含檢測(cè)框中識(shí)別物體的置信度confidence以及該目標(biāo)在各個(gè)類別上的概率值P.根據(jù)實(shí)際標(biāo)注的目標(biāo)框的位置信息以及目標(biāo)框中物體的類別信息即可計(jì)算出網(wǎng)絡(luò)的預(yù)測(cè)輸出與實(shí)際標(biāo)框之間的誤差.誤差的計(jì)算方式則取決于模型定義的損失函數(shù)，因此一個(gè)好的損失函數(shù)對(duì)于網(wǎng)絡(luò)的訓(xùn)練速度以及最終的預(yù)測(cè)精度都起到了關(guān)鍵性作用[12].

圖4 檢測(cè)模型網(wǎng)絡(luò)原理

2.2.1定位損失函數(shù)改進(jìn)

YOLOv3在計(jì)算位置坐標(biāo)誤差時(shí)，只是簡(jiǎn)單地將邊界框假設(shè)為獨(dú)立的4個(gè)變量，然后采用差值平方和作為損失函數(shù)，根據(jù)4個(gè)坐標(biāo)點(diǎn)獨(dú)立進(jìn)行邊界框回歸.這種方法存在2個(gè)缺點(diǎn)：(1)訓(xùn)練和檢測(cè)時(shí)所用的標(biāo)準(zhǔn)不一樣而導(dǎo)致結(jié)果不準(zhǔn)確.通常檢測(cè)時(shí)用IoU進(jìn)行模型性能評(píng)估，然而實(shí)際回歸坐標(biāo)僅是4個(gè)坐標(biāo)點(diǎn).(2)回歸時(shí)4個(gè)坐標(biāo)點(diǎn)是相互獨(dú)立的，欠缺對(duì)坐標(biāo)相關(guān)性的考慮，應(yīng)該進(jìn)行聯(lián)合回歸.

為了解決損失函數(shù)對(duì)邊界框坐標(biāo)相關(guān)性欠缺考慮、定位不準(zhǔn)確的問題.使用GIoULoss[13]作為定位損失函數(shù).GIoU函數(shù)表達(dá)式如式(3)所示，其中：C為預(yù)測(cè)框A與真實(shí)框B的最小外接矩形.GIoU損失函數(shù)的表達(dá)式如式(4)所示.

(3)

GIoULoss=1-GIoU.

(4)

2.2.2置信度損失函數(shù)改進(jìn)

考慮到文中數(shù)據(jù)集中正負(fù)樣本不均衡性，置信度損失函數(shù)采用了Focal Loss[14].Focal Loss就是為解決目標(biāo)檢測(cè)任務(wù)中的正負(fù)樣本不均衡及難易樣本不均衡問題提出的.通過大量降低負(fù)樣本和難樣本在訓(xùn)練中所占的權(quán)重，使得正負(fù)樣本、難易樣本達(dá)到平衡.Focal Loss的函數(shù)表達(dá)式如式(5)所示.

(5)

從式(5)中可知：Focal Loss函數(shù)在交叉熵的基礎(chǔ)上添加了2個(gè)因子γ和α.其中γ是一個(gè)大于0的常數(shù)，作用是使易分類樣本的損失減少.如當(dāng)γ=3時(shí)，就正樣本來說，若預(yù)測(cè)的結(jié)果為0.97，則這個(gè)樣本十分容易被區(qū)分其正負(fù)樣本類別，即該樣本為簡(jiǎn)單樣本.其損失函數(shù)的值為(1～0.97)的立方，會(huì)更小.若某個(gè)樣本預(yù)測(cè)概率為0.3，其對(duì)應(yīng)的損失函數(shù)值為(1～0.3)的立方，會(huì)大一些，得到更多的關(guān)注.就負(fù)樣本而言，預(yù)測(cè)概率為0.2的樣本，其損失函數(shù)值與預(yù)測(cè)概率為0.5的樣本的損失函數(shù)值相比較會(huì)小很多.因?yàn)轭A(yù)測(cè)概率為0.5的樣本的損失函數(shù)值減少了0.75，而預(yù)測(cè)概率為0.2的樣本的損失函數(shù)值減少了0.04.同時(shí)模型的參數(shù)是隨著損失函數(shù)的變化而改變，這樣會(huì)讓整個(gè)模型給予那些比較難以區(qū)分的樣本更多的關(guān)注，同時(shí)使得容易區(qū)分樣本對(duì)模型的影響也減弱了.Focal Loss函數(shù)的另外一個(gè)平衡因子α是為了平衡數(shù)據(jù)自身存在的正負(fù)樣本的不均衡而設(shè)置的.α是一個(gè)權(quán)重因子，它的取值范圍為0～1.可以看出當(dāng)y=0(非檢測(cè)目標(biāo))時(shí)，隨著α逐漸增大，損失函數(shù)值會(huì)逐漸降低，從而使非檢測(cè)目標(biāo)對(duì)整個(gè)模型訓(xùn)練的影響減弱.

2.2.3損失計(jì)算

在對(duì)YOLOv3算法的定位損失和置信度損失函數(shù)進(jìn)行改進(jìn)后，算法的損失函數(shù)表達(dá)式如式(6)所示.

(6)

3.3 圖像輸出處理改進(jìn)

在進(jìn)行去除重復(fù)的預(yù)測(cè)框這步操作的時(shí)候，若圖像中存在2個(gè)或多個(gè)重疊度很高的物體時(shí)，NMS會(huì)過濾掉其中置信度較低的一個(gè)，造成漏檢.為解決這類問題，采用Soft-NMS算法，如式(6)所示.當(dāng)選取類置信度高的bounding box，計(jì)算其余每個(gè)bounding box和選定的bounding box的IoU值時(shí)，NMS計(jì)算方式是直接刪除IoU值大于閾值的bounding box；Soft-NMS則是使用基于IoU的衰減函數(shù)來降低IoU值大于閾值的bounding box的置信度，衰減程度與IoU值成正比.

(6)

3 實(shí)驗(yàn)結(jié)果及分析

3.1 樣本集制作

實(shí)際的巡檢圖像是由有危險(xiǎn)行為的圖像和沒有危險(xiǎn)行為的圖像組成.因此采集了300張有危險(xiǎn)行為的圖像作為正樣本，同樣采集了700張沒有危險(xiǎn)行為的巡檢圖像作為負(fù)樣本.這些沒有危險(xiǎn)行為巡檢圖像同樣包含輸電線路和輸電桿塔，甚至還包括建筑物、樹木和路燈等常見干擾物.然后將這1 000張圖像通過數(shù)據(jù)增強(qiáng)操作來進(jìn)行數(shù)據(jù)集擴(kuò)充.圖5的6張圖像分別是原始圖像和進(jìn)行翻轉(zhuǎn)、旋轉(zhuǎn)、縮放、裁剪以及添加噪聲后的圖像.最后，使用數(shù)據(jù)標(biāo)注工具對(duì)擴(kuò)充后的數(shù)據(jù)集進(jìn)行標(biāo)注，主要對(duì)人、異物、吊車、挖掘機(jī)和其他工程車輛五類目標(biāo)進(jìn)行標(biāo)注.

圖5 原始圖片及數(shù)據(jù)增強(qiáng)后的圖像(a)原圖；(b)翻轉(zhuǎn)；(c)旋轉(zhuǎn)；(d)縮放(e)裁剪；(e)添加噪聲

3.2 實(shí)驗(yàn)平臺(tái)

所有實(shí)驗(yàn)均在Linux CentOS服務(wù)器上進(jìn)行，服務(wù)器配備有兩個(gè)顯存為15 GB的Tesla T4GPU.開發(fā)環(huán)境是Pycharm和Anaconda3，開發(fā)語言是python，深度學(xué)習(xí)框架為Tensorflow-gpu 2.1.0，cuda10.2.

3.3 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)時(shí)首先對(duì)模型中需要的一些參數(shù)進(jìn)行設(shè)置，模型的批量大小為64，初始學(xué)習(xí)率為0.001，動(dòng)量參數(shù)為0.8，學(xué)習(xí)率衰減為0.005.

將本研究中的測(cè)試圖片分別在YOLOv3網(wǎng)絡(luò)模型和改進(jìn)的YOLOv3模型上進(jìn)行訓(xùn)練，測(cè)試集中有300張圖片，其中包含240張正樣本和60張負(fù)樣本，實(shí)驗(yàn)表明:mAP提高了約4.2%，精確度提升了約5.2%，速度提高了約22.5%.損失函數(shù)的值會(huì)隨著訓(xùn)練次數(shù)的增加而減少，但改進(jìn)的YOLOv3的損失函數(shù)的值較原始YOLOv3損失函數(shù)的值小，如圖6所示，故本文對(duì)損失函數(shù)的改進(jìn)是有效果的.在原始YOLOv3網(wǎng)絡(luò)模型進(jìn)行危險(xiǎn)行為檢測(cè)后的評(píng)價(jià)指標(biāo)數(shù)據(jù)如表1所示，在改進(jìn)的YOLOv3網(wǎng)絡(luò)模型進(jìn)行危險(xiǎn)行為檢測(cè)后的評(píng)價(jià)指標(biāo)數(shù)據(jù)如表2所示.

圖6 損失函數(shù)

表1 原始YOLOv3網(wǎng)絡(luò)評(píng)價(jià)指標(biāo)

表2 改進(jìn)的YOLOv3網(wǎng)絡(luò)評(píng)價(jià)指標(biāo)

由表1，2中的數(shù)據(jù)可知，在改進(jìn)的YOLOv3檢測(cè)模型上檢測(cè)性能和速度都有一定程度提升，說明進(jìn)行的改進(jìn)對(duì)危險(xiǎn)行為的檢測(cè)是有一定貢獻(xiàn)的.

4 結(jié)語

提出了一種基于經(jīng)典YOLOv3改進(jìn)的目標(biāo)檢測(cè)算法，該算法是對(duì)YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)及圖像輸出處理部分進(jìn)行改進(jìn)而得到的.使用構(gòu)建的數(shù)據(jù)集分別在經(jīng)典YOLOv3和改進(jìn)的YOLOv3上進(jìn)行訓(xùn)練和測(cè)試，實(shí)驗(yàn)表明改進(jìn)的YOLOv3在實(shí)時(shí)性和精確度方面都有了進(jìn)一步的提升.下一步工作將擴(kuò)大數(shù)據(jù)集，通過不斷訓(xùn)練網(wǎng)絡(luò)模型，對(duì)模型中的個(gè)別參數(shù)進(jìn)行微調(diào)，找到最優(yōu)的參數(shù)，更進(jìn)一步提高模型的檢測(cè)速度和精度.