祁 婕,焦良葆

(南京工程學(xué)院 人工智能產(chǎn)業(yè)技術(shù)研究院,南京 211167)

引言

輸電線路在電力系統(tǒng)巡行中扮演著至關(guān)重要的角色,一旦產(chǎn)生故障,將會(huì)對(duì)于輸電網(wǎng)絡(luò)造成巨大的經(jīng)濟(jì)損失.影響到輸電線路安全運(yùn)行的因素有很多,鳥害便是其中之一.近年來,鳥害事故的發(fā)生明顯增多,通過對(duì)其分析,鳥窩造成的短路故障這一現(xiàn)象最為普遍,而對(duì)于鳥窩的檢測(cè)目前采用最多的便是傳統(tǒng)的人工巡檢方法,這就要求巡檢工作人員定期的前往檢查,這種方法不僅效率低,而且容易受地形,天氣等客觀因素影響[1].

近年來,機(jī)器學(xué)習(xí)的出現(xiàn)帶動(dòng)目標(biāo)檢測(cè)這一課題也被重視起來,目標(biāo)檢測(cè)就是在所給定的圖片中精確的找到所需物品的位置,并標(biāo)注其類別.傳統(tǒng)的目標(biāo)檢測(cè)算法代表有:V-J[2]檢測(cè)算法、HOG[3]特征+SVM[4]算法、DPM[5]算法,傳統(tǒng)的目標(biāo)檢測(cè)算法流程如圖1所示.

圖1 傳統(tǒng)的目標(biāo)檢測(cè)算法流程圖

傳統(tǒng)的目標(biāo)檢測(cè)算法更注重特征的提取,只能夠適用于有明顯特征,背景簡(jiǎn)單的圖片,所提取的特征一般較為抽象,不能夠擁有較好的魯棒性.而在實(shí)際情況中,無人機(jī)所拍攝的照片背景復(fù)雜,且所需要檢測(cè)的目標(biāo)復(fù)雜多變,很難通過所提取出來的一般的抽象特征對(duì)目標(biāo)進(jìn)行檢測(cè).

伴隨著深度學(xué)習(xí)的不斷發(fā)展,目標(biāo)檢測(cè)技術(shù)的研究取得了突破性的進(jìn)展.基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法可以分為兩大類:Two-stage[6]目標(biāo)檢測(cè)算法;Onestage[7]目標(biāo)檢測(cè)算法.Two-stage 檢測(cè)算法如Faster RCNN[8]等,是通過一個(gè)完整的卷積神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)整個(gè)目標(biāo)檢測(cè)過程,以CNN 網(wǎng)絡(luò)為主干網(wǎng)絡(luò),對(duì)圖片進(jìn)行深度特征的提取,其提取的是CNN 卷積特征,后由RPN[9]網(wǎng)絡(luò)產(chǎn)生候選區(qū),并完成其分類,對(duì)目標(biāo)的位置進(jìn)行初步的定位,最終通過分類和回歸對(duì)邊界框進(jìn)行位置精修和對(duì)目標(biāo)的類別進(jìn)行判定.One-stage 檢測(cè)算法如YOLO[10],SSD[11],Retina-Net 等,是在給定輸入之后,同樣以CNN 網(wǎng)絡(luò)為主干網(wǎng)絡(luò)完成特征的抽取,然后直接進(jìn)行區(qū)域的回歸和目標(biāo)的分類,One-stage 的核心思想就體現(xiàn)在回歸網(wǎng)絡(luò)上.對(duì)于目標(biāo)檢測(cè)而言,Twostage 的方法則可以獲得高精度,而One-stage 的方法具有高效率的優(yōu)點(diǎn),能夠?qū)崿F(xiàn)端到端的實(shí)時(shí)監(jiān)測(cè),但其檢測(cè)精度不如Two-stage 高.

本文以SSD 算法為基礎(chǔ)對(duì)輸電鐵塔上的鳥窩進(jìn)行目標(biāo)檢測(cè),通過將前置網(wǎng)絡(luò)VGGNet[12]替換為ResNet-101[13],以提升SSD 算法的特征提取能力,并對(duì)其損失函數(shù)作了改進(jìn),將Softmax loss[14]用Focal loss[15]替換,改善了SSD 算法中的樣本不平衡問題,從而使得模型的檢測(cè)性能得到提高.

1 SSD 原理和方法

1.1 SSD 目標(biāo)檢測(cè)模型

SSD (Single Shot multibox Detector)算法是一種多框檢測(cè)的One-stage 算法,其網(wǎng)絡(luò)模型是基于一個(gè)前饋CNN 網(wǎng)絡(luò),該網(wǎng)絡(luò)產(chǎn)生一個(gè)固定大小的包圍框集合,并對(duì)這些框中存在的對(duì)象類別進(jìn)行評(píng)分,然后利用非極大值抑制方法產(chǎn)生最后的檢測(cè)結(jié)果.其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示[16].

圖2 SSD 網(wǎng)絡(luò)結(jié)構(gòu)

總結(jié)SSD 算法的核心設(shè)計(jì)理念可以概括為以下3 點(diǎn):

(1)采用多尺度的特征圖進(jìn)行檢測(cè).

從圖2可以看出,SSD 以去除了全連接層的分類網(wǎng)絡(luò)作為前端的特征提取網(wǎng)絡(luò),在其后面添加了多尺度特征檢測(cè)網(wǎng)絡(luò),通過池化操作將這些層的尺寸逐步縮小,對(duì)于相同大小的先驗(yàn)框,高層的特征圖中具有高級(jí)語(yǔ)義信息,由于相對(duì)應(yīng)的感受野較大,便于檢測(cè)大的目標(biāo),而低層的特征圖中具有細(xì)節(jié)信息,相同范圍內(nèi)所對(duì)應(yīng)的感受野更小,便于檢測(cè)小的目標(biāo),SSD 提出在多個(gè)尺度上進(jìn)行檢測(cè),并且每個(gè)特征層用于預(yù)測(cè)檢測(cè)的卷積模型都是不同的,這樣可以提高識(shí)別的準(zhǔn)確度.

(2)用于檢測(cè)的卷積預(yù)測(cè)器.

不同于YOLO 在采用全連接層之后做檢測(cè),SSD是通過卷積直接對(duì)特征圖進(jìn)行提取檢測(cè)的全卷積神經(jīng)網(wǎng)絡(luò),對(duì)于網(wǎng)絡(luò)中的6 個(gè)特定的卷積層輸出采用兩組3×3 的卷積核分別做分類和boundingbox 回歸,其實(shí)質(zhì)就是對(duì)6 個(gè)特征圖對(duì)應(yīng)的實(shí)際有效感受野進(jìn)行分類和回歸.

(3)設(shè)置多種寬高比的default box.

Default box 是指在feature map[17]的每一個(gè)小格上都有一系列固定大小的box,在default box 寬高比的設(shè)置上,SSD 借鑒了Faster R-CNN 中anchor 的理念,所預(yù)測(cè)的bounding box 是以default box 為基準(zhǔn)的,該做法在一定程度上可以減少訓(xùn)練的難度.對(duì)default box 尺寸大小的確定是根據(jù)6 層卷積層輸出的特征圖大小決定的,其分別是Conv4_3、Conv7、Conv8_2、Conv9_2、Conv_10_2、Conv11_2,所對(duì)應(yīng)的特征圖大小分別是38×38、19×19、10×10、5×5、3×3、1×1.由于特征圖的不同,所需設(shè)置的先驗(yàn)框的尺度和長(zhǎng)寬比也不盡相同.對(duì)于先驗(yàn)框的尺度要遵循線性遞增的規(guī)則,是按式(1)進(jìn)行計(jì)算的.

式中,smin為 0.2,即最低層的尺度為0.2,smax為0.9,即最高層的尺度為0.9,m是所使用feature maps 的數(shù)量.再使用不同的長(zhǎng)寬比,用 αr來表示:αr∈{1,2,3,1/2,1/3}.至此,可以求出每個(gè)default box 的寬(w)和高(h):由于長(zhǎng)寬比有等于1 的情況,即每個(gè)特征圖都會(huì)有一個(gè)尺度為sk的先驗(yàn)框,除此之外,還會(huì)設(shè)置一個(gè)尺度為且長(zhǎng)寬比為1 的先驗(yàn)框,這樣每個(gè)特征圖就會(huì)定義6 個(gè)default box.

1.2 目標(biāo)損失函數(shù)

SSD 在計(jì)算損失函數(shù)時(shí)用到了兩項(xiàng)的加權(quán)和,分別是:分類loss:Softmax loss;回歸loss:smoothL1loss.

其中,Lconf為分類loss,Lloc為回歸loss,N為真實(shí)框與標(biāo)記框所匹配的數(shù)量,α為權(quán)重值,用于調(diào)節(jié)分類loss 與回歸loss 的比例,一般默認(rèn)值為1,p指代類別序號(hào),當(dāng)p=0 時(shí)表示背景,指代第i個(gè)預(yù)測(cè)框與第j個(gè)真實(shí)框關(guān)于類別p是否匹配,即第i個(gè)搜索框和第j個(gè)類別框的IOU 是否大于闕值,若大于闕值則取1,反之則為0.cip表示第i個(gè)搜索框?qū)τ陬悇ep的預(yù)測(cè)概率,概率通過Softmax 產(chǎn)生,當(dāng)p的概率預(yù)測(cè)越高,則損失越小.

對(duì)于分類損失函數(shù),樣本的正負(fù)比控制尤為重要,本文將闕值設(shè)置為0.5,當(dāng)搜索框與類別框的IOU 大于闕值時(shí)為正樣本,否則為負(fù)樣本.在正負(fù)樣本的處理過程中,一般負(fù)樣本的數(shù)目不要超過正樣本數(shù)目的3 倍或4 倍,這樣確保其能夠收斂,而當(dāng)負(fù)樣本與正樣本的比例超過3:1 或4:1 時(shí)的數(shù)據(jù)就可歸類為不平衡數(shù)據(jù),數(shù)據(jù)的不平衡會(huì)使分類出現(xiàn)嚴(yán)重的偏向性,這在一些常用指標(biāo)上無法顯現(xiàn)出來,但對(duì)于準(zhǔn)確率的影響很大.

回歸損失是預(yù)測(cè)框(l)和ground truth box (g)的smoothL1loss,其相較于L1損失函數(shù)的優(yōu)點(diǎn)是收斂速度更快,而相較于L2損失函數(shù),smoothL1loss 對(duì)離群點(diǎn)、異常值不敏感,更加魯棒,梯度變化相對(duì)較小,訓(xùn)練時(shí)不容易跑飛.

1.3 改進(jìn)策略

1.3.1 前置網(wǎng)絡(luò)的改進(jìn)

深度學(xué)習(xí)網(wǎng)絡(luò)的深度對(duì)于目標(biāo)的分類與識(shí)別有著很大的影響,因此,常規(guī)的思路為網(wǎng)絡(luò)越深越好,然而,事實(shí)卻并非如此,常規(guī)的網(wǎng)絡(luò)堆疊在網(wǎng)絡(luò)很深的時(shí)候效果卻變差了,其原因之一就是:伴隨著網(wǎng)絡(luò)的加深,梯度消失的現(xiàn)象越來越明顯,網(wǎng)絡(luò)的訓(xùn)練效果也隨之下降.SSD 算法較為明顯的缺點(diǎn)就是對(duì)小目標(biāo)不夠魯棒,這主要是由于在淺層提取的feature map 表征能力不夠強(qiáng),但是現(xiàn)在淺層的網(wǎng)絡(luò)已經(jīng)無法明顯的提升網(wǎng)絡(luò)的識(shí)別效果,因此,對(duì)于SSD 算法的改進(jìn)所需要解決的問題是在加深網(wǎng)絡(luò)的情況下解決梯度消失的問題.本文將SSD 原有的VGGNet 用ResNet-101 進(jìn)行替換,以提高網(wǎng)絡(luò)特征提取能力,從而提升目標(biāo)檢測(cè)精度.由于ResNet-101 比VGG 的網(wǎng)絡(luò)更深,所以ResNet-101提取的特征就有更高的語(yǔ)義信息,且ResNet-101 的分類精度比VGG 高,其網(wǎng)絡(luò)結(jié)構(gòu)如表1所示.

表1 ResNet-101 網(wǎng)絡(luò)結(jié)構(gòu)表

在不斷的加深神經(jīng)網(wǎng)絡(luò)深度時(shí),會(huì)出現(xiàn)準(zhǔn)確率不斷上升后達(dá)到飽和,再增加深度時(shí)則會(huì)導(dǎo)致準(zhǔn)確率下降,這一現(xiàn)象的出現(xiàn)并不是由于過擬合,而是由于更深的網(wǎng)絡(luò)會(huì)導(dǎo)致訓(xùn)練集和測(cè)試集的誤差增大.

針對(duì)網(wǎng)絡(luò)越深,梯度消失的現(xiàn)象越明顯這一問題,He KM 等[18]提出一種殘差網(wǎng)絡(luò),該網(wǎng)絡(luò)能夠?qū)崿F(xiàn)identity mapping,即恒等映射.模塊中除了正常的卷積層輸出外,還通過一種連接方式將當(dāng)前的輸入直接傳遞給輸出,其連接方式為shortcut connection,最終整個(gè)結(jié)構(gòu)的輸出為卷積層輸出與該層輸入做算術(shù)相加所得,當(dāng)卷積層的輸出與該層的輸入channel 個(gè)數(shù)相同時(shí),其公式為H(x)=f(x)+x,而當(dāng)個(gè)數(shù)不同時(shí),兩者是不能相加的,其公式為H(x)=f(x)+ωx,其中 ω是用于調(diào)整x的channel 維度的卷積操作,這樣人為的將神經(jīng)網(wǎng)絡(luò)的某些層跳過下一層神經(jīng)元的連接,隔層相連,弱化每層之間的強(qiáng)聯(lián)系.這種簡(jiǎn)單的加法不會(huì)給網(wǎng)絡(luò)增加額外的參數(shù)以及計(jì)算量,同時(shí)卻可以增加模型的訓(xùn)練速度以及提高訓(xùn)練效果,并當(dāng)網(wǎng)絡(luò)的層數(shù)加深時(shí),該網(wǎng)絡(luò)能夠很好的解決退化問題.

VGG-16 中,用于提取小目標(biāo)信息的是Conv4_3層,作為最淺的網(wǎng)絡(luò)層,在信息傳遞時(shí),或多或少的會(huì)存在信息丟失、損耗的問題,而ResNet 在某種程度上解決了這個(gè)問題,通過將輸入信息直接傳遞到輸出,以保護(hù)信息的完整性,使得整個(gè)網(wǎng)絡(luò)只需學(xué)習(xí)輸入和輸出差別的那一部分,簡(jiǎn)化學(xué)習(xí)目標(biāo)與難度.

值得注意的是,當(dāng)輸入圖像尺寸為300×300 時(shí),精度不升反降,當(dāng)輸入為512×512 時(shí),精度才有所提升,這是由于ResNet 網(wǎng)絡(luò)很深,在前置網(wǎng)絡(luò)后接入SSD 網(wǎng)絡(luò)時(shí),根據(jù)其接入倒退計(jì)算其輸入尺寸時(shí),其輸入的分辨率要增加,而尺寸為300×300 的的圖像對(duì)于ResNet而言數(shù)值偏小了.在VOC2007 test 上的評(píng)估結(jié)果見表2.

表2 VOC2007 test 檢測(cè)結(jié)果

1.3.2 損失函數(shù)的改進(jìn)

對(duì)于One-stage 的檢測(cè)準(zhǔn)確率不如Two-stage 這一問題進(jìn)行分析,主要原因?yàn)闃颖镜念悇e不均衡.在目標(biāo)檢測(cè)算法中,對(duì)于輸入的一張圖像會(huì)產(chǎn)生成千上萬的預(yù)選框,但是,其中只有少部分包含真實(shí)的目標(biāo),換言之,無用的易分反例樣本過多,會(huì)使得整個(gè)模型學(xué)習(xí)的方向跑偏,導(dǎo)致無效學(xué)習(xí),即只能分辨出沒有物體的背景,而無法分辨具體的目標(biāo).

在所獲得的輸電鐵塔數(shù)據(jù)原始圖中,有鳥窩的圖片數(shù)量?jī)H占4%,且每張圖中鳥窩所占面積較小,即負(fù)樣本的數(shù)量太大,占據(jù)總的loss 函數(shù)輸入的大半,這就造成了嚴(yán)重的樣本不平衡現(xiàn)象,使得模型的優(yōu)化方向與所期望的背道而馳.為了改善這一現(xiàn)象,本文針對(duì)分類損失函數(shù)做了一定的改進(jìn),將Softmax loss 由Focal loss 代替,Focal loss 是基于Cross Entropy 的改進(jìn),用以解決數(shù)據(jù)不平均的問題,其主要思路直接體現(xiàn)在式(4)中[19].

式中,pt指 代各個(gè)類別的預(yù)測(cè)概率,(1?pt)γ對(duì)loss 有縮放作用,從式(4)中很容易推斷出:當(dāng) γ確定時(shí),假設(shè)γ=2,在pt=0.9的情況下,說明該類別為easy example,該loss 經(jīng)過公式變換會(huì)縮小至 0.01αt倍;在pt=0.968的情況下,說明該類別仍為easy example,該loss 經(jīng)過式(4)變換會(huì)縮小至 0.001αt倍;而在pt=0.1的情況下,說明該類別為hard example,該loss 經(jīng)過式(4)變換會(huì)縮小至 0.81αt倍.即所有的樣本loss 都會(huì)縮小,但hard example 比easy example 縮小的倍數(shù)要小.αt的作用則在于平衡權(quán)重,解決正負(fù)樣本不平衡的問題.改進(jìn)后損失函數(shù)的計(jì)算可以總結(jié)為式(5).

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)平臺(tái)

本文實(shí)驗(yàn)平臺(tái)具體參數(shù)配置如表3所示.

表3 實(shí)驗(yàn)平臺(tái)參數(shù)配置

2.2 數(shù)據(jù)預(yù)處理

輸電鐵塔的數(shù)據(jù)原始圖是由某市供電公司提供的,總計(jì)40 966 張圖片,其中有鳥窩圖的有1624 張,其數(shù)據(jù)集類別數(shù)量如表4所示.在進(jìn)行數(shù)據(jù)訓(xùn)練之前首先要制作自己的數(shù)據(jù)集,而在制作數(shù)據(jù)集之前則是要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,由于SSD 采用的是固定的輸出尺寸,如300×300 或者512×512,而通過無人機(jī)拍攝的圖像尺寸過大,在7000×4000 以上,需要對(duì)其進(jìn)行縮放或者裁剪,本文使用了圖片轉(zhuǎn)換器對(duì)于圖片進(jìn)行批量的處理,將圖像的尺寸縮至512×512,使之能夠匹配SSD 的輸入.繼而通過數(shù)據(jù)增廣以提高數(shù)據(jù)的多樣性,在SSD中的數(shù)據(jù)增廣對(duì)于SSD 網(wǎng)絡(luò)識(shí)別小物體效果明顯.對(duì)圖像進(jìn)行等比例變換、隨機(jī)裁剪加顏色扭曲、水平翻轉(zhuǎn)、隨機(jī)采集塊域、色彩變換、減去ImageNet 中RGB 的平均數(shù)等方法經(jīng)常被用于訓(xùn)練當(dāng)中,以提高模型的魯棒性.

表4 本文數(shù)據(jù)集類別數(shù)量

對(duì)于進(jìn)行數(shù)據(jù)增廣之后的圖片,本文使用了labelImg工具給圖片打標(biāo)簽,由其自帶的pascalVOC可以得到與圖片相對(duì)應(yīng)的XML 文件,進(jìn)而由XML 文件集合生成可供caffeine 框架讀取的lmdb 文件,由于前置網(wǎng)絡(luò)的替換,lmdb 數(shù)據(jù)的生成隨之也產(chǎn)生變化,要對(duì)原Caffe 框架下所自帶的腳本進(jìn)行修改,依據(jù)所標(biāo)注好的XML 文件來產(chǎn)生新的lmdb 文件.所標(biāo)圖示例如圖3.

圖3 圖片標(biāo)簽示例

2.3 性能評(píng)價(jià)指標(biāo)

本文采用精確率(Precision,P)和召回率(Recall,R)對(duì)算法的性能進(jìn)行定量評(píng)估,其中,P表示有多少目標(biāo)被正確預(yù)測(cè),R表示找到了多少目標(biāo),其計(jì)算公式為:

式中,TP表示為被正確地劃分到正例的個(gè)數(shù),FP表示為被錯(cuò)誤地劃分到正例的個(gè)數(shù),FN表示為被錯(cuò)誤的劃分到負(fù)例的個(gè)數(shù).

2.4 訓(xùn)練

在進(jìn)行訓(xùn)練前,需針對(duì)電腦配置、搭建環(huán)境,檢測(cè)目標(biāo)及數(shù)據(jù)預(yù)處理時(shí)生成的文件路徑等對(duì)訓(xùn)練程序的參數(shù)及路徑做一定修改.本文將改進(jìn)后SSD 算法與原始的SSD 算法在相同數(shù)據(jù)集中進(jìn)行對(duì)比實(shí)驗(yàn),為保障實(shí)驗(yàn)的公平性,對(duì)學(xué)習(xí)率,權(quán)重衰減及迭代次數(shù)進(jìn)行統(tǒng)一設(shè)置,初始學(xué)習(xí)率為1 0?3,權(quán)重衰減為5 ×10?4,前5×104次迭代學(xué)習(xí)率保持不變,后5 ×104次迭代學(xué)習(xí)率為1 0?4,總迭代次數(shù)為100 000 次,學(xué)習(xí)動(dòng)量為0.9.其算法對(duì)比結(jié)果見表5.

表5 SSD 算法改進(jìn)前后檢測(cè)精度(%)

針對(duì)該算法的收斂性,和原有的SSD 算法進(jìn)行對(duì)比,其對(duì)比的loss 曲線如圖4所示.從圖中可以看出雖然一開始Focal loss 的損失值較大,但隨著迭代次數(shù)的增加,其損失快速收斂并逐步穩(wěn)定.

針對(duì)該算法的實(shí)時(shí)性,在相同迭代次數(shù)的前提下,將本文改進(jìn)后的SSD 算法與Faster-RCNN、原始SSD 算法和YOLO 在使用相同數(shù)據(jù)集的前提下進(jìn)行對(duì)比,如表6所示.

圖4 對(duì)比損失曲線圖

表6 算法檢測(cè)時(shí)間對(duì)比

其檢測(cè)效果圖如圖5所示,在圖中可以看出改進(jìn)后的SSD 目標(biāo)檢測(cè)算法在小目標(biāo)上的漏檢問題得以改善.

圖5 SSD 算法改進(jìn)前后效果對(duì)比圖

3 結(jié)束語(yǔ)

本文針對(duì)輸電鐵塔上的鳥窩檢測(cè)的問題,提出了了基于SSD 算法改進(jìn)的目標(biāo)檢測(cè)網(wǎng)絡(luò),主要做了以下兩方面的改進(jìn):(1)將SSD 原有的前置網(wǎng)絡(luò)VGGNet替換為ResNet-101,通過加深網(wǎng)絡(luò)提升SSD 算法的特征提取能力,提高對(duì)小目標(biāo)的檢測(cè)精度.(2)將損失函數(shù)中的分類函數(shù)Softmax loss 用Focal loss 替換,改善了SSD 算法中的樣本不平衡問題.實(shí)驗(yàn)結(jié)果證明本文提出的改進(jìn)方法比起原SSD 算法更能實(shí)現(xiàn)對(duì)小目標(biāo)的檢測(cè),能夠提升目標(biāo)檢測(cè)的準(zhǔn)確度.