梁禮明，錢艷群，吳媛媛

(江西理工大學(xué) 電氣工程與自動(dòng)化學(xué)院，江西 贛州 341000)

目標(biāo)檢測(cè)任務(wù)是實(shí)例分割、姿態(tài)估計(jì)、自動(dòng)駕駛、視頻分析等任務(wù)的基礎(chǔ)，更是計(jì)算機(jī)視覺領(lǐng)域中非常熱門的研究方向。傳統(tǒng)的檢測(cè)算法利用滑動(dòng)窗口的技術(shù)從輸入圖像上提取大量候選框，人工設(shè)計(jì)特征提取器提取候選區(qū)域的特征，選取合適的分類器進(jìn)行分類。大數(shù)據(jù)時(shí)代下，傳統(tǒng)的手工提取的方法已經(jīng)不能滿足人們對(duì)目標(biāo)檢測(cè)的高要求，隨著深度學(xué)習(xí)技術(shù)的發(fā)展和計(jì)算機(jī)硬件設(shè)備的提高，在檢測(cè)任務(wù)上達(dá)到了快速且精確的程度?；谏疃葘W(xué)習(xí)的目標(biāo)檢測(cè)方法分為2種：基于候選區(qū)域的兩階段檢測(cè)和基于回歸的一階段檢測(cè)。Ren等[1]提出的Faster RCNN利用候選區(qū)域提取模塊RPN替換SS算法，通過anchor機(jī)制生成候選區(qū)域，達(dá)到了更為準(zhǔn)確的定位和較高的識(shí)別精度。Lin等[2]提出的FPN網(wǎng)絡(luò)，設(shè)計(jì)了具有橫向連接的自頂向下的體系結(jié)構(gòu)，使檢測(cè)器不再只在網(wǎng)絡(luò)的頂層進(jìn)行檢測(cè)。Dai等[3]提出的R-FCN使用全卷積網(wǎng)絡(luò)實(shí)現(xiàn)計(jì)算共享，提高檢測(cè)的速度。He等[4]提出的Mask RCNN用ROI Align取代Faster RCNN中的感興趣池化層解決特征圖與原始圖像上的感興趣區(qū)域不對(duì)準(zhǔn)的問題。Hao等[5]提出的BlendMask采用一種自頂向下與自底向上設(shè)計(jì)相結(jié)合的策略，不但可以用在實(shí)例級(jí)別的識(shí)別檢測(cè)任務(wù)上，還能很好地解決全景分割問題。

雖然兩階段的目標(biāo)檢測(cè)算法精度更高，但檢測(cè)速度較慢，而一般的工業(yè)或是自動(dòng)駕駛等領(lǐng)域?qū)?shí)時(shí)性的要求又很高，所以相比兩階段檢測(cè)算法，速度較快的一階段檢測(cè)算法更有發(fā)展空間。最有代表性的一階段目標(biāo)檢測(cè)算法是SSD算法[6]和Yolo系列算法[7-12]，其中Yolov3[12]是Yolo系列中應(yīng)用最為廣泛的目標(biāo)檢測(cè)算法。張智等[8]將Yolov3中采用不同深度的空洞卷積引入低層紋理特征豐富高層的語(yǔ)義信息。譚芳等[9]利用FAST角點(diǎn)檢測(cè)算法與BRISK特征點(diǎn)描述算法改進(jìn)Yolov3完成多目標(biāo)行人跟蹤任務(wù)。李軒等[10]在Yolov3的基礎(chǔ)上利用暗通道去霧算法實(shí)現(xiàn)圖片增強(qiáng)。許多改進(jìn)的算法僅僅是針對(duì)某個(gè)類別，泛化能力較差，無法應(yīng)對(duì)類別多的場(chǎng)景,并不適用于通用目標(biāo)檢測(cè)，尤其是在復(fù)雜的環(huán)境和背景下，原Yolov3算法往往存在邊界框的定位不準(zhǔn)、對(duì)物體的檢測(cè)精度不高等問題。本文以Yolov3算法為基礎(chǔ)，提出融合跨階段局部網(wǎng)絡(luò)和空間金字塔池化的Yolov3目標(biāo)檢測(cè)算法，通過將主干網(wǎng)絡(luò)融合跨階段局部網(wǎng)絡(luò)CSPNet提高網(wǎng)絡(luò)的學(xué)習(xí)能力，引入改進(jìn)的空間金字塔池化結(jié)構(gòu)增強(qiáng)網(wǎng)絡(luò)的局部區(qū)域特征，在損失函數(shù)中融入focal loss解決正負(fù)樣本不均衡所帶來的問題，旨在保證速度的前提下，提高Yolov3的檢測(cè)精度。

1 Yolov3算法原理

2018年提出的Yolov3在Yolov1[7]和Yolov2[11]的基礎(chǔ)做更進(jìn)一步的改進(jìn)，采用Darknet53作為基礎(chǔ)網(wǎng)絡(luò)，運(yùn)用殘差結(jié)構(gòu)使得網(wǎng)絡(luò)的層數(shù)可以更深，網(wǎng)絡(luò)結(jié)構(gòu)中有大量的1×1和3×3的卷積層，特征圖的大小通過調(diào)節(jié)卷積步長(zhǎng)確定，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 Yolov3網(wǎng)絡(luò)結(jié)構(gòu)框圖

Yolov3借鑒FPN的思想，大的尺寸特征圖用來預(yù)測(cè)小物體，小的尺寸特征圖用來預(yù)測(cè)大物體，檢測(cè)層共有3個(gè)尺度的輸出，分別是在32倍降采樣、16倍降采樣、8倍降采樣進(jìn)行檢測(cè)。輸入圖像是經(jīng)過主干網(wǎng)絡(luò)等一系列卷積層生成的特征圖，經(jīng)過3×3、1×1卷積之后生成Feature Map1，用經(jīng)過1×1的卷積層加上上采樣層，與主干網(wǎng)絡(luò)的中間層輸出特征進(jìn)行concat操作，生成Feature Map2，同樣的操作之后產(chǎn)生Feature Map3，Yolov3從主干網(wǎng)絡(luò)DarkNet53中共提取了3個(gè)不同的特征層進(jìn)行預(yù)測(cè)，使用邏輯回歸預(yù)測(cè)每個(gè)邊界框的是否存在檢測(cè)目標(biāo)，然后采用非極大值抑制篩選出最終的檢測(cè)結(jié)果。此外，Yolov3還借助殘差網(wǎng)絡(luò)residual network[13]的思想，在一些層之間設(shè)置了快捷路徑(shortcut connections)[13]。這種結(jié)構(gòu)的特點(diǎn)就是能夠通過增加一定的深度來提高準(zhǔn)確率，并且能緩解增加深度帶來的梯度消失問題。

Yolov3算法的損失函數(shù)共有3個(gè)組成部分，分別是bbox、置信度和類別帶來的誤差。具體損失函數(shù)如下：

Loss=bbxloss+confloss+probloss=

(1)

2 改進(jìn)型Yolov3算法

2.1 主干網(wǎng)絡(luò)的改進(jìn)

Yolov3的特征提取網(wǎng)絡(luò)DarkNet53借鑒了Resnet[13]的跨層連接操作(如圖2(a))，隨著網(wǎng)絡(luò)的層數(shù)加深，對(duì)神經(jīng)網(wǎng)絡(luò)所需的推理計(jì)算能力的要求進(jìn)一步提高，目前先進(jìn)的檢測(cè)技術(shù)之所以能在計(jì)算機(jī)視覺任務(wù)上取得顯著的成果，很大原因在于具備昂貴的計(jì)算資源。為了減輕這種需要大量推理計(jì)算能力的問題，本文中將跨階段局部網(wǎng)絡(luò)(CSPNet)應(yīng)用于DarkNet53，CSPNet是wang等[14]提出的一種新型網(wǎng)絡(luò)結(jié)構(gòu)體系，主要目的是豐富梯度組合，在緩解計(jì)算量的情況下還能提高網(wǎng)絡(luò)的學(xué)習(xí)能力和推理速度，大大減少內(nèi)存開銷。CSPNet的基本思想是將特征層拆分為2個(gè)部分：一部分進(jìn)行卷積操作，另一部分和之前進(jìn)行卷積操作的結(jié)果concat，利用跨階段的分割與合并策略，能夠有效地減少信息在集成過程中重復(fù)使用的可能性[15]。改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)如圖2(b)所示。

圖2 融合CSPNet的網(wǎng)絡(luò)結(jié)構(gòu)框圖

首先，改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)將原來DarkNet53殘差塊的堆疊分成了Shortconv和Mainconv兩部分。Shortconv部分的目的是生成一個(gè)大的殘差邊，經(jīng)過1×1卷積調(diào)整通道數(shù)后連至最后。Mainconv部分作為主干部分繼續(xù)進(jìn)行殘差塊的堆疊，先經(jīng)過1×1的卷積調(diào)整通道數(shù)，再經(jīng)過的卷積增強(qiáng)特征的提取，接著將其輸出進(jìn)行跨層連接。之后經(jīng)過的卷積將其通道數(shù)調(diào)整為與Shortconv部分相同。最后，將Shortconv部分和Mainconv部分進(jìn)行堆疊。其中，N的取值依次為1、2、8、8、4。通過將基礎(chǔ)層的特征分成2個(gè)部分，然后通過一個(gè)跨階段的層次結(jié)構(gòu)合并他們，利用這種方式，使得網(wǎng)絡(luò)傳播的梯度信息可以產(chǎn)生較大的相關(guān)差異。此外，本文還對(duì)激活函數(shù)進(jìn)行了改進(jìn)，將原Yolov3的激活函數(shù)LeakyReLU函數(shù)換成Mish函數(shù)。Mish函數(shù)[16]具有“有下界無上界“的特點(diǎn)，可以在訓(xùn)練過程中有效地避免梯度飽和。此外，Mish激活函數(shù)還具有非單調(diào)性和光滑的特點(diǎn)，此特點(diǎn)優(yōu)于LeakyRelu函數(shù)在零點(diǎn)處不光滑、梯度為零的情況。改進(jìn)的Mish激活函數(shù)能夠很好地提高網(wǎng)絡(luò)的學(xué)習(xí)能力，提升梯度的傳遞效率，公式如下：

Mish=x*tanh(ln(1+ex))

(2)

2.2 特征增強(qiáng)網(wǎng)絡(luò)

空間金字塔池化結(jié)構(gòu)(spatial pyramid pooling)原是用于解決卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像重復(fù)特征提取的問題[17]，并且可以將不同大小的特征圖進(jìn)行一系列尺度的池化操作，再轉(zhuǎn)化為所需要的維度的特征向量，有效避免了圖像因?yàn)椴眉簟⒖s放所帶來的問題。本文借鑒空間金字塔池化思想，目的是為了進(jìn)一步獲得局部特征信息，與改進(jìn)的主干網(wǎng)絡(luò)得到的全局特征信息融合，提高檢測(cè)精度。如圖3所示，在主干網(wǎng)絡(luò)的最后一個(gè)特征層的卷積里加入改進(jìn)的空間金字塔池化結(jié)構(gòu)，先對(duì)13×13的特征圖進(jìn)行1次卷積操作，然后借鑒空間金字塔池化的思想對(duì)卷積后的特征圖進(jìn)行3個(gè)不同尺度的池化處理，池化核大小分別為13×13、9×9、5×5，步長(zhǎng)均為1，最后將13×13的全局特征圖和經(jīng)過3個(gè)池化操作的局部特征圖進(jìn)行concat后，再進(jìn)行1次卷積操作。改進(jìn)的空間金字塔池化結(jié)構(gòu)可以在很大程度上增加最后一個(gè)特征層的感受野，使得上下文特征更加明顯，能夠進(jìn)一步獲得豐富的局部特征信息。

圖3 改進(jìn)的空間金字塔池化結(jié)構(gòu)框圖

2.3 改進(jìn)的損失函數(shù)

單階段目標(biāo)檢測(cè)器直接從輸入圖像中產(chǎn)生成千上萬(wàn)的候選框，在這些密集的檢測(cè)框中，只有很少的一部分候選框是包含目標(biāo)的，其他的都是背景框，因此在訓(xùn)練過程中存在正負(fù)樣本的嚴(yán)重不均衡問題。此外，在這些大量的候選框中，還存在許多易分類樣本與難分類樣本，使得損失函數(shù)很難對(duì)模型做出正確的指導(dǎo)。Lin等[18]提出一種新的loss計(jì)算方案，通過控制正負(fù)樣本的權(quán)重和控制易分類樣本和難分類樣本的權(quán)重來解決上述問題。先以簡(jiǎn)單的二分類為例，普通的交叉熵loss為：

(3)

其中，y代表目標(biāo)的類別標(biāo)簽，取值為0或1;p代表模型預(yù)測(cè)y=1的概率。利用簡(jiǎn)化交叉熵?fù)p失，具體如下：

(4)

此時(shí)，交叉熵loss變?yōu)椋?/p>

CE(p,y)=CE(pt)=-loga(pt)

(5)

由于數(shù)據(jù)集中存在極大的正負(fù)樣本不均衡問題，因此在交叉熵?fù)p失函數(shù)中利用與目標(biāo)存在概率成反比的系數(shù)來調(diào)整，在常規(guī)的交叉熵?fù)p失函數(shù)前加上一個(gè)系數(shù)at來調(diào)整正負(fù)樣本的影響，通過改變at的值來控制正負(fù)樣本對(duì)loss的影響，at的表示如下：

(6)

結(jié)合式(4)～(6)，則可得到：

(7)

其中，a的取值范圍為0～1。如果將a的值設(shè)置成0～0.5，就會(huì)降低正樣本的權(quán)重，增加負(fù)樣本的權(quán)重；如果將a的值設(shè)置成0.5～1，就能增加正樣本的權(quán)重，減少負(fù)樣本的權(quán)重，因此通過改變a的值就能改變正負(fù)樣本的權(quán)重。此外，focal loss還在交叉熵?fù)p失函數(shù)的基礎(chǔ)上設(shè)置了一個(gè)(1-pt)r調(diào)制參數(shù)。以正樣本為例，當(dāng)網(wǎng)絡(luò)能夠正確分類時(shí)，此時(shí)的樣本是容易分類樣本，pt趨于1，整個(gè)調(diào)制參數(shù)趨于0，對(duì)loss的貢獻(xiàn)很?。划?dāng)網(wǎng)絡(luò)不能很好地分類時(shí)，此時(shí)的樣本是難分類樣本，pt趨于0，調(diào)制參數(shù)趨于1。和容易分類樣本相比，難分類樣本的權(quán)重就大得多，對(duì)loss的貢獻(xiàn)大。通過調(diào)整r值以實(shí)現(xiàn)調(diào)制系數(shù)的改變，其具體公式如下：

FL(pt)=-at(1-pt)γloga(pt)

(8)

改進(jìn)后的Yolov3損失函數(shù)為：

Loss=bbxloss+confloss+probloss=

(9)

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境為L(zhǎng)inux操作系統(tǒng)Ubuntu 16.04，深度學(xué)習(xí)開發(fā)環(huán)境的各個(gè)軟件版本為：python 3.7，cuda 9.2，cudnn 7.1，Anaconda 3，Pytorch 0.4.1。CPU型號(hào)為Intel I7-7800，選用NVIDIA Titan X的GPU。

3.2 實(shí)驗(yàn)數(shù)據(jù)集

采用PASCAL VOC數(shù)據(jù)集，總共有20種類別。訓(xùn)練數(shù)據(jù)采用VOC 2007訓(xùn)練驗(yàn)證集和VOC 2012訓(xùn)練驗(yàn)證集，總共有16 551張圖片，包含40 058個(gè)樣本框。VOC 2007部分?jǐn)?shù)據(jù)作為驗(yàn)證集。選用VOC 2012測(cè)試集作為測(cè)試數(shù)據(jù)，總共有4 952張圖片，包含12 032個(gè)樣本框。

3.3 實(shí)驗(yàn)細(xì)節(jié)

采用端到端的方式優(yōu)化模型，使用多任務(wù)損失函數(shù)優(yōu)化網(wǎng)絡(luò)參數(shù)。訓(xùn)練之前，先將訓(xùn)練集數(shù)據(jù)中的真實(shí)框使用K-means聚類的方法得到先驗(yàn)框的寬和高，總共得到3個(gè)尺度9個(gè)錨框，分別是(10×13)、(16×30)、(33×23)、(30×61)、(62×45)、(59×119)、(116×90)、(156×198)和(373×326)。實(shí)驗(yàn)在Pytorch框架上進(jìn)行，圖像輸入大小為 416×416，通道數(shù)為3，訓(xùn)練時(shí)批量大小設(shè)置為16，動(dòng)量值設(shè)置成0.9，在訓(xùn)練的初始階段，為了加強(qiáng)模型的穩(wěn)定，采用warm up[19]預(yù)熱學(xué)習(xí)率方式。warm up階段分兩輪，先讓學(xué)習(xí)率逐步增大到0.000 1，等模型相對(duì)穩(wěn)定后采用consine衰減[19]讓學(xué)習(xí)率逐步降低以減小網(wǎng)絡(luò)的損失。其模型訓(xùn)練的學(xué)習(xí)率示意圖如圖4所示。

圖4 學(xué)習(xí)率示意圖

損失函數(shù)中的a值設(shè)置為0.75，γ值設(shè)置為2。圖5為損失函數(shù)訓(xùn)練曲線，其中橫坐標(biāo)是迭代次數(shù)，縱坐標(biāo)是loss值，藍(lán)色線代表?yè)p失值，紅色線代表驗(yàn)證集的平均精度，數(shù)字是每迭代1 000次的評(píng)估結(jié)果。從圖5中可以看出：損失函數(shù)一開始下降較快，之后變慢到最后基本穩(wěn)定在0.1左右。

圖5 損失函數(shù)訓(xùn)練曲線

3.4 實(shí)驗(yàn)結(jié)果及分析

進(jìn)行原Yolov3算法與改進(jìn)Yolov3算法的對(duì)比實(shí)驗(yàn)。訓(xùn)練數(shù)據(jù)均采用VOC 07訓(xùn)練驗(yàn)證集加VOC 12訓(xùn)練驗(yàn)證集，使用平均準(zhǔn)確率(mAP)作為評(píng)價(jià)指標(biāo)，選取VOC 07測(cè)試集作為測(cè)試數(shù)據(jù)。表1為不同算法在VOC 07測(cè)試集上的測(cè)試結(jié)果。從表1可以看出：在圖像大小輸入相同的情況下，與原Yolov3_416算法相比，改進(jìn)的算法的mAP值提升了1.8%，與原Yolov2_416算法相比，改進(jìn)的算法的mAP值提升了4.4%。并且本文改進(jìn)的算法比一階段檢測(cè)算法FSSD的mAP值高9.8%，比兩階段檢測(cè)算法R-FCN的mAP值高0.7%，可以看出本文的算法在目標(biāo)檢測(cè)任務(wù)上的提升效果較明顯。

表1 不同算法在VOC 07測(cè)試集上的結(jié)果

將改進(jìn)型Yolov3算法與原算法在PASCAL VOC 07測(cè)試集上進(jìn)行單種類別的比較，結(jié)果如表2所示。

表2 VOC 07測(cè)試集單類AP結(jié)果 %

從表2可以看出：改進(jìn)型的Yolov3算法對(duì)像鳥、船、瓶子以及飛機(jī)等小物體的檢測(cè)精度有了明顯提升，說明引入的空間金字塔池化結(jié)構(gòu)對(duì)尺度不同的物體尤其是小尺度的物體具有很好的檢測(cè)效果。隨機(jī)選取VOC 07測(cè)試圖片進(jìn)行測(cè)試，如圖6(a)、圖6(c)所示為原Yolov3算法檢測(cè)，圖6(b)、圖6(d)所示為改進(jìn)的算法檢測(cè)。從圖中很明顯可以看出：改進(jìn)的算法檢測(cè)出原算法沒有檢測(cè)出來的小尺度的人和車，并且相同的目標(biāo)改進(jìn)的算法也比原算法檢測(cè)精度高。此外，為了證明改進(jìn)算法在面對(duì)現(xiàn)實(shí)場(chǎng)景中環(huán)境的復(fù)雜性和背景的多樣性時(shí)具有較好的魯棒性，對(duì)現(xiàn)實(shí)中的圖片進(jìn)行了檢測(cè)與展示，如圖6(e)所示為Yolov3算法檢測(cè)，圖6(f)所示為本文改進(jìn)的算法檢測(cè)。從檢測(cè)效果圖看到，改進(jìn)的算法檢測(cè)出了遠(yuǎn)處的卡車和行人，說明改進(jìn)的算法泛化性能更好。

圖6 測(cè)試圖對(duì)比

3.5 消融實(shí)驗(yàn)

為了驗(yàn)證每個(gè)改進(jìn)模塊對(duì)最終性能的影響，進(jìn)行了消融實(shí)驗(yàn)，檢測(cè)結(jié)果均在VOC 07測(cè)試集上進(jìn)行評(píng)估，圖片輸入大小均為416×416。實(shí)驗(yàn)結(jié)果如表3所示。第1組為原Yolov3算法，其mAP值為79.4%；第2組為融合CSPNet的Yolov3算法，其mAP值為80.3%，因?yàn)椴捎每珉A段的分割與合并策略，增強(qiáng)了主干網(wǎng)絡(luò)的學(xué)習(xí)能力，使得其檢測(cè)精度提高了0.9%；第3組在前一組的基礎(chǔ)上加入改進(jìn)的空間金字塔池化結(jié)構(gòu)，其mAP值為80.7%，增加最后一個(gè)特征層的感受野，使模型能更好地獲得豐富的局部特征信息，使得其檢測(cè)精度提高了0.4%，說明改進(jìn)的空間金字塔結(jié)構(gòu)對(duì)模型整體性能的提升有一定的影響；第4組也就是本文算法，在前一組的基礎(chǔ)上使用了Focal loss，其mAP值為81.2%，說明所改進(jìn)的損失函數(shù)使得正負(fù)樣本不均衡問題得到緩解，不但使檢測(cè)精度進(jìn)一步提升，而且總體相比于原始的Yolov3算法有了很好的改進(jìn)效果。

表3 消融實(shí)驗(yàn)結(jié)果

4 結(jié)論

以Yolov3算法為基礎(chǔ)，針對(duì)原算法在復(fù)雜的環(huán)境和背景下存在邊界框定位不準(zhǔn)、對(duì)各個(gè)尺度的目標(biāo)檢測(cè)精度不高等問題，提出了一種融合跨階段局部網(wǎng)絡(luò)和空間金字塔池化的Yolov3目標(biāo)檢測(cè)算法。該算法將主干網(wǎng)絡(luò)融合跨階段局部網(wǎng)絡(luò)CSPNet提高網(wǎng)絡(luò)的學(xué)習(xí)能力；為了充分利用網(wǎng)絡(luò)的多尺度局部區(qū)域特征，引入一種改進(jìn)的空間金字塔池化結(jié)構(gòu)增強(qiáng)特征提取能力；在損失函數(shù)中融入focal loss解決正負(fù)樣本不均衡所帶來的問題。實(shí)驗(yàn)結(jié)果表明：該算法在PASCAL VOC數(shù)據(jù)集上的平均精度達(dá)到81.2%,比原Yolov3算法精度提高0.7%，并且能夠很好地檢測(cè)一些小尺度的目標(biāo)。從效果圖中可以看出：對(duì)于一些遮擋比較嚴(yán)重的目標(biāo)還不能很好地檢測(cè)，因此，下一階段的任務(wù)是研究如何提高遮擋目標(biāo)的檢測(cè)效果。