蘇擎凱，童 瑩，何睿清，曹雪虹，

(1.南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003；2.南京工程學(xué)院 信息與通信工程學(xué)院，江蘇 南京 211167)

0 引 言

目標(biāo)檢測的任務(wù)是找出圖像中所有感興趣的目標(biāo)，確定它們的類別和位置[1]。如今目標(biāo)檢測的應(yīng)用已經(jīng)遍及生活的各個方面，往往需要將目標(biāo)檢測網(wǎng)絡(luò)部署在各種邊緣端、移動端上，而由于邊緣設(shè)備、移動設(shè)備的硬件限制要求目標(biāo)檢測網(wǎng)絡(luò)在降低參數(shù)量的前提下盡可能達(dá)到實(shí)時、準(zhǔn)確的目標(biāo)檢測效果，因此高精度輕量化目標(biāo)檢測網(wǎng)絡(luò)研究具有重要的現(xiàn)實(shí)意義。經(jīng)典的目標(biāo)檢測網(wǎng)絡(luò)分為雙階段檢測算法和單階段檢測算法。單階段檢測算法有更快的檢測速度。最具代表性的是SSD(single shot multibox detector)[2]與Yolo(you only look once)系列網(wǎng)絡(luò)。Redmon提出的YoloV1[3]、YoloV2[4]與YoloV3[5]，以及Bochkovskiy等提出的YoloV4網(wǎng)絡(luò)，逐漸提高了檢測精度，但也使得網(wǎng)絡(luò)結(jié)構(gòu)更加復(fù)雜，推理速度下降，這并不利于目標(biāo)檢測網(wǎng)絡(luò)在移動設(shè)備上的運(yùn)行。因此輕量化神經(jīng)網(wǎng)絡(luò)越來越為人們所重視，MobileNet[6-8]系列，MnasNet[9]以及ShuffleNet系列[11，12]等相繼被提出，這些網(wǎng)絡(luò)降低了參數(shù)量，同時也降低了檢測精度。

針對以上問題，本文設(shè)計(jì)實(shí)現(xiàn)了一種輕量化多目標(biāo)檢測網(wǎng)絡(luò)MSPF-YoloV3，此網(wǎng)絡(luò)采用MobileNetV2作為YoloV3的特征提取網(wǎng)絡(luò)；在特征提取網(wǎng)絡(luò)的瓶頸結(jié)構(gòu)(Bottleneck)中，利用低內(nèi)存占用、低分組數(shù)的通道混洗(Shuffle)結(jié)構(gòu)增加通道間信息交流，提高檢測精度；采用SPP模塊融合多尺度的感受野；改進(jìn)特征融合網(wǎng)絡(luò)，將淺層特征與深層特征融合，增加對不同大小目標(biāo)[13-16]的檢測精度。

1 網(wǎng)絡(luò)結(jié)構(gòu)

1.1 網(wǎng)絡(luò)結(jié)構(gòu)總體設(shè)計(jì)

本文設(shè)計(jì)實(shí)現(xiàn)的網(wǎng)絡(luò)MSPF-YoloV3如圖1所示。原YoloV3網(wǎng)絡(luò)的參數(shù)量主要來自于特征提取網(wǎng)絡(luò)DarkNet53，因此本文將其替換為更加輕量化的MobileNetV2網(wǎng)絡(luò)，并且對其中的Bottleneck進(jìn)行改進(jìn)，在Bottleneck的輸入與輸出的位置分別加入分組數(shù)為2的通道混洗操作，增加通道之間的信息交流(如圖1中Bottleneck)。在特征提取網(wǎng)絡(luò)的輸出之后增加SPP模塊，將不同大小的特征圖進(jìn)行拼接，將多重大小感受野進(jìn)行融合(如圖1中SPP)。最后改進(jìn)特征融合網(wǎng)絡(luò)PANet，引出淺層特征與深層特征的上采樣結(jié)果融合(如圖1中Feature Fusion)。此網(wǎng)絡(luò)名字中M代表MobileNetV2，S代表通道混洗Shuffle操作，P代表SPP模塊，F(xiàn)代表特征融合，YoloV3表示使用YoloV3的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)。

圖1 MSPF-YoloV3網(wǎng)絡(luò)結(jié)構(gòu)總覽

1.2 特征提取網(wǎng)絡(luò)

DarkNet53是YoloV3的特征提取網(wǎng)絡(luò)[5]，作為原Yolov3的主干網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)見表1。

表1 DarkNet53結(jié)構(gòu)

本文采用MobileNetV2網(wǎng)絡(luò)代替DarkNet53作為YoloV3的特征提取網(wǎng)絡(luò)。網(wǎng)絡(luò)結(jié)構(gòu)見表2。

表2 MobileNetV2網(wǎng)絡(luò)結(jié)構(gòu)

MobileNetV2網(wǎng)絡(luò)提出了一種新的逆殘差模塊[7]Bott-leneck，使得殘差模塊中的特征傳遞可以在高維度進(jìn)行，殘差模塊之間的特征傳遞在低維度上進(jìn)行，有效提高了特征提取效果，且使用了深度可分離卷積，大大減少了參數(shù)量。其內(nèi)部結(jié)構(gòu)變化如圖2所示。

圖2 殘差結(jié)構(gòu)對比

Bottleneck只有在步長為1時才使用殘差連接，在步長為2時不使用[7]。該結(jié)構(gòu)中首先通過一個1×1卷積塊將輸入升維，然后通過深度可分離卷積代替一般的卷積塊，實(shí)現(xiàn)對圖像的卷積和降維，同時將輸出的激活函數(shù)relu改為Linear線性連接。深度可分離卷積將普通卷積分解成深度卷積與點(diǎn)卷積。k為卷積核大小，C1為輸入通道數(shù)，C2為輸出通道數(shù)，普通卷積參數(shù)量Pc如式(1)所示

Pc=k×k×C1×C2

(1)

深度可分離卷積參數(shù)量Pdc如式(2)所示

Pdc=k×k×C1+1×1×C1×C2=

C1×(k×k+C2)

(2)

深度可分離卷積與普通卷積的參數(shù)量比值Pdc/c如式(3)所示

(3)

一般卷積核大小選擇3×3，因此深度可分離卷積的參數(shù)量約為普通卷積的1/8到1/9。同樣的，本文將網(wǎng)絡(luò)的所有普通卷積都替換成深度可分離卷積，既達(dá)到了與原來相同的效果，又減少了大量的參數(shù)，以此作為基礎(chǔ)網(wǎng)絡(luò)M-YoloV3。

1.3 通道混洗

2018年，ShuffleNetV1提出了一種分組卷積和通道混洗的方法[11]，分組卷積是將輸入通道分若干組，不同組的通道與不同的卷積核進(jìn)行卷積，最后將結(jié)果拼接在一起，這種卷積方式會導(dǎo)致不同組的通道之間沒有任何的信息交流，而通道混洗的操作會按照既定規(guī)則將各個分組中的通道打亂，重新排列，使得不同分組之間的信息相互融合，克服了組卷積的缺點(diǎn)。經(jīng)過ShuffleNetV1網(wǎng)絡(luò)的實(shí)驗(yàn)，發(fā)現(xiàn)分組數(shù)g越大，網(wǎng)絡(luò)的識別效果越好[11]，但是ShuffleNetV2提出分組數(shù)g越大，占用的內(nèi)存越大[12]，這對于在移動設(shè)備上運(yùn)行神經(jīng)網(wǎng)絡(luò)是一個劣勢。

本文使用的特征提取網(wǎng)絡(luò)中的深度可分離卷積可以看作是組卷積的一個特殊情況，即分組數(shù)g與輸入通道相同，因此也具有通道間信息交流少的特點(diǎn)。本文設(shè)計(jì)用兩次分組數(shù)g為2的通道混洗操作來代替一次分組數(shù)g為4的通道混洗操作增加不同組通道之間的信息交流，既滿足分組數(shù)越大效果越好的結(jié)論，也符合減少分組數(shù)以減少內(nèi)存占用的原則。

通道混洗的具體做法是先將輸入通道分組疊加為矩陣，之后將這個矩陣轉(zhuǎn)置并逐行讀入，便得到了輸出通道。遵循這種方法，本文證明兩次g=2的通道混洗結(jié)果與一次g=4的通道混洗結(jié)果一致，而且此操作不會增加模型的參數(shù)量。推算過程如圖3、圖4所示。

圖3 一次g=4的通道混洗

圖4 兩次g=2的通道混洗

因此本文在原Shuffling Module(如圖5(a)所示)基礎(chǔ)上進(jìn)行改進(jìn)，在輸入與輸出的位置分別加入g=2的通道混洗操作作為本文改進(jìn)的Bottleneck，如圖5(b)所示。在圖中位置加入通道混洗，可以在兩個Bottleneck之間形成等價(jià)于g=4的通道混洗操作，既節(jié)約了內(nèi)存，又盡可能利用高分組數(shù)增加了通道之間的信息交流，提高目標(biāo)檢測精度。本文將使用這種Bottleneck的網(wǎng)絡(luò)稱為MS-YoloV3。

圖5 原Shuffle Module與加入通道混洗的Bottleneck對比

1.4 SPP模塊

SPP模塊的功能是將輸入特征圖并行經(jīng)過不同大小的池化層，再將各支路的結(jié)果拼接在一起，結(jié)構(gòu)如圖6所示。

圖6 SPP模塊結(jié)構(gòu)

SPP模塊借鑒了空間金字塔的思想[16-18]，實(shí)現(xiàn)了局部特征和全局特征融合，豐富了特征圖的表達(dá)能力，有利于待檢測圖像中目標(biāo)大小差異較大的情況，提高對不同大小目標(biāo)的檢測精度。

因此本文將SPP模塊直接連接在特征提取網(wǎng)絡(luò)的輸出之后，可以將不同尺寸的特征融合，提高感受野大小，對于YoloV3這種多目標(biāo)檢測網(wǎng)絡(luò)非常有利，本文將這種網(wǎng)絡(luò)結(jié)構(gòu)稱為MSP-YoloV3。

1.5 特征融合

經(jīng)過上述的理論分析，MSP-YoloV3網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)如圖1(不包括圖中特征融合部分)所示。將M-YoloV3網(wǎng)絡(luò)與MSP-YoloV3網(wǎng)絡(luò)在PASCAL VOC數(shù)據(jù)集上進(jìn)行訓(xùn)練，分別向兩個網(wǎng)絡(luò)分別輸入一張相同的圖片，兩種網(wǎng)絡(luò)推理得到結(jié)果如圖7中的前兩張結(jié)果所示。

圖7 各網(wǎng)絡(luò)推理結(jié)果

對比兩種網(wǎng)絡(luò)推理結(jié)果，發(fā)現(xiàn)MSP-YoloV3網(wǎng)絡(luò)比M-YoloV3網(wǎng)絡(luò)多檢測到了最左邊的汽車，且絕大多數(shù)的檢測置信度大于基礎(chǔ)網(wǎng)絡(luò)的檢測置信度，但是對于遠(yuǎn)處的尺寸較小的行人卻沒有標(biāo)示出檢測框，分析原因：

(1)M-YoloV3網(wǎng)絡(luò)對左側(cè)的車可能已經(jīng)檢測到了，但由于置信度較低(低于設(shè)置的閾值0.5)，導(dǎo)致結(jié)果中沒有標(biāo)示出檢測框。而網(wǎng)絡(luò)的對人檢測的精確度比對汽車的精確度高，對遠(yuǎn)處的人的置信度達(dá)到了0.5，因此標(biāo)示出了檢測框。

(2)對比兩張推理結(jié)果中的各個檢測框，可以看到MSP-YoloV3網(wǎng)絡(luò)每一個目標(biāo)的置信度都是大于M-YoloV3網(wǎng)絡(luò)的，因?yàn)榧尤胪ǖ阑煜床僮髦笸ǖ篱g的信息交流增加，提高了精確度，但是對于遠(yuǎn)處的行人這種尺寸較小的目標(biāo)檢測精度卻降低了，因?yàn)樵谔卣魈崛【W(wǎng)絡(luò)中的各個Bottleneck都加入了通道混洗操作，導(dǎo)致淺層的特征圖中所包含的目標(biāo)信息過早被打亂，使得小尺寸目標(biāo)的檢測更加困難。

在特征提取網(wǎng)絡(luò)中，淺層的特征圖感受野小，特征語義信息比較少[19-21]，但是目標(biāo)位置準(zhǔn)確，比較適合檢測小尺寸目標(biāo)；而深層的特征圖感受野大，包含更多的特征語義信息，也包含了更多的背景噪音，對小尺寸目標(biāo)的檢測不利。因此本文將經(jīng)過更少量特征提取網(wǎng)絡(luò)的淺層特征圖引出，并與深層特征圖在PANet中進(jìn)行融合，利用淺層特征的位置信息，指導(dǎo)深層特征對小尺寸目標(biāo)進(jìn)行更加準(zhǔn)確的檢測。網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)如圖1所示，增加圖1中的特征融合部分，得到本文完整的網(wǎng)絡(luò)MSPF-YoloV3。推理圖片結(jié)果圖7中的第三張結(jié)果圖所示。MSPF-YoloV3推理結(jié)果證明將淺層特征與深層特征進(jìn)行融合，增加了對小尺寸目標(biāo)的識別精度，效果較為顯著。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)環(huán)境

本文的實(shí)驗(yàn)平臺為Ubuntu16.04，裝有兩塊NVIDIAGTX 1080Ti顯卡，評價(jià)指標(biāo)采用mAP，即各類別AP的平均值。數(shù)據(jù)集采用PASCAL VOC07+12數(shù)據(jù)集與COCO2014數(shù)據(jù)集，COCO2014數(shù)據(jù)集使用與PASCAL VOC07+12數(shù)據(jù)集中相同的20個類的圖片。初始學(xué)習(xí)率設(shè)置為0.001，隨訓(xùn)練epoch動態(tài)減少，訓(xùn)練epoch為500，loss穩(wěn)定后保存結(jié)果。

2.2 實(shí)驗(yàn)結(jié)果

本文在PASCAL VOC07+12數(shù)據(jù)集上訓(xùn)練測得YoloV3原網(wǎng)絡(luò)、M-YoloV3網(wǎng)絡(luò)，MP-YoloV3網(wǎng)絡(luò)，MSP-YoloV3網(wǎng)絡(luò)以及MSPF-YoloV3的mAP與FPS(Frames Per Second)見表3。

表3 PASCAL VOC07+12數(shù)據(jù)集上的性能對比

在COCO2014數(shù)據(jù)集上測得的mAP與FPS，結(jié)果見表4。

表4 COCO2014數(shù)據(jù)集上的性能對比

從表3和表4中的結(jié)果可以看出，以MobileNetV2代替DarkNet53作為特征提取網(wǎng)絡(luò)，參數(shù)量的降低導(dǎo)致了一定檢測精度損失，而加入SPP模塊、修改Bottleneck以及改進(jìn)特征融合網(wǎng)絡(luò)都使檢測精度得到了顯著提升。這些改進(jìn)使得網(wǎng)絡(luò)在推理時的FPS在兩個數(shù)據(jù)集上分別達(dá)到了44.21 FPS與43.78 FPS。驗(yàn)證了本文網(wǎng)絡(luò)改進(jìn)在不同數(shù)據(jù)集上的魯棒性。

本文提出的各種改進(jìn)措施均不會增加大量的參數(shù)量，在深度可分離卷積的作用下網(wǎng)絡(luò)權(quán)重大小降低了約198 MB。適合在存儲空間有限的移動設(shè)備上運(yùn)行，各網(wǎng)絡(luò)的權(quán)重文件大小見表5。

表5 不同網(wǎng)絡(luò)模型權(quán)重文件大小/MB

MSPF-YoloV3網(wǎng)絡(luò)在PASCAL VOC07+12數(shù)據(jù)集20個分類(a)～(t)的準(zhǔn)確率如圖8所示，COCO2014數(shù)據(jù)集中20個分類的準(zhǔn)確率如圖9所示。圖中縱坐標(biāo)表示識別率Precision，范圍是0～1，橫坐標(biāo)表示得分閾值Score-Threhold，范圍是0～1，本文取Score-Threhold=0.5時的Precision作為最終結(jié)果，每張子圖的右下角標(biāo)注了數(shù)據(jù)的類別(class)和識別精確度(precision)。

圖8 20個類別的準(zhǔn)確率(PASCAL VOC07+12)

圖9 20個類別的準(zhǔn)確率(COCO2014)

其次本文為了驗(yàn)證加入分組數(shù)為2的通道混洗之后可以達(dá)到與分組為4的效果且會占用較少的內(nèi)存，測量了不同通道數(shù)時通道混洗操作的占用內(nèi)存，結(jié)果見表6。

表6 不同通道數(shù)情況下占用的內(nèi)存/MiB

表中分組數(shù)g=4列表示一次g=4的通道混洗操作，分組數(shù)g=2列表示兩次g=2的通道混洗操作，所測數(shù)據(jù)表明在每一種通道數(shù)的情況下，將分組數(shù)g=4的通道混洗操作替換為兩次g=2的通道混洗操作，使得內(nèi)存占用平均下降了14%。

最后，本文向各種網(wǎng)絡(luò)送入與圖7不同的圖片，這些圖片擁有不同大小、不同類別的目標(biāo)。各種網(wǎng)絡(luò)的推理結(jié)果如圖10所示。

圖10 3種網(wǎng)絡(luò)的推理結(jié)果

從圖10檢測結(jié)果中可以看出，M-YoloV3網(wǎng)絡(luò)可以檢測出來的目標(biāo)較少且大多置信度不高，而加入了通道混洗操作的MSP-YoloV3網(wǎng)絡(luò)可以檢測到更多的目標(biāo)，但卻存在著一些識別錯誤或者沒有檢測到小尺寸目標(biāo)的情況，比如(a)列第二行的圖片中的左下角目標(biāo)框，將motorbike標(biāo)注為了bicycle，(b)列第二行的圖片中將右側(cè)汽車標(biāo)注為了bus，而第三行改進(jìn)了特征融合網(wǎng)絡(luò)的MSPF-YoloV3，對不同大小，不同類別的目標(biāo)檢測置信度都有所提升，驗(yàn)證了模型推理效果的有效性與普適性。

3 結(jié)束語

本文通過采用MobileNetV2作為YoloV3網(wǎng)絡(luò)的特征提取網(wǎng)絡(luò)，將網(wǎng)絡(luò)中的所有普通卷積替換為深度可分離卷積，并且在特征提取網(wǎng)絡(luò)的Bottleneck結(jié)構(gòu)中設(shè)計(jì)實(shí)現(xiàn)了一種低分組數(shù)、低內(nèi)存占用的通道混洗結(jié)構(gòu)，參數(shù)量更少，保證了網(wǎng)絡(luò)的檢測精度，最后改進(jìn)PANet將位置信息更為準(zhǔn)確的淺層特征作為“指導(dǎo)”與深層特征融合彌補(bǔ)小目標(biāo)檢測的劣勢，得到MSPF-YoloV3網(wǎng)絡(luò)。通過消融實(shí)驗(yàn)方法驗(yàn)證了每一步網(wǎng)絡(luò)結(jié)構(gòu)修改的有效性，通過在不同的數(shù)據(jù)集以及不同的推理圖片上的實(shí)驗(yàn)結(jié)果驗(yàn)證了MSPF-YoloV3網(wǎng)絡(luò)的魯棒性與普適性。

本文設(shè)計(jì)實(shí)現(xiàn)的MSPF-YoloV3網(wǎng)絡(luò)相比于YoloV3網(wǎng)絡(luò)權(quán)重大小降低了約80%，mAP提升了約16%，且這種通道混洗結(jié)構(gòu)設(shè)計(jì)的思路可以靈活運(yùn)用增加通道間信息交流，為解決移動設(shè)備上運(yùn)行目標(biāo)檢測網(wǎng)絡(luò)提供了一種思路。