武德彬,劉笑楠,劉振宇,楊 娜

(沈陽工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院,沈陽 110870)

0 引 言

隨著深度學(xué)習(xí)的快速發(fā)展,目標(biāo)檢測技術(shù)已經(jīng)在交通、醫(yī)療等各領(lǐng)域取得了顯著的成果。近年來基于深度學(xué)習(xí)的目標(biāo)檢測技術(shù)在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上不斷發(fā)展,整體上可以分為有錨框與無錨框兩大類,其中有錨框的目標(biāo)檢測算法包括兩階段目標(biāo)檢測算法如R-CNN[1]、Fast-RCNN[2]、Faster-RCNN[3]和單階段目標(biāo)檢測算法如SSD[4]、YOLO[5-6]系列。單階段目標(biāo)檢測算法相較于兩階段目標(biāo)檢測算法檢測速度更快,但檢測精度較低。而無錨框的目標(biāo)檢測算法包括CornerNet[7]等。

在目標(biāo)檢測過程中,圖像中的小目標(biāo)所占像素小,特征不明顯,易受背景及噪聲影響,導(dǎo)致檢測精度不好,如何提高小目標(biāo)的檢測精度一直是目標(biāo)檢測技術(shù)的研究熱點(diǎn)。雖然SSD算法通過多尺度特征圖預(yù)測在速度與精度上有所提高,但是由于信息傳遞是單向的,未充分利用各特征層之間關(guān)系,其對小目標(biāo)檢測效果依然不理想,為此研究者們對其進(jìn)行了大量的改進(jìn)[8-14]。

原始SSD算法雖然能利用多尺度特征圖檢測不同大小的目標(biāo),但是淺層特征層缺少細(xì)節(jié)語義信息,檢測時會存在誤檢漏檢的問題,現(xiàn)有的改進(jìn)方法還存在忽略深層特征層傳遞到淺層特征層造成小目標(biāo)語義信息損失的問題。為了彌補(bǔ)這種小目標(biāo)信息弱化的問題,本文提出一種融合視覺機(jī)制和改進(jìn)的PANet[15](Path Aggregation Network)多尺度特征提取的視覺特征融合SSD目標(biāo)檢測算法,簡稱為VFF-SSD(Vision Feature Fusion SSD)。該方法旨在強(qiáng)化淺層特征的同時,提高對小目標(biāo)的檢測能力。VFF-SSD網(wǎng)絡(luò)在SSD基礎(chǔ)上引入RFB-S視覺機(jī)制,使淺層特征層的感受野增大,增強(qiáng)特征提取能力。在前4個特征層使用改進(jìn)PANet特征融合網(wǎng)絡(luò)進(jìn)行多尺度特征融合,使深層特征層的特征信息能夠傳遞到淺層特征層,以增強(qiáng)淺層特征層的語義信息;利用深層特征增強(qiáng)模塊在后3個特征層對深層特征層進(jìn)行特征增強(qiáng),增強(qiáng)深層特征的細(xì)節(jié)信息;最后在每一個預(yù)測特征層的最后添加CBAM[16](Convolutional Block Attention Module)注意力機(jī)制,以提高關(guān)鍵信息的權(quán)重,加強(qiáng)對重要信息的學(xué)習(xí)能力。

1 SSD算法

SSD(Single Shot MultiBox Detector)目標(biāo)檢測算法以VGG16為主干網(wǎng)絡(luò),利用多尺度特征層進(jìn)行分類和定位,并將Fc6和Fc7分別轉(zhuǎn)換成卷積層,用于提取淺層特征層。該算法分別在大小為38×38,19×19,10×10,5×5,3×3,1×1并命名為Conv4_3,Fc7,Conv8_2,Conv9_2,Conv10_2和Conv11_2的6個不同尺度特征層上進(jìn)行檢測,利用淺層特征層檢測小目標(biāo),深層特征層檢測大目標(biāo)。整體檢測過程為,首先輸入圖像,經(jīng)過SSD算法對位置與類別進(jìn)行預(yù)測后輸出候選框,然后通過NMS非極大值抑制得到最終檢測的預(yù)測框和類別。其結(jié)構(gòu)示意圖見圖1。

圖1 SSD結(jié)構(gòu)示意圖

在原始SSD算法中,每個輸出特征層都是直接輸出結(jié)果,使得淺層特征層缺乏特征的語義信息,從而導(dǎo)致SSD算法在目標(biāo)檢測以及小目標(biāo)檢測任務(wù)上檢測效果不佳。因此,針對上述問題,本文提出一種改進(jìn)的融合網(wǎng)絡(luò)增強(qiáng)SSD淺層特征層之間的關(guān)系,以提高對目標(biāo)的檢測能力。

2 VFF-SSD算法

本文所提出的網(wǎng)絡(luò)模型如圖2所示。該網(wǎng)絡(luò)結(jié)合了RFB-S視覺機(jī)制、改進(jìn)PANet多尺度特征融合模塊、深層特征增強(qiáng)模塊和注意力機(jī)制模塊,通過RFB-S視覺機(jī)制提高淺層網(wǎng)絡(luò)的感受野,再利用PANet特征融合模塊豐富語義信息,從而增強(qiáng)淺層特征層的特征提取能力,并在此基礎(chǔ)上加入深層特征增強(qiáng)模塊和注意力機(jī)制,加強(qiáng)上下文信息及關(guān)鍵信息的提取,使模型在小目標(biāo)檢測上的性能獲得顯著提高。本文算法將7個特征層命名為Conv4_3,Conv5_3,Fc7,Conv8_2,Conv9_2,Conv10_2和Conv11_2,除Conv5_3以外的其余6個特征層對應(yīng)特征圖像素大小分別為(38,38),(19,19),(10,10),(5,5),(3,3)和(1,1),從而生成尺度不同的6個特征圖。首先,在Conv4_3和Fc7特征層先使用RFB-S結(jié)構(gòu)擴(kuò)大感受野,增強(qiáng)特征提取能力。其次,為了豐富淺層特征層的語義信息,將Conv4_3,Conv5_3,Fc7,Conv8_2 4個特征層輸入到改進(jìn)PANet多尺度特征融合模塊中。然后,將Conv9_2,Conv10_2,Conv11_2 3個特征層輸入到深層特征增強(qiáng)模塊中旨在提高深層特征層特征的表征能力,有助于確定目標(biāo)的位置信息和分類信息。接著,將6個特征層提取到的特征圖分別使用CBAM注意力機(jī)制模塊,將關(guān)鍵信息權(quán)重加在原特征圖中,從而提高對重要信息的學(xué)習(xí)能力。最后,使用NMS非極大值抑制篩選預(yù)測框,得到最終的預(yù)測結(jié)果。

2.1 RFB-S視覺機(jī)制

RFB-S視覺機(jī)制結(jié)構(gòu)與RFB結(jié)構(gòu)一樣都是受啟發(fā)于人的視覺感知系統(tǒng),利用群體感受野來模擬人類視網(wǎng)膜,能夠突出視網(wǎng)膜中心區(qū)域目標(biāo)的重要性[14]。這種視覺機(jī)制結(jié)構(gòu)是利用多分支卷積與空洞卷積來實現(xiàn)的。而在整個網(wǎng)絡(luò)的淺層網(wǎng)絡(luò)引入這種視覺機(jī)制,可以獲取不同尺寸的特征,并且擴(kuò)大感受野,從而提高網(wǎng)絡(luò)的檢測能力。本文所采用的RFB-S結(jié)構(gòu)如圖3所示。

圖3 RFB-S結(jié)構(gòu)示意圖

RFB-S結(jié)構(gòu)采用的多分支結(jié)構(gòu)中,每個分支都分別采用不同大小的卷積核來得到不同比例的感受野,并且還運(yùn)用了直連結(jié)構(gòu)。而相對于RFB結(jié)構(gòu),RFB-S結(jié)構(gòu)分支更多而且卷積核大小更小,并結(jié)合空洞卷積增加淺層特征層的感受野,獲取更多的上下文信息。RFB-S結(jié)構(gòu)在沒有增加復(fù)雜計算量的情況下提高了感受野的范圍,使網(wǎng)絡(luò)在輕量化的同時獲得具有高判別性的特征,使整個結(jié)構(gòu)更加接近人類的視網(wǎng)膜模型。

2.2 改進(jìn)PANet多尺度特征融合模塊

針對原始SSD算法淺層特征層僅包含單層語義信息,導(dǎo)致沒有足夠的全局信息的問題,本文使用改進(jìn)PANet多尺度特征融合模塊將淺層特征層的位置信息與經(jīng)過多次卷積的深層特征層的細(xì)節(jié)語義信息進(jìn)行特征融合,使淺層特征層能夠通過反向路徑獲取更多的語義信息,從而在確定小目標(biāo)位置的基礎(chǔ)上提高對小目標(biāo)的分類能力。改進(jìn)PANet模塊結(jié)構(gòu)如圖4所示,先將4個原始特征圖分別經(jīng)過卷積核大小為3的卷積,進(jìn)行初步的特征提取,將卷積后的Conv8_2進(jìn)行上采樣和3×3卷積向淺層特征層Conv4_3進(jìn)行反向傳遞,并依次與卷積后的Fc7和Conv4_3進(jìn)行Concat通道拼接;再使用1×1卷積進(jìn)行平滑特征,最終得到Conv4_3的特征層。與原始PANet不同的是,為了加快淺層信息的傳播效率,將Conv4_3最終的特征圖進(jìn)行空洞卷積下采樣,達(dá)到擴(kuò)大感受野提取細(xì)節(jié)信息的作用,并向Conv8_2層傳遞信息,在Fc7與Conv8_2特征層進(jìn)行Concat特征融合,并進(jìn)行1×1卷積平滑生成對應(yīng)的最終特征圖。使用改進(jìn)PANet多尺度特征融合模塊可以將深層特征層的語義信息傳遞到淺層特征層,并且將淺層特征層的信息有效傳遞到深層特征層,達(dá)到特征反復(fù)提取的目的。通過增強(qiáng)小目標(biāo)的細(xì)節(jié)特征表達(dá)能力,增加了淺層特征層對小目標(biāo)檢測的優(yōu)勢。

圖4 PANet多尺度特征融合模塊

2.3 深層特征增強(qiáng)模塊

為了增強(qiáng)深層特征的細(xì)節(jié)信息,提高檢測的準(zhǔn)確性,本文采用了深層特征增強(qiáng)模塊,如圖5所示。首先,由于Conv11_2,Conv10_2,Conv9_2都包含豐富的細(xì)節(jié)語義信息,所以先使用3×3卷積提取局部上下文信息。其次,將卷積后的Conv11_2上采樣并卷積與卷積后的Conv10_2進(jìn)行特征融合,將融合后的圖像繼續(xù)進(jìn)行上采樣與卷積,然后與卷積后的Conv9_2進(jìn)行特征融合。最后,將Conv10_2和Conv9_2兩層得到的特征圖經(jīng)過1×1卷積平滑。使用深層特征增強(qiáng)模塊旨在獲得更全面的上下文信息,增強(qiáng)特征之間的關(guān)系。這種結(jié)構(gòu)解決了局部模糊的問題并有利于對目標(biāo)更好地分類。

圖5 深層特征增強(qiáng)模塊

2.4 注意力機(jī)制

本文所使用的CBAM注意力機(jī)制主要分為通道和空間注意力兩部分,將每一層經(jīng)過平滑卷積后的特征圖先后經(jīng)過上述兩部分,如圖6所示。

圖6 CBAM注意力機(jī)制結(jié)構(gòu)示意圖

通道注意力模塊如圖7所示,將輸入的特征圖同時進(jìn)行全局平均池化與全局最大池化,再將得到的結(jié)果送入一個共享網(wǎng)絡(luò),并將兩個特征圖按照像素求和合并,經(jīng)過激活函數(shù)產(chǎn)生一個權(quán)重結(jié)果,最后將權(quán)重結(jié)果和輸入圖像相乘得到縮放后的新特征圖。

圖7 通道注意力結(jié)構(gòu)示意圖

空間注意力模塊如圖8所示。首先,通過平均池化和最大池化減少通道數(shù)。其次,將得到的兩個特征圖拼接融合在一起,然后再經(jīng)過激活函數(shù)得到新的權(quán)重結(jié)果。最后,將這個權(quán)重結(jié)果與通道注意力生成的新結(jié)果相乘,得到最后縮放的特征圖。

圖8 空間注意力結(jié)構(gòu)示意圖

3 實驗與分析

3.1 實驗環(huán)境、實驗數(shù)據(jù)集及評價指標(biāo)

為測試本文算法的性能,在編譯環(huán)境為torch-1.8.0、torchvision-0.9.0、python3.8,Windows10操作系統(tǒng),顯卡為NVIDIA GeForce RTX3060的條件下進(jìn)行實驗。

實驗采用PASCAL VOC開放數(shù)據(jù)集中的PASCAL VOC2007和PASCAL VOC2012數(shù)據(jù)集的訓(xùn)練集進(jìn)行模型訓(xùn)練。兩個訓(xùn)練數(shù)據(jù)集均包括20個類別,共16 651張圖片。使用PASCAL VOC2007test中4 952張圖片進(jìn)行模型測試,具體類別如表1所示。

表1 數(shù)據(jù)集類別

實驗使用的評價標(biāo)準(zhǔn)是所有類別的平均精度值(Mean Average Precision,mAP)和單類別平均精度(Average Precision,AP),其定義式如下:

(1)

(2)

式(1)和(2)中:P表示準(zhǔn)確率;R表示召回率;N表示數(shù)據(jù)集總類別數(shù)。

為了說明本文方法小目標(biāo)檢測的性能,實驗將目標(biāo)面積小于32 pixel×32 pixel的物體歸為小目標(biāo),大于96 pixel×96 pixel的歸為大目標(biāo),介于兩者之間的歸為中等目標(biāo),采用IOU=0.5∶0.05∶0.95 10個閾值(0.5～0.95,以0.05為步長)的PmAs檢測小目標(biāo)的平均精度。

3.2 實驗超參數(shù)設(shè)置及分析

本文使用SGD優(yōu)化器進(jìn)行120 000次迭代,Batch size設(shè)為16,共訓(xùn)練116個周期。初始學(xué)習(xí)率設(shè)為0.001,權(quán)重衰減參數(shù)設(shè)為0.000 5。在迭代80 000次學(xué)習(xí)率下降為0.000 1,在迭代100 000次學(xué)習(xí)率下降為0.000 01。將VFF-SSD算法與SSD算法的訓(xùn)練損失進(jìn)行比較,結(jié)果如圖9所示,可見VFF-SSD算法的訓(xùn)練損失低于SSD算法,證明了本文改進(jìn)算法的有效性。

圖9 訓(xùn)練損失圖

3.3 實驗結(jié)果及分析

3.3.1 VOC2007測試集目標(biāo)檢測性能檢測對比

為了說明本文方法目標(biāo)檢測性能,將本文方法應(yīng)用于PASCAL VOC2007test數(shù)據(jù)集并將實現(xiàn)結(jié)果與近年流行的目標(biāo)檢測算法的檢測精度進(jìn)行比較,實驗結(jié)果如表2所示。從表2可以看出,本文的改進(jìn)算法相對于Faster RCNN[3]在兩種骨干網(wǎng)絡(luò)下取得了更好的檢測結(jié)果,分別提高了7.9%和4.7%;相對于同為單階段目標(biāo)檢測算法的YOLOv1[5]和YOLOv2[6]有顯著提升,分別提高了17.7%和7.4%;相較于原始SSD算法檢測精度提高3.9%,而與其他研究者們對原始SSD算法改進(jìn)的DSSD[17]、RSSD[18]、文獻(xiàn)[9]、文獻(xiàn)[10]也有一定的優(yōu)勢,說明VFF-SSD方法在輸入尺寸為300 pixel的情況下,檢測精度具有明顯的優(yōu)勢,較其他輸入分辨率較大的目標(biāo)檢測方法檢測效果也有一定的提高。

表2 在PASCAL VOC2007測試集本方法與其他方法對比(IOU=0.5)

3.3.2 小目標(biāo)檢測性能評估

為了進(jìn)一步說明本文方法對小目標(biāo)檢測的性能,實驗使用相應(yīng)的評價指標(biāo)PmAs對實驗結(jié)果進(jìn)行評估,并與兩種主干網(wǎng)絡(luò)下的兩階段目標(biāo)檢測算法Faster RCNN、兩種主干網(wǎng)絡(luò)下的SSD算法進(jìn)行比較,實驗結(jié)果如表3所示。由表3可以發(fā)現(xiàn),本文提出的VFF-SSD算法對小目標(biāo)的檢測精度達(dá)到17.2%,遠(yuǎn)高于其他算法,相較于原始SSD算法有顯著提升,提高6.6%,證明了本文改進(jìn)算法對小目標(biāo)檢測有明顯的優(yōu)勢。雖然VFF-SSD算法對淺層特征進(jìn)行反復(fù)特征提取導(dǎo)致算法計算量有一定增加,但是該算法對小目標(biāo)的檢測性能提升顯著,整體看該算法對小目標(biāo)效果良好,可以應(yīng)用到實際場景中。

表3 算法性能比較

3.3.3 單類別實驗結(jié)果及分析

實驗還將數(shù)據(jù)集中20個類別檢測精度與4種流行算法以及傳統(tǒng)SSD算法進(jìn)行了單類別比較,結(jié)果如表4所示。從表4中可以發(fā)現(xiàn),VFF-SSD算法有18個類別物體的檢測精度超過其他對比算法,尤其是像杯子、植物、飛機(jī)等這種在圖片中所占像素比低的小目標(biāo),而其他類別檢測精度與幾種算法最優(yōu)的檢測精度相差甚微;與傳統(tǒng)SSD算法相比,VFF-SSD算法20個類別檢測精度均超過原始SSD算法。根據(jù)表中數(shù)據(jù),本文改進(jìn)算法對遠(yuǎn)景小目標(biāo)有良好的檢測精度,對近景目標(biāo)檢測精度有待加強(qiáng)。綜上,VFF-SSD算法對小目標(biāo)檢測有顯著的優(yōu)勢。

表4 單類別精度比較

3.3.4 定性結(jié)果分析

相應(yīng)的檢測結(jié)果可視化,如圖10所示。從圖10可以明顯看出,本文提出的改進(jìn)算法相較于SSD算法可以有效地解決小目標(biāo)漏檢的問題。通過對比發(fā)現(xiàn),原始SSD算法未檢測出的牛和羊、錯檢的羊、密集的小車、密集重疊的人,經(jīng)過VFF-SSD算法都可以被檢測出來,更進(jìn)一步證明增強(qiáng)淺層語義信息與加強(qiáng)深層特征融合能夠提高模型對小目標(biāo)的檢測能力。

圖10 定性結(jié)果分析

4 結(jié)束語

針對原始SSD算法對小目標(biāo)檢測精度不高以及漏檢錯檢的問題,本文提出一種利用RFB-S視覺機(jī)制增強(qiáng)淺層網(wǎng)絡(luò)感受野并結(jié)合改進(jìn)PANet加強(qiáng)淺層網(wǎng)絡(luò)語義信息提取,利用深層特征增強(qiáng)模塊進(jìn)行深層網(wǎng)絡(luò)特征增強(qiáng),同時使用CBAM注意力機(jī)制加強(qiáng)對關(guān)鍵信息學(xué)習(xí)的VFF-SSD改進(jìn)算法。在PASCAL VOC2007test數(shù)據(jù)集上使用兩種評價指標(biāo)進(jìn)行評估,分別得到檢測精度有效提高,尤其對小目標(biāo)的mAP達(dá)到17.2%,較原SSD算法提高了6.6%。

下一步工作擬解決小目標(biāo)漏檢錯檢問題以及提高小目標(biāo)檢測能力問題,研究如何在不減少精度的情況下將模型進(jìn)行輕量化。