李偉文，李 擎，高 超

(北京信息科技大學(xué) 高動態(tài)導(dǎo)航技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室，北京 100192)

0 引言

目標(biāo)檢測已成為近年來計算機(jī)視覺領(lǐng)域最熱門的研究任務(wù)之一，在無人駕駛車輛、人臉識別、智能交通、目標(biāo)追蹤等領(lǐng)域得到廣泛應(yīng)用。傳統(tǒng)目標(biāo)檢測算法在特征提取階段需要人工選取特征提取方式，例如方向梯度直方圖HOG、局部二值模式算子LBP、尺度不變特征變換SIFT等。但該類方法受光照、目標(biāo)顏色紋理及背景的影響較大，魯棒性較差。

隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，基于深度學(xué)習(xí)的目標(biāo)檢測算法成為主流。代表算法有基于候選區(qū)域的RCNN[1]、R-FCN[2]、Fast-RCNN[3]，基于回歸的YOLO[4]、SSD[5]、Efficient-net[6]等。但基于候選區(qū)域的算法運(yùn)行速度慢，難以滿足實(shí)時性要求；基于回歸的目標(biāo)檢測算法速度快，精度卻有所降低。文獻(xiàn)[7]提出一種基于改進(jìn)Faster R-CNN的復(fù)雜環(huán)境車輛檢測算法，提高了運(yùn)行速度，降低了漏檢率。文獻(xiàn)[9]設(shè)計了基于輕量級Mobile-Net的車輛目標(biāo)檢測網(wǎng)絡(luò)，減少了算法的計算量。其將通道域注意力及目標(biāo)中心區(qū)域預(yù)測模塊引入深度網(wǎng)絡(luò)中，提高了對目標(biāo)的檢測精度。文獻(xiàn)[10]提出一種基于特征融合的感受野模型Receptive Field Block，以增強(qiáng)對小目標(biāo)的檢測效果。文獻(xiàn)[11]通過修改YOLOv3的特征提取網(wǎng)絡(luò)來提高對車輛目標(biāo)的檢測精度。

本文在SSD算法中增加自注意力機(jī)制ULSAM(ultra-lightweight subspace attention module)[12]，并設(shè)計了特征融合模塊來提高算法的精確度，對提高無人車的安全性、實(shí)用性有一定意義。

1 相關(guān)理論

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

SSD目標(biāo)檢測算法的網(wǎng)絡(luò)結(jié)構(gòu)分為3個部分，分別是主干網(wǎng)絡(luò)VGG16、附加網(wǎng)絡(luò)層和預(yù)測層，如圖1所示。在特征提取過程中會生成多個特征圖，需要用到的有效特征圖為Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2。

圖1 SSD網(wǎng)絡(luò)結(jié)構(gòu)

1.2 先驗(yàn)框選擇

在有效特征圖上，以每個像素點(diǎn)為中心，生成數(shù)量不同、長寬比不同的先驗(yàn)框。不同尺寸、位置的先驗(yàn)框用于快速檢測不同大小的目標(biāo)。生成先驗(yàn)框的邊長為

(1)

式中：m為先驗(yàn)框的個數(shù)，原SSD算法中為4或6；Smax是先驗(yàn)框邊長的最大值，Smin是先驗(yàn)框邊長的最小值。不同尺度特征圖上先驗(yàn)框的個數(shù)分別為[4,6,6,6,4,4]，長寬比為[1,2,3,1/2,1/3]。

2 改進(jìn)SSD算法

2.1 注意力機(jī)制

在深度卷積網(wǎng)絡(luò)中，注意力機(jī)制可看作是一種資源分配的機(jī)制，通過調(diào)整網(wǎng)絡(luò)的權(quán)重來提高預(yù)測效果。因此本文在算法的有效特征層后增加自注意力機(jī)制ULSAM。

(2)

(3)

(4)

式中：maxpool3×3，1為核為3×3、填充為1的最大池化操作，DW1×1為Depth-wise卷積；PW1為Point-wise卷積；?表示同位置元素相乘；⊕表示同位置元素相加。

2.2 多尺度特征融合

本文通過將深層特征圖進(jìn)行反卷積操作后與淺層特征圖進(jìn)行像素級融合，得到同時包含豐富語義信息和細(xì)節(jié)特征信息的特征圖，來提高算法對目標(biāo)的識別精度。其中，反卷積也稱為轉(zhuǎn)置卷積，是一種上采樣操作，可按照設(shè)置的參數(shù)來增大特征圖的分辨率。

選擇加權(quán)融合的方式，把處理后尺寸相同的特征圖按照一定的權(quán)重相加。由于目的是提高檢測對目標(biāo)的識別精度，而低層特征圖中包含更多的目標(biāo)細(xì)節(jié)特征信息，因此在融合時將低層特征的權(quán)重適當(dāng)增大，特征加權(quán)融合的計算公式為

f(x)=α1x1+α2x2+…+αnxn

(5)

本文中的特征融合方式是從最底層特征圖開始，將其反卷積后與高層特征圖融合，并將融合后的特征圖作為新的底層特征圖，然后多次重復(fù)上述操作。具體流程如下：

對特征圖Conv11_2進(jìn)行反卷積操作，與Conv10_2進(jìn)行融合得到new_Conv10_2；對new_Conv10_2進(jìn)行反卷積操作，與Conv9_2進(jìn)行融合得到new_Conv9_2；對特征圖Conv8_2進(jìn)行反卷積操作，與Conv7融合得到new_Conv7。在融合Conv4_3和new_Conv7時，由于特征圖尺寸相對較大，為防止過擬合及加快模型的收斂速度，采用了文獻(xiàn)[13]中的融合方式，對new_Conv7進(jìn)行一次反卷積操作、核為3的卷積操作以及BatchNorm操作；對Conv4_3進(jìn)行一次核為3的卷積操作以及BatchNorm操作。最后融合兩個BN層輸出的結(jié)果并使用Relu激活函數(shù)得到new_Conv4_3。最后對特征圖new_Conv4_3、new_Convq_2及經(jīng)過注意力機(jī)制處理后的特征圖Conv7、Conv_2、Conv10_2、Conv11_2進(jìn)行回歸和分類預(yù)測。本文的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，其中new_Conv_i是新的特征圖，Conv_i是原特征圖，BN_i是BatchNorm層，ULSAM_i是注意力模塊，5個輸入?yún)?shù)分別為輸入特征圖和輸出特征的的通道數(shù)，輸入特征圖的高和寬、分組數(shù)。

圖2 本文網(wǎng)絡(luò)結(jié)構(gòu)

3 實(shí)驗(yàn)結(jié)果分析

3.1 實(shí)驗(yàn)平臺

實(shí)驗(yàn)硬件配置：E5-2670、GeForce GTX1080ti顯卡，32 GB內(nèi)存的服務(wù)器。軟件環(huán)境配置：Ubuntu16.04系統(tǒng)、CUDA、深度學(xué)習(xí)框架Pytorch，超參數(shù)設(shè)置如表1所示。

表1 超參數(shù)設(shè)置

3.2 實(shí)驗(yàn)數(shù)據(jù)集

本文中的實(shí)驗(yàn)主要分為兩部分，第一部分選取KITTI為數(shù)據(jù)集，驗(yàn)證本文算法在無人車道路目標(biāo)檢測方面的能力。

第二部分選取PASCAL VOC數(shù)據(jù)集，驗(yàn)證本文算法的泛化能力。選擇VOC2007和VOC2012的訓(xùn)練集部分作為訓(xùn)練數(shù)據(jù)集，將VOC2007的測試集部分作為測試數(shù)據(jù)集。

3.3 實(shí)驗(yàn)結(jié)果

在訓(xùn)練過程中分別記錄本文算法和原SSD算法的Loss值，并繪制成曲線，如圖3所示。

圖3 模型訓(xùn)練Loss曲線

在圖3中，位于下方的深色曲線是本文算法的Loss值，位于上方的淺色曲線為原算法的Loss值，可看出本文算法的Loss更小，且收斂速度更快。

計算本文算法和原SSD算法在KITTI數(shù)據(jù)集上的檢測精度mAP，如表2所示，本文算法的mAP提升了3.8%，精度更高。

表2 KITTI數(shù)據(jù)集實(shí)驗(yàn)結(jié)果對比 %

采集實(shí)際道路行駛環(huán)境的圖像，測試本文算法與原算法對車輛目標(biāo)檢測的能力，檢測結(jié)果如圖4所示。

圖4 車輛目標(biāo)檢測結(jié)果

圖4中第一列的3張圖片為本文算法的檢測結(jié)果，第二列為原算法的檢測結(jié)果。對比檢測結(jié)果可知，本文算法對車輛目標(biāo)的識別效果更好，能有效檢測出原算法忽略的目標(biāo)。

將本文算法與Fast-RCNN等算法在PASCAL VOC數(shù)據(jù)集上的測試結(jié)果進(jìn)行對比，如表3所示。

從表3可以看出，本文算法的mAP相較于Fast-RCNN、YOLO算法有明顯提升，相對于原SSD算法提升了1.3%。由于PASCAL VOC中包括的目標(biāo)類別較KITTI多，mAP的提升表明本文算法有一定泛化能力。

表3 PASCAL VOC數(shù)據(jù)集實(shí)驗(yàn)結(jié)果對比 %

為驗(yàn)證多尺度特征融合的效果，將融合前后的特征圖Conv4_3可視化，如圖5所示。

圖5 Conv4_3特征圖可視化結(jié)果示意

圖5(b)左側(cè)是特征融合前的Conv4_3可視化結(jié)果，右側(cè)是特征融合后Conv4_3可視化結(jié)果，對比可看出，融合后的特征圖中包含了更多的目標(biāo)細(xì)節(jié)特征信息，驗(yàn)證了特征融合的作用。

4 結(jié)束語

為提高無人車目標(biāo)檢測精度，本文對原SSD目標(biāo)檢測算法進(jìn)行改進(jìn)，將高層特征圖進(jìn)行反卷積操作后與底層圖融合，同時在有效特征圖后引入自注意力機(jī)制，以增強(qiáng)對目標(biāo)的識別能力。經(jīng)實(shí)驗(yàn)驗(yàn)證，本文方法在一定程度上提高了SSD算法對目標(biāo)的檢測精度，能有效檢測出原算法忽略的目標(biāo)。在未來的研究工作中，將繼續(xù)研究網(wǎng)絡(luò)模型的優(yōu)化問題，提高算法的檢測精度。