焦 鑫，楊偉東*，劉全周，李占旗，賈鵬飛

（1. 河北工業(yè)大學(xué) 機(jī)械學(xué)院，天津 300130，中國；2. 中國汽車技術(shù)研究中心有限公司，天津 300300，中國）

目標(biāo)車輛檢測(cè)作為汽車駕駛輔助系統(tǒng)（advanced driving assistant system，ADAS）的基礎(chǔ)，能夠?qū)崟r(shí)采集車輛周圍的環(huán)境信息，檢測(cè)結(jié)果為決策層和控制層提供依據(jù)，具有提升汽車行駛安全性，減少生命財(cái)產(chǎn)損失的優(yōu)點(diǎn)，是汽車工程領(lǐng)域的研究熱點(diǎn)之一。

目前，ADAS中常以視覺感知的方式實(shí)現(xiàn)目標(biāo)車輛檢測(cè)。從早期的傳統(tǒng)目標(biāo)檢測(cè)方法[1-3]，到近幾年逐漸深入的深度學(xué)習(xí)網(wǎng)絡(luò)的目標(biāo)檢測(cè)方法[4-6]，在目標(biāo)車輛檢測(cè)方面取得了較好的效果，尤其是基于深度學(xué)習(xí)網(wǎng)絡(luò)的目標(biāo)檢測(cè)方法。為了更好的滿足ADAS對(duì)目標(biāo)車輛檢測(cè)算法精確性、時(shí)效性和魯棒性的要求，實(shí)現(xiàn)輔助駕駛系統(tǒng)的精確預(yù)警，國內(nèi)外學(xué)者做了大量工作。

Hu Xun[7]針對(duì)單發(fā)多盒探測(cè)器 (single shot multibox detector, SSD)模型過大的問題,使用輕量級(jí)網(wǎng)絡(luò)MobileNet，使算法能夠滿足在移動(dòng)設(shè)備上的實(shí)時(shí)性目標(biāo)檢測(cè)。吳天舒[8]使用DenseNet代替了SSD算法中VGG16基礎(chǔ)網(wǎng)絡(luò)，極大的減少了模型體積，降低了模型的計(jì)算量和硬件消耗。Tang[9]等人在原SSD算法基礎(chǔ)上引入了空間變換模塊的注意機(jī)制，并在指定層中加入了上下文信息傳遞，提升了對(duì)目標(biāo)車輛的檢測(cè)精度。郭川磊[10]等人為了提升SSD算法中提取小目標(biāo)特征信息的數(shù)量，在特征提取過程中增加了轉(zhuǎn)置卷積，但是通過轉(zhuǎn)置卷積得到的采樣圖像中像素點(diǎn)的值與原圖像中像素點(diǎn)的值可能不相同，因此在實(shí)驗(yàn)發(fā)現(xiàn)通過轉(zhuǎn)置卷積操作進(jìn)行小目標(biāo)檢測(cè)的效果并不穩(wěn)定。

綜上可知：雖然國內(nèi)外學(xué)者對(duì)于提升SSD算法檢測(cè)速度和目標(biāo)檢測(cè)精度研究較多，但是應(yīng)用于ADAS目標(biāo)車輛檢測(cè)時(shí)，針對(duì)復(fù)雜場(chǎng)景下的小目標(biāo)車輛和重疊目標(biāo)車輛檢測(cè)效果較差，易出現(xiàn)漏檢和誤檢的現(xiàn)象。

本文對(duì)復(fù)雜場(chǎng)景下小目標(biāo)車輛和重疊目標(biāo)車輛特點(diǎn)進(jìn)行分析。一方面，基于SSD算法模型，通過淺層特征層圖像超分辨率重建的方式，增加對(duì)淺層特征中小目標(biāo)車輛信息提取數(shù)量，改進(jìn)特征提取網(wǎng)絡(luò)，提出了目標(biāo)車輛檢測(cè)模型SSD-S，提升對(duì)小目標(biāo)車輛檢測(cè)精度；另一方面，基于非極大抑制（non-maximum suppression，NMS）中嵌入特征向量進(jìn)行二次篩選，提出目標(biāo)車輛檢測(cè)模型SSD-O，提升對(duì)重疊目標(biāo)車輛的檢測(cè)效果。結(jié)合2種改進(jìn)模型提出了ADAS實(shí)時(shí)目標(biāo)車輛檢測(cè)模型SSD-P。在車輛數(shù)據(jù)集和虛擬交通場(chǎng)景中測(cè)試，對(duì)所搭建的目標(biāo)車輛檢測(cè)系統(tǒng)在實(shí)際道路環(huán)境中進(jìn)行了實(shí)驗(yàn)，以驗(yàn)證改進(jìn)后SSD-P算法的精度。

1 目標(biāo)車輛檢測(cè)算法

1.1 SSD算法基本原理

SSD算法是以直接回歸的方式進(jìn)行單階段目標(biāo)檢測(cè)。具體通過將輸入圖像劃分為S×S個(gè)柵格，并以每個(gè)柵格作為中心設(shè)置多個(gè)默認(rèn)框，其尺寸和長寬比存在差異。通過計(jì)算默認(rèn)框與真實(shí)框的重疊度，確定默認(rèn)框所屬分類。

為了滿足對(duì)不同尺寸目標(biāo)檢測(cè)的要求，SSD算法以VGG16網(wǎng)絡(luò)作為基本網(wǎng)絡(luò)，將主網(wǎng)絡(luò)結(jié)構(gòu)中的2個(gè)全連接層改為卷積層，并增加了4個(gè)卷積層作為輔助卷積層。通過基礎(chǔ)網(wǎng)絡(luò)提取低尺度的特征映射圖，輔助卷積層提取高尺度的特征映射圖，預(yù)測(cè)卷積層輸出特征映射圖的位置和分類預(yù)測(cè)分?jǐn)?shù)。這些預(yù)測(cè)分?jǐn)?shù)經(jīng)過非極大抑制（NMS）計(jì)算輸出最終的位置和分類結(jié)果。SSD算法網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示[11]。

1.2 改進(jìn)的SSD算法

1.2.1 淺層特征超分辨率重建

SSD算法各個(gè)卷積層進(jìn)行特征映射圖提取時(shí)，隨著卷積層數(shù)加深，特征圖感受野增大，包含的特征信息數(shù)量逐漸減少[12]。這就導(dǎo)致在最終的檢測(cè)任務(wù)中出現(xiàn)小目標(biāo)車輛特征信息較少，檢測(cè)準(zhǔn)確率較低的問題。針對(duì)該問題，本文以距離主車20～60 m內(nèi)尺寸相對(duì)較小的前目標(biāo)車輛作為小目標(biāo)車輛，提出對(duì)圖像第Conv4-3層特征映射圖進(jìn)行超分辨率重建，使重建后的特征映射圖具有更多的特征信息，而且該特征映射圖處在淺層特征層中，卷積核、感受野更利于小目標(biāo)特征的提取[13]。

在超分辨率重建時(shí)，選擇第Conv4-3特征圖作為輸入圖像，經(jīng)過特征提取、特征映射、反卷積等過程，形成新的特征映射圖Re-Conv4。特征映射圖Re-Conv4與其他各卷積層生成的特征映射圖都會(huì)產(chǎn)生一個(gè)默認(rèn)框（default box）集合，這些默認(rèn)框是在特征映射圖上每個(gè)單元形成的不同長寬比的矩形邊框，通過默認(rèn)框與真實(shí)框匹配機(jī)制實(shí)現(xiàn)目標(biāo)信息的輸出。

改進(jìn)后得到的SSD-S算法網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2中框選部分為特征圖超分辨率重建過程，以尺寸大小為38×38的Conv4-3特征圖作為輸入，經(jīng)過超分辨率重建后特征圖像分辨率增大，重建后特征圖分辨率大小可以根據(jù)需求設(shè)置。在提升小目標(biāo)檢測(cè)效果的同時(shí)還需要保證算法的運(yùn)行速度，因此選擇超分辨重建后特征圖尺度為76×76。超分辨率重建后的特征圖Re-Conv4相較于第Conv4-3層特征圖，分辨率增加一倍，因此能夠提取到更多的小目標(biāo)信息。

在進(jìn)行淺層特征超分辨率重建時(shí)，第Conv4-3特征圖作為輸入假設(shè)為X，則特征圖重建過程表示為：

式中：w1為特征提取的卷積核權(quán)重，即n1個(gè)c×f1×f1大小的卷積核。由于特征圖像為單通道圖像，因此本文中c= 1，B1為卷積核的偏置個(gè)數(shù)，即為n1。

非線性映射過程是以特征提取得到的n1個(gè)特征圖作為輸入映射到n2個(gè)特征圖中，則非線性映射過程表示為

式中：W2為非線性映射的卷積核權(quán)重，即n2個(gè)大小為n1×f2×f2的卷積核，B2為卷積核的偏置個(gè)數(shù)，即為n2。反卷積過程是以非線性映射后圖像作為輸入，以目標(biāo)尺寸圖像作為輸出，反卷積過程為

式中：W3為反卷積的卷積核權(quán)重，即c個(gè)n2×f3×f3卷積核，B3為卷積核的偏置個(gè)數(shù)，即為c= 1。

分辨率重建后得到的特征圖Re-Conv4尺寸為76×76，比SSD算法中用于提取特征信息的任意特征分辨率大，因此能夠在特征圖Re-Conv4中提取到更多的小目標(biāo)信息。改進(jìn)后的SSD-S算法網(wǎng)絡(luò)中共有7個(gè)特征層的默認(rèn)框集合，由于每個(gè)特征層的感受野大小不同，因此默認(rèn)框尺寸的大小與特征層的層數(shù)之間的函數(shù)關(guān)系可以表示為

式中：k∈（1，m），m為特征層的層數(shù)。本文中由于共有7個(gè)特征層的默認(rèn)框集合，因此m= 7。smin= 0.2，smax= 0.9。

不同特征層中默認(rèn)框的寬度為

默認(rèn)框高度為

式中：an為默認(rèn)框長寬比，n為特征層上默認(rèn)框的個(gè)數(shù)。由于本文檢測(cè)目標(biāo)為車輛，因此默認(rèn)框尺寸及長寬比設(shè)置能夠符合實(shí)際車輛在圖像中的尺寸及長寬比即可。其默認(rèn)框尺寸和長寬比如表1所示。其中，si×si代表特征層的尺寸。

表1 默認(rèn)框尺寸及長寬比

由于特征圖中每個(gè)單元都會(huì)產(chǎn)生相應(yīng)的默認(rèn)框，因此默認(rèn)框的總數(shù)量為

式中：ni表示第i層特征層中默認(rèn)框長寬比個(gè)數(shù)。由式（8）可得：經(jīng)過改進(jìn)后的SSD-S算法各個(gè)特征層共能提取9 356個(gè)默認(rèn)框，相較于原SSD算法，SSD-S算法提出的網(wǎng)絡(luò)在小目標(biāo)特征提取數(shù)量上增加了624個(gè)；因此默認(rèn)框集合中能夠提取并匹配更多的小目標(biāo)，實(shí)現(xiàn)對(duì)小目標(biāo)檢測(cè)效果的提升。

1.2.2 特征嵌入的非極大抑制

在目標(biāo)車輛檢測(cè)中需要輸出目標(biāo)車輛的分類信息，這就需要通過默認(rèn)框和真實(shí)框的匹配機(jī)制判斷默認(rèn)框所屬類別。一般地，匹配完成后可能出現(xiàn)一個(gè)真實(shí)框?qū)?yīng)多個(gè)默認(rèn)框。為了確定每個(gè)真實(shí)框所對(duì)應(yīng)的最優(yōu)默認(rèn)框，SSD算法在預(yù)測(cè)階段通過非極大抑制計(jì)算篩選出相同目標(biāo)中置信度最大的默認(rèn)框作為最終的位置和分類輸出，但是在檢測(cè)場(chǎng)景中出現(xiàn)重疊現(xiàn)象目標(biāo)車輛時(shí)會(huì)出現(xiàn)漏檢現(xiàn)象。

針對(duì)SSD算法確定最優(yōu)默認(rèn)框時(shí)會(huì)出現(xiàn)重疊目標(biāo)漏檢的問題，本文通過在非極大抑制中嵌入特征向量的方式，對(duì)默認(rèn)框進(jìn)行二次篩選，并提出了重疊目標(biāo)車輛檢測(cè)模型SSD-O。其嵌入特征向量的基本思想是：正圖像對(duì)（即顯示同一對(duì)象的圖像）的嵌入向量應(yīng)該相似，負(fù)圖像對(duì)的嵌入向量之間由于存在差異，所以要有一定的距離。

通過對(duì)車輛檢測(cè)任務(wù)中出現(xiàn)重疊現(xiàn)象的特點(diǎn)分析可知：相似車型的車輛不會(huì)在圖像中處于相同高度。而車型不同的車輛可能會(huì)處于相同高度，但是車輛尺寸就會(huì)存在較大的差異，如圖3所示。本文利用不同車輛特征向量不同，嵌入非極大抑制NMS，提升算法對(duì)重疊目標(biāo)檢測(cè)效果。

在經(jīng)典NMS[14]中所有的默認(rèn)框的集合P中先按照它們的置信度排序，然后添加到一個(gè)集合P*中，最終通過以下迭代步驟完成相同目標(biāo)默認(rèn)框的篩選：從集合P*中選擇置信度最大的默認(rèn)框置于集合D中，集合P*中剩余的默認(rèn)框置于集合M中。集合中每個(gè)默認(rèn)框元素mi都與該輪次中最大置信度默認(rèn)框集合D中的默認(rèn)框元素d進(jìn)行比較。如果集合M中默認(rèn)框mi與集合D中默認(rèn)框d的交并比（intersection over union，IoU）大于閾值，則默認(rèn)框與默認(rèn)框d屬于相同目標(biāo)；否則默認(rèn)框與默認(rèn)框d屬于不同目標(biāo)。其流程圖如圖4所示。

經(jīng)典NMS在重疊車輛檢測(cè)時(shí)可能出現(xiàn)漏檢，如圖5情況所示。此時(shí)2個(gè)默認(rèn)框IoU值大于0.5，因此會(huì)判定為相同目標(biāo)，但實(shí)際中2個(gè)默認(rèn)框所框選的為不同目標(biāo)。

當(dāng)在每個(gè)默認(rèn)框中嵌入特征向量后，被判定為相同目標(biāo)的2個(gè)默認(rèn)框會(huì)進(jìn)行二次判定，如果大于閾值則可判定為不同目標(biāo)。嵌入特征向量的NMS判定流程如圖6所示。

本文中所嵌入的特征向量是將特征圖像映射成張量。由于不同目標(biāo)形成的特征圖像映射得到的張量不同，因此可以結(jié)合張量之間的差值判斷預(yù)測(cè)目標(biāo)是否為相同目標(biāo)。每個(gè)默認(rèn)框的輸出中主要包含了邊框的中心坐標(biāo)（x，y）、邊框的長和寬(h，w)、置信度c、像素均值f等張量信息，通過對(duì)默認(rèn)框張量中心坐標(biāo)距離與像素均值的差值加權(quán)求和計(jì)算得到每個(gè)默認(rèn)框的特征向量。特征向量為

式中：m、n表示2個(gè)不同默認(rèn)框的編號(hào)，α、β為默認(rèn)框中心距離和像素均值的加權(quán)系數(shù)0.5。當(dāng)2個(gè)默認(rèn)框的特征向量L大于閾值Ct時(shí)，即可判定為不同目標(biāo)。通過IOU和特征向量共同判定后能夠有效提升重疊目標(biāo)檢測(cè)效果。

2 車輛模型測(cè)試

2.1 測(cè)試數(shù)據(jù)評(píng)價(jià)方法

為了評(píng)價(jià)改進(jìn)后SSD算法對(duì)目標(biāo)車輛檢測(cè)的效果，本文計(jì)算了檢測(cè)結(jié)果的平均精度（mean average precision, mAP），即準(zhǔn)確率Precision與召回率Recall之間的曲線關(guān)系：

式中： TP為預(yù)測(cè)準(zhǔn)確的默認(rèn)框數(shù)量，F(xiàn)P為檢測(cè)結(jié)果中篩選掉的默認(rèn)框數(shù)量，F(xiàn)N為沒有檢測(cè)到的默認(rèn)框數(shù)量。

針對(duì)測(cè)試集中不同圖片檢測(cè)出的車輛模型，可得這一類型目標(biāo)的準(zhǔn)確率與召回率之間曲線關(guān)系，即檢測(cè)精度（average precision，AP）為

式中：Ri為第i張圖像中車輛默認(rèn)框的召回率，Pi為第i張圖像中車輛默認(rèn)框的準(zhǔn)確率。

由于車輛檢測(cè)和其他目標(biāo)檢測(cè)屬于二分類問題，因此本文通過mAP作為檢測(cè)效果的評(píng)價(jià)指標(biāo)，即

2.2 小目標(biāo)車輛模型測(cè)試

本模型使用PASCAL VOC2012數(shù)據(jù)集中5 837張車輛模型用于訓(xùn)練和驗(yàn)證，在訓(xùn)練集中有2 863張圖像包含小目標(biāo)車輛模型。1 024張尺寸大小不同的車輛模型用于SSD算法和SSD-S測(cè)試集。在模型訓(xùn)練中，為了增加訓(xùn)練數(shù)據(jù)集數(shù)量，保證數(shù)據(jù)集的多樣化以及提升訓(xùn)練模型的泛化能力，采用了現(xiàn)有的數(shù)據(jù)增廣方式，對(duì)數(shù)據(jù)集中模型進(jìn)行隨機(jī)調(diào)整。通過測(cè)試集驗(yàn)證，SSD-S算法能夠檢測(cè)出SSD算法中未檢測(cè)出的較小尺寸目標(biāo)車輛。算法檢測(cè)結(jié)果如圖7所示。檢測(cè)結(jié)果平均精度如在3.2節(jié)的表2所示。

2.3 重疊目標(biāo)車輛模型測(cè)試

由于現(xiàn)有數(shù)據(jù)集中不同重疊率車輛模型較少，因此在測(cè)試階段，本文通過在dspace場(chǎng)景軟件中搭建虛擬交通場(chǎng)景，設(shè)置相同車輛不同重疊率完成測(cè)試。

通過使用500張圖像分別測(cè)試SSD算法和SSD-O算法對(duì)重疊率0～60%的目標(biāo)車輛檢測(cè)效果，SSD算法能夠檢測(cè)出重疊率小于39.8%的目標(biāo)車輛，SSD-O算法能夠檢測(cè)出重疊率小于50.3%的目標(biāo)車輛，檢測(cè)重疊率提升約10%。部分改進(jìn)前后檢測(cè)效果如圖8、9所示，檢測(cè)結(jié)果平均精度如表2（在3.2節(jié)）所示。由于實(shí)際道路場(chǎng)景下小目標(biāo)車輛檢測(cè)和重疊目標(biāo)車輛檢測(cè)現(xiàn)象往往是同時(shí)出現(xiàn)，因此，本文將SSD-S和SSD-O算法結(jié)合，建立了目標(biāo)車輛檢測(cè)改進(jìn)算法SSD-P，并測(cè)試SSD-P算法在實(shí)際道路場(chǎng)景中的檢測(cè)效果。

3 實(shí)驗(yàn)結(jié)果及數(shù)據(jù)分析

3.1 實(shí)驗(yàn)數(shù)據(jù)采集

為進(jìn)一步分析實(shí)際道路場(chǎng)景中SSD-P算法的檢測(cè)效果，本文還將攝像頭、SSD算法和SSD-P算法搭建在實(shí)車上驗(yàn)證。搭建場(chǎng)景如圖10所示。實(shí)驗(yàn)中通過攝像頭采集1 000張圖像，經(jīng)SSD算法和SSD-P算法分別處理后，輸出圖像中目標(biāo)車輛的位置及分類。

3.2 實(shí)驗(yàn)結(jié)果及評(píng)價(jià)

實(shí)驗(yàn)階段對(duì)SSD算法和SSD-P算法分別計(jì)算mAP值，計(jì)算結(jié)果如表2所示。由表2數(shù)據(jù)可知，SSD-S算法對(duì)小目標(biāo)車輛檢測(cè)的平均精度較SSD算法提升3.3%，對(duì)重疊目標(biāo)車輛的檢測(cè)效果幾乎無影響，最終SSD-S算法在測(cè)試集中平均精度為91.3%，較改進(jìn)前SSD算法提升3.7%。SSD-O算法對(duì)重疊目標(biāo)車輛檢測(cè)的平均精度較SSD算法提升2.5%，對(duì)小目標(biāo)車輛的檢測(cè)效果幾乎無影響，最終SSD-O算法在測(cè)試集中平均精度為90.2%，較改進(jìn)前SSD算法提升2.6%。

從兩方面改進(jìn)后的SSD-P算法檢測(cè)精度相較于基本SSD算法在小目標(biāo)檢測(cè)中平均精度由原來的85.3%提升到88.9%，提高了3.6%。重疊目標(biāo)檢測(cè)中平均精度由原來的80.7%提升到83.8%，提高了3.1%。綜合性能平均精度由原來的87.6%提升到92.4%，提高了4.8%。

表2 各改進(jìn)SSD算法檢測(cè)結(jié)果數(shù)據(jù)

圖11中2幅照片為實(shí)際場(chǎng)景下測(cè)試集結(jié)果，對(duì)比改進(jìn)前后SSD算法檢測(cè)對(duì)包含重疊小目標(biāo)車輛的識(shí)別效果。從圖11中可以看出，SSD-P算法不僅能夠檢測(cè)出基本SSD算法中漏檢的小目標(biāo)車輛，還能正確識(shí)別出重疊目標(biāo)車輛。

4 結(jié) 論

1） 在SSD算法網(wǎng)絡(luò)中增加對(duì)Conv4-3特征層超分辨率重建后，提取到特征信息和默認(rèn)框數(shù)量增加，能夠比原SSD算法提取到小目標(biāo)特征信息增加7.1%。

2） 在非極大抑制（NMS）中嵌入特征向量，對(duì)邊框篩選進(jìn)行二次判定，提升了算法在存在重疊目標(biāo)情況下檢測(cè)精度。

在實(shí)際道路場(chǎng)景中目標(biāo)車輛的實(shí)驗(yàn)結(jié)果表明：改進(jìn)SSD-P算法進(jìn)行目標(biāo)車輛檢測(cè)的平均精度值為92.4%，與改進(jìn)前的87.6%相比平均精度提升了4.8%。改進(jìn)后SSD-P算法對(duì)小目標(biāo)重疊車輛檢測(cè)準(zhǔn)確性得到了提升。