譚 威 周 斌 張 輝 明德烈

（1.華中科技大學(xué)自動化學(xué)院多譜信息處理技術(shù)國家級重點(diǎn)實(shí)驗(yàn)室 武漢 430070）（2.宇航智能控制技術(shù)國家級重點(diǎn)實(shí)驗(yàn)室 北京 100854）（3.北京航天自動控制研究所 北京 100854）

1 引言

隨著生活水平的不斷提高，汽車逐步成為了人們出行的代步工具，然而日益增長的車輛對已有的車輛監(jiān)管系統(tǒng)提出了巨大的挑戰(zhàn)。傳統(tǒng)通過人工判讀的方法在處理海量的交通視頻信息已顯得越來越乏力，搭建智能檢測識別系統(tǒng)以自動處理各種交通視頻信息已成為主流趨勢。車輛檢測作為車輛監(jiān)管系統(tǒng)中一項(xiàng)最基礎(chǔ)的關(guān)鍵技術(shù)，長期以來就是國內(nèi)外廣大學(xué)者的重點(diǎn)研究對象。

近幾年來，隨著機(jī)器學(xué)習(xí)的逐步深入研究，車輛檢測算法大致可分為兩類：基于車輛特征信息的檢測和基于機(jī)器學(xué)習(xí)方法的檢測算法?；谲囕v特征信息的檢測算法主要根據(jù)圖像中的邊緣信息［1～2］、紋理［3～4］、角點(diǎn)［5～6］、顏色［7］、形態(tài)學(xué)等特征信息來檢測定位車輛。文獻(xiàn)［8］改進(jìn)了混合高斯背景模型，結(jié)合幀差法和背景差分法的高效性，克服了對光照變化敏感的問題。文獻(xiàn)［9］根據(jù)車輛陰影劃分感興趣區(qū)域，再運(yùn)用車輛自身的紋理特征對該假設(shè)進(jìn)行驗(yàn)證，取得了不錯的效果。文獻(xiàn)［10］通過Sobel 算子檢測出圖像中所有垂直邊緣圖像信息，并運(yùn)用垂直積分投影特性獲得感興趣區(qū)域。文獻(xiàn)［11］通過分析車輛的邊緣信息等，運(yùn)用Gabor 濾波器提取相應(yīng)特征，并使用SVM 分類器取得了不錯的效果。文獻(xiàn)［12］將易錯分類但分辨率高的淺層特征與分辨率低但抽象化的高層特征融合起來，得到了更好的候選區(qū)域，進(jìn)一步提高了檢測的準(zhǔn)確率。文獻(xiàn)［13］利用Faster R-CNN 網(wǎng)絡(luò)提取車輛的深度卷積特征，不僅克服了一直以來對手工特征的依賴問題，而且大幅度地提高了目標(biāo)的檢測效率。然而，這兩種深度學(xué)習(xí)方法并沒有達(dá)到實(shí)時性的要求。

2016年，Wei Liu提出來SSD檢測算法［14］。SSD是一種新穎的端到端（End-to-End）的檢測算法。SSD也屬于CNN，但SSD不僅保留了之前CNN的檢測高效性，同時也保證了檢測的實(shí)時性。

我們用以VGG 為基礎(chǔ)網(wǎng)絡(luò)的SSD 算法檢測視頻中的車輛。通過實(shí)驗(yàn)，可以發(fā)現(xiàn)SSD算法不僅能夠保證準(zhǔn)確率，也能達(dá)到實(shí)時性的要求。

2 SSD算法

CNN 網(wǎng)絡(luò)檢測車輛時，主要分為以下幾個步驟：首先在圖像中生成候選框，然后對候選框進(jìn)行特征提取，最后根據(jù)訓(xùn)練好的分類器對該特征進(jìn)行候選驗(yàn)證。這樣雖然能夠保證檢測的準(zhǔn)確率，卻達(dá)不到實(shí)時性的要求。SSD 算法由此應(yīng)運(yùn)而生，它兼具了實(shí)時性與準(zhǔn)確性，是目標(biāo)檢測歷史上的重大突破。為了進(jìn)一步提高準(zhǔn)確率，我們對基礎(chǔ)網(wǎng)絡(luò)提取的特征做了多層次的級聯(lián)。

2.1 SSD介紹

SSD 網(wǎng)絡(luò)基于前饋卷積網(wǎng)路，其根據(jù)裁剪或擴(kuò)張產(chǎn)生固定大小的邊界框，并通過打分系統(tǒng)得到框中對象類別的分?jǐn)?shù)，最后運(yùn)用非極大值抑制算法消除冗余的重復(fù)框得到最后的檢測框。在本實(shí)驗(yàn)中，我們以VGG-16 網(wǎng)絡(luò)［15］作為基礎(chǔ)網(wǎng)絡(luò)，通過該特征提取網(wǎng)絡(luò)對輸入圖像進(jìn)行特征提取。與常見的CNN 網(wǎng)絡(luò)不同，我們并沒有采用全連接層，而是設(shè)計(jì)了一種新的輔助結(jié)構(gòu)，由此得到了具有以下兩種特征的檢測器。

1）多尺度特征圖檢測器：在基礎(chǔ)網(wǎng)絡(luò)的末尾依次添加若干卷積特征層，這些層的尺寸逐漸減小，形成了一個類似于金字塔的結(jié)構(gòu)，增強(qiáng)了網(wǎng)絡(luò)對車輛大小的魯棒性。而且，每個特征層上檢測得到的卷積模型各不相同。

2）檢測的卷積預(yù)測器：我們設(shè)計(jì)了一組卷積濾波器用于新增加的特征層，這樣就可以得到固定的預(yù)測集合。對于具有c 個通道、大小為m×n 的特征層，我們利用大小為3×3×c 的卷積核，得到類別的分?jǐn)?shù)或者相對于默認(rèn)框的坐標(biāo)偏移。在特征圖中，通過大小為m×n 的卷積核作用，在相應(yīng)位置得到一個輸出結(jié)果，見圖1。

圖1 SSD網(wǎng)絡(luò)結(jié)構(gòu)

2.2 網(wǎng)絡(luò)訓(xùn)練

與其他分類器不同，在訓(xùn)練SSD 網(wǎng)絡(luò)模型時，我們需要將車輛的真實(shí)標(biāo)簽信息指定到檢測器輸出集合的某一特定輸出中。一旦指定對應(yīng)關(guān)系確定，我們就可以采用端對端方式應(yīng)用損失函數(shù)和反向傳播。

在訓(xùn)練階段，我們首先建立了車輛的真實(shí)標(biāo)簽與訓(xùn)練集中默認(rèn)框之間的對應(yīng)關(guān)系。對每個標(biāo)簽框，我們都從確定好的默認(rèn)框中進(jìn)行選擇。在訓(xùn)練開始時，我們匹配每個真實(shí)標(biāo)簽框與默認(rèn)框最好的杰卡德（Jaccard）重疊。通過添加這樣的匹配，可以大大地簡化學(xué)習(xí)問題。這樣，我們也可以從多個重疊默認(rèn)框中取得較高的置信度。

其中N 是匹配默認(rèn)框總數(shù)，當(dāng)N=0 時，我們認(rèn)為損失為0。

其中

位置損失是預(yù)測框與真實(shí)標(biāo)簽值框參數(shù)之間的平滑損失。

其中

隨著網(wǎng)絡(luò)層數(shù)的增加，在池化過程中，所得到的特征圖不斷減小，這樣不僅降低了計(jì)算量，節(jié)省了內(nèi)存，更在一定程度上保證了特征的平移和尺度不變性。為了使算法對尺寸有良好的魯棒性，Sermanet 等將不同大小的圖像作為訓(xùn)練集，得到了不錯的效果。然而，我們可以結(jié)合基礎(chǔ)層中不同層次提取的特征圖的預(yù)測結(jié)果來達(dá)到類似的結(jié)果。通過Hariharan 等的實(shí)驗(yàn)結(jié)果可以知道，較低層可以捕獲到輸入對象的更加精細(xì)的細(xì)節(jié)，因此較低層的特征圖可以提高語義分割結(jié)果。類似地，高層特征圖中采樣得到的全局文本也可以提高平滑分割的結(jié)果。在SSD框架內(nèi)，設(shè)定的默認(rèn)框不需要一一對應(yīng)于每層的實(shí)際感受視野。我們通過特征圖所在位置的不同尺寸大小的組合以及不同寬高比的默認(rèn)框的預(yù)測結(jié)果可以得到包含了輸入對象不同尺寸和形狀的預(yù)測集合。例如圖2中，車4×4 特征圖的默認(rèn)框相匹配，但不與8×8 特征圖默認(rèn)框相匹配。這是因?yàn)槟J(rèn)框都具有不同的尺寸大小，但并不能匹配車的框，因此在訓(xùn)練期間被認(rèn)為是負(fù)樣本了。

圖2 SSD示意圖

在匹配步驟之后，以真實(shí)標(biāo)簽為中心的大多數(shù)默認(rèn)框都是負(fù)樣本，這將導(dǎo)致在訓(xùn)練過程中正負(fù)樣本比例的嚴(yán)重失調(diào)，由此降低檢測的準(zhǔn)確率。因此，我們將每個默認(rèn)框的最高置信度排序，通過選擇排序在前的框，保證正負(fù)樣本比例最多為3∶1，以此替代使用所有的負(fù)樣本。

在訓(xùn)練過程中，為了使模型對輸入圖像的大小和形狀更具魯棒性，通過對訓(xùn)練圖像做隨機(jī)的采樣方式來做數(shù)據(jù)增廣。如果真實(shí)標(biāo)簽的框中心在采樣片段內(nèi)，則保留重疊的部分。同時為了保持網(wǎng)絡(luò)的統(tǒng)一性，我們將每個采樣片大小設(shè)為固定值，并以0.5的概率進(jìn)行水平翻轉(zhuǎn)。

3 實(shí)驗(yàn)結(jié)果與討論

3.1 數(shù)據(jù)集

本文中，數(shù)據(jù)集來自于城市的交通監(jiān)控視頻，總共截取10000張分辨率為1280×720 的圖片。其中7000 張圖片為訓(xùn)練集，3000 張圖片為測試集。在訓(xùn)練集中，我們把目標(biāo)分別分為A，B，C 三類。其中A 是機(jī)動車，B 是非機(jī)動車，C 是行人，如圖3所示。

圖3 樣本類別示例

3.2 實(shí)驗(yàn)平臺

實(shí)驗(yàn)主要在PC 端完成的。PC 主要配置為i7處理器、GPU（GTX-1080ti）和32G 內(nèi)存。SSD 和YOLO［16］使用了TensorFlow 框架，使用的編程語言為Python。

3.3 實(shí)驗(yàn)結(jié)果

使用VGG16 作為基礎(chǔ)網(wǎng)絡(luò)，我們采用SSD 可以得到如圖4所示的檢測結(jié)果。

通過測試結(jié)果，得到SSD，YOLO和背景相減法（BGS）的查準(zhǔn)率、查全率以及識別幀率（f/s），結(jié)果如表1所示。

表1 實(shí)驗(yàn)結(jié)果對比

3.4 結(jié)果分析

表1 中，SSD、YOLO 和BGS 算法的識別幀率均滿足實(shí)時性的要求。雖然3 種方法的實(shí)時性相差不大，但SSD 的查全率與查準(zhǔn)率明顯高于YOLO。其原因是SSD網(wǎng)絡(luò)通過逐級網(wǎng)絡(luò)衰減，能提取到比YOLO 更加有效的特征。而相比于BGS，雖然SSD的查全率略低，但其查準(zhǔn)率明顯高于BGS。這是由于BGS 是通過當(dāng)前幀與背景之間的差值得到的結(jié)果，略微的變化都會被檢查到。

通過實(shí)驗(yàn)可以發(fā)現(xiàn)，雖然SSD 模型檢測較遠(yuǎn)處的車輛略顯不足，但在近處時，其較高的查全率、查準(zhǔn)率以及識別幀率，基本可以滿足車輛監(jiān)督的準(zhǔn)確性和實(shí)時性的要求。

4 結(jié)語

本文采用SSD 檢測算法實(shí)現(xiàn)車輛檢測，取得了中高的檢測準(zhǔn)確率和檢測速度，基本滿足了對視頻種車輛檢測的要求。而本文提出對于較遠(yuǎn)處車輛，由于目標(biāo)尺度過小，檢測準(zhǔn)確率還需要后期的進(jìn)一步提高。