劉敦強(qiáng)，沈 峘，夏瀚笙，王 瑩，賈燕晨

(南京航空航天大學(xué) 能源與動(dòng)力學(xué)院，江蘇 南京 210016)

0 引 言

近年來，汽車廠商推出的車型日益豐富，國(guó)內(nèi)汽車保有總量逐年攀升，導(dǎo)致汽車增長(zhǎng)量與道路承載能力之間的矛盾愈發(fā)突出，道路堵塞、交通事故等問題層出不窮，一些重要路段的交通壓力也越來越大。汽車車型識(shí)別已經(jīng)成為了智能交通領(lǐng)域一個(gè)重要的研究?jī)?nèi)容，可以為核心路段的交通監(jiān)控、交通事故責(zé)任判定等方面提供有力的技術(shù)支持。在實(shí)際的道路環(huán)境下，車輛圖像往往存在著多角度、遮擋、光照變化等影響因素，如何提取到適應(yīng)于不同背景下的車輛特征也就成為了車型識(shí)別問題的研究重點(diǎn)。

目前，基于視覺的車型識(shí)別方法主要包括2類：第一類是基于匹配的方法[1]。這類方法主要包括特征匹配和模型匹配，前者需要提取相應(yīng)的車輛特征，后者則對(duì)車輛圖像進(jìn)行一個(gè)整體建模，最后使用對(duì)應(yīng)的相似性準(zhǔn)則判斷待檢測(cè)車輛的車型；另一類是基于統(tǒng)計(jì)分類的方法。文獻(xiàn)[2-4]使用了目標(biāo)的角點(diǎn)特征；文獻(xiàn)[5-7]基于圖像的紋理特征進(jìn)行分類；文獻(xiàn)[8-12]利用了圖像的局部特征和邊緣信息；文獻(xiàn)[13-14]基于模糊理論重建目標(biāo)特征；文獻(xiàn)[15-16]以神經(jīng)網(wǎng)絡(luò)提取特征；文獻(xiàn)[17]對(duì)特征進(jìn)行奇異值分解。

傳統(tǒng)車型識(shí)別方法提取的特征在復(fù)雜的背景下很難實(shí)現(xiàn)自適應(yīng)，導(dǎo)致特征的可分性往往效果不佳，魯棒性也較差。與傳統(tǒng)的特征提取算法相比，卷積神經(jīng)網(wǎng)絡(luò)充分利用了多層次建模和大規(guī)模數(shù)據(jù)集訓(xùn)練的優(yōu)勢(shì)，其模型學(xué)習(xí)到的特征可分性更好，同時(shí)針對(duì)各種環(huán)境的魯棒性也更強(qiáng)。

文中首先介紹卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和原理，然后分析深度卷積神經(jīng)網(wǎng)絡(luò)和深度殘差網(wǎng)絡(luò)對(duì)于卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)思路，從而提出一種結(jié)合深度殘差網(wǎng)絡(luò)與類別中心正則化約束的車型識(shí)別方法。接著介紹數(shù)據(jù)集的選擇、制作以及數(shù)據(jù)預(yù)處理的方式。最后在總結(jié)全文的基礎(chǔ)上，指出下一步工作的研究方向。

1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種典型的層次結(jié)構(gòu)模型，主要包括輸入層、中間層(例如卷積層、下采樣層、全連接層)、輸出層。為了實(shí)現(xiàn)非線性映射，層與層之間還需要相應(yīng)的激活函數(shù)。卷積神經(jīng)網(wǎng)絡(luò)的整體結(jié)構(gòu)如圖1所示。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

卷積層使用的卷積核與輸入特征的局部區(qū)域相連，這與傳統(tǒng)的多層感知機(jī)[18]使用的全局連接機(jī)制有著顯著的區(qū)別。當(dāng)同一個(gè)卷積核在輸入圖像上滑動(dòng)采樣時(shí)，其參數(shù)一直保持不變，這種權(quán)值共享機(jī)制也是卷積神經(jīng)網(wǎng)絡(luò)區(qū)別于傳統(tǒng)的多層感知機(jī)的一個(gè)重要特征。通過權(quán)值共享機(jī)制，卷積神經(jīng)網(wǎng)絡(luò)可以極大地減少模型的參數(shù)規(guī)模。為了增加卷積層提取的特征的類型，一般卷積層需要設(shè)計(jì)多個(gè)卷積核，每一個(gè)卷積核負(fù)責(zé)提取一組特征。卷積操作的示意圖如圖2所示。

圖2 卷積示意

卷積操作的公式可以歸納為：

(1)

其中，f(·)表示激活函數(shù)；Xl表示輸入特征；Xl+1表示輸出特征，C(·)表示卷積運(yùn)算；b表示偏置項(xiàng)；M表示卷積核；θ表示卷積操作的參數(shù)，包括卷積步長(zhǎng)、卷積補(bǔ)零項(xiàng)等。以圖2為例，其卷積步長(zhǎng)為一個(gè)像素，卷積補(bǔ)零項(xiàng)為空。

下采樣層是用于減少模型參數(shù)，降低特征維數(shù)的一種操作。池化層也需要使用卷積核對(duì)輸入特征進(jìn)行卷積運(yùn)算，但是池化層使用的卷積核的參數(shù)是固定的，常用的池化操作包括均值池化和最大值池化。池化操作的公式為：

(2)

其中，Xl表示輸入特征；Xl+1表示輸出特征；D(·)表示下采樣運(yùn)算；b表示偏置項(xiàng)；M表示卷積核；θ表示卷積操作的參數(shù)，包括下采樣步長(zhǎng)、下采樣補(bǔ)零項(xiàng)。

2 基于深度殘差網(wǎng)絡(luò)的車型識(shí)別

在早期研究中，學(xué)者們對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型有過層數(shù)加深的嘗試，但是由于梯度消失、參數(shù)易陷入局部極小值等諸多困難難以克服，導(dǎo)致卷積神經(jīng)網(wǎng)絡(luò)的研究也隨之進(jìn)入了低谷。直到Hinton等[19]提出了深度信念網(wǎng)絡(luò)(deep belief networks)模型，深層網(wǎng)絡(luò)模型才重新進(jìn)入了發(fā)展的高峰期。

2.1 深度卷積神經(jīng)網(wǎng)絡(luò)

2012年，Hinton等[20]提出了AlexNet模型這一經(jīng)典的深度卷積神經(jīng)網(wǎng)絡(luò)，其模型參數(shù)詳見圖3。

圖3 AlexNet網(wǎng)絡(luò)模型參數(shù)統(tǒng)計(jì)

圖中，Conv代表卷積操作；FC代表全連接操作；Max Pooling代表最大值下采樣操作。

相比于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，AlexNet不僅增加了網(wǎng)絡(luò)的層數(shù)，并且在以下4個(gè)方面做出了重要改進(jìn)：

(1)使用線性修正單元作為新的數(shù)據(jù)非線性映射函數(shù)；

(2)設(shè)計(jì)了局部規(guī)范化網(wǎng)絡(luò)作為新的數(shù)據(jù)規(guī)范化方法；

(3)定義了DropOut機(jī)制，忽略部分特征信息，降低網(wǎng)絡(luò)在訓(xùn)練時(shí)發(fā)生過擬合的概率；

(4)在ImageNet數(shù)據(jù)集上進(jìn)行訓(xùn)練，同時(shí)結(jié)合GPU進(jìn)行模型的并行運(yùn)算，實(shí)現(xiàn)硬件加速。

AlexNet相比于較淺的卷積神經(jīng)網(wǎng)絡(luò)模型如LeNet[21]，在分類性能上的提升非常大。這表明了在模型訓(xùn)練完善的情況下，深層網(wǎng)絡(luò)模型的性能比相對(duì)較淺的網(wǎng)絡(luò)模型的性能更好。AlexNet的層數(shù)只有8層，還處在10層的量級(jí)，后續(xù)的一些研究工作在它的基礎(chǔ)之上將網(wǎng)絡(luò)深度拓展到20層的量級(jí)，這些模型的性能相比于AlexNet又有了較大的提升。

如果繼續(xù)使用文獻(xiàn)[22-23]中的拓展網(wǎng)絡(luò)層數(shù)的方法，當(dāng)模型的層數(shù)拓展到20層以上，訓(xùn)練完善的模型的性能根據(jù)之前的經(jīng)驗(yàn)應(yīng)該還會(huì)有一定的提升。為了驗(yàn)證這一猜測(cè)，He等在文獻(xiàn)[22]的基礎(chǔ)上設(shè)計(jì)了2個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)，其中相對(duì)較淺的網(wǎng)絡(luò)模型設(shè)計(jì)成20層，另一個(gè)較深的網(wǎng)絡(luò)設(shè)計(jì)成56層，在ImageNet數(shù)據(jù)集上同時(shí)訓(xùn)練兩個(gè)網(wǎng)絡(luò)模型直到模型收斂，同時(shí)測(cè)試集上也沒有出現(xiàn)過擬合的現(xiàn)象。最終的實(shí)驗(yàn)結(jié)果顯示，更深層模型的分類損失反而比相對(duì)較淺的模型的損失要大，更深層模型在測(cè)試集上的精度也不如相對(duì)較淺的模型的精度高。

這種退化現(xiàn)象說明當(dāng)深層網(wǎng)絡(luò)模型的層數(shù)超過某一量級(jí)時(shí)，其優(yōu)化過程比相對(duì)較淺的網(wǎng)絡(luò)更加困難，即使在網(wǎng)絡(luò)中使用適當(dāng)?shù)臄?shù)據(jù)規(guī)范化操作也很難使得相對(duì)較深層網(wǎng)絡(luò)模型收斂到合適的參數(shù)。

針對(duì)上述存在的問題，He等[24]提出了深度殘差網(wǎng)絡(luò)模型。深度殘差網(wǎng)絡(luò)以殘差單元為組成單位，其結(jié)構(gòu)如圖4所示。

圖4 殘差學(xué)習(xí)單元示意

殘差單元不僅將上一層的輸入通過非線性函數(shù)映射到下一層，同時(shí)將上一層的輸入也直接映射到下一層，相當(dāng)于在原始的單分支模型的基礎(chǔ)上增加了輸入數(shù)據(jù)的恒等映射分支。當(dāng)上一層的輸入和下一層的輸入的維度不一致時(shí)，深度殘差單元需要以下一層的維度為基準(zhǔn)對(duì)上一層的輸入進(jìn)行仿射變換。殘差單元內(nèi)部使用了Ioffe等[25]提出的批量正則化方法(batch norm)對(duì)數(shù)據(jù)進(jìn)行規(guī)范化，同時(shí)需要結(jié)合尺度調(diào)整(scaling)操作一起使用。兩個(gè)支路之間的數(shù)據(jù)的處理方法可以使用逐元素相加或者向量?jī)?nèi)積(inner product)運(yùn)算。

深度殘差網(wǎng)絡(luò)使用的捷徑連接(shortcut connection)沒有增加新的參數(shù)，其計(jì)算復(fù)雜度與沒有殘差單元的普通深度卷積神經(jīng)網(wǎng)絡(luò)基本一致，因此深度殘差網(wǎng)絡(luò)的層數(shù)在很深的情況下也可以保持較快的計(jì)算速度；同時(shí)，殘差單元的引入又可以很好地幫助深度卷積神經(jīng)網(wǎng)絡(luò)完成優(yōu)化的工作，提高模型的性能。

2.2 深度殘差網(wǎng)絡(luò)用于車型識(shí)別

基于上述深度殘差網(wǎng)絡(luò)的基礎(chǔ)結(jié)構(gòu)，文中的深度殘差網(wǎng)絡(luò)使用了5個(gè)殘差單元，共有34層，每一個(gè)殘差單元的結(jié)構(gòu)與圖4所示的結(jié)構(gòu)一致。接著使用2個(gè)全連接層以提取全局特征，最后的輸出層測(cè)試時(shí)預(yù)測(cè)輸入圖像的類別，訓(xùn)練時(shí)作為類別損失項(xiàng)和中心化損失項(xiàng)的輸入。整個(gè)深度殘差網(wǎng)絡(luò)模型的結(jié)構(gòu)如圖5所示。

圖5 殘差網(wǎng)絡(luò)示意

實(shí)際的訓(xùn)練過程中，訓(xùn)練數(shù)據(jù)的分布十分復(fù)雜。在Softmax機(jī)制下，數(shù)據(jù)對(duì)應(yīng)的特征空間的分布同樣會(huì)比較復(fù)雜，同類別數(shù)據(jù)在特征空間中的距離比不同類別數(shù)據(jù)在特征空間中的距離更大的現(xiàn)象較為普遍。這種不利因素會(huì)削弱模型的分類性能。為此，文中在深度殘差網(wǎng)絡(luò)的基礎(chǔ)上，借鑒了Wen等[26]提出的類別中心正則化約束，利用相關(guān)任務(wù)協(xié)調(diào)訓(xùn)練的方法進(jìn)一步提高模型的分類性能。

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集

整個(gè)訓(xùn)練過程使用兩個(gè)不同的數(shù)據(jù)集分別進(jìn)行訓(xùn)練。

首先，在網(wǎng)上搜集了100種國(guó)內(nèi)常見車型共5 000張圖像作為初始訓(xùn)練樣本，包括寶馬、奔馳、通用、豐田、長(zhǎng)安等眾多車系，且每一種車型的樣本量在50張左右，避免了類別之間出現(xiàn)不夠均衡的情況。

其次，使用斯坦福大學(xué)公開的車型數(shù)據(jù)集作為第二步訓(xùn)練的樣本。該數(shù)據(jù)集整理了196種汽車品牌共16 185個(gè)樣本，其中訓(xùn)練集有8 144張圖像，測(cè)試集有8 041張圖像。

3.2 數(shù)據(jù)預(yù)處理

在已有數(shù)據(jù)集的基礎(chǔ)上，使用數(shù)據(jù)增強(qiáng)技術(shù)(data augmentation)進(jìn)一步改善數(shù)據(jù)集的質(zhì)量。

首先是對(duì)圖像基礎(chǔ)特征的增強(qiáng)，主要包括圖像的顏色、飽和度、亮度和對(duì)比度等特征；其次是使用翻轉(zhuǎn)、鏡像等基本的圖像處理技術(shù)來擴(kuò)充數(shù)據(jù)集；接著使用隨機(jī)剪切的方法在原始圖像上切出一系列的子區(qū)域作為新的訓(xùn)練樣本；最后，借鑒了AlexNet在數(shù)據(jù)處理時(shí)使用的PCA Jittering，即先計(jì)算整個(gè)訓(xùn)練集的RGB三個(gè)顏色通道的均值、標(biāo)準(zhǔn)差和協(xié)方差矩陣，再對(duì)輸入數(shù)據(jù)添加一定的高斯擾動(dòng)噪聲。

3.3 訓(xùn)練參數(shù)與實(shí)驗(yàn)結(jié)果

在訓(xùn)練時(shí)使用了難分負(fù)樣本挖掘方法。難分負(fù)樣本挖掘方法首先設(shè)置負(fù)樣本篩選比例，然后根據(jù)模型前向運(yùn)算得到的損失挑選較大的損失樣本繼續(xù)訓(xùn)練，忽略對(duì)模型參數(shù)貢獻(xiàn)較小的樣本。實(shí)驗(yàn)中，分類損失任務(wù)的負(fù)樣本篩選比例為0.7，損失比重設(shè)置為1；類別中心損失任務(wù)的負(fù)樣本篩選比例為0.8，損失比重設(shè)置為0.008。

在訓(xùn)練模型時(shí)，使用批量梯度下降法作為模型的優(yōu)化算法，其中每一批量的訓(xùn)練樣本數(shù)為256個(gè)?？偟牡螖?shù)為20個(gè)epoch(1個(gè)epoch代表總的訓(xùn)練樣本對(duì)1個(gè)訓(xùn)練批量的商)，每經(jīng)過1個(gè)epoch再次隨機(jī)打亂訓(xùn)練樣本。學(xué)習(xí)率參數(shù)采用階梯下降策略，其初始值設(shè)為0.01，經(jīng)過10個(gè)epoch和16個(gè)epoch時(shí)分別下降一次，下降因子為0.1。

Caffe是目前幾種流行的開源深度學(xué)習(xí)框架中比較經(jīng)典的一種，對(duì)于各種網(wǎng)絡(luò)模型的支持性也比較好，操作的便捷性比較高。因此，選擇Caffe作為實(shí)現(xiàn)整個(gè)算法的深度學(xué)習(xí)工具。

在對(duì)比實(shí)驗(yàn)中，選擇了幾種具有代表性的算法在斯坦福大學(xué)的車型數(shù)據(jù)集的測(cè)試集中進(jìn)行了比較。其中，ResNet_Vehicle是指文中設(shè)計(jì)的深度殘差網(wǎng)絡(luò)，Center Loss指代中心化損失，SIFT算法使用了VLFeat開源庫的代碼，SVM算法使用了LIBSVM開源庫的代碼。最終的對(duì)比實(shí)驗(yàn)結(jié)果如表1所示。

表1 幾種車型識(shí)別算法實(shí)驗(yàn)結(jié)果對(duì)比

4 結(jié)束語

在深度殘差網(wǎng)絡(luò)的基礎(chǔ)上，文中設(shè)計(jì)了一種用于車型識(shí)別的深度卷積神經(jīng)網(wǎng)絡(luò)，充分利用了深層網(wǎng)絡(luò)模型和殘差學(xué)習(xí)單元的優(yōu)勢(shì)，實(shí)驗(yàn)結(jié)果也證明了模型對(duì)于車型識(shí)別問題的有效性。盡管最終的實(shí)驗(yàn)結(jié)果比較理想，但是文中的工作仍然存在著一些不足之處。第一個(gè)方面是數(shù)據(jù)集。首先，用于訓(xùn)練的樣本量較少，還沒有充分利用深層網(wǎng)絡(luò)模型的學(xué)習(xí)能力；其次，樣本中的車型圖像大多是整車，且拍攝的角度絕大多數(shù)是正面和側(cè)面，俯視角度的樣本很少。第二個(gè)方面就是網(wǎng)絡(luò)模型的設(shè)計(jì)。雖然深度殘差網(wǎng)絡(luò)模型在實(shí)驗(yàn)中已經(jīng)達(dá)到了很高的精度，但是仍然存在著提升空間，還可以考慮在深度殘差網(wǎng)絡(luò)的基礎(chǔ)上引入空間轉(zhuǎn)換網(wǎng)絡(luò)操作等新的功能層等。因此，接下的工作可以圍繞上述兩個(gè)方面展開進(jìn)一步的研究。

參考文獻(xiàn)：

[1] SULLIVAN G S, BAKER K D, WORRALL A D,et al.Model-based vehicle detection and classification using approximations[J].Image and Vision Computing,1997,15(8):649-654.

[2] 周愛軍,杜宇人.基于視頻圖像Harris角點(diǎn)檢測(cè)的車型識(shí)別[J].揚(yáng)州大學(xué)學(xué)報(bào):自然科學(xué)版,2008,11(1):67-70.

[3] 康維新，曹宇亭，盛 卓,等.車輛的Harris與SIFT特征及車型識(shí)別[J].哈爾濱理工大學(xué)學(xué)報(bào),2012,17(3):69-73.

[4] 秦克勝.基于圖像處理的車型識(shí)別技術(shù)研究[D].青島:青島科技大學(xué),2010.

[5] 馬 蓓，張 樂.基于紋理特征的汽車車型識(shí)別[J].電子科技,2010,23(2):94-97.

[6] RAHATI S,MORAVEJIAN R,KAZEMI E M.Vehicle recognition using contourlet transform and SVM[C]//Proceedings of the 5th IEEE conference on information technology.Washington DC,USA:IEEE Computer Society,2008:894-898.

[7] ZHANG G,AVERY R P,WANG Y.Video-based vehicle detection and classification system for real-time traffic data collection using uncalibrated video cameras[J].Transportation Research Record Journal of the Transportation Research Board,2007(1):212-216.

[8] 黃 燦.基于局部特征的車輛識(shí)別[D].上海:上海交通大學(xué),2010.

[9] 文學(xué)志,方 巍,鄭鈺輝.一種基于類Haar特征和改進(jìn)AdaBoost分類器的車輛識(shí)別算法[J].電子學(xué)報(bào),2011,39(5):1121-1126.

[10] 萬文利,胡加佩,劉學(xué)軍.基于誤差橢圓的車型識(shí)別算法[J].計(jì)算機(jī)工程,2012,38(5):183-185.

[11] ZAFAR I,EDIRISINGHE E A,ACAR B S.Localized contourlet features in vehicle makes and model recognition[C]//Proceedings of SPIE.[s.l.]:[s.n.],2009.

[12] FERRYMAN J M,WORRALL A D,SULLIVAN G D,et al.A generic deformable model for vehicle recognition[C]//British conference on machine vision.[s.l.]:[s.n.],1995:127-136.

[13] 宋 丹,徐蔚鴻.基于模糊理論的車型識(shí)別[J].計(jì)算機(jī)技術(shù)與發(fā)展,2006,16(3):47-49.

[14] 耿彥峰,馬 鉞.基于模糊模式識(shí)別的車型分類研究[J].計(jì)算機(jī)工程,2002,28(1):133-135.

[15] 劉怡光,游志勝.一種用于圖像目標(biāo)識(shí)別的神經(jīng)網(wǎng)絡(luò)及其車型識(shí)別應(yīng)用[J].計(jì)算機(jī)工程,2003,29(3):30-32.

[16] 王 年,任 彬,黃 勇,等.基于神經(jīng)網(wǎng)絡(luò)的汽車車型圖象自動(dòng)識(shí)別[J].中國(guó)圖象圖形學(xué)報(bào),1999,4(8):668-672.

[17] 魏小鵬,于萬波,金一粟.奇異值方法用于汽車車型識(shí)別[J].中國(guó)圖象圖形學(xué)報(bào),2003,8(1):50-53.

[18] RUCK D W,ROGERS S K,KABRISKY M,et al.The multilayer perceptron as an approximation to a Bayes optimal discriminant function[J].IEEE Transactions on Neural Networks,1990,1(4):296-298.

[19] HINTON G E,OSINDERO S,TEH Y W.A fast learning algorithm for deep belief nets[J].Neural Computation,2006,18(7):1527-1554.

[20] KRIZHEVSKY A,SUTSKEVER I,HINTON G E.ImageNet classification with deep convolutional neural networks[C]//International conference on neural information processing systems.[s.l.]:[s.n.],2012:1097-1105.

[21] LECUN Y,BOSER B,DENKER J S,et al.Backpropagation applied to hand written zip code recognition[J].Neural Computation,1989,1(4):541-551.

[22] SRIVASTAVA R K,GREFF K,SCHMIDHUBER J.Training very deep networks[C]//Advances in neural information processing systems.[s.l.]:[s.n.],2015:2377-2385.

[23] SZEGEDY C,LIU W,JIA Y,et al.Going deeper with convolutions[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.[s.l.]:IEEE,2015:1-9.

[24] HE K,ZHANG X,REN S,et al.Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.[s.l.]:IEEE,2016:770-778.

[25] IOFFE S,SZEGEDY C.Batch normalization:accelerating deep network training by reducing internal covariate shift[C]//International conference on machine learning.[s.l.]:[s.n.],2015:448-456.

[26] WEN Y,ZHANG K,LI Z,et al.A discriminative feature learning approach for deep face recognition[C]//European conference on computer vision.[s.l.]:Springer International Publishing,2016:499-515.

[27] LOWE D G.Object recognition from local scale-invariant features[C]//Proceedings of the seventh IEEE international conference on.[s.l.]:IEEE,1999:1150-1157.

[28] CORTES C,VAPNIK V.Support-vector networks[J].Machine Learning,1995,20(3):273-297.