陳淑君 周永霞 方勇軍

1(中國計量學院信息工程學院 浙江 杭州 310018)2(杭州吾思智能科技有限公司 浙江 杭州 310018)

基于卷積神經(jīng)網(wǎng)絡(luò)的汽車型號識別

陳淑君1周永霞1方勇軍2

1(中國計量學院信息工程學院 浙江 杭州 310018)2(杭州吾思智能科技有限公司 浙江 杭州 310018)

利用汽車的前視圖像，提出一種基于深度學習的汽車型號識別方案。首先用Adaboost算法的級聯(lián)檢測器檢測出汽車的車頭感興趣區(qū)域。然后針對該感興趣區(qū)域，設(shè)計相應的卷積神經(jīng)網(wǎng)絡(luò)模型進行汽車型號識別。實驗分別對比了當前流行的手工設(shè)計特征(SIFT、HOG和LBP特征)用SVM及ELM分類器的識別效果。實驗結(jié)果顯示，基于深度學習的方法識別率顯著高于傳統(tǒng)機器學習方法，表現(xiàn)出卓越的性能。

深度學習 卷積神經(jīng)網(wǎng)絡(luò) Adaboost LBP SVM 車輛識別

0 引 言

隨著經(jīng)濟的快速發(fā)展，汽車的數(shù)量急劇增多，關(guān)于車輛的交通事故、違法犯罪等問題也越發(fā)嚴重，人們對于車輛的智能化管理需求越發(fā)迫切。車輛識別對智能交通和車輛的智能化管理有著重要的作用，一直是當前計算機研究的熱點。車輛的識別研究，包括車牌號識別、車標識別、汽車具體型號識別等。當前，車牌號的識別技術(shù)已較為成熟，且已廣泛投入應用，但車牌號只能提供車輛的部分信息，在套牌、假牌、車牌遮擋、不掛牌等情況下，車輛身份就不明了，所以需要更完備的信息對車輛進行有效管理。而汽車具體型號是車輛的一個重要信息，尤其對打擊涉車犯罪案有著重要的作用。大多數(shù)的車輛盜搶主要針對中高檔轎車，其具體型號信息的獲取是破案的重要依據(jù)。當前關(guān)于車輛具體型號的識別研究并不多。文獻[1]中作者用GRM模板匹配方法對包含15種車型的前拍車輛圖像數(shù)據(jù)庫進行類型識別。文獻[2]中用一種改進的2DPCA方法提取特征，再用最小距離分類器進行分類，提高了算法效率。文獻[3]中作者提取車輛的HOG特征，采用Adaboost算法定位出“車臉”，然后用支持向量機的方法實現(xiàn)分類。這些經(jīng)典的識別技術(shù)主流都是手工設(shè)計的特征提取加分類器的兩段式方法。而最近幾年，深度學習迅速崛起，在各個領(lǐng)域都有了突破性的進步，幾乎掀起了一場方法革命。

本文將深度學習的方法應用到車輛型號的識別領(lǐng)域，設(shè)計了一個卷積神經(jīng)網(wǎng)絡(luò)模型實現(xiàn)汽車的具體型號識別。

1 基于Adaboost的車頭感興趣區(qū)域檢測

基于圖像的車輛研究，一般用車尾圖像或前視圖像。車尾和前視圖像各有其優(yōu)勢，車尾圖像包含了車輛的廠家，排氣量等信息，但車尾圖像對圖像質(zhì)量，分辨率等要求較高。而前視圖像獲取較為容易，其車頭外形特征也較為明顯。本文用前視圖像進行汽車型號識別。相比于傳統(tǒng)的用手工設(shè)計特征再用分類器進行識別的方法，本文直接用圖像輸入卷積神經(jīng)網(wǎng)絡(luò)進行識別。由于用整張前視圖像進行識別，計算量大，且車窗內(nèi)的人物等場景會對識別造成干擾，而車輛前視圖像信息主要集中在車牌、車標、車柵欄、車燈等車頭部分。所以本文選取這些區(qū)域(即車輪以上、車燈及其以下區(qū)域)作為車頭感興趣區(qū)域，進行型號識別。

本文采取經(jīng)典的Adaboost算法[4]進行汽車的車頭感興趣區(qū)域檢測。Adaboost算法是基礎(chǔ)boost算法的一種改進優(yōu)化。其通過集成多個弱分類器，并進行適應性調(diào)整，從而獲得一個強分類器。檢測所用的圖像特征，我們分別實現(xiàn)了Haar特征和LBP特征。Haar特征是圖像的矩形特征，其對于近似剛性、具有紋理、具有塊狀特征的事物有較好的表達效果。LBP是一種可有效表示紋理的特征，廣泛應用在當前的圖像紋理表示上。

用Adaboost算法訓練得到模型后，然后用滑動窗口進行感興趣區(qū)域檢測，當檢測出的目標區(qū)域重疊面積較大時，用非最大值抑制方法，選取面積最大的區(qū)域作為多個重疊區(qū)域的唯一檢測結(jié)果。

2 基于卷積神經(jīng)網(wǎng)絡(luò)的汽車型號識別

2.1 卷積神經(jīng)網(wǎng)絡(luò)CNN

CNN是深度學習中的一種重要方法，尤其在圖像領(lǐng)域表現(xiàn)出了出色的性能。CNN大量使用于1990年[5],但其發(fā)展并不順利。隨著支持向量機的崛起，漸漸消失在人們的視野中。相應地，各種手工設(shè)計的特征SIFT、HOG、LBP等也活躍在各個領(lǐng)域。直到2012年Krizhevsky[6]在ImageNet大型視覺識別挑戰(zhàn)中用卷積神經(jīng)網(wǎng)絡(luò)模型大幅度的提高了圖像的分類精度，重新燃起了人們對CNN的興趣。短短幾年的發(fā)展，CNN在圖像分類[6-9]、人臉識別[10-11]、物體檢測[9,12-14]等領(lǐng)域都有了突破性進步。CNN與傳統(tǒng)的方法不同，其不需要手工設(shè)計特征，自然集成了低、中、高層的特征表示，是一種端到端的層級特征學習分類器。

2.2 網(wǎng)絡(luò)的設(shè)計

由于車頭感興趣區(qū)域與人臉具有較高的相似性，都是由一些塊狀的部件組成。而人臉識別一直是計算機學者們的重點研究領(lǐng)域，其發(fā)展十分迅速。因此，我們借鑒人臉識別的相關(guān)研究成果。

本文主要是借鑒文獻[11-12]中的DEEPID同時用識別信號和驗證信號進行監(jiān)督學習的人臉識別思想。其中，識別的監(jiān)督信號用交叉熵表示，驗證的監(jiān)督信號用兩張感興趣區(qū)域特征的L2范數(shù)距離表示。

由于我們收集的車輛數(shù)據(jù)庫不大，不宜設(shè)計太過復雜的網(wǎng)絡(luò)模型，不然容易過擬合。我們設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)，包含4層卷積層(其前三層跟隨最大池化層)加一層全連接層，然后用softmax進行分類。并且前三層分別增加一個全連接層，以添加識別信號和驗證信號進行監(jiān)督訓練。我們嘗試了多種卷積核和提取的特征維度，其最后設(shè)計的模型如圖1所示。我們設(shè)計輸入圖像為47×95的彩色圖像，卷積層每層分別提取128張?zhí)卣鲌D，最終全連接層提取512維的特征。

圖1 CNN結(jié)構(gòu)圖

2.3 結(jié)合傳統(tǒng)分類器的識別

如圖1中的模型結(jié)構(gòu)所示，CNN在不同層上由低到高地分別提取了不同層次的特征。我們提取出該模型結(jié)構(gòu)的最后一層全連接層的特征，即512維的高層特征，作為感興趣區(qū)域的特征。然后結(jié)合當前流行的分類器進行分類，以提高識別效果。

3 實驗結(jié)果和分析

3.1 車頭感興趣區(qū)域檢測的結(jié)果

作者手動剪裁了3 950張車頭感興趣區(qū)域圖像作為正樣本，其平面內(nèi)傾斜和非平面內(nèi)傾斜角度均小于45度。而負樣本分成三部分。1)網(wǎng)上收集的2 000張包含各個不同場景且不包含該感興趣區(qū)域的圖像；2)作者從正樣本中手動截取的1 000張與車頭感興趣區(qū)域區(qū)域的IoU(Intersect-ion-over-Union)大于0.1且小于0.3的部分(如車燈、車牌等)3)2 000張從正樣本中截取的非感興趣區(qū)域，如車窗、道路等。

分別設(shè)計了基于Haar和LBP的16層級聯(lián)檢測器。每層選取3 357張正樣本，10 000張負樣本(可在一張負樣本中截取不同區(qū)域作為負樣本)進行訓練。在VS2013和opencv平臺下實現(xiàn)。在Intel(R) Core(TM) i5-4467的處理器和8 GB內(nèi)存的機子上訓練，用于存儲預先計算的特征值和特征索引緩存大小皆設(shè)為2 GB。其中基于Haar特征的模型需要訓練兩個星期左右，而用LBP特征只需要訓練一天左右即可得到模型。

得到模型后，分別用5 000張圖像測試結(jié)果，評價其性能。當IoU大于50%時則認為檢測正確。其實驗結(jié)果如表1所示。

表1 車頭感興趣區(qū)域檢測結(jié)果

可發(fā)現(xiàn)，LBP特征能更好地表征出車頭感興趣區(qū)域的特征，對其檢測性能較佳。其檢測結(jié)果如圖2所示。

圖2 檢測結(jié)果

為更好地分析該算法的性能，我們分別對感興趣區(qū)域被部分遮擋和在不同光照條件下的情況(如圖3所示)進行了更詳細的測試。

圖3 不同遮擋和光照條件

實驗發(fā)現(xiàn)，該算法對光照的適應性良好，在不同光照條件下，基本都可成功檢測出車頭感興趣區(qū)域。在遮擋性問題上，當遮擋面積較小時可檢測成功，隨著遮擋面積的增大，檢測失敗。說明其對遮擋性也有一定的適應性。

3.2 汽車型號識別結(jié)果

本文收集了41種常見車型的前視圖像，每種車型包含20到50張圖像。為了保證算法的魯棒性，允許車頭感興趣區(qū)域被小部分遮擋(行人、樹枝、車輛等遮擋)，允許不同的光照條件，包含白天和夜間圖像，車輛平面內(nèi)和非平面內(nèi)傾斜角度允許45度內(nèi)的變化。其部分樣本如圖4所示。用上文中描述的基于LBP的Adaboost方法檢測車頭感興趣區(qū)域，其檢測率為96.67%。然后用深度學習的方法對車頭感興趣區(qū)域進行汽車型號的識別。

圖4 車型庫部分樣本

我們收集的樣本圖片有限，且不同類別的樣本數(shù)量不一，我們隨機選取樣本圖片(尤其是樣本數(shù)量較少的類別)，通過增加噪聲或隨機改變圖像的某個顏色分量的值增加樣本數(shù)量，同時保證數(shù)據(jù)分布較為平衡。最后對每個樣本生成其水平鏡像圖像，增加一倍數(shù)據(jù)量。

本課題在Linux操作系統(tǒng)下的Caffe上進行實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)。Caffe是一個強大的深度學習免費開源的框架，其大大減少了人們實現(xiàn)深度學習算法的工作量。

我們用隨機梯度下降法在GPU上進行訓練。結(jié)合現(xiàn)有研究和多次實驗結(jié)果，我們選取基礎(chǔ)學習速率為0.01，權(quán)重衰減為0.000 5，動量為0.9，其識別效果較佳。

最后，我們提取出CNN模型最后一層全連接層的特征，結(jié)合傳統(tǒng)的分類器進行識別。我們發(fā)現(xiàn)，將最后一層特征用支持向量機(SVM)進行分類，其識別率提升了兩個百分比。

為了更好地體現(xiàn)CNN的算法性能，本文將其與傳統(tǒng)的機器學習方法進行對比。實驗實現(xiàn)了當前流行的手工設(shè)計特征(SIFT、HOG、LBP)用流行的SVM和ELM分類器識別的方法。同時，也對比實現(xiàn)了數(shù)據(jù)未進行擴增時的識別效果。實驗結(jié)果如表2所示。

表2 汽車型號識別結(jié)果對比表

實驗結(jié)果顯示：1) 相比傳統(tǒng)手工設(shè)計特征加上分類器的識別方法，卷積神經(jīng)網(wǎng)絡(luò)的方法表現(xiàn)出了卓越的性能。2) 對于卷積神經(jīng)網(wǎng)絡(luò)，數(shù)據(jù)量增大，其識別率有了明顯的提升，驗證了其對于大量數(shù)據(jù)的需求。結(jié)合現(xiàn)有的研究，我們可以相信，隨著汽車數(shù)據(jù)庫的增大，其識別率也將會有一定程度的提升。3) 用卷積神經(jīng)網(wǎng)絡(luò)提取特征，再結(jié)合傳統(tǒng)的分類器進行分類，是一個較好的研究方向，有較大的發(fā)展空間。

4 結(jié) 語

本文提出了一種基于深度學習的汽車型號識別方法。首先用Adaboost級聯(lián)算法檢測出車輛的車頭感興趣區(qū)域，然后針對該區(qū)域，設(shè)計了相應的卷積神經(jīng)網(wǎng)絡(luò)進行型號識別。實驗結(jié)果發(fā)現(xiàn)，相比于傳統(tǒng)的機器學習方法，卷積神經(jīng)網(wǎng)絡(luò)在識別率上表現(xiàn)出了卓越的性能。并且提取卷積神經(jīng)網(wǎng)絡(luò)最后一層全連接層的特征用SVM分類器進行分類，發(fā)現(xiàn)其識別率有了提升，可達到96.5%左右。且當前研究的主要瓶頸在于汽車型號數(shù)據(jù)庫的大小，相信隨著數(shù)據(jù)庫的增大，將會有更理想的識別效果。

本文的工作和成果對汽車識別領(lǐng)域的研究和應用都有一定的作用。

[1] 唐紅強. 基于GRM模板匹配算法的車型和車系識別[D]. 電子科技大學, 2014.

[2] 燕磬, 楊安平, 陳凌宇. 一種改進的2DPCA車臉識別方法[J]. 現(xiàn)代電子技術(shù), 2014(8):123-125.

[3] 賈曉. 套牌車輛的車型識別與檢索技術(shù)研究[D]. 大連海事大學, 2016.

[4] Viola P, Jones M. Rapid object detection using a boosted cascade of simple features[C]//Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference on. IEEE, 2003:I-511-I-518 vol.1.

[5] Lecun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11):2278-2324.

[6] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]//International Conference on Neural Information Processing Systems. Curran Associates Inc. 2012:1097-1105.

[7] Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]//IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society, 2015:1-9.

[8] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J].Computer Science, 2014.

[9] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[J]. Computer Science, 2015.

[10] Sun Y, Wang X, Tang X. Deep learning face representation by joint identification-verification[J]. Advances in Neural Information Processing Systems, 2014, 27:1988-1996.

[11] Sun Y, Wang X, Tang X. Deeply learned face representations are sparse, selective, and robust[C]//Computer Vision and Pattern Recognition. IEEE, 2015.

[12] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[J]. Computer Science, 2014:580-587.

[13] Girshick R. Fast R-CNN[C]//IEEE International Conference on Computer Vision. IEEE, 2015:1440-1448.

[14] Ren S, He K, Girshick R, et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks.[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017,39(6):1137-1149.

VEHICLEMODELRECOGNITIONBASEDONCONVOLUTIONALNEURALNETWORK

Chen Shujun1Zhou Yongxia1Fang Yongjun2

1(CollegeofInformationEngineering,ChinaJiliangUniversity,Hangzhou310018,Zhejiang,China)2(HangzhouWusiIntelligentScienceandTechnologyCo.Ltd.,Hangzhou310018,Zhejiang,China)

Using the front view of the vehicle, we propose an algorithm for vehicle model recognition based on deep learning. First, the vehicle face region was detected by using the cascade detector of Adaboost algorithm. Then, a convolution neural network was designed to identify the region. Moreover, we compared the recognition effects of SVM, ELM classifier and popular manual design features (SIFT, HOG and LBP) respectively. The experimental results show that the recognition rate of the deep learning is significantly higher than the traditional machine learning method. Deep learning demonstrates excellent performance.

Deep learning Convolution neural network Adaboost LBP SVM Vehicle identification

2016-11-09。陳淑君，碩士生，主研領(lǐng)域：計算機視覺。周永霞，副教授。方勇軍，工程師。

TP3

A

10.3969/j.issn.1000-386x.2017.11.042