蔡英鳳，王 海，陳 龍，江浩斌

(1.江蘇大學(xué)汽車工程研究院，江蘇鎮(zhèn)江 212013;2.江蘇大學(xué)汽車與交通工程學(xué)院，江蘇鎮(zhèn)江 212013)

采用視覺的目標(biāo)識別廣泛用于汽車主動安全等先進駕駛輔助系統(tǒng)(advanced driver assistant system，ADAS)中［1-5］，車輛識別是其中的一個代表性技術(shù).由于ADAS高實時性、高準(zhǔn)確性的要求和嵌入式硬件計算能力的制約，無法對一幅圖像所有區(qū)域都采用復(fù)雜的模式識別算法進行判斷.因此，目前主流的識別算法一般采用一種2步的車輛識別策略:第1步，采用低耗時的算法在圖像中生成車輛可能存在的假設(shè)候選區(qū)塊(candidate generation，CG);第2步，針對上一個步驟產(chǎn)生的候選區(qū)塊，采用較為復(fù)雜的判斷算法進行區(qū)塊的候選驗證(candidate verification，CV).

目前，大多數(shù)車輛識別CG階段都采用遍歷搜索的方法，如滑動窗口法.為了兼顧實時性，這些算法往往通過增大窗口滑動間隔以及窗口尺度倍數(shù)，而這會在一定程度上帶來車輛的漏檢.例如，文獻［6］中，Giseok Kim等采用基于地平面假設(shè)的車輛候選生成，大大減少了候選窗口的數(shù)量;但是該方法在路面呈曲面及攝像機俯仰角變化時，CG窗口的選取效果大幅下降.文獻［7］中，Wang Hai等采用了基于對稱性及邊緣特征的車輛候選方法，但是該方法在前車車身姿態(tài)發(fā)生變動(如有一定的偏移時)效果不佳.

近年來，神經(jīng)科學(xué)方面的研究者發(fā)現(xiàn)人類的視覺具有快速搜索到感興趣的目標(biāo)的能力，這種視覺注意的能力被稱為視覺顯著性.視覺顯著圖像區(qū)域的檢測能夠把有限的處理資源快速而準(zhǔn)確地分配到顯著的視覺區(qū)域上，突出了圖像中的顯著目標(biāo)，削弱了目標(biāo)周圍場景對于目標(biāo)的影響.受此啟發(fā)，文中首先將視覺顯著性引入到車輛識別的CG階段中，以期減少CG數(shù)量，提高實時性.

另一方面，在車輛識別CV階段，基于機器學(xué)習(xí)的方法應(yīng)用最為廣泛.目前，基于機器學(xué)習(xí)的車輛識別算法通常選擇人工特征作為圖像表征的工具，代表性的有 Haar特征、HoG 特征、SIFT特征等［8-9］.采用人工特征并結(jié)合高效的分類器一度在包括車輛識別在內(nèi)的圖像分類問題中發(fā)揮了巨大的作用.但是，隨著研究的深入，采用人工特征的方法也逐漸顯示出其局限性.一是人工特征大多不具有明確的物理意義，需要由研究者主觀設(shè)計而得到，過往研究中研究者往往花費了大量的精力在特征的設(shè)計上，使得設(shè)計過程較為主觀和隨意，缺乏理論的指導(dǎo).二是人工設(shè)計的特征雖然能夠不斷提高車輛識別的效果，但提升效果趨微.可以認(rèn)為，隨著交通環(huán)境的日趨復(fù)雜，采用人工特征設(shè)計的手段進行車輛識別將越來越難以勝任.因此，若能有一種從訓(xùn)練樣本中自動學(xué)習(xí)并生成特征的手段，將有望打破人工特征的瓶頸.

幸運的是，深度學(xué)習(xí)的出現(xiàn)解決了如何自動學(xué)習(xí)出“好特征”這個問題.深度學(xué)習(xí)通過模仿人腦分析學(xué)習(xí)的機制來解釋數(shù)據(jù)，如圖像、聲音和文本.它是最接近人腦的復(fù)雜模型，也是目前向人工智能走得最近的方法.它將分級信息處理過程引用到了特征表示上，出現(xiàn)了層級特征，即自學(xué)習(xí)特征.深度學(xué)習(xí)的這種特征學(xué)習(xí)方式，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預(yù)測更加容易.相比于人工規(guī)則構(gòu)造特征的方法，利用大數(shù)據(jù)來學(xué)習(xí)特征，更能夠深刻刻畫數(shù)據(jù)的豐富內(nèi)在信息.

文中選擇深度學(xué)習(xí)中的深度卷積網(wǎng)絡(luò)(deep convolutional neural networks，DCNN)模型進行特征學(xué)習(xí)，是出于其本身結(jié)構(gòu)優(yōu)勢以及如下優(yōu)點考慮:①作為深度學(xué)習(xí)常用模型之一，DCNN是一種生物啟發(fā)訓(xùn)練的架構(gòu)，它隱式地從訓(xùn)練數(shù)據(jù)中進行學(xué)習(xí)，這使得它能通過結(jié)構(gòu)重組和減少權(quán)值將特征提取功能融合進多層感知器;②DCNN局部權(quán)值共享的特殊結(jié)構(gòu)在圖像處理方面有著獨特的優(yōu)越性，其布局更接近于實際的生物神經(jīng)網(wǎng)絡(luò)，權(quán)值共享降低了網(wǎng)絡(luò)的復(fù)雜性，特別是多維輸入向量的圖像可以直接輸入網(wǎng)絡(luò)這一特點避免了特征提取和分類過程中數(shù)據(jù)重建的高復(fù)雜度計算過程.

1 基于顯著性的車輛候選提取

視覺顯著性及其關(guān)聯(lián)的生物神經(jīng)學(xué)方面研究在近5年吸引了大量研究者的關(guān)注.研究者發(fā)現(xiàn)人類的視覺具有快速搜索到感興趣的目標(biāo)的能力.例如，在車輛行駛中，駕駛員可以很快地注意到前方車輛，這種視覺注意的能力被稱為視覺顯著性.顯然，如果能在車輛識別的任務(wù)中引入這種顯著性，可以對車輛可能存在的區(qū)域進行快速定位，大大減少了背景的干擾.因此，為了在圖像中引入顯著性的概念，同時便于對各像素或區(qū)塊的顯著性大小進行度量，Christof Koch和 Shimon Ullman創(chuàng)新地提出了顯著圖(saliency maps)的概念.利用顯著圖，研究者已經(jīng)在包括目標(biāo)檢測［10］、圖像分割［11］和圖像壓縮［12］等方面實現(xiàn)了成功的應(yīng)用.

目前，顯著圖的定義和計算方式有多種，其中T.N.Vikram 等［13］于2012 年在 Pattern Recognition上提出的一種基于隨機矩陣區(qū)域采樣的算法在處理速度上具有最為明顯的優(yōu)勢.因此，文中以該算法計算顯著圖并提取車輛候選區(qū)域.以該算法在一幅圖片上進行的車輛候選區(qū)域提取效果如圖1所示.

圖1 車輛候選區(qū)域提取效果圖

圖1左上圖為道路原始彩色圖片，右上圖為灰度顯著圖，下圖為二值化的車輛候選區(qū)域提取，閾值選取采用大津自適應(yīng)閾值分割法.統(tǒng)計結(jié)果表明，對于一幅大小為640×480的彩色圖像，該算法的平均計算時間約為12.7 ms.因此，可以看出，通過基于顯著性的車輛候選提取，雖然額外花費一定的計算時間，但是減少了超過50%的待判斷區(qū)域，可以大大提升后續(xù)車輛識別的處理速度.

2 車輛識別分類器設(shè)計

為了在車輛候選驗證(CV)步驟中達到圖像中車輛識別能力最優(yōu)化，文中采用深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)作為特征抽取的工具，并以圖像灰度像素作為基本輸入.DCNN是一個多層結(jié)構(gòu)，主要由若干個卷積層、池層互聯(lián)構(gòu)成，并通過全連接網(wǎng)絡(luò)層輸出特征.卷積層通過卷積核從輸入中抽取特征，而池層通過下采樣減少卷積層的空間分辨率.將最后一個池層矩陣通過全連接層向量化，則構(gòu)成了一個DCNN的輸出，則該向量可視為一幅圖片的最終抽取特征.

2.1 DCNN基本層

文中DCNN所涉及的3種層簡要介紹如下.

1)卷積層

卷積層主要通過卷積核抽取特征.設(shè)某個卷積層的輸入為前一層的輸出xi，該輸入xi的不同子區(qū)域?qū)⑴cj個不同的卷積核kj，i進行卷積操作.每次卷積的輸出將映射到該層的輸出特征圖yi中:

式中*表示2D卷積操作，卷積核kj，i的卷積系數(shù)和基向量bj為可訓(xùn)練參數(shù).

2)池層

池層主要通過下采樣減少卷積層的空間分辨率.其目的有二:一是減少特征維數(shù);二是可以增強特征對微小畸變和微小旋轉(zhuǎn)的容忍能力.在池層的輸入中，每個不重疊的大小為r×r的區(qū)域視為一個池，可用常見的“池平均”(average-pooling)操作或“池最大”(max-pooling)操作進行.池平均操作以輸入矩陣的均值作為輸出，而池最大操作以輸入矩陣的最大值作為輸出.目前，“池最大”操作在多數(shù)應(yīng)用中顯示出優(yōu)越性［13-14］.

3)全連接層

全連接層實質(zhì)上是一個標(biāo)準(zhǔn)的單隱層神經(jīng)網(wǎng)絡(luò).它通過權(quán)重矩陣W、基向量b以及函數(shù)f，將輸入矩陣x向量化并映射為向量y:

式中f常用tanh函數(shù)或者和softmax函數(shù).

2.2 車輛識別DCNN分類器結(jié)構(gòu)

將上節(jié)所提3種層依次相連即可以形成所需DCNN車輛識別分類器.文中所設(shè)計的DCNN的結(jié)構(gòu)如圖2所示.

圖2 車輛識別DCNN結(jié)構(gòu)示意圖

如圖2所示，文中所設(shè)計的DCNN車輛識別分類器除輸入層和全連接輸出層外，采用了2組隱層，而每一個隱層均由一個卷積層(C)和一個池層(M)構(gòu)成.DCNN車輛識別分類器的輸入層大小為32×32像素，該尺寸和所有待訓(xùn)練樣本的像素尺寸保持一致.2組隱層均采用大小為5×5的卷積核，池層大小均為2×2，選用“池最大”操作.因此，2組隱層的卷積層和池層大小分別為28×28，14×14，10×10，5×5.全連接層的隱層包含200個神經(jīng)元，其顯層直接和最后一個池層M2向量化連接.全連接層的輸出包含2個神經(jīng)元，采用softmax函數(shù)輸出，用［1，0］表示車輛，［0，1］表示非車輛.

2.3 訓(xùn)練方法

所設(shè)計DCNN采用隨機梯度下降法進行訓(xùn)練，待訓(xùn)練權(quán)重參數(shù)的初始值選用在［-0.05，0.05］的滿足隨機分布的隨機數(shù)，所有基向量的初始取值為0.此外，目標(biāo)函數(shù)選用交叉熵?fù)p失函數(shù):E=-∑p(xi)logp(xi|yi)，其中(xi，yi)為樣本圖像與對應(yīng)標(biāo)簽.訓(xùn)練的目標(biāo)是使該函數(shù)輸出最小，最大迭代次數(shù)上限設(shè)置為1×105次.

3 試驗與分析

設(shè)計了2組試驗:①對所提出的DCNN車輛識別分類器的分類性能進行試驗;②對所提出的完整車輛識別算法進行試驗.

3.1 DCNN車輛識別分類器試驗

為對DCNN車輛識別分類器進行訓(xùn)練，首先選取大量車輛和非車輛圖片作為訓(xùn)練樣本.其中，正樣本由來自Caltech1999數(shù)據(jù)庫和道路實際采集的處于不同光照環(huán)境的圖片組成，共3 715個.通過相應(yīng)的裁剪，正樣本統(tǒng)一歸一化至32×32像素.負(fù)樣本由不含車輛的約1 000張圖片以不同尺寸、不同位置隨機裁切構(gòu)成，共5 000個.部分正負(fù)樣本示例如圖3所示.測試圖片來自于PETS標(biāo)準(zhǔn)道路圖庫，包含多種路況，共1 800幅，其中含有車輛2 785輛.

圖3 正負(fù)樣本準(zhǔn)備

此外，文中的試驗平臺為惠普工作站，其主要參數(shù)為Intel酷睿2雙核2.67 GHz處理器，2 GB內(nèi)存，操作系統(tǒng)為Windows XP，編程軟件為Microsoft Visual 6.0.

在DCNN車輛識別分類器的試驗中，將文中所提出的DCNN車輛識別分類器與現(xiàn)有主流機器學(xué)習(xí)方法進行了比較，包括支持向量機(support vector machine，SVM)、k 最 近 鄰 (k-nearest neighbor，KNN)、神經(jīng)網(wǎng)絡(luò)(neural network，NN)和深度置信網(wǎng)絡(luò)(deep belief network，DBN).識別效果如表1所示.

表1 多種車輛識別分類器效果比較

由表1可見，由于采用了深度學(xué)習(xí)的方法，DBN和DCNN在識別效果上大大優(yōu)于傳統(tǒng)方法(SVM，KNN，NN).此外，雖然同樣采用深度學(xué)習(xí)的框架，所提出的DCNN算法要優(yōu)于DBN算法.

3.2 算法綜合車輛識別效果試驗

在算法綜合車輛識別效果的試驗中，選用的測試數(shù)據(jù)庫是KITTI標(biāo)準(zhǔn)庫［15］.本算法與現(xiàn)有的幾種以單雙目視覺為感知手段的車輛識別系統(tǒng)(Bergmiller［16］，Alonso［17］，Sun［18］和 Southall［19］)在 檢 測率、誤檢率和檢測時間等方面進行了針對性的比較，結(jié)果如表2所示.

表2 綜合車輛識別算法效果比較

由表2可見，文中方法具有最低的誤檢率和第2高的檢測率(僅低于Southall等所提的雙目視覺車輛識別方法0.24%).但是，相對于Southall的方法，由于采用單目視覺的手段，文中方法的處理速度要大大提高.

圖4為文中方法在KITTI標(biāo)準(zhǔn)道路圖像庫測試中的一些處理結(jié)果.

圖4 部分車輛識別試驗結(jié)果

4 結(jié)論

在KITTI標(biāo)準(zhǔn)道路圖像庫的試驗結(jié)果表明，所提出的DCNN車輛分類器在識別效果上大大優(yōu)于基于人工特征機器學(xué)習(xí)的方法(SVM，KNN，NN)具體表現(xiàn)在具有次高的檢測率(98.13%);最低的誤檢率(0.78%);最快的處理速度(27 Hz).

References)

［1］Teoh S S，Braunl T.Symmetry-based monocular vehicle detection system［J］.Machine Vision and Applications，2012，23(5):831-842.

［2］Sivaraman S，Trivedi M M.Integrated lane and vehicle detection，localization，and tracking:a synergistic approach［J］.IEEE Transactions on Intelligent Transportation Systems，2013，14(2):906-917.

［3］Wang H，Cai Y F，Chen L.A vehicle detection algorithm based on deep belief network［J］.The Scientific World Journal，2014，doi:10.1155/2014/647380.

［4］繆小冬，李舜酩，沈 峘，等.復(fù)雜環(huán)境中交通標(biāo)志的實時識別方法［J］.江蘇大學(xué)學(xué)報:自然科學(xué)版，2013，34(5):514-518.

Miao Xiaodong，Li Shunming，Shen Huan，et al.A real time traffic sign recognition method in complex environment［J］.Journal of Jiangsu University:Natural Science Edition，2013:34(5):514-518.(in Chinese)

［5］Wang Hai，Cai Yingfeng.A multistep framework for vision based vehicle detection［J］.Journal of Applied Mathematics，2014，doi:10.1155/2014/876451.

［6］Kim Giseok，Cho Jae-Soo.Vision-based vehicle detection and inter-vehicle distance estimation［C］∥Proceedings of2012 12th International Conference on Control，Automation and Systems.Jeju Island，Korea:IEEE Computer Society，2012:625-629.

［7］Wang Hai，Zhang Weigong，Cai Yingfeng.Design of a road vehicle detection system based on monocular vision［J］.Journal of Southeast University:English Edition，2011，27(2):169-173.

［8］文學(xué)志，方 巍，鄭鈺輝.一種基于類Haar特征和改進AdaBoost分類器的車輛識別算法［J］.電子學(xué)報，2011，39(5):1121-1126.

Wen Xuezhi，F(xiàn)ang Wei，Zheng Yuhui.An algorithm based on Haar-like features and improved AdaBoost classifier for vehicle recognition［J］.Acta Electronica Sinica，2011，39(5):1121-1126.(in Chinese)

［9］馬 雷，臧俊杰，張潤生.不同光照條件下前方車輛識別方法［J］.汽車工程，2012，34(4):360-366.

Ma Lei，Zang Junjie，Zhang Runsheng.Front vehicle identification under different lighting conditions［J］.Automotive Engineering，2012，34(4):360-366.(in Chinese)

［10］Khuwuthyakorn P，Robles-Kelly A，Zhou J.Object of interest detection by saliency learning［C］∥Proceedings of the11th European Conference on Computer Vision.Heraklion，Crete， Greece:Springer Verlag，2010:636-649.

［11］Shi Liang，Wang Jinqiao，Xu Lei，et al.Context saliency based image summarization［C］∥Proceedings of the2009IEEE International Conference on Multimedia and Expo.New York:IEEE Computer Society，2009:270-273.

［12］Donoser M，Urschler M，Hirzer M，et al.Saliency driven total variation segmentation［C］∥Proceedings of2009IEEE12th International Conference on Computer Vision.Kyoto，Japan:IEEE，2009:817-824.

［13］Vikram T N，Tscherepanow M，Wrede B.A saliency map based on sampling an image into random rectangular regions of interest［J］.Pattern Recognition，2012，45(9):3114-3124.

［14］Scherer D，Müller A，Behnke S.Evaluation of pooling operations in convolutional architectures for object recognition［C］∥Proceedings of20th International Conference on Artificial Neural Networks.Thessaloniki，Greece:Springer Verlag，2010:92-101.

［15］Geiger A，Lenz P，Stiller C，et al.Vision meets robo-tics:the KITTI dataset［J］.International Journal of Robotics Research，2013，32(11):1231-1237.

［16］Bergmiller P，Botsch M，Speth J，et al.Vehicle rear detection in images with generalized radial-basis-function classifiers［C］∥Proceedings of2008IEEE Intelligent Vehicles Symposium.Eindhoven:IEEE，2008:226-233.

［17］Alonso D，Salgado L，Nieto M.Robust vehicle detection through multidimensional classification for on board video based systems［C］∥Proceedings of2007IEEE International Conference on Image Processing.San Antonio，USA:IEEE Computer Society，2006，doi:10.1109/ICIP.2007.4380019.

［18］Sun Zehang，Bebis George，Miller Ronald.Monocular precrash vehicle detection:features and classifiers［J］.IEEE Transactions on Image Processing，2006，15(7):2019-2034.

［19］Southall B，Bansal M，Eledath J.Real-time vehicle detection for highway driving［C］∥Proceedings of2009IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops.Miami:IEEE Computer Society，2009:541-548.