劉曰，彭海娟，路錦文

（北汽集團新技術研究院，北京 101300）

智能駕駛中車輛檢測方法綜述

劉曰，彭海娟，路錦文

（北汽集團新技術研究院，北京 101300）

文章綜述了智能駕駛中車輛檢測方法，首先介紹車輛檢測算法的組成，包括單一的檢測和融合跟蹤的檢測，然后根據(jù)兩種檢測算法的實現(xiàn)，將現(xiàn)有的算法進行了分類，分析并討論了各自方法的優(yōu)缺點。其中，檢測部分分為圖像處理方法和機器學習方法，圖像處理方法包括基于雷達的方法，基于知識的方法，基于運動的方法和基于模型的方法。機器學習的方法包括基于特征和分類器的方法以及基于特征模板的方法；跟蹤部分分為基于對比度分析的方法，基于匹配的方法和基于TLD的方法。最后在結論部分做了總結，展望了智能駕駛車輛檢測未來技術的發(fā)展方向。

車輛檢測；智能駕駛；機器視覺；目標跟蹤

CLC NO.: U467 Document Code: A Article ID: 1671-7988 (2017)11-22-05

引言

隨著汽車行業(yè)的迅猛發(fā)展，汽車從最初的代步工具逐步演化成現(xiàn)在必不可少的個人交通工具，人們對汽車的性能的要求也越來越高，安全、節(jié)能、環(huán)保、舒適和信息智能化是當今汽車發(fā)展的主要需求方向。與此同時，智能交通系統(tǒng)（Intelligent Traffic System, ITS）中的智能駕駛技術在近年得以蓬勃發(fā)展。

從20世紀70年代開始，日本、歐美等發(fā)達國家開始進行智能汽車的研究，在可行性和實用化方面都取得了突破性的進展0。中國從20世紀80年代開始進行智能汽車的研究。計算機視覺是智能駕駛中的核心技術，利用車載傳感器來感知車輛周圍環(huán)境，并根據(jù)感知所獲得的道路、車輛位置和障礙物信息，控制車輛的轉(zhuǎn)向和速度，給出車輛可通行區(qū)，從而使車輛能夠安全、可靠地在道路上行駛。

車載視覺中智能駕駛的識別目標，包括車輛、行人、交通標志等，其中車輛的檢測是智能駕駛環(huán)境感知的重要組成部分0,0，其水平的高低直接影響到智能駕駛車輛的行為決策，本文將對車載視覺中的車輛目標在智能駕駛中的檢測方法進行綜述。

1 車輛檢測算法的組成

車輛檢測算法是智能駕駛中的核心算法之一，是自主導航、碰撞避免等應用不可缺少的環(huán)節(jié)。在實際道路工況中，車輛檢測是一個極富挑戰(zhàn)性的任務，需解決的現(xiàn)實難題有：

（1）道路多樣：結構化道路，如高速，非結構化道路，如城鎮(zhèn)；

（2）車型豐富：形狀、大小、顏色不盡相同，多目標車輛；

（3）環(huán)境變化：天氣、光照影響，背景干擾，相機振動；

（4）自車變化：姿態(tài)、遠近，遮擋因素。

實際駕駛中，車輛檢測的效果一般需同時滿足實時性和準確性，而這兩種性能往往相互制約，在不同的道路工況中，體現(xiàn)的重要性不一，如在高速路況下，車輛速度較快，車輛間可看成隊列，檢測準確性更重要；而在城市路況下，道路環(huán)境變化較大，車輛間運動規(guī)律不明顯，檢測實時性突顯其重要性。因此，一般來說，車輛檢測分為兩部分：檢測和跟蹤。檢測部分的任務是搜索圖像，檢測當前圖像序列中是否有車輛目標，并獲得目標大小和位置信息。跟蹤部分的任務是利用當前幀中檢測目標的初始信息，縮小檢測范圍，在連續(xù)幀中跟蹤目標的變化。檢測需要對圖像進行遍歷性的搜索，還需考慮不同的尺度空間，所以時間復雜度一般都比較高。而跟蹤算法可以利用時間和空間約束條件，減小搜索空間，到達實時性要求，還可以充分利用已檢測車輛的特征，提高車輛連續(xù)準確識別的穩(wěn)定性。

因此，根據(jù)已有的檢測算法，本文將車輛檢測算法分為兩類：

（1）只包括檢測的算法

檢測算法的輸入是單幀圖像，核心算法分隔車輛目標和背景，輸出是車輛目標的位置信息。若檢測算法能達到實時性的要求且識別率較高，可以對每幀圖像進行檢測而不采用跟蹤算法。為達到此目標，一般將檢測算法分為兩部分0：假設生成階段和假設驗證階段。假設生成（Hypothesis Generation, HG）階段的功能是生成當前圖像中所有可能的車輛目標區(qū)域，即感興趣區(qū)域（Region of Interesting, ROI），在確定的多個ROI中往往有些并不是包含有車輛目標的區(qū)域，為避免誤檢，這就需要進一步的驗證，而假設驗證（Hypothesis Verification, HV）階段的功能正是校驗假設區(qū)域是否有車輛目標的存在，有效排除非車輛目標，保留車輛目標。

（2）檢測和跟蹤融合的方法

在車輛檢測的基礎上，通過車輛跟蹤方法一方面可以根據(jù)車輛運動狀態(tài)，預測車輛在圖像中的位置，建立跟蹤區(qū)域。另一面則可以充分應用已檢測車輛的特征，提高車輛連續(xù)識別的穩(wěn)定性。為了到達檢測算法的實現(xiàn)性或進一步提高檢測穩(wěn)定性，可以采用檢測和跟蹤融合的策略，先檢測到目標然后再利用跟蹤算法進行跟蹤的方法，到達有效跟蹤同一車輛目標的運動變化以及實時檢測新出現(xiàn)的車輛目標的效果。采用這種融合方法，可以進一步縮小檢測時所需的搜索空間，充分利用在前一幀圖像中檢測或跟蹤到的車輛位置等信息，將ROI搜索空間限制在很小的范圍之內(nèi)，到達實時性要求。這一檢測和跟蹤融合的檢測策略，也可為車輛的進一步行為分析做準備，達到對車輛運動進行長期的分類和預測的效果。

2 車輛檢測算法的實現(xiàn)

車輛檢測算法是從圖像序列中提取出車輛目標并進行定位，即分割車輛目標與背景，屬于計算機視覺中的目標識別和運動檢測問題。車輛檢測部分的實現(xiàn)分為ROI假設階段和目標確定階段。跟蹤車輛需要對圖像序列中車輛的位置進行運動學估計，并形成車輛軌跡。有時我們同時需要實現(xiàn)車輛運動參數(shù)的估計，如速度，加速度等，提供連續(xù)穩(wěn)定的識別。

車輛檢測部分實現(xiàn)的方法可分為圖像處理方法和機器學習方法，圖像處理方法包括基于雷達的方法，基于知識的方法，基于運動的方法和基于模型的方法；機器學習的方法包括基于特征和分類器對的方法以及基于特征模板的方法。

車輛追蹤部分的實現(xiàn)可分為基于對比度分析的方法，基于匹配的方法和基于TLD的方法0，將在后續(xù)章節(jié)紹具體方法。車輛檢測和跟蹤方法分類示意圖如圖1所示。

圖1 車輛檢測和跟蹤方法分類示意圖

2.1 ROI假設階段

ROI假設階段的算法實現(xiàn)原則是盡可能多的獲取可能的感興趣目標，避免漏檢，一定程度上容許誤檢。涉及到的方法有：

（1）基于雷達的方法

車輛檢測的環(huán)境感知研究中，使用過多種傳感器，如超聲波、紅外線、激光、視頻和雷達。從對目標探測能力和對天氣環(huán)境的適應能力上，雷達都表現(xiàn)出優(yōu)異的性能。

車載毫米波雷達可在得到測量距離的基礎上，由多普勒效應直接讀出目標的速度信息，其距離測量精度一般不如激光雷達。與激光雷達不同，毫米波雷達的輸出大多經(jīng)過內(nèi)部集成的處理單元處理，可以直接讀取目標障礙物信息。[6]文獻[6]中，利用毫米波雷達量測集合與目標集合的對應關系，采用廣義概率數(shù)據(jù)關聯(lián)算法進行數(shù)據(jù)關聯(lián)，最終可以穩(wěn)定地得到目標，克服了基于視覺的車輛檢測方法對目標距離和環(huán)境光線敏感的缺點。但雷達檢測的目標不具備語義信息，無法辨識目標是否為車輛，要引入圖像提供的視覺信息來進行目標的驗證。

（2）基于知識（或特征）的方法

基于知識的方法通過一些車輛的共同特征來定位車輛，其中車輛底部陰影，車輛水平/垂直邊緣，車輛對稱性，車輛紋理等是最常用的特征。在白天較好的光照條件下，車輛底部區(qū)域的灰度明顯比其他區(qū)域低。利用車輛邊緣的水平特性和垂直特性等特點，可將車輛從圖像背景中分隔出來。利用車輛的幾何對稱性，可以出對稱性映射圖中獲取車輛的位置。通過對車輛進行紋理分析，能有效反映車輛結構，有助于圖像分隔和特征抽取。單獨使用某種特征一般不能得到較好的檢測結果，通常做法是將多種特征結合起來，進行特征融合，從而到達較好的檢測效果。

大部分之前討論的方法不適用于夜間車輛檢測，燈光是夜間車輛最明顯的特征，因此現(xiàn)有的夜間車輛識別方法大都采用尾燈來識別前方車輛，識別流程可分為三個主要步驟：首先在不同的顏色空間內(nèi)通過圖像分割提取車輛尾燈，常用的顏色空間包括YCbCr，RGB和HSV，然后根據(jù)車輛尾燈相對位置，對稱性和相似性等特征匹配尾燈[7]，從而實現(xiàn)夜間車輛檢測。

（3）基于運動的方法

基于運動特征常見的檢測方法有幀差分法和光流法。幀差法是背景減圖法中的一種，根據(jù)背景模型不同分為背景幀差分和相鄰幀差分。相鄰幀差分的基本原理就是將前后兩幀圖像對應像素點的灰度值相減，所以速度很快，但容易漏檢運動速度較慢的車輛并且常常會將一輛車分成幾個部分造成多檢。而背景幀差分是采用圖像序列中的當前幀和背景參考模型比較來檢測運動物體的一種方法，同時使用于靜止和運動的車輛目標，但依賴于背景更新。

由于行駛環(huán)境中前車與自車總是存在一定的相對運動關系，在連續(xù)的圖像序列中同一車輛上特征點具有相同的運動規(guī)律，光流法[8]正是利用被觀測面上像素點運動產(chǎn)生的瞬時速度場來檢測運動車輛。一般情況下，光流由攝像機運動、場景中目標運動，或兩者的運動產(chǎn)生。光流法能夠較好的處理背景運動的情況，無需障礙物的先驗知識，可用來估計車輛在圖像中位置和速度，但對噪聲、光線變化較敏感，且計算量較大，實時性較差，不適用于靜止目標，由于從旁邊超越的車輛和安裝攝像機的車輛之間有較大的相對運動速度,所以光流方法較適用于檢測從旁邊超過的車輛。在實際應用中，需特殊的硬件設備支持。

（4）基于模型的方法

基于模型的方法建立車輛對象的三維或二維模型與待檢測圖像之間的匹配操作。三維模型通過立體（或雙目）視覺提供，相機參數(shù)通過標記計算，利用視差圖和逆透視圖，定位車輛目標[9]。利用幾何外形建立車輛二維模型，如文獻[10]采用了基于對稱性檢測ROI，然后利用建立的矩形二維模型進行匹配的方法。基于模型的方法經(jīng)常和基于特征的方法相結合，首先基于特征找到車輛的大致區(qū)域位置, 然后再用模型進行匹配。

基于模型方法的缺點是對車輛模型過分依賴，由于車型的多樣性和車輛姿態(tài)的變化，單一的固定模型往往不能適用于所有的車輛。而為每種車輛和姿態(tài)都建立精細的模型勢必造成計算量的成倍增加，不利于實時處理，實際應用中，三維模型的建立需要專有的高效的FPGA平臺[11]。

2.2 目標確定階段

在目標確定階段，由于已經(jīng)通過基于雷達或知識或運動或模板的方法生成了可能的車輛位置，可以采用如下的方法來進行準確可靠的車輛確認。

（1）基于特征和分類器的方法

基于特征和分類器對的方法實際上是把檢測的任務轉(zhuǎn)化成了模式識別，首先提取檢測方法得到的可能含有車輛的圖像區(qū)域的特征向量，作為模式分類器的輸入，再利用已經(jīng)訓練好的分類器進行分類，將誤檢的不包含車輛的區(qū)域識別出來，進一步提高檢測的正確率。

特征提取是一種變換或者編碼，將數(shù)據(jù)從高維的原始特征空間通過映射，變換到低維空間的表示，好的特征應具有不變形和可區(qū)分性。其中常用特征向量有主成分分析(Principal Component Analysis, PCA)特征，小波特征，梯度方向積分圖（Histogram of Oriented Gradient, HOG），Haar-like特征尺度不變特征轉(zhuǎn)換（Scale-invariant feature transform, SIFT）等；用于區(qū)分車輛與非車輛目標的分類器有神經(jīng)網(wǎng)絡（Nerual Network, NN），支持向量機（Support Vector Machine, SVM）和AdaBoost方法等。

一般將單種特征與分類器相配對來驗證ROI，如文獻[12]分別制作車輛正前方，左/右側(cè)及遠距離車輛的尾部圖片，分別計算其PCA特征，并采用SVM方法訓練最佳分類器，但遠距離的識別率有待改善。在文獻[13]中，HOG-SVM使用聯(lián)合乘積的內(nèi)核函數(shù)來檢測車輛，檢測速度仍有待改善。自從Viola P[14]提出基于Haar-like特征的Adaboost方法在人臉檢測中的應用以來，Adaboost方法作為一種集成算法，便廣泛應用于目標檢測方面。為進一步提高檢測率，文獻[15]中探索了Haar-like特征與HOG特征的優(yōu)缺點，并將之結合作為車輛特征，利用Adaboost方法，有效降低了誤識別率。但其中的分類器一般是離線訓練，學習，故在制作正負樣本，訓練階段需要較大的工作量，且一般手工選取特征，調(diào)節(jié)需要大量的時間，近幾年在人工智能領域非?；鸬纳疃葘W習（Deep Learning, DL）[16]算法能自動學習特征，是一種改進的神經(jīng)網(wǎng)絡。很多深度學習的算法是半監(jiān)督式學習算法，用來處理存在少量未標識數(shù)據(jù)的大數(shù)據(jù)集。常見的深度學習算法包括：受限波爾茲曼機（Restricted Boltzmann Machine, RBN），深度置信網(wǎng)絡（Deep Belief Networks, DBN），卷積網(wǎng)絡（Convolutional Network, CN），堆棧式自動編碼器（Stacked Auto-encoders）。

（2）基于特征模板的方法

相比基于特征和分類器的方法，基于特征模板的跟蹤方法不常見，其通過使用車輛的預定義的特征模板庫，比較假設生成區(qū)域HG與存儲模板之間的相關性，設定閾值，驗證HG的準確性。

2.3 目標跟蹤階段

目標跟蹤階段的算法實現(xiàn)原則是利用連續(xù)幀間的時間連續(xù)性以及當前幀中檢測目標在下一幀中的空間相關性，達到檢測的實時性和穩(wěn)定性。涉及到的方法有：

（1）基于對比度分析的方法

基于對比度分析的目標跟蹤算法利用目標與背景在對比度上的差異來提取，識別和跟蹤目標。這類算法按照跟蹤參考點的，不同可以分為邊緣跟蹤、形心跟蹤和質(zhì)心跟蹤等。這類算法不適合復雜背景中的目標跟蹤。

（2）基于匹配的方法

基于匹配的方法包括特征匹配、貝葉斯跟蹤和均方漂移[17]（Mean Shift, MS）。貝葉斯跟蹤框架根據(jù)對運動分布描述能力的大小，依次分為卡爾曼濾波（Kalman Filter, KF）、粒子濾波（Particle Filter, PF）、隱馬爾科夫模型(HMMs)和動態(tài)貝葉斯模型（DBNs），這些算法的主要區(qū)別參考文獻[18]。

（3）基于TLD的方法

TLD（Tracking-Learning-detection）是一種近幾年較為流行的追蹤框架[19]，集檢測、跟蹤與在線學習于一體，實現(xiàn)檢測器的在線學習和更新，達到對目標長期跟蹤的效果。該算法與傳統(tǒng)跟蹤算法的顯著特點在于將傳統(tǒng)的跟蹤算法和傳統(tǒng)的檢測算法相結合來解決被跟蹤目標在被跟蹤過程中發(fā)生的形變、部分遮擋等問題。同時，通過一種改進的在線學習機制不斷更新跟蹤模塊的“顯著特征點”和檢測模塊的目標模型及相關參數(shù)，從而使得跟蹤效果更加穩(wěn)定、可靠。但不足之處是只適應于單目標跟蹤。

3 小結

本文分析了智能駕駛中車輛檢測常用方法的組成：單一的檢測和融合跟蹤的檢測，然后從目前車輛檢測中的研究難點出發(fā)，對目前檢測和追蹤部分的實現(xiàn)算法進行分類，介紹了不同算法的優(yōu)缺點。

從目前的檢測來看，機器學習算法是關鍵，研究新的特征，或自動學習特征，或多種特征融合，建立新的分類器或在線學習框架，是將來的研究方向。采用立體視覺以及多傳感器融合的方法也是車輛檢測的常用方法，但是由于單目視覺具有算法成熟、實時性高等優(yōu)點，因此目前多數(shù)車輛檢測方法都是基于單目視覺。但立體視覺以及多傳感器融合的方法有著不可替代的優(yōu)點，將是未來車輛檢測算法的發(fā)展方向。跟蹤算法作為車輛檢測的補充部分，不僅可提高檢測精度和穩(wěn)定性，也為未來車輛駕駛行為分析提供依據(jù)。當然，在車聯(lián)網(wǎng)技術迅速發(fā)展的今天，引入車車通信，車與基礎設施通信，也是智能駕駛車輛檢測具有前景的研究方向。

[1] Sun Z, Bebis G, Miller R. On-road vehicle detection: A review[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(5): 694 - 711.

[2] Kumar K A, Kumar S R. Vision-based Vehicle Detection Survey[J]. International Journal of Recent Contributions from Engineering, Science & IT (iJES), 2016, 4(1): 31-35.

[3] Wen X, Shao L, Fang W, et al. Efficient feature selection and classification for vehicle detection[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2015, 25(3): 508-517.

[4] Buch N, Velastin S A and Orwell J. A review of computer vision techniques for the analysis of urban traffic [J]. IEEE Transactions on Intelligent Transportation Systems, 2011, 12(3): 920-939.

[5] Kalal Z, Mikolajczyk K, Matas J. Tracking-Learning-Detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(7): 1409-1422.

[6] 胡彬, 趙春霞. 基于 MHT模型的毫米波雷達車輛檢測方法[J].南京理工大學學報: 自然科學報, 2012, 36(4): 557-560.

[7] 郭君斌, 王建強, 易世春, 李克強. 基于單目視覺的夜間前方車輛檢測方法[J]. 汽車工程, 2014, 36 (5):574 – 579.

[8] Giachetti A, Campani M, Torre V. The use of optial flow for road navigation[J]. IEEE Trans on Robotics and Automation, 1998, 14(1):34-48.

[9] Mona Saini. Survey on Vision Based On-Road Vehicle Detection[J]. International Journal of u-and e-Services, Science and Technology, 2014, 7(4): 139-146.

[10] Bensrhair A, Bertozzi M, Broggi A,et al. Cooperative Approach to Vision based Vehicle Detection[C]. IEEE Proceedings of Intelligent Transportation Systems.IEEE, 2001: 207-212.

[11] Gehrig S, Eberli F, Meyer T. A real-time low-power stereo vision engine using semi-global matching[C] Proc. Int. Conf. Computer Vision Systems, 2009: 134–143.

[12] Arrospide J, Salgado L. Region-Dependent Vehicle Classification Using PCA Features[C]. 19th IEEE International Conference on Image Processing, 2012: 453-456.

[13] Q. Yuan, A. Thangali, V. Ablavsky, and S. Sclaroff. Learning a family of detectors via multiplicative kernels[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(3): 514-530.

[14] Viola P, Jones M J. Rapid Object Detection using a Boosted Cascade of Simple Feature[C]. Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2001: 511-518.

[15] Negri P, Clady X, Hanif S M, et al. A Cascade of Boosted Genera -tive and Discriminative Classifiers for Vehicle Detection[J]. EURASIP Journal on Advances in Signal Processing, 2008: 1-12.

[16] Schmidhuber J. Deep learning in neural networks: An overview[J]. Neural networks, 2015, 61: 85-117.

[17] YIZONG CHENG. Mean Shift Mode Seeking, and Clustering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1995,17(8): 790-799.

[18] 蔡榮太, 吳元昊, 王明佳, 吳慶祥. 視頻目標跟蹤算法綜述[J].電視技術, 2010, 12(34): 135-138.

[19] Kalal, Z, Mikolajczyk, K, Matas, J. Face-TLD: Tracking- Learning-Detection applied to faces[C]. 17th IEEE International Conference on Image Processing, 2010: 3789-3792.

A Survey of Vehicle Detection Methods in Intelligent Driving

Liu Yue, Peng Haijuan, Lu Jinwen
（BAIC Group New Technology Institute, Beijing 101300）

This paper reviews the detection method of vehicles in intelligent driving, firstly of all, introduces the vehicle detection algorithm, including single detection and detection fusion with tracking. And then according to the two kinds of detection algorithm, the existing algorithms are classified, we analyze and discuss the advantages and disadvantages of each method. The detection part is divided into an image processing method and a machine learning method, and the image processing method includes a radar based method, a knowledge-based method, a motion based method and a model based method. The methods of machine learning are based on features and classifiers, and feature template. The tracking part is divided into contrast evaluating method, matching method and TLD based method. Finally, the conclusion is summarized, and the future development direction of vehicle detection technology is prospected.

vehicle detection; intelligent driving; computer vision; object tracking

U467

：A

：1671-7988 (2017)11-22-05

10.16638/j.cnki.1671-7988.2017.11.009

劉曰，就職于北京汽車研究總院有限公司新技術研究院。