趙 飛（上海電力學(xué)院 電子與信息工程學(xué)院，上海 200090）

基于已標(biāo)定攝像機的車輛識別系統(tǒng)

趙 飛
（上海電力學(xué)院 電子與信息工程學(xué)院，上海 200090）

現(xiàn)有車輛類型識別系統(tǒng)中，由于攝像機未經(jīng)過標(biāo)定，使得在圖像分析中無法得到關(guān)于尺度和坐標(biāo)的真實數(shù)據(jù)，從而帶來了一系列問題。鑒于此，提出了基于已標(biāo)定攝像機的車輛識別系統(tǒng)，并結(jié)合特定車輛的3D模型，規(guī)劃設(shè)計了逃逸車輛的在線識別方案。攝像機標(biāo)定后，可以自動檢測車輛的真實大小和在世界坐標(biāo)中的真實運動方向，不但能夠更為準(zhǔn)確地進行車輛識別，而且為實現(xiàn)攝像機之間的聯(lián)合檢測和接力檢測提供了數(shù)據(jù)基礎(chǔ)。最后從攝像機標(biāo)定過程中的重投影誤差分布圖以及基于玩具車的模擬測試說明了基于攝像機參數(shù)和車輛模型動態(tài)生成車輛視圖的可行性。

特定車輛；識別；標(biāo)定攝像機；3D模型

0 引言

關(guān)于車輛類型識別的方法已經(jīng)提出了很多。基于地埋感應(yīng)線圈的車型識別技術(shù)［1-2］只能對車型給與大致的區(qū)別，不能根據(jù)車外觀造型、顏色等進行細分?；诘芈駢弘妭鞲衅鞯能囆妥R別技術(shù)［3］只對重量檢測比較合適?；诩t外線檢測的車型識別技術(shù)［4］通過有無反射波來對過往車輛進行檢測，鑒于速度這個不確定因素，也只能大致檢測?；谝曨l圖像的車型識別技術(shù)通過攝像機采集視頻圖像，它可以獲得更為豐富的車輛信息，因此可以作更全面和準(zhǔn)確的車輛分類，同時檢測器安裝簡便、監(jiān)控范圍廣。實際上，數(shù)字圖像和數(shù)字視頻技術(shù)常被用于道路車輛的視頻監(jiān)控、車牌識別、路況分析、車輛識別等。

然而目前的車輛監(jiān)控系統(tǒng)大多數(shù)采用單攝像機拍攝圖像，并且攝像機參數(shù)沒有經(jīng)過標(biāo)定。這使得對圖像內(nèi)容的處理過程中缺乏真實尺度信息，車輛的真實大小、運行的實際空間方向無法獲知，對車輛識別造成困難，也使得車輛的全程跟蹤無法實現(xiàn)。為此，本文提出采用已標(biāo)定攝像機和車輛3D模型的方法，并對其中的技術(shù)原理和系統(tǒng)模型進行了分析設(shè)計。

1 現(xiàn)有車輛識別中存在的問題

基于視覺的目標(biāo)檢測，通常是通過統(tǒng)計車輛的某種特征來比對識別的。一般的處理步驟是，首先根據(jù)運動信息分割車出輛區(qū)域，然后根據(jù)車輛的各種數(shù)據(jù)進行判決，這些特征信息可能是車輛圖像幾何參數(shù)特征［5-7］、代數(shù)特征值、矩特征［8］、變換系數(shù)特征［9-11］、圖像特征點特征［12-13］。對這些特征進行判別的方法，常用的主要有：（1）最小距離分類法，例如采用角點的 Hausdorff距離；（2）隱馬爾可夫模型識別方法；（3）支持向量機識別方法；（4）人工神經(jīng)網(wǎng)絡(luò)［14］等。有的學(xué)者［15-16］采用一種基于三維結(jié)構(gòu)模型的車輛特征提取方法，為車輛建立一個參數(shù)模型，并提出了利用3D幾何模型來對車輛運動跟蹤的方法［17］。

上述的方法策略中，都是基于未標(biāo)定的攝像機，所存儲的視頻序列數(shù)據(jù)庫中不包含攝像機的參數(shù)信息。未標(biāo)定的攝像機會帶來較大的難度：（1）對象的實際尺寸無法獲知；（2）無法獲知車輛的運行方位；（3）在處理多攝像之間的視頻銜接時，也需要人工判斷和比對。因此，本文將未標(biāo)定攝像機改為已標(biāo)定攝像，并將攝像機的內(nèi)外參數(shù)與其所拍攝的視頻數(shù)據(jù)同時存儲。

2 已標(biāo)定攝像機系統(tǒng)及其作用

目前視頻監(jiān)控以單攝像機為主，也有采用雙攝像機或者多攝像機同時監(jiān)控的。但是在系統(tǒng)設(shè)計時，攝像機之間沒有相關(guān)性。雙目攝像機系統(tǒng)可以記錄和重建目標(biāo)的三維空間信息［18］，從而為視頻對象的處理帶來極大的便利。

通常的攝像機都不可能是理想的攝像機，例如焦距與標(biāo)稱值有誤差，焦距在水平和豎直方向上不一致，圖像的主點不在圖像的中心，拍攝的圖像存在徑向和切向的畸變。對于雙目攝像機，還存在兩個攝像機的參數(shù)不一致、距離標(biāo)定問題。這些參數(shù)被劃分為內(nèi)部參數(shù)intrinsic和外部參數(shù) extrinsic，它們可以通過攝像的標(biāo)定算法計算出來［19］。這些參數(shù)包括每個攝像機的內(nèi)部參數(shù)intrinsic以及攝像機之間的外部參數(shù)extrinsic，另外還需要知道世界坐標(biāo)相關(guān)數(shù)據(jù)。

intrinsic=｛Fx，F(xiàn)y，cx，cy，γ，k1，k2，k3，p1，p2｝

extrinsic=｛θx，θy，θz，tx，ty，tz｝

依據(jù)攝像機的內(nèi)部和外部參數(shù)，可以進一步通過立體校正，將兩個攝像機的參數(shù)校正到左右一致的虛擬參數(shù)上，這時兩個實際的攝像機可被看作一套理想的立體攝像機系統(tǒng)，只需要｛F，cx，cy，tx｝這 4個參數(shù)。這 4個參數(shù)可寫成一個4×4矩陣的形式，它可以在視差d已知的情況下由圖像m（x，y）坐標(biāo)計算出三維空間坐標(biāo)M~=［X，Y，Z，1］T，如式（1）所示，M~為齊次坐標(biāo)形式，其中比例參數(shù)s可以在求解的過程中消掉。

實際上，單攝像機系統(tǒng)是最常用的。它不能像雙攝像機系統(tǒng)那樣在攝像機參數(shù)已知的情況下直接計算出三維目標(biāo)的尺寸及其世界坐標(biāo)位置，但是對于“路面交通”這樣的應(yīng)用環(huán)境，也是有所作為的，因為車輛都位于路面上，所以只考慮路面到攝像機像平面的映射即可。不妨假定Z=0，則像素坐標(biāo)m（x，y）與地面世界坐標(biāo)=［X，Y，1］T之間可以通過一個3×3的單應(yīng)性矩陣H聯(lián)系起來，如式（2）所示，這個關(guān)系是可以進行逆運算的。

對于車輛檢測應(yīng)用系統(tǒng)［20-21］，無論是雙攝像機系統(tǒng)還是單攝像機系統(tǒng)，都可以建立圖像像素坐標(biāo)到空間目標(biāo)坐標(biāo)之間的對應(yīng)計算關(guān)系，可以通過像素坐標(biāo)來計算空間坐標(biāo)。這樣，可以在攝像機參數(shù)已知的情況下實現(xiàn)：

（1）計算空間目標(biāo)的位置（X，Y，Z），從而確定車輛在世界坐標(biāo)中的真實位置；

（2）計算目標(biāo)的實際大小，從而為車輛類型的判別提供重要依據(jù)；

（3）通過車輛在攝像機視場中真實位置，可以根據(jù)車輛模型和攝像機參數(shù)生成用于車輛識別的車輛視圖；

（4）可以判斷車輛在真實世界中的運行方向和速度。

這其中最為關(guān)鍵的是對車輛位置的計算。兩者相比之下，雙目攝像機可以提供更為準(zhǔn)確的三維重建，它可以計算像素點的真實三維空間位置，X、Y、Z 3個坐標(biāo)值都可以計算出來，如圖1中的P2點。而單攝像機系統(tǒng)在目標(biāo)位置定位的過程中會造成較大的誤差。單目相機將像素點全部映射到地面上，而實際的車輛都有一定的高度，因此會帶來誤差，如圖 1中的點P1。

圖1 單攝像機重建位置誤差

3 基于已標(biāo)定像機的特定車輛識別

采用基于3D模型的方法對特定車輛進行識別，由于車輛在攝像機視場中處于不同的位置時，實拍車輛圖像會有很大不同，為了準(zhǔn)確生成對應(yīng)的模型圖像，需要對車輛的位置和方向角度進行檢測。同時，為了便于監(jiān)控場點之間的連續(xù)性跟蹤，需要建立基于GPS的全局坐標(biāo)系系統(tǒng)。

3.1 坐標(biāo)系統(tǒng)模型

為了不增加硬件成本，采用目前已經(jīng)在運行的單攝像機系統(tǒng)，如圖2所示。全網(wǎng)的攝像機采用統(tǒng)一模式的“局部世界坐標(biāo)”系統(tǒng)。即以正北方為Y軸，以正東方為X軸，線桿與地面的交點為原點，Z軸垂直于地面豎直向上，也就是坐標(biāo)系的XY平面建立在地平面上，從而確定了此攝像機局部世界坐標(biāo)（OwXYZ）。

圖2 單攝像機系統(tǒng)

同時，通過全球定位系統(tǒng)GPS測量出Ow的經(jīng)緯度坐標(biāo)以確定局部世界坐標(biāo)在世界坐標(biāo)中的位置Ow=（Xgps，Ygps，0）。因此，需要以下參數(shù)來描述攝像機：

其中，內(nèi)部參數(shù)intrinsic描述攝像機自身的屬性，外部參數(shù)extrinsic描述了該攝像機在局部世界坐標(biāo)中的位置和方向，而Ow確定了局部世界坐標(biāo)在全局世界坐標(biāo)中的位置。

預(yù)先對各個路口的攝像機進行標(biāo)定，獲取內(nèi)部參數(shù)和外部參數(shù)，并同時存儲在攝像機機身中和服務(wù)器的“攝像機參數(shù)”數(shù)據(jù)庫中。通過攝像機標(biāo)定算法，可以計算出該攝像機的內(nèi)部和外部參數(shù)。

3.2 系統(tǒng)工作原理

需要針對逃逸車輛建立3D模型，并計算其特征數(shù)據(jù)，然后通知所有攝像機按照特征數(shù)據(jù)檢查過往車輛，并實時報警。而創(chuàng)建一種車輛的視覺3D模型也不是一件很難的事情，因為這種模型只需要提供外觀特征，而不必關(guān)心車身內(nèi)部。車輛模型建立后可以存入模型庫以備下次直接調(diào)用。系統(tǒng)工作原理如圖3所示。

圖3 基于車輛模型和攝像機參數(shù)的車輛識別系統(tǒng)原理

從圖3可以看出，當(dāng)追逃任務(wù)下達后，服務(wù)器根據(jù)待查車輛的類型調(diào)出車輛3D模型，依據(jù)各個監(jiān)控場點的攝像機參數(shù)生成目標(biāo)車輛的多張參考圖像，并將它們發(fā)送給各個攝像機，攝像機依據(jù)這些圖像進行在線識別。因為圖像的數(shù)據(jù)量比較大，所以實際系統(tǒng)中也可以由服務(wù)器根據(jù)圖像計算出特征矢量，然后將特征矢量數(shù)據(jù)發(fā)送給攝像機，以便減小通信壓力?？捎幸韵?種實現(xiàn)策略。

（1）現(xiàn)場實時分析

將3D模型下發(fā)給各個攝像機的現(xiàn)場處理器，由現(xiàn)場處理器生成特定視圖及其特征矢量數(shù)據(jù)。這是最理想的方案，但是目前由于現(xiàn)場處理器計算能力和內(nèi)存容量的限制，這種方案難以實現(xiàn)。

（2）服務(wù)器實時分析

攝像機實時檢測車輛的距離和方位，然后要求實時生成特定視圖及其特征矢量數(shù)據(jù)，并發(fā)送給攝像機，這種模式對通信能力的要求過高。

（3）服務(wù)器預(yù)分析

服務(wù)器根據(jù)每個攝像機的參數(shù)預(yù)先生成可能的視圖及其特征矢量，然后下發(fā)給攝像機。服務(wù)器不可能把所有可能的視角圖像都預(yù)先生成，為此，將俯視角β和側(cè)視角α都劃分為9個子角度，這樣總共有81種視角，對每個視角生成視圖并計算其特征矢量，然后傳送給攝像機。

3.3 仿真結(jié)果分析

圖4是在進行攝像標(biāo)定的過程中由MATLAB輸出的標(biāo)定物重投影誤差分布圖，可以看出在通常精度情況下重投影誤差絕大多數(shù)在±0.4像素之內(nèi)。這說明，根據(jù)3D模型和攝像機參數(shù)生成的視圖與真實拍攝圖像之間會有很好的符合度，甚至可以在半像素精度之內(nèi)。實際上在圖像分析處理的過程中往往會帶來一定程度的誤差，需要通過一定的算法來盡可能減小這一誤差。

圖4 重投影誤差（單位為像素）

圖5是根據(jù)攝像對實拍圖像的檢測結(jié)果，然后根據(jù)檢測數(shù)據(jù)由人工輸入3D MAX產(chǎn)生的視圖，可以看出結(jié)果非常吻合。這種情況下，不但可以采用各種尺度和旋轉(zhuǎn)不變量來進行識別，也可以直接采用圖像匹配的方法，因為這時不必擔(dān)心模型圖像與實拍圖像在尺度、視角上的區(qū)別。

圖5 根據(jù)實拍車輛和小車模型生成視圖

4 結(jié)論

本文提出了基于已標(biāo)定攝像機的車輛識別系統(tǒng)，并結(jié)合特定車輛的3D外觀模型，規(guī)劃設(shè)計了逃逸車輛的在線識別方案。由于攝像機標(biāo)定后可以自動檢測車輛的真實大小和在世界坐標(biāo)中的真實運動方向，不但能夠更為準(zhǔn)確地進行車輛識別，而且為實現(xiàn)攝像機之間的聯(lián)合檢測和接力檢測提供了數(shù)據(jù)基礎(chǔ)。通過基于玩具車的模擬測試可以看出，依據(jù)攝像機參數(shù)和真實車輛圖像，能夠生成與真實圖像幾乎完全一致的車輛視圖。另外，從標(biāo)定過程中的重投影誤差分布圖可以看出，重投影誤差大部分在半像素精度之內(nèi)。因此只要能夠?qū)φ鎸崍D像中的車輛位置和方位角作出準(zhǔn)確的檢測，就可以依據(jù)模型創(chuàng)建合適的視圖，從而使得車輛的識別算法更為簡單和準(zhǔn)確。

［1］TOK Y C A.Commercial vehicle classification system using advanced inductive loop technology［D］.Irvine：University of California，2008.

［2］朱海濤.一種基于感應(yīng)線圈的車型識別系統(tǒng)［D］.成都：西南交通大學(xué)電氣工程學(xué)院，2003.

［3］徐威.基于紅外檢測和壓電傳感相結(jié)合的車型自動分類技術(shù)研究［D］.南京：南京理工大學(xué)電子工程與光電技術(shù)學(xué)院，2004.

［4］顧國華.車輛紅外自動識別技術(shù)與系統(tǒng)研究［D］.南京：南京理工大學(xué)電子工程與光電技術(shù)學(xué)院，2000.

［5］Tao Jinsong，Chen Shixiu，Yang Li，et al.Ultrasonic technique based on neural networks in vehicle modulation recognition［J］.Intelligent Transportation Systems，2004（42）：201-204.

［6］張小軍.智能交通系統(tǒng)中的車輛檢測和車型識別技術(shù)研究［D］.西安：西北大學(xué)，2006.

［7］Wei Zhan，Zhiqing Luo.System design of real time vehicle type recognition based on video for Windows（AVI）files［C］.Intelligent Computing and Information Science，Communications in Computer and Information Science，2011，135：681-686.

［8］HU M K.Visual pattern recognition by moment invariants［J］.IRE Transactions on Information Theory，1962（8）：179-187.

［9］KAZEMI F M，SAMADI S，POORREZA H R，et al.Vehicle recognition using curvelet transform and SVM［J］.Fourth International Conference on Information Technology，ITNG′07，2007：516-521.

［10］KAZEMI F M，SAMADI S，POORREZA H R，et al.Vehicle recognition based on Fourier，Wavelet and Curvelet transforms-a comparative study［J］.Fourth International Conference on Information Technology，ITNG′07，2007：939-940.

［11］Zhou Zhuyu，Deng Tianmin，Lv Xianyang.Study for vehicle recognition and classification based on gabor wavelets transform＆amp；HMM［C］.2011 International Conference on Consumer Electronics，Communications and Networks（CECNet），2011：5272-5275.

［12］楊雪.基于視覺感知的圖像顯著區(qū)域的提?。跩］.微型機與應(yīng)用，2015，34（2）：47-48，51.

［13］嚴明，李玉惠，李勃，等.高速公路監(jiān)控視頻中運動車輛對象提?。跩］.微型機與應(yīng)用，2014，33（2）：41-43.

［14］王年，任彬，黃勇，等.基于神經(jīng)網(wǎng)絡(luò)的汽車車型圖象自動識別［J］.中國圖象圖形學(xué)報，1999，4（8），668-672.

［15］LEE K H，HWANG J N，CHEN S I.Model-based vehicle localization based on three-dimensional constrained multiple-kernel tracking［J］.IEEE Transactions on Circuits and Systems for Video Technology，2015，25（1）：38-50.

［16］Wei Wu，Zhang Qisen，Wang Mingjun.A method of vehicle classification using models and nerual networks［J］.［17］Lou Jianguang，Tan Tieniu，Hu Weiming，et al.3-D model-based vehicle tracking［J］.IEEE Transactions on Image Processing，2005，14（10）：1561-1569.

［18］Xu Gang，Zhang Zhengyou.Epipolar geometry in stereo，motion and object recognition：a unified approach［M］.Kluwer Academic Publishers，1996.

［19］Zhang Zhengyou.A flexible new technique for camera calibration［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）：1330-1334.

［20］焦琴琴，牛力瑤，孫壯文，等.基于車輛聲音及震動信號相融合的車型識別［J］.微型機與應(yīng)用，2015，34（11）：79-82.

［21］陳龍威，孫旭飛.一種基于時間序列分層匹配的騎線車輛檢測方法［J］.微型機與應(yīng)用，2014，33（21）：88-91，94.

The vehicle identification system based on calibrated camera

Zhao Fei
（Electronic and Information Engineering，Shanghai University of Electric Power，Shanghai 200090，China）

The camera is not calibrated in the existing vehicle type monitoring system，so the image analysis can not get the real data on the scale and coordinates，which leads to a series of questions.In view of this，this paper put forward the vehicle identification system model and methods based on calibrated camera，combined with the 3D appearance of a specific vehicle model，planning escape vehicle line detection.After calibration，it can monitor the real size of the vehicle and the direction of real movement automatically in world coordinates，so that the vehicle will not only be able to detect more accurately，but also provides the data foundation for the realization of joint monitoring and detection of camera and between the relay.

specific vehicle；identification；calibration camera；3D mode

TP391

A

1674-7720（2015）24-0056-04

趙飛.基于已標(biāo)定攝像機的車輛識別系統(tǒng)［J］.微型機與應(yīng)用，2015，34（24）：56-59，62.

2015-08-31）

趙飛（1990-），通信作者，男，碩士，主要研究方向：基于標(biāo)定攝像機的特定車輛識別。E-mail：1185223790@qq.com。