袁 涵,湯 進(jìn),王文中
(安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,安徽 合肥 230601)
近年來(lái),在我國(guó)中型及以上貨車(包括微型貨車)改裝外形尺寸,如換車箱、加長(zhǎng)、加高貨箱尺寸,超過(guò)國(guó)標(biāo)規(guī)定的現(xiàn)象比較普遍。據(jù)統(tǒng)計(jì),車輛超限超載成為造成道路交通事故的主要原因之一,嚴(yán)重影響國(guó)家財(cái)產(chǎn)和人民生命安全[1]。因此,除了平時(shí)的交通檢查外,各地車輛管理所還要求各類車輛進(jìn)行年檢,其中重要的一項(xiàng)就是對(duì)車輛外形尺寸的測(cè)量檢查。目前,主要的測(cè)量方法是人工使用鋼卷尺、角度尺及標(biāo)桿等工具進(jìn)行測(cè)量,不僅人工成本高,效率低下,而且誤差較大。隨著計(jì)算機(jī)和圖像處理技術(shù)的發(fā)展,為了實(shí)現(xiàn)對(duì)車輛外形尺寸的非接觸自動(dòng)化測(cè)量,一些學(xué)者提出了基于機(jī)器視覺的測(cè)量方法[2-4]。然而,受到應(yīng)用環(huán)境限制,車管所等機(jī)動(dòng)車輛管理部門測(cè)量場(chǎng)地環(huán)境布置復(fù)雜,空間狹窄,對(duì)于一般的大型車輛來(lái)說(shuō),由于車身較長(zhǎng)而相機(jī)與被測(cè)車輛又太近,因而只能拍攝到車身的局部,不能一次將全部車身拍攝完全。因此,傳統(tǒng)的機(jī)器視覺方法在測(cè)量車身尺寸尤其是大型車輛車身長(zhǎng)度上不能很好地發(fā)揮效用。
針對(duì)以上問(wèn)題,本文提出一種基于圖像的大型車輛車身長(zhǎng)度測(cè)量方法,并應(yīng)用于實(shí)際車身長(zhǎng)度測(cè)量,現(xiàn)場(chǎng)的測(cè)量環(huán)境架設(shè)如圖1所示。具體的做法是,在測(cè)量場(chǎng)地側(cè)面架設(shè)兩臺(tái)固定的已標(biāo)定相機(jī),如圖1(a)所示。測(cè)量時(shí),讓被測(cè)車輛盡量勻速平行于相機(jī)所在側(cè)面向前駛進(jìn),直至駛出測(cè)量區(qū)域,與此同時(shí)控制兩臺(tái)相機(jī)同時(shí)對(duì)車輛進(jìn)行間歇性抓拍。通過(guò)雙目測(cè)距原理得出被測(cè)車輛與相機(jī)的距離,選取一臺(tái)相機(jī)拍攝的圖像序列進(jìn)行圖像拼接,得出車身側(cè)面全景圖,再根據(jù)車身在圖像上的像素長(zhǎng)度和車輛與相機(jī)的距離,結(jié)合標(biāo)定數(shù)據(jù)得出車身長(zhǎng)度的實(shí)際物理尺寸。
圖1 現(xiàn)場(chǎng)(側(cè)面)架設(shè)圖
拍攝過(guò)程結(jié)束后,選取其中一臺(tái)相機(jī)拍攝的圖像序列進(jìn)行拼接。首先對(duì)圖像序列中的每一幅圖像做區(qū)域分割,去除背景,提取被測(cè)車輛圖像,接著提取被測(cè)車輛的邊緣特征,通過(guò)邊緣特征匹配方法算出圖像序列中相鄰兩幅圖像的平移量,根據(jù)平移量即可知道它們之間的重疊區(qū)域,最后用一種簡(jiǎn)單的像素平均方法進(jìn)行圖像拼接得出車身側(cè)面全景圖。
本文采用單高斯背景模型對(duì)背景進(jìn)行建模。為了降低背景復(fù)雜度,提高背景模型的準(zhǔn)確性,將正對(duì)側(cè)面相機(jī)的背景墻涂成一種與常見車輛顏色相區(qū)別的顏色(本系統(tǒng)中使用紫色背景),如圖1(b)白色線框所示區(qū)域。單高斯背景建模的基本思想是,將圖像中每一個(gè)像素點(diǎn)的顏色值看成是一個(gè)隨機(jī)過(guò)程X,并假設(shè)該點(diǎn)的某一像素值出現(xiàn)的概率服從高斯分布[5]。在車輛檢測(cè)開始前,拍攝若干幅背景圖片。設(shè) I(x,y,t)表示像素點(diǎn)(x,y)在 t時(shí)刻的像素值,μt和σt為該像素的高斯分布期望值和標(biāo)準(zhǔn)差。取第一幅圖片作初始化:
通常,取std_init=20。再依次逐一選取剩下的背景圖片按下列公式對(duì) μt、σt進(jìn)行更新:
式中的α為一比例因子,在實(shí)際應(yīng)用中一般取值0.1。
對(duì)于測(cè)量過(guò)程中拍攝的圖像序列中的每一張,按下面的公式進(jìn)行車體初步提取:
式中的λ為閾值系數(shù),在實(shí)際應(yīng)用中一般取值2.0~2.5。由于光照等原因,車體周圍會(huì)產(chǎn)生陰影,在初步分割提取車身圖像時(shí),這些陰影往往被誤分為車身,對(duì)分割結(jié)果產(chǎn)生影響。對(duì)此,本文采用一種抗陰影的背景減除算法來(lái)消除陰影的影響,得到最終的車體圖像。設(shè)zb(u,v)表示背景模型中像素(u,v)的顏色均值向量,zr(u,v)表示經(jīng)過(guò)上一步初步分割提取的車輛圖像中像素(u,v)的顏色向量,f(u,v)表示上一步分割的結(jié)果:f(u,v)=1與f(u,v)=0表示像素(u,v)為車體或背景,使用如下的抗陰影背景減除算法來(lái)進(jìn)一步消除車身周圍的陰影,即計(jì)算s(u,v):
其中,‖v‖定義為向量v的模,·定義為向量的點(diǎn)積。本系統(tǒng)中τ的值取為0.95。
綜合考慮系統(tǒng)對(duì)拼接精確性及實(shí)時(shí)性的要求,本文采用圖像邊緣特征作為匹配的特征。由于Canny算子是一種優(yōu)化算子,具有抗噪性較強(qiáng)、定位準(zhǔn)的特點(diǎn)[6-7],因此,對(duì)上一步得出的分割后的車身圖像序列中的每一幅圖像做Canny邊緣檢測(cè),然后使用基于Chamfer距離的輪廓匹配方法[8-9]計(jì)算出當(dāng)圖像序列中相鄰兩幅圖像的邊緣特征,達(dá)到最佳匹配時(shí)它們的平移量:
式中,T={(xt,yt)}為模板圖像的 Canny邊緣點(diǎn)集示集合T的點(diǎn)數(shù)目標(biāo)圖像的Canny邊緣點(diǎn)集合,dT(xt+Δx,yt+Δy)為E的Chamfer距離變換公式。
根據(jù)平移量Δx和Δy即可計(jì)算出兩幅圖片的重疊區(qū)域。由于車身側(cè)面圖像拼接只要得到車身的長(zhǎng)度信息,并不要求圖像視覺美觀,考慮到系統(tǒng)的實(shí)時(shí)性要求,因此,本文使用簡(jiǎn)單的像素平均方法對(duì)拼接圖像序列進(jìn)行融合,如式(10)所示。
式中,R1表示第一幅圖像中去掉重疊部分其余區(qū)域的像素,R2表示兩幅待拼接圖像重疊區(qū)域?qū)?yīng)的像素,R3表示第二幅圖像去掉重疊部分其余區(qū)域的像素。車體側(cè)面圖像拼接結(jié)果如圖2所示。
圖2 車身側(cè)面圖像拼接
在車身側(cè)面圖像拼接完成后,即可獲取一對(duì)在同一水平線上的車頭、車尾點(diǎn)的坐標(biāo)(圖像坐標(biāo)),根據(jù)標(biāo)定得出的單應(yīng)矩陣將這兩點(diǎn)轉(zhuǎn)換為參考平面坐標(biāo)(物理坐標(biāo)),并得出這兩點(diǎn)在參考平面上的距離(物理距離)。由于參考平面與相機(jī)距離在標(biāo)定階段已經(jīng)得出,結(jié)合雙目測(cè)距測(cè)得的車身與相機(jī)距離,通過(guò)簡(jiǎn)單的比例關(guān)系即可得出車身的實(shí)際物理長(zhǎng)度。
雙目測(cè)距的原理如圖3[10]所示。設(shè)空間點(diǎn)P在左右攝像機(jī)成像的圖像點(diǎn)分別是xl、xr,視差d=xlxr,T是兩攝像機(jī)的光心距離,即基線距,f是兩攝像機(jī)的焦距,Z為點(diǎn)P到相機(jī)光心的距離。由簡(jiǎn)單的三角形相似原理,可知:
圖3 雙目測(cè)距原理
攝像機(jī)架設(shè)固定好后,本文首先采用張正友提出的標(biāo)定方法對(duì)攝像機(jī)進(jìn)行標(biāo)定[11],得出焦距f等攝像機(jī)參數(shù)。
當(dāng)測(cè)量過(guò)程中的拍攝結(jié)束后,從兩部相機(jī)的圖像序列中選取一組同一時(shí)刻拍攝的兩張車身圖像,完成特征匹配及視差計(jì)算。本文采用 Harris角點(diǎn)特征[12-16]作為雙目測(cè)距中圖像的匹配特征,并用RANSAC算法[17]完成特征匹配,如圖4所示。最后計(jì)算出視差d,便可根據(jù)公式(10)得到車身與相機(jī)的距離ZR。
圖4 基于Harris角點(diǎn)特征的圖像匹配
為了得到車身側(cè)面的真實(shí)物理尺寸,需要將車身側(cè)面的像素尺寸映射到真實(shí)的車身平面上。假設(shè)車身側(cè)面近似為一個(gè)平面,則這個(gè)映射就是相機(jī)成像平面與車身側(cè)平面之間的單應(yīng)變換(Homography)。由于不同車輛與相機(jī)的距離不確定,因此,不同車輛對(duì)應(yīng)的單應(yīng)矩陣是不同的,為了避免對(duì)每一輛被測(cè)車輛重新標(biāo)定這個(gè)單應(yīng)矩陣,事先標(biāo)定出成像平面與某個(gè)參考平面的單應(yīng)變換,然后利用車輛與相機(jī)的距離以及參考平面與相機(jī)的距離,將這個(gè)單應(yīng)變換轉(zhuǎn)換為成像平面與車輛側(cè)面之間的單應(yīng)變換。
在實(shí)際標(biāo)定中,將一塊棋盤格以盡量垂直于光軸的方式移動(dòng)到某一位置,將此時(shí)棋盤格所在的平面作為參考平面,測(cè)出棋盤格與相機(jī)的距離ZB。此時(shí),參考平面上的點(diǎn)M=[x,y,z]T與對(duì)應(yīng)的攝像機(jī)成像平面上的圖像點(diǎn)m=[u,v]T滿足以下關(guān)系:其中和分別為點(diǎn)M和點(diǎn)m的齊次坐標(biāo)。給定n(n>3)組對(duì)應(yīng)點(diǎn){Mi,mi,利用直接線性變換(Direct Linear Transformation)算法[18]計(jì)算出單應(yīng)矩陣HIB。
設(shè)mR是車身側(cè)面全景圖上車頭邊緣上一點(diǎn)(通常選取車頭邊緣的中點(diǎn))的圖像坐標(biāo),mL是與其對(duì)應(yīng)在同一水平線上的車尾邊緣上一點(diǎn)的圖像坐標(biāo),則mL、mR在參考平面上的對(duì)應(yīng)點(diǎn)的齊次坐標(biāo)為=是車身的實(shí)際長(zhǎng)度,車身在參考平面上的投影長(zhǎng)度為lB=‖MR-ML‖,如圖5所示。則根據(jù)簡(jiǎn)單的三角形相似原理,有:
其中,ZR是車身與相機(jī)的距離,ZB是標(biāo)定板與相機(jī)的距離。
圖5 車身長(zhǎng)度測(cè)量原理
實(shí)驗(yàn)采用主頻為Core i5-3.0 GHz、內(nèi)存為4 GB的計(jì)算機(jī)和普通工業(yè)抓拍相機(jī)。兩部側(cè)面相機(jī)的基線為50 cm,背景板與相機(jī)的距離為6 m,相機(jī)與車身側(cè)面的距離大約在3 m左右。部分測(cè)量數(shù)據(jù)如表1所示。
表1 測(cè)量結(jié)果及誤差
在測(cè)量范圍方面,由于采用了圖像拼接技術(shù),理論上可以對(duì)任何尺寸的車輛車長(zhǎng)進(jìn)行測(cè)量,實(shí)驗(yàn)中測(cè)量的最長(zhǎng)車身長(zhǎng)度為15.70 m,而傳統(tǒng)的視覺測(cè)量方法由于受到相機(jī)有效視場(chǎng)的限制,測(cè)量的最長(zhǎng)車身長(zhǎng)度為6.000 m[18];在測(cè)量精度方面,最大絕對(duì)誤差為39 mm,平均絕對(duì)誤差為24.29 mm,最大相對(duì)誤差為4.000%,平均相對(duì)誤差為2.035%,與傳統(tǒng)車長(zhǎng)測(cè)量方法相差不大;在測(cè)量耗時(shí)方面,系統(tǒng)平均耗時(shí)95.2 s,而一般傳統(tǒng)的人工測(cè)量車長(zhǎng)方法平均需要20多分鐘??傮w來(lái)說(shuō),基于圖像的大型車輛車身長(zhǎng)度測(cè)量方法在將測(cè)量值與實(shí)際值誤差控制在合理范圍內(nèi)的情況下,系統(tǒng)測(cè)量范圍廣、耗時(shí)較短,滿足了車身長(zhǎng)度測(cè)量的精確性、通用性、實(shí)時(shí)性要求,達(dá)到了測(cè)量目的。
本文提出一種基于圖像的大型車輛車身長(zhǎng)度測(cè)量方法,通過(guò)圖像拼接方法得出完整的車身側(cè)面圖像,結(jié)合雙目測(cè)距方法測(cè)得車身實(shí)際長(zhǎng)度。實(shí)驗(yàn)結(jié)果表明,這種方法具有自動(dòng)、快速、非接觸、誤差小、測(cè)量范圍廣的特點(diǎn),對(duì)在測(cè)量場(chǎng)地大小受限、測(cè)量環(huán)境復(fù)雜下的大型車輛車身長(zhǎng)度測(cè)量具有很好的理論意義和應(yīng)用價(jià)值。
[1]昌云宗,劉成江,崔同來(lái),等.公路超限運(yùn)輸?shù)默F(xiàn)狀及治理[J].山東交通科技,2004(3):94-95,97.
[2]卞小東.基于機(jī)器視覺的車輛幾何尺寸測(cè)量系統(tǒng)研究[J].南京:東南大學(xué),2005.
[3]蘇建,翟乃斌,劉玉梅,等.汽車整車尺寸機(jī)器視覺測(cè)量系統(tǒng)的研究[J].公路交通科技,2007,24(4):145-149.
[4]翟乃斌,蘇建,劉玉梅,等.基于計(jì)算機(jī)視覺的汽車整車尺寸測(cè)量系統(tǒng)[J].交通與計(jì)算機(jī),2006,24(3):22-26.
[5]RaySaint.背景建模算法(一)——顏色背景模型[EB/OL].http://underthehood.blog.51cto.com/2531780/484191/,2011-01-23.
[6]Canny John.A computational approach to edge detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1986,8(6):679-698.
[7]李婭婭,李志潔,鄭海旭,等.圖像邊緣檢測(cè)算法的比較與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與設(shè)計(jì),2010,31(9):1971-1975.
[8]Belongie S,Malik J,Puzicha J.Shape matching and object recognition using shape contexts[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(4):509-522.
[9]管偉光,馬頌德.統(tǒng)一化的快速距離變換[J].計(jì)算機(jī)學(xué)報(bào),1995,18(8):625-635.
[10]Bradski G,Kaehler A.Learning OpenCV[M].USA:O’Reilly Media,2008:436.
[11]Zhang Z.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Michine Intelligence,2000,22(11):1330-1334.
[12]Harris C G.Determination of ego-motion from matched points[C]//Proceedings of the 3rd Alvey Vision Conference.1987:189-192.
[13]Harris C,Stephens M.A combined corner and edge detector[C]//Proceedings of the 4th Alvey Vision Conference.1988:147-151.
[14]Rohr K.Localization properties of direct corner detectors[J].Journal of Mathematical Imaging and Vision,1994,4:139-150.
[15]Rosten E,Drummond T.Machine learning for high-speed corner detection[C]//Proceedings of the 9th European Conference on Computer Vision.2006:430-443.
[16]Noble JA.Finding corners[J].Image and Vision Computing,1988,6(2):121-128.
[17]Fischler M A,Bolles R C.Random sample consensus:A paradigm formodel fitting with applications to image analysis and automated cartography[J].Communications of the ACM,1981,24(6):381-395.
[18]Hartley R,Zisserman A.Multiple View Geometry in Computer Vision(2nd Ed.)[M].UK:Cambridge University Press,2000.