許宇能朱西產(chǎn)馬志雄李霖

（同濟(jì)大學(xué)）

基于單目攝像頭的車輛前方道路三維重建

許宇能朱西產(chǎn)馬志雄李霖

（同濟(jì)大學(xué)）

通過構(gòu)建6自由度車載單目攝像頭測距模型，實現(xiàn)了攝像頭任意方位變換下車輛前方道路信息的三維重建。同時考慮攝像頭的5個畸變參數(shù)，可消除由于畸變引起的測距誤差。提出一種基于地平線位置的標(biāo)定方法，在非車載情況下完成了對攝像頭的標(biāo)定，給出了一種利用道路消失點計算道路坡度和車輛偏航角的方法。試驗結(jié)果表明，所提測距模型和標(biāo)定方法具有良好的精度和可操作性。

1 前言

基于單目攝像頭的前方車輛三維位置估算被廣泛應(yīng)用于駕駛輔助系統(tǒng)開發(fā)中。2003年Mobileye提出一種基于單目攝像頭的ACC算法，介紹了單目測距的基本原理[1]，并著重討論了圖像幾何參數(shù)對測距和測速精度的影響。2005年Daniel Ponsa研究了地平線位置與車輛實際寬度間的耦合關(guān)系[2]，降低了前方車輛三維位置預(yù)估的不確定性，給出了無畸變情況下攝像頭坐標(biāo)系與世界坐標(biāo)系之間的關(guān)系。2006年郭磊等人采用幾何關(guān)系推導(dǎo)法得到路面坐標(biāo)系和圖像坐標(biāo)系之間的關(guān)系[3]，模型中考慮車輛俯仰角，但不考慮畸變。2010年Jianzhu Cui在FCW算法的研究中利用消失點（vanish point）對攝像頭進(jìn)行標(biāo)定[4]，利用交比不變性計算本車與前車間的距離，但未考慮車輛俯仰運(yùn)動對測距的影響。

本文在標(biāo)定法[5]基礎(chǔ)上，構(gòu)建了一個考慮攝像頭畸變和車輛俯仰運(yùn)動等參數(shù)的測距模型，消除了攝像頭畸變和車輛俯仰運(yùn)動等對測距的影響；提出一種基于地平線位置的標(biāo)定方法，使標(biāo)定過程更具靈活性和簡便性；給出了一種利用道路消失點計算道路坡度和車輛偏航角的方法。最后，利用試驗對測距模型進(jìn)行了驗證。

2 測距模型的建立與標(biāo)定

2.1 理想針孔模型和畸變針孔模型

圖1是理想針孔模型示意圖，攝像頭坐標(biāo)系XcYcZc和世界坐標(biāo)系（即車輛坐標(biāo)系）XwYwZw都服從右手坐標(biāo)系定則。

世界坐標(biāo)系下P點坐標(biāo)[Xw，Yw，Zw]通過下列理想針孔模型計算，可得到像平面投影P點坐標(biāo)[xp，yp]：

式中，R、T分別為旋轉(zhuǎn)矩陣和平移向量。

世界坐標(biāo)系下點[Xw，Yw，Zw，1]′經(jīng)過R、T變換后，得到攝像頭坐標(biāo)系下坐標(biāo)[Xc，Yc，Zc]′，[Xc，Yc，Zc]′經(jīng)過尺度系數(shù)s[6]和內(nèi)參數(shù)矩陣KK的投影變換后，得到像平面坐標(biāo)系下的點坐標(biāo)[xp，yp，1]′。然而，現(xiàn)實中攝像頭并不是理想針孔模型，常帶有不同程度的畸變，對于遠(yuǎn)離圖像中心的區(qū)域，測距誤差很大，如圖2所示。

為此，對式（1）進(jìn)行下面的替換，得到考慮畸變的像平面上投影點坐標(biāo)[xp_d，yp_d，1]′：

由式（2）～式（8）可知，為了確定畸變后像平面中投影點位置，需要知道的參數(shù)有攝像頭內(nèi)參數(shù)矩陣KK、畸變參數(shù)kc（1）～kc（5）和外參數(shù)矩陣R、T。其中，KK和kc（1）～kc（5）是固有屬性，不隨攝像頭位置變化而變化，因此，本文使用文獻(xiàn)[7]中的標(biāo)定工具箱對KK和kc（1）～kc（5）進(jìn)行標(biāo)定。而外參數(shù)會隨攝像頭位置的變化而變化，假設(shè)攝像頭如圖3所示水平安裝，則外參數(shù)為[ψ，φ，θ]=[-pi/2，0，0]，T= [0，camera_H，0]′，攝像頭安裝離地高度camera_H由實際測出。

2.2 6自由度變換測距模型

若圖像車輛接地點位置已知，可通過上述畸變針孔模型求解出世界坐標(biāo)系下相應(yīng)坐標(biāo)，此時有唯一解的前提是點位于地平面上，即世界坐標(biāo)為[Xw，Yw，0]′。但是，車輛在行駛過程中會產(chǎn)生俯仰、側(cè)傾等運(yùn)動，攝像頭外參數(shù)會受到影響，為此，在畸變模型基礎(chǔ)上對式（5）進(jìn)行下面的替換，式（2）～式（4）和式（6）～式（8）保持不變，得到考慮畸變和車輛運(yùn)動補(bǔ)償后的像平面上投影點坐標(biāo)[xp_d，yp_d，1]′：

由式（9）可知，需要知道的2個附加變量是ΔR、ΔT。對于單目攝像頭測距，車輛俯仰對測距影響最大，其它5個自由度對測距的影響較小，可以選擇忽略，因此設(shè)[Δψ、Δφ、Δθ]=[Δψ、0、0]，ΔT=[0、0、0]′，Δψ為車輛實時俯仰角，可以從車輛傳感器或通過車輛自運(yùn)動參數(shù)估計獲得[8]。

2.3 基于地平線位置的標(biāo)定

若攝像頭并非如圖1所示水平安裝，而是在俯仰方向存在一定安裝夾角，圖像中實際地平線位置會偏離標(biāo)定所得的圖像中心點位置，可以通過式（11）計算得到該俯仰角的安裝角度：

式中，fy為像平面y方向的焦距；其它變量含義如圖4所示。

3 道路坡度和車輛偏航角計算

假設(shè)車輛在直道上平穩(wěn)行駛，不產(chǎn)生俯仰運(yùn)動，圖4中實際地平線位置與標(biāo)定所得圖像中心點位置的y向偏移量由道路坡度引起，式（11）的計算值即為道路坡度；而x向偏移量由車輛偏航角引起，可以通過式（12）計算車輛偏航角。

式中，fx為像平面x方向的焦距。

4 模型驗證及參數(shù)靈敏度分析

4.1 測距模型驗證

在車輛前方繪制用于驗證的單位坐標(biāo)點，如圖5a中的黑色網(wǎng)格點表示實際地平面上尺寸為2 m×2 m的單位坐標(biāo)點，是實際投影位置。通過所建立的6自由度變換測距模型，將世界坐標(biāo)系下的單位坐標(biāo)點投影到圖像中，如圖5a中的白色網(wǎng)格點表示世界坐標(biāo)系下Zw=0地平面上尺寸為0.5 m×0.5 m的單位坐標(biāo)點，是計算投影位置。

然后，調(diào)整6自由度測距模型中的Δψ參數(shù)，使白色網(wǎng)格地平線與實際地平線位置重合，完成攝像頭安裝俯仰角的標(biāo)定。隨機(jī)選取黑色網(wǎng)格點的一行一列作為驗證試驗中的測距坐標(biāo)點，在這些坐標(biāo)點位置處測量距離與實際距離的結(jié)果如表1所列。由表1可知，在消除攝像頭畸變后，縱向和側(cè)向的測距誤差在5%以內(nèi)。

表1 測距模型的測量距離與實際距離對比

4.2 道路坡度計算驗證

本文使用10幅標(biāo)定橫盤如圖6所示。通過標(biāo)定法[7]得到的外參數(shù)ψ作為棋盤實際坡度值，式（11）方法得到的坡度值作為棋盤計算坡度值，結(jié)果如表2所列。

從表2數(shù)據(jù)可知，除了第1、2個視角由于本身實際角度值很小而造成的誤差百分比較大外，第3～10個視角的計算坡度與實際坡度誤差在10%以內(nèi)。

4.3 真實交通場景前方道路三維重建

將測距模型應(yīng)用于真實交通場景的測距中，由于縱向和側(cè)向距離在真實交通場景中沒有已知的參照標(biāo)準(zhǔn)，本文通過對不同位置處不同類型的車輛進(jìn)行幾何尺寸測量，間接對測距模型進(jìn)行驗證。

模型中測量的車輛三維尺寸有車輛的距離、寬度和高度。車輛距離按照文中所提測距模型測出，寬度通過計算車輛尾部矩形底部兩角點側(cè)向距離之差得到，高度則通過式（14）求出。

表210 幅標(biāo)定圖像的實際坡度值與計算坡度值對比

式中，D為本車與前車的縱向距離；h為車輛在像平面的像素高度；fy為像平面y方向的焦距。

測量得到的車輛三維尺寸結(jié)果如圖7所示，圖中轎車的實際尺寸(寬度×高度)約為1.71 m×1.47 m，卡車的實際尺寸約為2.47 m×2.58 m，測量尺寸與實際尺寸的誤差在10%以內(nèi)。

4.4 參數(shù)靈敏度分析

由于在車輛行駛過程中攝像頭俯仰角、側(cè)傾角和高度3個參數(shù)容易產(chǎn)生變化，本文統(tǒng)計了這3個參數(shù)對車前縱向距離約30 m和側(cè)向距離約2 m位置處的測距影響。統(tǒng)計結(jié)果如表3所示，由表3可知，俯仰角每變化0.1°，縱向距離變化1.2～2.5 m，側(cè)向距離變化0.08～0.17 m；側(cè)傾角每變化1°，縱向距離變化0.48～0.76 m，側(cè)向距離變化0.05～0.07 m；高度每變化50 mm，縱向距離變化約1.1 m，側(cè)向距離變化約0.08 m。

綜上所述，攝像頭俯仰角、側(cè)傾角和高度3個參數(shù)對側(cè)向測距的影響較小，可以忽略；而對于縱向距離，俯仰角的影響最大，高度次之，最后是側(cè)傾角。在轎車行駛過程中，攝像頭側(cè)傾角和高度變化相對較小，而俯仰角可達(dá)±2°，說明俯仰角是影響縱向測距的主要因素。

表3 俯仰角、側(cè)傾角、高度對測距的靈敏度分析

5 結(jié)束語

通過建立一個6自由度的攝像頭測距模型，實現(xiàn)了攝像頭任意方位變換下前方道路的三維重建。該模型通過網(wǎng)格化形式顯示道路坐標(biāo)點，使道路平面的縱向尺寸、側(cè)向尺寸和畸變情況直觀顯示。

在測距模型中考慮了攝像頭畸變和車輛俯仰角，使測距精度得到提高。對測距結(jié)果試驗驗證結(jié)果表明，當(dāng)攝像頭高度為80mm時，像素誤差在1.2%以內(nèi)；當(dāng)攝像頭高度為1.3m時，測距誤差在5%以內(nèi)。

將文中所提出的模型用于真實交通場景中進(jìn)行車前道路的三維重建，測量不同位置處不同類型車輛的高度、寬度以及與本車間的距離，測量結(jié)果表明，測量的車輛高度和寬度值與實際車輛高度和寬度值誤差在10%以內(nèi)。

對基于地平線計算車輛俯仰角的方法進(jìn)行推廣，給出了利用道路消失點計算道路坡度和車輛偏航角的方法。

1Stein G P，Mano O，Shashua A.Vision-based ACC with a single camera:bounds on range and range rate accuracy: Intelligent Vehicles Symposium，2003.Proceedings.IEEE，2003.

2Ponsa D，Lopez A，Lumbreras F，et al.3D vehicle sensor basedonmonocularvision:IntelligentTransportation Systems，2005.Proceedings.2005 IEEE，2005.

3郭磊，徐友春，李克強(qiáng)，等.基于單目視覺的實時測距方法研究.中國圖象圖形學(xué)報，2006，11（1）:74～81.

4Jianzhu C，F(xiàn)uqiang L，Zhipeng L，et al.Vehicle localisation using a single camera:Intelligent Vehicles Symposium(IV)， 2010 IEEE，2010.

5ZhengyouZ.Aflexiblenewtechniqueforcamera calibration.Pattern Analysis andMachineIntelligence，IEEE Transactions on，2000，22（11）:1330～1334.

6于仕琪，劉瑞禎等譯.學(xué)習(xí)OpenCV.北京：清華大學(xué)出版社，2010：353，421，437.

7Bouguet J.（2004，October）Camera calibration toolbox for matlab.MRL-Intel Corp.vailable:http://www.vision. caltech.edu/bouguetj/calib_doc/.

8Stein G P，Mano O，Shashua A.A robust method for computingvehicleego-motion:IntelligentVehicles Symposium，2000.IV 2000.Proceedings of the IEEE，2000.

（責(zé)任編輯簾青）

修改稿收到日期為2013年12月1日。

Three-dimensional Reconstruction of the Road Ahead of Vehicle Based on Mono-vision

Xu Yuneng，Zhu Xichan，Ma Zhixiong，Li Lin
（Tongji University）

A 6-DOF mono-vision based camera ranging model is constructed to achieve the three-dimensional reconstruction of the road ahead of vehicle under arbitrary transformation of the camera.Meanwhile，five distortion parameters of the camera are taken into account to eliminate the ranging error caused by distortion.Then，in order to calibrate the off-board camera，a calibration method based on the location of horizon is proposed，and a method for calculating the road gradient and vehicle yaw angle through the location of road vanishing point is proposed.Experimental results indicate that the ranging model and calibration method are of good accuracy and operability.

Advanced drive assist system,Mono-vision,Ranging,Calibration,Threedimensional reconstruction

先進(jìn)駕駛輔助系統(tǒng)單目視覺測距標(biāo)定三維重建

U461.5+1

：A文獻(xiàn)標(biāo)識碼：1000-3703（2014）02-0048-05