曹 毓，馮 瑩，魏立安，雷 兵，王彥輝

(國防科技大學(xué)光電科學(xué)與工程學(xué)院，長沙 410073)

相機拍攝到的圖像是世界坐標(biāo)系下的3維景物在2維像平面上的投影，該過程在數(shù)學(xué)上是一個透視映射過程，其逆過程稱為逆透視映射(Inverse Perspective Mapping，IPM)。IPM技術(shù)廣泛應(yīng)用于車輛自主駕駛、自動泊車、機器人導(dǎo)航及路面信息勘測等領(lǐng)域［1－15］。但是現(xiàn)有的IPM方法均假定相機姿態(tài)是恒定的。車輛行進中的顛簸難免使得相機姿態(tài)發(fā)生變化，由此導(dǎo)致現(xiàn)有方法在此情況下獲得的路面俯視圖存在著較大誤差。

本文針對相機動態(tài)條件下的IPM問題展開研究。介紹了使用姿態(tài)傳感器實時測量相機姿態(tài)的方法，利用相機姿態(tài)角數(shù)據(jù)計算出相機相對路面的逆透視映射關(guān)系矩陣，從而獲得了高精度路面俯視圖。室內(nèi)靜態(tài)實驗證明:在相機任意姿態(tài)下該方法均可獲得較高的IPM精度。隨后的動態(tài)實驗驗證了相機的姿態(tài)變化對圖像IPM結(jié)果的影響，并給出了路面圖像的拼接結(jié)果。本文提出的方法可在存在一定顛簸的路面上獲取高精度的大范圍路面圖像信息，可應(yīng)用于機場跑道的異物檢測及公路路面病害快速勘測等領(lǐng)域。

1 基于相機姿態(tài)實時測量的IPM算法

由攝像測量學(xué)基本原理［16］，可以建立世界坐標(biāo)系中一物點Q(Xw，Yw，Zw)坐標(biāo)與其像點q(u，v)像素坐標(biāo)的關(guān)系如下:

式中:u0，v0為圖像的中心點像素坐標(biāo)，ZC為歸一化系數(shù)，dx，dy分別為傳感器水平和垂直方向的像元物理尺寸，f為鏡頭焦距，ax=f/dx，ay=f/dy，0T=(0，0，0)為零矢量。矢量t給出了像機坐標(biāo)系與世界坐標(biāo)系原點間的相對位置關(guān)系，矩陣R給出了像機坐標(biāo)系與世界坐標(biāo)系坐標(biāo)軸間的姿態(tài)關(guān)系，稱為相機旋轉(zhuǎn)矩陣。MI稱為內(nèi)參數(shù)矩陣。MO稱為像機外部參數(shù)矩陣。M稱為投影矩陣。

相機一旦給定其內(nèi)參數(shù)矩陣MI便已確定。不妨將像機坐標(biāo)系與世界坐標(biāo)系原點重合，則外參數(shù)矩陣MO中只需考慮旋轉(zhuǎn)矩陣R的影響。本文采用的姿態(tài)傳感器坐標(biāo)軸定義如圖1所示，約定歐拉角旋轉(zhuǎn)次序為X－Y－Z。

圖1 姿態(tài)傳感器及其坐標(biāo)系約定

令世界坐標(biāo)系為XG，相機坐標(biāo)系為XS，有XG=RGSXS，則有:

其中:

其中的三個角φ，θ，ψ分別被定義為相機的橫滾角、俯仰角和航向角。

傳統(tǒng)的IPM方法均假設(shè)RGS是固定的，這樣做雖可以簡化算法，但是車輛行駛過程中相機姿態(tài)難免會發(fā)生變化，由此導(dǎo)致現(xiàn)有IPM算法此時出現(xiàn)較大誤差。為此，我們采用了姿態(tài)傳感器監(jiān)控相機姿態(tài)，實時解算出對應(yīng)時刻下的RGS矩陣并用于圖像的IPM變換中。

在獲得投影矩陣M后，可按下述步驟實施圖像的IPM變換:

(1)確定世界坐標(biāo)系下路面的待變換區(qū)域A并指定分辨率，將區(qū)域A按照分辨率劃分成若干正方形網(wǎng)格，如圖2所示。例如選擇路面上1 m×1 m的區(qū)域?qū)嵤㊣PM變換，指定分辨率為1 cm，則該區(qū)域被劃分為100×100的網(wǎng)格，在世界坐標(biāo)系下一個網(wǎng)格對應(yīng)的路面面積為1 cm2，而每個正方形網(wǎng)格對應(yīng)IPM變換后圖像中一個像素，IPM變換后圖像分辨率為100像素×100像素。

圖2 路面點與像平面點映射關(guān)系示意圖

(2)對世界坐標(biāo)系下每一個正方形網(wǎng)格的中心點坐標(biāo)P(Xw，Yw，－h(huán))，利用式(1)計算出對應(yīng)圖像坐標(biāo)系下的圖像坐標(biāo)p(u，v)。

(3)依據(jù)圖像坐標(biāo)值p(u，v)對IPM變換后的圖像逐像素賦予灰度值。獲取的圖像像素坐標(biāo)p(u，v)可能并非為整數(shù)，甚至可能為負(fù)值。對于坐標(biāo)計算結(jié)果超出圖像平面像素范圍的，說明對應(yīng)的路面網(wǎng)格不在相機視場內(nèi)，如圖2中的點Q所示，應(yīng)對IPM變換后的圖像中該網(wǎng)格點對應(yīng)位置賦予灰度值0，即黑色。對于圖像坐標(biāo)值計算結(jié)果為小數(shù)的，可采取臨近插值法或雙線性插值法獲得其灰度值。雙線性插值法精度稍高，但臨近插值法耗時更少，實際應(yīng)用中二者可權(quán)衡采用。

在實施以上三個步驟后即可得到路面俯視圖。

2 實驗驗證

2.1 靜態(tài)實驗驗證IPM精度

將相機和姿態(tài)傳感器固定在同一平臺并傾斜向下架設(shè)，如圖3所示。

圖3 實驗裝置圖

準(zhǔn)確測量出相機的架設(shè)高度、姿態(tài)角等參數(shù)。在地面鋪設(shè)邊長96 cm的點陣模板，對相機拍攝到的包含透視效果的模板圖像，根據(jù)姿態(tài)傳感器測得的相機姿態(tài)角，使用本文方法實施IPM變換;通過測量IPM變換后圖像中的模板變形量來定量驗證本文IPM方法的精度。實驗選用Point Grey公司的Flea2－14S3相機來獲取圖像，相機鏡頭視場角為69.4°×52.05°，焦距為4.8 mm。選用Xsens公司的MTI姿態(tài)參考系統(tǒng)來測量相機的姿態(tài)角，其靜態(tài)測角精度為0.3°。由于使用了廣角鏡頭，在實施IPM變換前，需要對圖像實施畸變校正。圖4給出了相機姿態(tài)角不同的兩組實驗的IPM前后圖像對比結(jié)果。圖像1和2為相機拍攝的原始圖像，3和4為對應(yīng)的IPM結(jié)果。選擇地面上2 m×2 m的逆透視映射范圍，分辨率設(shè)定為4 mm，因此IPM變換后的圖像分辨率為500像素×500像素，模板在圖像中的尺寸應(yīng)為240像素×240像素。

圖4 實施IPM變換前后的圖像對比

為定量檢驗?zāi)嫱敢曈成浣Y(jié)果的精度，我們利用National Instrument公司的視覺助手(Vision Assistant)軟件，分別測量了圖像3和4中正方形網(wǎng)格模板ABCD的四個邊長和四角的角度值，兩組實驗的詳細(xì)結(jié)果數(shù)據(jù)如表1所示。由旋轉(zhuǎn)矩陣RGS的表達式發(fā)現(xiàn)，相機航向角的變化只會影響IPM變換結(jié)果圖像的整體旋轉(zhuǎn)量。在圖像拼接應(yīng)用中，圖像的旋轉(zhuǎn)是可以很容易校正的，不會對最終拼圖結(jié)果造成影響，因此表中并未給出航向角的值。

表1 IPM變換后模板參數(shù)測量結(jié)果

表1中可見，在兩組實驗得到的映射圖像中，正方形ABCD的四個邊長與實際長度相比，最大誤差0.8%;模板四個角的角度最大誤差為0.5°。因此，在相機不同姿態(tài)的情況下，本文算法的IPM精度均較高。產(chǎn)生誤差的原因主要有三點:一是姿態(tài)傳感器本身有測角誤差;二是對相機高度等參數(shù)的測量有誤差;三是在圖像中人工量取方式獲得的模板尺寸數(shù)據(jù)引入了誤差。

2.2 動態(tài)實驗驗證圖像拼接效果

為進一步驗證本文IPM算法在實際應(yīng)用中的表現(xiàn)，選擇了一塊約20 m×80 m范圍的平坦場地進行實驗，為了模擬車輛顛簸的情況，人為的在路面設(shè)置了若干障礙物，如圖5所示。使用星網(wǎng)宇達公司的姿態(tài)測量系統(tǒng)(型號:ADU7600)實時監(jiān)測相機姿態(tài)變化，其動態(tài)測量精度為0.2°，坐標(biāo)系約定與MTI相同。為拍攝到大范圍的路面場景，相機架設(shè)高度3.6 m。圖6給出了傳感器聯(lián)合架設(shè)示意圖。圖中姿態(tài)測量系統(tǒng)水平放置，相機為了拍攝路面，相對于姿態(tài)測量系統(tǒng)有固定的35°俯角偏置。圖7為相機實驗中拍攝的其中一幅路面透視圖像。車輛靜止時，記錄下由姿態(tài)傳感器讀出的傳感器安裝平臺傾角為:俯仰0.45°，橫滾－1.31°。車輛行進時，相機以6幀/s的幀頻采集圖像，同時姿態(tài)傳感器實時同步記錄相機姿態(tài)數(shù)據(jù)，圖8給出了由姿態(tài)傳感器記錄到的傳感器平臺實時傾角變化曲線。從圖中發(fā)現(xiàn)，由于車輛顛簸的影響，俯仰角和橫滾角均經(jīng)歷了幅度約3°的波動。

圖5 實驗場景圖

圖6 傳感器聯(lián)合架設(shè)示意圖

圖7 相機拍攝的一幅路面圖像

圖8 傳感器平臺實時傾角變化曲線

首先不考慮相機姿態(tài)變化，使用車輛靜止時的相機初始姿態(tài)角對所有圖像實施了IPM變換。圖9為圖7經(jīng)未施加姿態(tài)校正的IPM變換后的結(jié)果。隨后，根據(jù)相機在獲得每幅圖像時由姿態(tài)傳感器同步獲取的相機姿態(tài)信息再次對圖像進行了IPM變換。為了準(zhǔn)確獲得相機拍攝時刻對應(yīng)的姿態(tài)信息，需要相機和姿態(tài)傳感器實現(xiàn)精確的同步。圖10為圖7經(jīng)施加姿態(tài)校正的IPM變換后的結(jié)果，從地面磚縫的平行度容易判斷，其IPM校正效果明顯好于圖9。

圖9 施加角度校正前的圖像IPM結(jié)果

圖10 施加角度校正后的圖像IPM結(jié)果

圖11給出了由未施加相機姿態(tài)校正的IPM變換后圖像拼接得到的實驗場地全局圖，圖像拼接使用Microsoft公司開發(fā)的現(xiàn)有成熟商業(yè)軟件Image Composite Editor(ICE)完成。從圖中可見，原本直線度良好的路面磚塊條紋出現(xiàn)了扭曲變形，這是由IPM變換誤差導(dǎo)致的。圖12給出了由施加了相機姿態(tài)校正的IPM變換后圖像拼接得到的實驗場地全局圖。從圖中可見，原本成直線的路面磚塊條紋信息得到了真實準(zhǔn)確的還原。

圖11 未考慮相機姿態(tài)變化的圖像拼接結(jié)果

圖12 考慮了相機姿態(tài)變化后的圖像拼接結(jié)果

3 結(jié)論

本文分析了一種應(yīng)用于路面圖像拼接的動態(tài)圖像IPM方法。實驗結(jié)果表明，在車輛出現(xiàn)顛簸的情況下，實施相機姿態(tài)校正后獲得的圖像IPM結(jié)果明顯優(yōu)于未施加姿態(tài)校正的IPM結(jié)果。由本文方法獲得的路面俯視圖拼接出的路面圖像準(zhǔn)確恢復(fù)出了實際的道路特征。該方法實施簡便，環(huán)境適應(yīng)性強，圖像拼接質(zhì)量高且失真小，可用于自主泊車、機場跑道異物檢測及公路路面病害勘測等領(lǐng)域。

［1］鄭榜貴，田炳香，段建民.基于Kalman預(yù)測及逆投影的車道識別技術(shù)［J］.計算機工程與設(shè)計，2009，30(6):1548－1554.

［2］袁啟平，宋金澤，吳濤.基于逆透視映射的圖像拼接方法［J］.微計算機信息，2010，26(7－3):208－210.

［3］Massimo Bertozzi，Alberto Broggi，GOLD:A Parallel Real-Time Stereo Vision System for Generic Obstacle and Lane Detection［J］.IEEE Transactions on Image Processing，1998，7(1):62－81.

［4］Massimo Bertozzi，Alberto Broggi，Alessandra Fascioli.Stereo Inverse Perspective Mapping:Theory and Applications［J］.Image and Vision Computing，1998，16:585－590.

［5］高德芝，鄭榜貴，段建民.基于逆透視變換的智能車輛定位技術(shù)［J］.計算機測量與控制，2009，17(9):1810－1812.

［6］付夢印，李博，王美玲.一種基于逆投影變換的智能車道路識別方法［J］.光學(xué)技術(shù)，2008，34(3):368－371.

［7］曹毓，馮瑩，楊云濤，等.基于滅點查找的姿態(tài)角測量方法在路面三維重建中的應(yīng)用［J］.傳感技術(shù)學(xué)報，2011，24(7):1081－1086.

［8］江澤民，楊毅，付夢印.基于平行線的室內(nèi)視覺導(dǎo)航［J］.機器人，2007，29(2):128－132.

［9］戴斌，裘偉.逆透視投影下車道偏離時間的在線估計［J］.計算機工程與應(yīng)用，2007，43(16):235－238.

［10］郭磊，徐友春，李克強，等.基于單目視覺的實時測距方法研究［J］.中國圖像圖形學(xué)報，2006，11(1):74－81.

［11］郭磊.基于定向二維插值的逆投影變換方法［J］.清華大學(xué)學(xué)報(自然科學(xué)版)，2006，46(5):712－715.

［12］Sovira Tan，Jason L.Dale，Andrew Anderson，et al.Inverse Perspective Mapping and Optic Flow:A Calibration Method and a Quantitative A-nalysis［J］.Image and Vision Computing，2006，(24):153－165.

［13］SHU Y，Tan A.Vision Based Lane Detection in Autonomous Vehicle［J］.Proceedings of the 5th world Congress on Intelligent Control and Automation.2004，Hangzhou，P.R.China.

［14］鄧劍文，安向京，賀漢根.基于道路結(jié)構(gòu)特征的自主車視覺導(dǎo)航［J］.吉林大學(xué)學(xué)報，2004，22(4):415－419.

［15］徐友春.基于機器視覺的汽車主動安全技術(shù)的研究［D］.北京:清華大學(xué)，2003.

［16］于起峰，尚洋.攝像測量學(xué)原理與應(yīng)用研究［M］.科學(xué)出版社，2009，25－34.