韓峻峰　王　帥

1(欽州學(xué)院物理與電子工程學(xué)院　廣西 欽州 535011)2(桂林電子科技大學(xué)電子工程與自動(dòng)化學(xué)院　廣西 桂林 541004)

?

基于雙目立體視覺技術(shù)的汽車測距系統(tǒng)實(shí)現(xiàn)

韓峻峰1王帥2

1(欽州學(xué)院物理與電子工程學(xué)院廣西 欽州 535011)2(桂林電子科技大學(xué)電子工程與自動(dòng)化學(xué)院廣西 桂林 541004)

汽車測距是汽車防撞系統(tǒng)的關(guān)鍵技術(shù)之一。在分析現(xiàn)有的汽車測距常用方法基礎(chǔ)上，針對(duì)常用測距方法設(shè)備龐雜、相互干擾嚴(yán)重等問題，對(duì)機(jī)器視覺在汽車測距方面的應(yīng)用進(jìn)行研究，提出一套基于雙目立體視覺技術(shù)的汽車測距方案。并使用OpenCV2.4.8在VS2012編譯環(huán)境下用C/C++編程實(shí)現(xiàn)驗(yàn)證其可行性，通過對(duì)攝像機(jī)標(biāo)定、立體校正、立體匹配等關(guān)鍵技術(shù)的研究，選用一種快速的立體匹配算法對(duì)目標(biāo)進(jìn)行測距。經(jīng)過實(shí)驗(yàn)驗(yàn)證，該系統(tǒng)可行性高、成本低，只需兩個(gè)普通CMOS攝像頭便可完成圖像采集工作，而且平臺(tái)搭建方便，測距算法容易實(shí)現(xiàn)，速度快、擴(kuò)展性好，在一定范圍內(nèi)的準(zhǔn)確度基本滿足應(yīng)用要求。

汽車防撞雙目立體視覺技術(shù)測距

0　引　言

汽車測距是智能汽車防撞系統(tǒng)[1]的主要關(guān)鍵技術(shù)之一。現(xiàn)有的汽車測距常用的有毫米波雷達(dá)測距、超聲波測距、激光測距、機(jī)器視覺測距等多種方法[2]。

毫米波雷達(dá)測距利用雷達(dá)發(fā)射電磁波，并由接收物體反射的回波獲得物體至電磁波發(fā)射點(diǎn)的距離等信息，具有長測量距離、高精度、多目標(biāo)檢測及受天氣和障礙物形狀影響小等優(yōu)點(diǎn)[3]。然而，使用此測距法不足之處是毫米波雷達(dá)成本高，不能有效分辨測量極弱反射或者不能發(fā)射電磁波的物體(如行人等)，且若有多輛車同時(shí)使用雷達(dá)測距，相互間干擾較嚴(yán)重。

超聲波測距的原理[4]是通過測量超聲波發(fā)射聲波與接收回波的時(shí)間差，經(jīng)計(jì)算后便可得到物體的實(shí)際距離。具有成本低，在一定范圍內(nèi)精度很高等優(yōu)點(diǎn)。然而由于其可測距離較短，受大氣影響較大，最佳距離為4～5米，最大測量距離不超過10米，遠(yuǎn)達(dá)不到所需要求，故常用于汽車倒車防撞系統(tǒng)上。

激光測距的原理和毫米波雷達(dá)的測距原理一樣，通過窄激光束對(duì)某一區(qū)域進(jìn)行掃描來實(shí)現(xiàn)距離的測量，具有測量距離遠(yuǎn)、速度快、準(zhǔn)確度高、抗干擾能力強(qiáng)、無盲區(qū)等優(yōu)點(diǎn)[5]，而隨著有關(guān)技術(shù)和器件的發(fā)展，激光測距的精度可達(dá)厘米甚至毫米級(jí)。然而由于系統(tǒng)對(duì)信號(hào)的處理相當(dāng)復(fù)雜，單成本高、易受外界環(huán)境影響等，成為了制約推廣激光測距技術(shù)應(yīng)用的重要因素。

機(jī)器視覺測距[6]是利用攝像機(jī)或者照相機(jī)實(shí)時(shí)拍攝被測目標(biāo)的圖像，通過計(jì)算機(jī)快速提取目標(biāo)圖像的特征信號(hào)，經(jīng)分析計(jì)算之后，得出被測目標(biāo)到拍攝點(diǎn)的距離。與以上方法相比，其最大的不同之處是被動(dòng)測距，即不需要向目標(biāo)物發(fā)射任何信號(hào)，只需拍攝下目標(biāo)物的圖像即可。因此可以大大節(jié)省硬件開發(fā)成本，只需在軟件算法上進(jìn)行研究優(yōu)化。而且由于其是被動(dòng)測距的工作方式，相互間不會(huì)干擾對(duì)方，對(duì)道路間多車輛安全行駛不會(huì)因信號(hào)混亂產(chǎn)生影響。另外，由于圖像所含信息包括目標(biāo)物及其他大量的附加信息(如各種交通指示等)，利用計(jì)算機(jī)識(shí)別出這些信息，將會(huì)極大地提高車輛的智能程度，這是以上任何方法所不能比擬的。目前，雙目立體視覺技術(shù)是機(jī)器視覺領(lǐng)域的一個(gè)重要分支，也是當(dāng)前研究工作開展最多，相對(duì)技術(shù)比較成熟的一種。其擬人眼的工作方式，可在不同條件下靈活測量不同景物的立體信息，在工程應(yīng)用中有著極高的研究價(jià)值。因此，在通過對(duì)雙目立體視覺測距原理及其關(guān)鍵技術(shù)的研究之后，使用OpenCV(計(jì)算機(jī)開源視覺庫)設(shè)計(jì)了一套基于雙目立體視覺技術(shù)的汽車測距系統(tǒng)，并用該系統(tǒng)實(shí)現(xiàn)了測距。

1　雙目立體視覺測距原理

雙目立體視覺測距技術(shù)模仿人類利用雙眼視差獲取場景深度的方法。利用兩臺(tái)平行放置但相距一段距離的拍攝裝置對(duì)同一目標(biāo)物進(jìn)行拍攝，由于其空間位置不同，所拍攝目標(biāo)物圖像必存在像差(即視差)，進(jìn)而通過一定方法可以從視差中確定深度距離信息。根據(jù)這一原理，通過在計(jì)算機(jī)上對(duì)采集到的左右圖像對(duì)預(yù)處理、立體校正、立體匹配，再結(jié)合攝像機(jī)的各項(xiàng)參數(shù)，使用三角測量的方法，便不難得到目標(biāo)物的深度距離信息[7]。

如圖1所示為簡化的雙目立體視覺平行成像俯視圖(左右攝像機(jī)嚴(yán)格平行放置)。IL、IR分別為左右攝像機(jī)像平面，PL、PR為空間點(diǎn)P到左右像平面的投影，T是兩攝像機(jī)光心OL到OR之間的平移距離，f為攝像機(jī)焦距，Z便是目標(biāo)點(diǎn)P的深度信息，即所求距離。由圖可得ΔPPMPL相似于ΔPPNOL，ΔPPMPR相似于ΔPPNOR。

圖1　雙目立體視覺平行成像俯視圖

根據(jù)相似三角形原理可得：

(1)

(2)

另PNOL=x，CLPL=l，PRCR=r，則代入式(1)、式(2)得：

(3)

(4)

兩式聯(lián)立得出深度距離公式如下：

(5)

其中，d=l-r，f已知，T已知，因此，若要求得Z的數(shù)值，只需獲得空間點(diǎn)P在左右像平面投影點(diǎn)之間的視差值。

2　雙目立體視覺汽車測距系統(tǒng)實(shí)現(xiàn)

雙目立體視覺汽車測距系統(tǒng)總體框圖如圖2所示，主要包括，圖像采集、攝像機(jī)標(biāo)定、雙目立體校正、立體匹配、數(shù)據(jù)輸出等。

圖2　雙目立體視覺汽車測距系統(tǒng)總體框圖

2.1圖像采集

系統(tǒng)圖像采集模塊使用的是兩個(gè)感光元件類型為CMOS的攝像頭，最大幀率可達(dá)60幀每秒，使用USB數(shù)據(jù)線與PC機(jī)進(jìn)行通信，如圖3所示為兩個(gè)平行放置的USB攝像頭。圖4為計(jì)算機(jī)實(shí)時(shí)顯示畫面。

圖3　雙目攝像頭實(shí)物圖

圖4　雙目攝像頭實(shí)時(shí)顯示畫面

2.2攝像機(jī)標(biāo)定

攝像機(jī)標(biāo)定是為了建立三維世界坐標(biāo)與二維圖像坐標(biāo)之間的對(duì)應(yīng)關(guān)系[8]，根據(jù)攝像機(jī)成像模型及相似三角形原理可得空間點(diǎn)P在攝像機(jī)下的成像關(guān)系如式(6)所示[9]：

(6)

其中：

式中，Zc為空間點(diǎn)P在攝像機(jī)坐標(biāo)系下光心到像平面投影點(diǎn)的距離，點(diǎn)p(u,v)為空間點(diǎn)P(Xw，Yw，Zw)在像平面的投影點(diǎn)坐標(biāo)，M為攝像機(jī)內(nèi)參數(shù)矩陣，f/dx、f/dy分別為攝像機(jī)在橫豎(x，y)方向的等效焦距，單位是像素，s為傾斜因子，u0、v0為圖像坐標(biāo)系(即像平面)下的主點(diǎn)坐標(biāo)，R為3階正交單位矩陣，t為平移向量。

圖5　攝像機(jī)標(biāo)定棋盤圖

為了求得攝像機(jī)矩陣的各個(gè)參數(shù)，這里采用基于張氏標(biāo)定法進(jìn)行攝像機(jī)標(biāo)定[10]，但與張氏標(biāo)定法不同的是同時(shí)考慮了攝像機(jī)的徑向畸變和切向畸變(張氏標(biāo)定法只考慮了徑向畸變)。設(shè)計(jì)常用的棋盤圖作為攝像機(jī)的參照物，即標(biāo)定板，每個(gè)棋盤格大小為28 mm×28 mm，角點(diǎn)數(shù)為8×6，如圖5所示。

從不同角度拍攝標(biāo)定板的多幅圖像，這里在OpenCV里面進(jìn)行圖像捕獲，移動(dòng)攝像機(jī)捕獲左右各9副不同角度的圖像，圖像大小為640×480，使用OpenCV里面的cvStereoCalibrate()函數(shù)進(jìn)行標(biāo)定，標(biāo)定結(jié)果如下(僅保留小數(shù)點(diǎn)后5位)：

攝像機(jī)外參數(shù)如下：

從旋轉(zhuǎn)矩陣R可以看出，R基本接近單位矩陣，說明兩攝像機(jī)基本處于平行狀態(tài)；而兩攝像機(jī)實(shí)際設(shè)置(尺測)距離為100 mm，這點(diǎn)從平移向量T的x向量為-99.99933 mm可以看出基本近似，誤差極小，符合雙目立體視覺測距系統(tǒng)的要求。

2.3立體校正

由于攝像機(jī)本身工藝原因及光學(xué)透鏡的特性使得成像多少存在一些畸變現(xiàn)象(如徑向畸變等)，這在一定程度上影響了匹配的準(zhǔn)確性。而另一方面，要對(duì)兩幅圖像上的對(duì)應(yīng)點(diǎn)進(jìn)行匹配，就要對(duì)目標(biāo)圖像上的二維空間進(jìn)行搜索，搜索范圍大，非常耗時(shí)。而立體校正的作用就是消除原圖像的畸變，使立體匹配更加準(zhǔn)確，同時(shí)讓兩幅圖像嚴(yán)格地行對(duì)準(zhǔn)，以便利用極線約束將匹配對(duì)應(yīng)點(diǎn)由二維搜索降為一維搜索，加快立體匹配速度。

具體方法是通過給定的旋轉(zhuǎn)矩陣R和平移向量T，利用Bouguet校正方法使左右圖像中的每一幅重投影次數(shù)最小化，從而也使得重投影畸變最小化，同時(shí)使疊加視圖的面積最大化。由于三維點(diǎn)可通過投影矩陣變換到投影平面上的二維點(diǎn)，同理，平面上的二維點(diǎn)也可通過重投影矩陣重投影為三維點(diǎn)，如式(7)所示[11]：

(7)

其中：

式中，Q為重投影矩陣，d為二維齊次點(diǎn)的關(guān)聯(lián)視差，重投影矩陣中，-Cx、-Cy和f均來自于左圖像的主點(diǎn)和焦距，Tx即右攝像頭相對(duì)左攝像頭的平移距離，Cx′為主點(diǎn)在右圖像上的x坐標(biāo)。另外，如果主光線在無窮遠(yuǎn)處相交，即Cx=Cx′，那么Q右下角的項(xiàng)為零。在OpenCV中可通過stereoRectify()函數(shù)實(shí)現(xiàn)以上校正功能，并獲得重投影矩陣，校正結(jié)果如圖6、圖7所示。

圖6　原圖像校正前

圖7　原圖像校正后

2.4立體匹配

立體匹配的目的是得到同一空間物體在不同視點(diǎn)下投影圖像中像素點(diǎn)間的一一對(duì)應(yīng)關(guān)系(即視差值)。其算法主要分為兩大類：基于局部約束的立體匹配算法和基于全局約束的立體匹配算法?；诰植考s束的立體匹配算法主要有區(qū)域匹配、特征匹配和相位匹配算法等[12,13]。通過對(duì)一些立體匹配算法的比對(duì)分析，這里采用區(qū)域匹配算法里的基于立體相關(guān)塊匹配的方法，使用匹配代價(jià)函數(shù)為絕對(duì)誤差累計(jì)(SAD)的方式來尋找兩幅立體校正圖像之間的匹配點(diǎn)[14]，SAD匹配代價(jià)函數(shù)如下：

(8)

其中IL為原圖(即左圖)中的像素塊，IR為目標(biāo)圖(即右圖)中的像素塊，d是要搜尋的深度，W為匹配窗口。通過OpenCV中的cvFindStereoCorr-espondenceBM()函數(shù)可以實(shí)現(xiàn)上述基于塊匹配的立體算法。

立體匹配的過程通過滑動(dòng)SAD窗口來完成，對(duì)于校正后嚴(yán)格行對(duì)準(zhǔn)的圖像，如果在左圖像的每個(gè)匹配特征點(diǎn)有足夠多的可檢測紋理，便可以通過搜索右圖像中的對(duì)應(yīng)行的最佳匹配來確定匹配位置。而若有足夠多的匹配點(diǎn)被找到，就能得到立體匹配后的視差圖。通過視差圖，可以很直觀地看出匹配效果，若匹配點(diǎn)稠密(即匹配點(diǎn)多)，視差圖與原圖相似度就越高，若匹配點(diǎn)比較稀疏(即匹配點(diǎn)較少)，則得到的視差圖與原圖的相似度就越低。圖8為原圖(左圖)，圖9為立體匹配后得出的視差圖。

圖8　原圖　　　　圖9　視差圖

可以看出，所得視差圖對(duì)強(qiáng)紋理作出了匹配，匹配點(diǎn)較稀疏，但基本可以分辨出人物及物體形狀，因此，只需要提取人物及物體的一個(gè)匹配點(diǎn)便可以計(jì)算目標(biāo)的深度距離。

3　實(shí)驗(yàn)結(jié)果及分析

基于塊匹配的BM算法匹配速度快，經(jīng)過實(shí)驗(yàn)驗(yàn)證，在每秒25幀的情況下獲取目標(biāo)物的視差圖，并無明顯卡頓現(xiàn)象，基本能達(dá)到實(shí)時(shí)要求，這也是該算法明顯優(yōu)于其他算法的地方。目標(biāo)物距離的計(jì)算采用式(5),但由于主光線通常會(huì)在有限距離內(nèi)相交，主點(diǎn)并不具備相同的坐標(biāo)，即Cx≠Cx′,因此求目標(biāo)物的距離公式修改如下所示：

(9)

具體數(shù)據(jù)從式(7)里的Q矩陣中獲取，使用鼠標(biāo)獲取一點(diǎn)的方式，從視差圖中獲取目標(biāo)物一點(diǎn)的視差值，代入到式(9)中求得目標(biāo)物的深度距離。

實(shí)驗(yàn)環(huán)境下，通過對(duì)目標(biāo)物的移動(dòng)來改變目標(biāo)物與攝像機(jī)的相對(duì)距離(也可以多目標(biāo)不同距離下進(jìn)行檢測)，以測得不同距離下的深度數(shù)據(jù)。實(shí)驗(yàn)結(jié)果如表1所示。

表1　實(shí)驗(yàn)結(jié)果

從表1可以看出，近距離測距結(jié)果精度很高，較遠(yuǎn)距離測距誤差小于5%，說明該算法能達(dá)到一定的精度。但也可以看出，較遠(yuǎn)距離測量誤差增大明顯，在距離6200 mm的距離上的誤差是在距離800 mm距離上的誤差的42倍還多。這主要是由于標(biāo)定產(chǎn)生的誤差和實(shí)際測量產(chǎn)生的誤差及其他因素的影響，如像素對(duì)于物體不同距離的收納以及立體匹配對(duì)強(qiáng)紋理的需求都能導(dǎo)致遠(yuǎn)距測量精度的下降。

4　結(jié)　語

通過對(duì)現(xiàn)有汽車測距方法的分析，提出使用雙目立體視覺技術(shù)進(jìn)行汽車測距。對(duì)雙目立體視覺技術(shù)測距原理及其關(guān)鍵技術(shù)研究之后，在計(jì)算機(jī)仿真平臺(tái)上使用OpenCV設(shè)計(jì)了一套基于雙目立體視覺技術(shù)的汽車測距系統(tǒng)，并對(duì)其進(jìn)行了測距驗(yàn)證。通過對(duì)測距結(jié)果的分析，充分驗(yàn)證了其在測距方面的可行性。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)成本低、設(shè)備簡單，只需兩個(gè)普通CMOS攝像頭便可完成圖像采集工作；而且平臺(tái)搭建方便，測距算法容易實(shí)現(xiàn)、速度快，在一定范圍內(nèi)有較好的測距精度，基本滿足了應(yīng)用要求，并為進(jìn)一步汽車測距的實(shí)際應(yīng)用打下了良好的基礎(chǔ)。

[1] 尹金楷,魏玉.汽車防撞系統(tǒng)的綜述[J].三門峽職業(yè)技術(shù)學(xué)院學(xué)報(bào),2013,12(3):117-119.

[2] 王中元.現(xiàn)代智能汽車在路測距技術(shù)研究[J].企業(yè)技術(shù)開發(fā),2008,27(6):15-17,50.

[3] 韓峻峰,張惠敏,潘盛輝,等.汽車防撞雷達(dá)概述[J].廣西工學(xué)院學(xué)報(bào),2011,22(4):54-58.

[4] 李戈,孟祥杰,王曉華,等.國內(nèi)超聲波測距研究應(yīng)用現(xiàn)狀[J].測繪科學(xué),2011,36(4):60-62.

[5] 閆赫.激光測距傳感器的原理分析及應(yīng)用[J].湘潭大學(xué)自然科學(xué)學(xué)報(bào),2013,35(4):101-104.

[6] 劉硯秋.機(jī)器視覺技術(shù)的發(fā)展動(dòng)態(tài)[J].電子元件與材料,2014,33(5):93-94.

[7] 劉盼,王金海.基于平行雙目立體視覺的測距系統(tǒng)[J].計(jì)算機(jī)應(yīng)用,2012,32(S2):162-164.

[8] 劉金頌,原思聰,張慶陽,等.雙目立體視覺中的攝像機(jī)標(biāo)定技術(shù)研究[J].計(jì)算機(jī)工程與應(yīng)用,2008,44(6):237-239.

[9] 謝莉,余勝.攝像機(jī)標(biāo)定算法研究[J].科技視界,2011(4):22-24.

[10] 岳曉峰,祁歡.基于張正友平面模板法的雙目立體視覺系統(tǒng)標(biāo)定[J].機(jī)械工程師,2014(2):1-3.

[11] 王浩,許志聞,謝坤,等.基于OpenCV的雙目測距系統(tǒng)[J].吉林大學(xué)學(xué)報(bào):信息科學(xué)版,2014,32(2):188-194.

[12] 于乃功,馬春燕,林佳.基于雙目視覺的關(guān)鍵點(diǎn)的檢測方法及定位研究[J].計(jì)算機(jī)測量與控制,2011,19(7):1565-1568.

[13] 白明,莊嚴(yán),王偉.雙目立體匹配算法的研究與進(jìn)展[J].控制與決策,2008,23(7):721-729.

[14] 翟振剛.立體匹配算法研究[D].北京理工大學(xué),2010.

IMPLEMENTING AUTOMOBILE RANGING SYSTEM BASED ON BINOCULAR STEREO-VISION TECHNOLOGY

Han Junfeng1Wang Shuai2

1(College of Physics and Electronic Engineering,Qinzhou University,Qinzhou 535011,Guangxi,China)2(CollegeofElectronicEngineeringandAutomation,GuilinUniversityofElectronicTechnology,Guilin541004,Guangxi,China)

Automobile ranging is one of the key technologies of automobile anti-collision system. Based on analysing current common methods of automobile ranging, and aiming at their problems of complex equipment and serious mutual interference, we studied the application of machine vision in automobile ranging area and put forward a set of automobile ranging schemes, they are based on binocular stereo vision technology. Moreover, we employed OpenCV2.4.8 configuration in VS2012 compiler environment and used C/C++ programming to verify its feasibility, through the research on camera calibration, stereo correcting, stereo matching and other key technologies, we chose a fast stereo matching algorithm to measure the distance of targets. Experiment verified that the system has high feasibility and low cost, it only needs two ordinary CMOS cameras to complete image acquisition, and the platform is convenient in building, the ranging algorithm is easy to implement with fast speed and good scalability as well, and the accuracy within a certain scope meets the application requirements basically.

Automobile anti-collisionBinocular stereo visionDistance measurement

2014-12-20。韓峻峰，教授，主研領(lǐng)域：智能傳感器，智能控制和智能信息處理。王帥，碩士生。

TP391.4

A

10.3969/j.issn.1000-386x.2016.09.054