黃玉強(qiáng)，葉磊

（武漢理工大學(xué)現(xiàn)代汽車零部件技術(shù)湖北省重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430070）

基于雙目視覺的目標(biāo)測距

黃玉強(qiáng)，葉磊

（武漢理工大學(xué)現(xiàn)代汽車零部件技術(shù)湖北省重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430070）

隨著計(jì)算機(jī)技術(shù)的發(fā)展，無人駕駛技術(shù)的研究也受到了越來越多的關(guān)注，環(huán)境感知技術(shù)在其中占據(jù)著重要的地位，雙目立體視覺技術(shù)以其特有的優(yōu)勢成為了環(huán)境感知技術(shù)中的主要內(nèi)容。在研究了雙目立體視覺標(biāo)定、校正、匹配等技術(shù)的基礎(chǔ)上，文章設(shè)計(jì)了基于MATLAB與OpenCV相結(jié)合的雙目立體視覺測距系統(tǒng)。利用MATLAB calibration toolbox進(jìn)行標(biāo)定試驗(yàn)，并且將標(biāo)定結(jié)果導(dǎo)入至OpenCV中進(jìn)行后續(xù)校正、匹配、距離恢復(fù)工作以求出目標(biāo)的三維深度信息。實(shí)驗(yàn)表明，該系統(tǒng)在一定的距離范圍內(nèi)能夠達(dá)到高精度要求。

雙目立體視覺；標(biāo)定；校正；匹配；測距

CLC NO.:TP39/TN911.73Document Code:AArticle ID:1671-7988 (2017)02-148-04

引言

無人駕駛技術(shù)隨著環(huán)境感知技術(shù)的發(fā)展而發(fā)展，對周圍環(huán)境信息的正確感知是無人駕駛汽車安全行駛的前提。目前環(huán)境感知技術(shù)主要有五種：雷達(dá)感知、紅外線感知、超聲波感知、融合感知、機(jī)器視覺感知。雷達(dá)感知不需復(fù)雜的設(shè)計(jì)與計(jì)算，系統(tǒng)的使用不受天氣、光線等因素干擾，但卻受相近的不同雷達(dá)間的電磁波的干擾；紅外線感知環(huán)境適應(yīng)性好，反應(yīng)速度快，探測范圍更廣，但是探測視角小，測量精度也有待提高；超聲波感知能夠快速簡單的處理數(shù)據(jù)，且超聲波傳感器也比較耐臟污，但是其精度較低，成本也較高；融合感知是基于單一傳感器難以全面描述路況環(huán)境，而綜合利用多個(gè)傳感器來正確感知車輛周圍的路況環(huán)境，但缺點(diǎn)是數(shù)據(jù)處理較為復(fù)雜并且設(shè)備成本高；機(jī)器視覺感知容易受到環(huán)境的影響,但是其監(jiān)測范圍更大，能夠更為全面的收集道路信息，并且設(shè)備成本較低，普及率也更高。

基于雙目立體視覺的環(huán)境感知是今后機(jī)器視覺環(huán)境感知的一個(gè)重要發(fā)展方向，現(xiàn)如今其廣泛應(yīng)用在航空航天、工業(yè)檢測、物體識別等領(lǐng)域。雙目立體視覺技術(shù)即模擬人類雙眼處理景物的方式，運(yùn)用攝像機(jī)從不同位置對同一目標(biāo)物體取像，實(shí)現(xiàn)對景物立體信息的感知[1]。本文基于Zhang的相機(jī)相機(jī)標(biāo)定方法，在雙目平行視覺基礎(chǔ)上，鑒于雙目標(biāo)定結(jié)果很容易受到外部因素的影響[2-4]，控制特征點(diǎn)數(shù)量、標(biāo)定圖片數(shù)量和棋盤格尺寸三個(gè)影響因子，之后用MATLAB calibration toolbox進(jìn)行標(biāo)定試驗(yàn)，并且處理標(biāo)定結(jié)果以求出目標(biāo)的深度信息[5-6]。

1、雙目立體視覺測距原理

雙目立體視覺測距主要是基于三角法原理，本文基于雙目平行視覺，如下圖1所示，物體上的某點(diǎn)P在攝像機(jī)1和攝像機(jī)2上的成像點(diǎn)分別為點(diǎn)P1和P2，圖像上成像點(diǎn)P1和P2相對于坐標(biāo)原點(diǎn)O1和O2（O1和O2是左、右相機(jī)透鏡光軸與圖像平面的交點(diǎn)）的距離分別為x1和x2，P點(diǎn)在左、右圖像平面上成像點(diǎn)的位置差（x1-x2）被稱之為視差，由三角形相似原理，有：

圖1 雙目立體視覺測量原理

2、雙目標(biāo)定

2.1 雙目標(biāo)定模型

圖2 雙目視覺攝像機(jī)模型

在雙目視覺中，雙目標(biāo)定實(shí)際上解決的就是二維圖像中像素點(diǎn)的位置與三維場景中的點(diǎn)的位置的投影關(guān)系的問題，而這種投影關(guān)系又可以用攝像機(jī)模型中的四個(gè)坐標(biāo)系之間的轉(zhuǎn)換關(guān)系來表述，這四個(gè)坐標(biāo)系分別為圖像坐標(biāo)系、成像平面坐標(biāo)系、攝像機(jī)坐標(biāo)系和世界坐標(biāo)系[7-9]。如下圖圖2所示。

圖像坐標(biāo)系和成像平面坐標(biāo)系之間的轉(zhuǎn)換關(guān)系如下：

其中，（u,v）是以像素為單位的圖像坐標(biāo)系的坐標(biāo)，（x,y）是以毫米為物理單位的成像平面坐標(biāo)系的坐標(biāo)。世界坐標(biāo)系與攝像機(jī)坐標(biāo)系的剛性變換如下所示：

其中，（Xc,Yc,Zc,1）是點(diǎn)P在攝像機(jī)坐標(biāo)系下的坐標(biāo)，（Xw,Yw,Zw,1）是點(diǎn)P在世界坐標(biāo)系下的坐標(biāo)，由上得知，攝像機(jī)坐標(biāo)系和世界坐標(biāo)系之間的關(guān)系可以用一個(gè)矩陣M2來表示，利用針孔模型可以表征攝像機(jī)坐標(biāo)系和成像平面坐標(biāo)系之間的變換關(guān)系：

用齊次坐標(biāo)和矩陣表示上式：

將式（2）、（3）帶入（5），可以得到以世界坐標(biāo)系表示的P點(diǎn)坐標(biāo)與其投影點(diǎn)P的坐標(biāo)（u,v）間的關(guān)系為：

上式即是表征了二維圖像坐標(biāo)和三維世界坐標(biāo)之間的基本關(guān)系，其中，M1、M2分別是攝像機(jī)內(nèi)外參數(shù)矩陣，確定M1、M2的過程即是攝像機(jī)的標(biāo)定。

2.2 攝像機(jī)標(biāo)定

現(xiàn)有的攝像機(jī)標(biāo)定方法總體上分為3大類：傳統(tǒng)標(biāo)定方法、自標(biāo)定方法和基于主動視覺的標(biāo)定方法。前二者的主要區(qū)別在于傳統(tǒng)標(biāo)定法一般需要使用標(biāo)定物而自定標(biāo)法無需標(biāo)定物；傳統(tǒng)方法和理論相對較成熟，而自標(biāo)定應(yīng)用廣泛，但精度不高[10]。攝像機(jī)的自標(biāo)定法不需要標(biāo)定物，僅僅依靠多副圖像對應(yīng)點(diǎn)之間的關(guān)系直接進(jìn)行標(biāo)定，主要適用于精度不高的場合；傳統(tǒng)的攝像機(jī)標(biāo)定法需要已知尺寸的標(biāo)定物，通過建立起標(biāo)定物上已知的三維坐標(biāo)點(diǎn)與已知的圖像點(diǎn)之間的一個(gè)對應(yīng)關(guān)系來獲取標(biāo)定結(jié)果，該標(biāo)定方法可以獲得較高的標(biāo)定精度，但不適應(yīng)于不可能使用標(biāo)定物的場合?；谥鲃右曈X的標(biāo)定方法需要控制攝像機(jī)以給定方式運(yùn)動來求解模型參數(shù)，計(jì)算簡單，魯棒性較高，缺點(diǎn)是需要使用高精度移動平臺[7]。當(dāng)應(yīng)用場合要求的精度很高而且攝像機(jī)的參數(shù)不經(jīng)常變化時(shí)，傳統(tǒng)的標(biāo)定法應(yīng)為首選。

Weng等人根據(jù)標(biāo)定參數(shù)的求取方法又將傳統(tǒng)的標(biāo)定法分為如下三類：非線性優(yōu)化法、線性法、兩步法。兩步法是在基于非線性優(yōu)化法和線性法的不足，同時(shí)又將這兩種方法相結(jié)合的基礎(chǔ)上發(fā)展起來的，其中以Tsai, Zhang提出的攝像機(jī)標(biāo)定法為代表，得到了廣泛的應(yīng)用。本文以基于Zhang相機(jī)標(biāo)定方法為基礎(chǔ)，基于雙目平行視覺，較之基于OpenCV的標(biāo)定方法有較高的精度和較強(qiáng)的魯棒性，故用matlab calibration toolbox進(jìn)行標(biāo)定試驗(yàn)。實(shí)驗(yàn)設(shè)置為采用12×11規(guī)格的標(biāo)定棋盤，標(biāo)定圖片張數(shù)設(shè)置為16張，棋盤格尺寸設(shè)置為15mm。

圖3 標(biāo)定棋盤

標(biāo)定結(jié)果如下：

式中：M1和M2分別是左右相機(jī)的內(nèi)參數(shù)，D1和D2分別是左右相機(jī)的畸變參數(shù)，R是左右相機(jī)的旋轉(zhuǎn)矩陣，T是左右相機(jī)的平移矩陣。

3、立體匹配和測距

立體匹配就算法而言，可以分為區(qū)域匹配算法和特征匹配算法?；趨^(qū)域的匹配算法是將一幅圖像中的某一點(diǎn)的灰度鄰域作為基點(diǎn)，按照特定的約束條件在另外一幅圖像中搜索具有相同灰度值分布的對應(yīng)點(diǎn)鄰域，從而將對應(yīng)的特征點(diǎn)檢測出來。區(qū)域匹配算法簡單，操作容易，但是在出現(xiàn)遮擋物或者圖像不光滑時(shí)會使匹配過程變得雜亂，嚴(yán)重時(shí)還會導(dǎo)致匹配出現(xiàn)錯(cuò)誤。

基于區(qū)域立體匹配算法的缺點(diǎn)，采用OpenCV提供的快速有效的塊匹配立體算法對圖像進(jìn)行立體匹配。然后,在匹配過程中使用絕對誤差累積（SAD）的小窗口來尋找左右兩幅圖像之間的匹配點(diǎn)，OpenCV中相應(yīng)算法提供的函數(shù)為cvFindStereoCorrespondenceBM（），匹配之后得出的視差圖如下圖4所示：

圖4 視差圖

圖5 左相機(jī)原圖

目標(biāo)物體的深度信息由OpenCV提供的cvReproject ImageTo3D（）求出，通過設(shè)置鼠標(biāo)響應(yīng)函數(shù)，實(shí)時(shí)求出物體上點(diǎn)的距離信息，如下圖6所示，通過將目標(biāo)物體擺放至不同距離的位置，求出目標(biāo)物體上某些點(diǎn)的深度信息，并與測出實(shí)際距離信息做對比，計(jì)算誤差值，測距結(jié)果如下表所示：

表1 實(shí)際測距結(jié)果

4、結(jié)論

本文基于雙目測距的基本原理，查閱相關(guān)文獻(xiàn)優(yōu)化外部影響因素以減少標(biāo)定誤差，后用MATLAB calibration toolbox進(jìn)行標(biāo)定試驗(yàn)，從而得出精確度較高的標(biāo)定結(jié)果，然后在VS2013的環(huán)境下通過OpenCV將標(biāo)定的內(nèi)外參數(shù)用至后續(xù)的校正、匹配環(huán)節(jié)，通過設(shè)置鼠標(biāo)響應(yīng)函數(shù)，實(shí)時(shí)的在控制臺上顯示目標(biāo)點(diǎn)的距離信息，并且最終得到了目標(biāo)的深度信息。由實(shí)驗(yàn)結(jié)果可知，在一定的距離之內(nèi)該測距方法能夠達(dá)到一定的精度，但是鑒于仍然存在圖像噪聲等外部影響因素，而導(dǎo)致的標(biāo)定誤差、匹配誤差等將會使得測距結(jié)果魯棒性有所減弱。

[1]王珂瑋.基于雙目立體的目標(biāo)測量[D].長春：吉林大學(xué),2013.06.

[2]支健輝,董新民,孔星煒,王旭峰.相機(jī)標(biāo)定的外界影響因素分析[J].應(yīng)用光學(xué).2014,35（2）：286-291.

[3]袁銘,蘇顯渝,劉曉青.影響攝像機(jī)標(biāo)定精度的因素分析[J].光學(xué)與光電技術(shù)，2010,8(4)：18-21.

[4]婁小平，郭美萍.雙目視覺測量系統(tǒng)標(biāo)定精度提高方法研究[J].北京信息科技大學(xué)學(xué)報(bào)：自然科學(xué)版.2010,25 (1).

[5]羅丹,廖志賢.基于OpenCV的雙目立體視覺測距[J].大眾科技. 2011（4）：52-53.

[6]汪珍珍,趙連玉,劉振忠.基于MATLAB與OpenCV相結(jié)合的雙目立體視覺測距系統(tǒng)[J]. 天津理工大學(xué)學(xué)報(bào).2013(1)：45-48.

[7]曲學(xué)軍，張璐，張凌云.基于新的成像模型的攝像機(jī)標(biāo)定與三維重建[J].儀器儀表學(xué)報(bào)，2011,32（8）：1830-1836.

[8]熊凡.雙目立體視覺系統(tǒng)標(biāo)定及重構(gòu)方法研究[D].武漢：武漢工程大學(xué).2012.05.

[9]金偉偉.基于雙目視覺的運(yùn)動小目標(biāo)三維測量的研究與實(shí)現(xiàn)[D].杭州：浙江大學(xué).2010.01.

[10]王曉輝,程健慶,韓瑜. 基于改進(jìn)模型的攝像機(jī)標(biāo)定[J].電子測量技術(shù).2012（12）：40-44.

Range-measuring of Target based on Binocular stereo vision

Huang Yuqiang, Ye Lei
（Hubei Key Laboratory of Advanced Technology of Automotive Parts, Wuhan University of Technology, Hubei Wuhan 430070）

With the development of computer technology, the research of unmanned technology has attached more and more attention,and the technology of environment perception plays an important role in it. Binocular stereo vision technology comes to the major content of unmanned technology,for which possessing the specific advantages.Grounding in the studies of the technology of Binocular stereo vision system’s calibration,stereo rectification ,stereo matching and so on,This paper designs distance measurement system based on a combination of MATLAB and OpenCV.Using MATLAB calibration toolbox to conduct the experiment of calibration, then importing the results calibrated to the OpenCV and conducting the following task of rectification,matching, the recovery of distance to get the three-dimensional depth information of target.The experiment show that the measurement system can meet the demand of high-precision within a destined range.

Binocular stereo vision; Calibration; Rectification; Matching; Range-measuring

TP39/TN911.73

A

1671-7988 (2017)02-148-04

黃玉強(qiáng)，碩士，就讀于武漢理工大學(xué)，研究方向?yàn)殡p目立體視覺。

10.16638/j.cnki.1671-7988.2017.02.051