王志遠(yuǎn)，王茂森

(南京理工大學(xué)， 南京 210094)

基于雙目視覺的移動(dòng)機(jī)器人測(cè)距與定位系統(tǒng)

王志遠(yuǎn)，王茂森

(南京理工大學(xué)， 南京 210094)

提出了基于雙目視覺的移動(dòng)機(jī)器人測(cè)距與定位系統(tǒng)的設(shè)計(jì)方案，系統(tǒng)由左右布置的兩個(gè)攝像機(jī)組成。通過計(jì)算目標(biāo)點(diǎn)在左右攝像機(jī)成像平面內(nèi)像素點(diǎn)的視差值，利用重映射技術(shù)得到攝像機(jī)前方的三維環(huán)境信息。使用張正友標(biāo)定法對(duì)系統(tǒng)進(jìn)行標(biāo)定。在圖像預(yù)處理階段使用限制對(duì)比度自適應(yīng)直方圖均衡(CLAHE)算法對(duì)圖像進(jìn)行均衡化處理，明顯改善了光照不均、霧、煙塵等低質(zhì)圖像的清晰度，提高了系統(tǒng)環(huán)境適應(yīng)性。為確保該系統(tǒng)的可靠性，對(duì)測(cè)量值進(jìn)行了誤差分析，系統(tǒng)的深度平均測(cè)量誤差為1.49%；定位平均測(cè)量誤差x方向?yàn)?.81%，y方向?yàn)?.48%。誤差分析結(jié)果表明，該系統(tǒng)測(cè)量精度高且穩(wěn)定性好，可以滿足移動(dòng)機(jī)器人定位、測(cè)距等要求。

攝像機(jī)標(biāo)定；CLAHE；視差；移動(dòng)機(jī)器人；誤差分析

立體視覺技術(shù)通過對(duì)目標(biāo)物的特征點(diǎn)在兩個(gè)攝像機(jī)成像平面的像素坐標(biāo)進(jìn)行匹配，利用三角測(cè)量原理計(jì)算該特征點(diǎn)的深度信息進(jìn)而獲取目標(biāo)物的位置信息[1]。當(dāng)獲取目標(biāo)物的特征點(diǎn)足夠多時(shí)就可以對(duì)目標(biāo)物的空間位置進(jìn)行準(zhǔn)確定位[2]。傳統(tǒng)的超聲波測(cè)距、激光測(cè)距等方式無法直接得到目標(biāo)的三維信息，只能通過掃描的方式獲得環(huán)境中的深度信息，適用于工作任務(wù)比較簡單且深度信息要求不高的情況，而雙目測(cè)量系統(tǒng)沒有這種限制。雙目立體視覺技術(shù)已經(jīng)被應(yīng)用到多個(gè)領(lǐng)域，如利用立體視覺獲取動(dòng)物的形體尺寸，在進(jìn)行放療時(shí)對(duì)腫瘤進(jìn)行精確定位，移動(dòng)機(jī)器人的定位與測(cè)距系統(tǒng)等[3-5]。

本文利用雙目系統(tǒng)采集圖像，然后進(jìn)行預(yù)處理，使其在光照不均，有霧等非常規(guī)條件下仍具有較高的識(shí)別效率，提高了系統(tǒng)的魯棒性，之后對(duì)左右攝像機(jī)進(jìn)行立體匹配并求解環(huán)境三維信息。利用所構(gòu)建的移動(dòng)機(jī)器人平臺(tái)，進(jìn)行測(cè)距與定位實(shí)驗(yàn)。

1 移動(dòng)機(jī)器人平臺(tái)介紹

移動(dòng)機(jī)器人平臺(tái)由上下兩部分組成，下半部為履帶小車，如圖1(a)所示。車體內(nèi)部裝有一個(gè)嵌入式系統(tǒng)，CPU選用三星4412四核處理器，主頻為1.4GHz，具有很強(qiáng)的任務(wù)處理能力，2G RAM和16G FLASH可以滿足圖像處理以及其他功能對(duì)運(yùn)存及存儲(chǔ)空間的需求，其上運(yùn)行的Linux操作系統(tǒng)保證了信息采集，信號(hào)處理，以及控制命令輸出等功能的順利進(jìn)行。該嵌入式系統(tǒng)完成一次640×480大小的兩幅圖的立體匹配僅需要70～80 ms，即每秒可完成13×2圖像的處理，這樣的處理速度完全可以滿足移動(dòng)機(jī)器人的應(yīng)用要求；平臺(tái)上半部為水平安裝的兩臺(tái)攝像機(jī)，如圖1(b)所示是雙目視覺的圖像采集部分，雙攝像機(jī)水平布置基線距離為60 mm，光軸呈前向平行狀態(tài)，單個(gè)相機(jī)可采集640×480大小的圖像，幀率可達(dá)60fps，滿足雙目視覺的要求。上下兩部分通過一個(gè)垂直安裝的電機(jī)連接在一起，電機(jī)旋轉(zhuǎn)，帶動(dòng)雙攝像機(jī)360°旋轉(zhuǎn)，因此，該移動(dòng)機(jī)器人可以在行進(jìn)或停止?fàn)顟B(tài)下進(jìn)行360°的測(cè)量。

2 攝像機(jī)標(biāo)定及圖像預(yù)處理

在雙目視覺系統(tǒng)中除需要將目標(biāo)特征點(diǎn)與其像素點(diǎn)進(jìn)行位置匹配外，還需要知道左右攝像機(jī)之間的相互關(guān)系。因此標(biāo)定的主要目的就是求取與之相關(guān)的攝像機(jī)內(nèi)參數(shù)、外參數(shù)[6]。經(jīng)過標(biāo)定的相機(jī)采集的圖像還需要經(jīng)過必要的預(yù)處理才可進(jìn)行后續(xù)的計(jì)算，這樣做的好處可以保證只有高質(zhì)量的圖像才可以參與后續(xù)的運(yùn)算。

2.1 攝像機(jī)標(biāo)定

建立攝像機(jī)的針孔成像模型，如圖2所示。其中P為目標(biāo)物上一點(diǎn)(以下簡稱物點(diǎn))，物點(diǎn)在世界坐標(biāo)系FcXcYcZc中的坐標(biāo)為(X,Y,Z)，P點(diǎn)的像素坐標(biāo)為(u,v)，(cx,cy)為主點(diǎn)坐標(biāo)。

圖1 移動(dòng)機(jī)器人測(cè)距定位系統(tǒng)

圖2 攝像機(jī)針孔成像模型

建立針孔攝像機(jī)的數(shù)學(xué)模型[7]：

(1)

其中:fx,fy為焦距f沿x軸和y軸上的歸一化焦距；Rc是物點(diǎn)相對(duì)于投影面的旋轉(zhuǎn)矩陣；t是物點(diǎn)相對(duì)于投影面的平移向量；s為一個(gè)標(biāo)量。

由于攝像機(jī)還存在徑向畸變與切向畸變，因此，需要對(duì)畸變進(jìn)行求解[8]，求解公式如下。

(2)

其中：x,y是畸變點(diǎn)像素坐標(biāo)；k1,2,3、p1,2分別為徑向和切向畸變系數(shù)；r是像點(diǎn)到中心點(diǎn)的距離；xd,yd為校正后像素坐標(biāo)；徑向畸變與切向畸變可以用矩陣[k1,k2,p1,p2,k3]表示，記為：D。

對(duì)左右攝像機(jī)分別進(jìn)行標(biāo)定得到內(nèi)參數(shù)矩陣分別為Mr,Ml,畸變矩陣分別為Dr,Dl，結(jié)果如下。

為保證雙攝像機(jī)光軸前向平行需要對(duì)右攝像機(jī)進(jìn)行旋轉(zhuǎn)與平移。因此，需要求解相關(guān)的旋轉(zhuǎn)與平移矩陣R，T。另外為了求解物點(diǎn)在左右成像平面內(nèi)投影坐標(biāo)的對(duì)應(yīng)關(guān)系還需要標(biāo)定出本征矩陣E和基礎(chǔ)矩陣F。

旋轉(zhuǎn)矩陣R與平移矩陣T的標(biāo)定結(jié)果為：

本征矩陣E與基本矩陣F的標(biāo)定結(jié)果如下：

利用標(biāo)定求得的結(jié)果參數(shù)對(duì)左右相機(jī)進(jìn)行校正，校正結(jié)果如圖3所示。

對(duì)比圖3(a)～圖3(b)可以發(fā)現(xiàn)，經(jīng)過標(biāo)定-校正后的攝像機(jī)畸變得到了消除，并且左右攝像機(jī)行像素得到了對(duì)齊。

圖3 雙目校正

2.2 圖像預(yù)處理

對(duì)圖像的預(yù)處理采用限制對(duì)比度自適應(yīng)直方圖均衡(CLAHE)算法，該算法基于自適應(yīng)直方圖均衡(AHE)算法實(shí)現(xiàn)，并引入對(duì)比度閾值對(duì)各個(gè)區(qū)域進(jìn)行限幅[9]。對(duì)超過閾值的直方圖進(jìn)行裁剪，并將裁剪掉的部分均勻分配到直方圖的其他部分，經(jīng)過多次裁剪-重分布操作便可將直方圖的峰值限制在閾值附近。經(jīng)過CLAHE處理后的圖像具有良好的對(duì)比度，對(duì)光照不均、霧等具有很好的去除作用[10]，達(dá)到提升圖像畫質(zhì)的目的，CLAHE對(duì)圖像的處理結(jié)果，如圖4所示。上為處理前的圖像，下為經(jīng)過CLAHE處理后的圖像，可以看出，經(jīng)過處理后的圖像極大地改善了圖像的質(zhì)量。

圖4 CLAHE算法對(duì)光照不均及霧的濾除

3 環(huán)境三維信息提取

環(huán)境三維信息包括深度(距離)信息和方位信息。經(jīng)過標(biāo)定-校正后的雙攝像機(jī)，便可以進(jìn)行立體匹配，對(duì)于一個(gè)匹配成功的特征點(diǎn)可以得到其視差d。然后根據(jù)求得的視差進(jìn)一步求取該特征點(diǎn)的深度信息。攝像機(jī)立體匹配模型如圖5所示，根據(jù)物點(diǎn)P在左右成像平面的投影點(diǎn)pl,pr的對(duì)應(yīng)關(guān)系便可以得出深度z與視差d的幾何關(guān)系[11]，表達(dá)式為

(7)

式中：b是基線距離；z是物點(diǎn)的坐標(biāo)；xl,xr分別為左右成像平面內(nèi)投影點(diǎn)的橫坐標(biāo)。

對(duì)于一個(gè)成功匹配的特征點(diǎn)，它在攝像機(jī)坐標(biāo)系(以左相機(jī)投影中心為原點(diǎn))中的坐標(biāo)是可知的，因此對(duì)該坐標(biāo)點(diǎn)進(jìn)行重投影即可得到該物點(diǎn)在世界坐標(biāo)系中的坐標(biāo)。投影關(guān)系可表示為

(8)

其中：Q是重投影矩陣，表示為：

(9)

圖5 左右攝像機(jī)立體匹配模型

為了使計(jì)算統(tǒng)一而引入了第四維度w，使三維坐標(biāo)(x,y,z)用齊次坐標(biāo)表示時(shí)變?yōu)樗木S空間(x,y,z,w)，因此求得物點(diǎn)P的三維坐標(biāo)為(x/w,y/w,z/w)。如果對(duì)整幅場(chǎng)景圖都進(jìn)行立體匹配，可以得到整個(gè)場(chǎng)景的三維信息，如圖6所示，圖6(a)為經(jīng)過CLAHE處理后的場(chǎng)景圖；圖6(b)為場(chǎng)景三維信息借助Matlab顯示后的三維信息圖?？梢钥闯霾煌矬w之間的深度、方位明顯不同，如書本與蘭花、書本與杯子之間的層次感都十分明顯。

圖6 三維環(huán)境信息提取

4 測(cè)試

為了確保三維環(huán)境信息采集的準(zhǔn)確與可靠，需要對(duì)采集結(jié)果進(jìn)行誤差分析。

4.1 深度信息測(cè)試實(shí)驗(yàn)

使用鼠標(biāo)在場(chǎng)景圖中選取不同物體上的若干點(diǎn)，如圖6(a)中選擇的13個(gè)點(diǎn)，然后獲取該點(diǎn)的深度值并與實(shí)際測(cè)量值作對(duì)比，然后計(jì)算出相對(duì)誤差。如表1所示。

表1 特征點(diǎn)深度測(cè)量誤差分析

通過對(duì)比表1中的系統(tǒng)測(cè)量值與實(shí)測(cè)值，并分析相對(duì)誤差可知，該系統(tǒng)的平均測(cè)量誤差為1.489%，最小測(cè)量誤差僅為0.605%，測(cè)量精度可達(dá)毫米級(jí)，且誤差波動(dòng)較小，系統(tǒng)穩(wěn)定性強(qiáng)，可以滿足移動(dòng)機(jī)器人的測(cè)距任務(wù)。

4.2 位置信息測(cè)試實(shí)驗(yàn)

使用AutoCAD制作一張如圖7所示的測(cè)試紙，其中9個(gè)點(diǎn)的坐標(biāo)如表2中x、y的理論值所示，圓點(diǎn)的直徑為5 mm,相鄰點(diǎn)的間距隨機(jī)不等，選1點(diǎn)為坐標(biāo)原點(diǎn)，其余各點(diǎn)均是相對(duì)于原點(diǎn)的坐標(biāo)值。將測(cè)試紙粘貼在一個(gè)平整的墻面上，將移動(dòng)機(jī)器人平臺(tái)擺放在測(cè)試紙的正前方，攝像機(jī)距測(cè)試紙的距離為610 mm，然后啟動(dòng)測(cè)量系統(tǒng)，對(duì)測(cè)試紙中測(cè)試點(diǎn)進(jìn)行立體匹配求出各個(gè)點(diǎn)的方位坐標(biāo)，此時(shí)求得的坐標(biāo)為各點(diǎn)的絕對(duì)坐標(biāo)，因此需要轉(zhuǎn)換成相對(duì)于1點(diǎn)的相對(duì)坐標(biāo)，轉(zhuǎn)換后的結(jié)果如表2中測(cè)量值x與測(cè)量值y所示。

通過對(duì)比表2中各點(diǎn)的理論坐標(biāo)值與系統(tǒng)測(cè)量坐標(biāo)值，并分析沿x、y方向的相對(duì)誤差可知：該系統(tǒng)沿x軸的定位平均誤差為3.81%，沿y軸的定位誤差為2.48%。具有較高的定位精度?？梢詽M足移動(dòng)機(jī)器人的定位需求。

圖7 定位測(cè)試紙

表2 系統(tǒng)定位誤差分析

5 結(jié)論

本文研究的移動(dòng)機(jī)器人測(cè)距與定位系統(tǒng)，利用雙目視覺系統(tǒng)獲取環(huán)境中物體的三維位置信息，具有測(cè)量范圍廣獲取信息量大的特點(diǎn)。為確保測(cè)量的深度與方位信息可靠與準(zhǔn)確，進(jìn)行了深度信息測(cè)試實(shí)驗(yàn)與位置信息測(cè)試實(shí)驗(yàn)，通過分析實(shí)驗(yàn)結(jié)果得出該系統(tǒng)測(cè)量精度高，穩(wěn)定性強(qiáng)，滿足移動(dòng)機(jī)器人的測(cè)距與定位要求。相比于傳統(tǒng)的超聲波、激光等測(cè)量方法，該系統(tǒng)僅利用一對(duì)水平放置的攝像機(jī)便可以獲取前方環(huán)境中物體的三維位置信息，結(jié)構(gòu)簡單成本低廉具有很好的實(shí)用價(jià)值。

[1] 沈彤,劉文波,王京.基于雙目立體視覺的目標(biāo)測(cè)距系統(tǒng)[J].電子測(cè)量技術(shù),2015,38(4):52-54.

[2] 于勇,張暉,林茂松.基于雙目立體視覺三維重建系統(tǒng)的研究與設(shè)計(jì)[J].計(jì)算機(jī)技術(shù)與發(fā)展,2009,19(6):127-130.

[3] 郭浩,馬欽,張勝利,等.基于三維重建的動(dòng)物體尺獲取原型系統(tǒng)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2014,45(5):127-131.

[4] 董峰,孫立寧,汝長海.基于雙目視覺的醫(yī)療機(jī)器人擺位系統(tǒng)測(cè)量方法[J].光電子·激光,2014,25(5):1027-1034.

[5] 王殿君.雙目視覺在移動(dòng)機(jī)器人定位中的應(yīng)用[J].中國機(jī)械工程,2013,24(9):1155-1158.

[6] 劉俸材，謝明紅,王偉.雙目視覺的立體標(biāo)定方法[J].計(jì)算機(jī)工程與設(shè),2011,23(4):1509-1512.

[7] 于仕琪,劉瑞禎.學(xué)習(xí) OpenCV[M].北京：清華大學(xué)出版社,2009.

[8] 楊景豪,劉巍,劉陽,等.雙目立體視覺測(cè)量系統(tǒng)的標(biāo)定[J].光學(xué)精密工程， 2016,24(2):301-307.

[9] 楊有，李波.CLAHE和細(xì)節(jié)放大相結(jié)合的檔案圖像增強(qiáng)方法[J].中國圖象圖形學(xué)報(bào),2011,16(4):523-527.

[10] 黎秀玉,宋樹祥,夏海英.基于CLAHE和圖像分解的去霧方法[J].廣西大學(xué)學(xué)報(bào)(自然科學(xué)版),2016,41(5):1552-1559.

[11] 高宏偉.計(jì)算機(jī)雙目立體視覺[M].北京：電子工業(yè)出版社， 2012.

(責(zé)任編輯楊繼森)

RangingandPositioningSystemofMobileRobotBasedonBinocularVision

WANG Zhiyuan, WANG Maosen

(Nanjing University of Science and Technology, Nanjing 210094, China)

The system consists of two cameras arranged on the left and right. By remapping technique, the 3D depth information of the camera’s front environment is obtained based on calculating the parallax value of the target points in the cameras imaging plane. In this paper, Zhang Zhengyou’s calibration method is employed to calibrate the system. In the stage of prepossessing image, the contrast adaptive histogram equalization (CLAHE) algorithm is used to equalize the image, which can improve the clarity of low quality images caused by the following factors such as uneven illumination, fog and soot, and then enhance the system environment adaptability. In order to ensure the reliability of the system, the necessary error analysis is made for the measured value. In depth, the average measurement error of the system is 1.49%; Positioning average measurement error ofxdirection is 3.81%,ydirection is 2.48%. The error analysis results show that the system has high measurement accuracy and stability, which can meet the requirements of mobile robot locating and ranging.

camera calibration; CLAHE; parallax; mobile robot; error analysis

2017-07-03；

2017-07-30

王志遠(yuǎn)(1992—)，男，碩士研究生，主要從事機(jī)械工程研究。

王茂森(1970—)，男，碩士生導(dǎo)師，主要從事火炮、自動(dòng)武器與彈藥工程研究。

光學(xué)工程與電子技術(shù)

10.11809/scbgxb2017.11.038

本文引用格式：王志遠(yuǎn)，王茂森.基于雙目視覺的移動(dòng)機(jī)器人測(cè)距與定位系統(tǒng)[J].兵器裝備工程學(xué)報(bào)，2017(11):173-177.

formatWANG Zhiyuan, WANG Maosen.Ranging and Positioning System of Mobile Robot Based on Binocular Vision[J].Journal of Ordnance Equipment Engineering,2017(11):173-177.

TP242.6

A

2096-2304(2017)11-0173-05