陳學(xué)惠 賈瑞清

（1.中國礦業(yè)大學(xué)（北京）機(jī)電與信息工程學(xué)院，北京市海淀區(qū)，100083；2.中國傳媒大學(xué)信息工程學(xué)院，北京市朝陽區(qū)，100024）

井下移動機(jī)器人雙目視覺攝像機(jī)的標(biāo)定方法

陳學(xué)惠1，2賈瑞清1

（1.中國礦業(yè)大學(xué)（北京）機(jī)電與信息工程學(xué)院，北京市海淀區(qū)，100083；2.中國傳媒大學(xué)信息工程學(xué)院，北京市朝陽區(qū)，100024）

提出了一種對井下移動機(jī)器人雙目立體視覺系統(tǒng)的相機(jī)的標(biāo)定方法，它是以一正方體為標(biāo)定塊，利用其棱邊在相機(jī)成像面所形成的三個互相垂直的消隱點，來確定相機(jī)的內(nèi)外參數(shù)，以便為井下巷道場景的三維重建做準(zhǔn)備。試驗表明，本文的標(biāo)定方法是能夠滿足井下移動機(jī)器人雙目立體視覺應(yīng)用的要求。

雙目立體視覺 攝像機(jī)模型 攝像機(jī)標(biāo)定 消隱點 重投影

1 引言

鑒于目前我國煤炭生產(chǎn)安全形勢，非常迫切的要求機(jī)器人極其技術(shù)的應(yīng)用，而其中的機(jī)器人雙目視覺，因它是利用計算機(jī)實現(xiàn)人的視覺功能，所以它可以通過圖像達(dá)到認(rèn)知三維信息的能力，如對目標(biāo)物體的形狀、位置、姿態(tài)、運(yùn)動等的識別。從而為煤礦生產(chǎn)提供必要的井下環(huán)境空間位置信息。

雙目立體視覺系統(tǒng)由兩個型號相同的相機(jī)組成，它能通過視覺計算獲得井下三維場景的信息，為井下移動機(jī)器人導(dǎo)航以及井下場景的三維重建服務(wù)，而在雙目立體視覺系統(tǒng)的各項關(guān)鍵技術(shù)中，相機(jī)的標(biāo)定是立體視覺算法的基礎(chǔ)。

傳統(tǒng)相機(jī)標(biāo)定基本方法需要在攝像機(jī)前方放置一個已知形狀與尺寸的標(biāo)定參照物。由于井下環(huán)境不允許放置特定的標(biāo)定參照物，加之?dāng)z像機(jī)的參數(shù)需要經(jīng)常調(diào)整，這就需要一種不依賴參照物的攝像機(jī)自標(biāo)定方法，所以本文提出一種基于消隱點的雙目視覺系統(tǒng)的自標(biāo)定方法，實現(xiàn)對井下移動機(jī)器人雙目立體視覺系統(tǒng)相機(jī)快速標(biāo)定，以滿足井下移動機(jī)器人雙目視覺系統(tǒng)的需要。

2 攝像機(jī)模型

攝像機(jī)的基本成像模型，通常稱為基本針孔模型，由三維空間到平面的中心投影變換所給出。在該模型下，可將三維空間任意點Xw可描述為：

攝像機(jī)矩陣P可表示為：

上式中：R，t分別表示為世界坐標(biāo)系到攝像機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量，稱之為攝像機(jī)的外參數(shù)；K是攝像機(jī)坐標(biāo)系到圖像坐標(biāo)系的變換矩陣，稱之為攝像機(jī)內(nèi)參數(shù)矩陣；為攝像機(jī)的主點坐標(biāo)；f為焦距；dx，dy為矩形像素的長與寬；s為傾斜因子。攝像機(jī)的標(biāo)定的目的就是確定攝像機(jī)的內(nèi)參數(shù)矩陣K和外參數(shù)R和t。

3 利用消隱點對攝像機(jī)進(jìn)行標(biāo)定

3.1 攝像機(jī)內(nèi)參數(shù)的標(biāo)定

真實三維場景中的一組平行線經(jīng)過中心透視投影成像后，在成像平面上交于一點，此點被稱為消隱點。投影中心（即攝像機(jī)光心）與消隱點的連線與形成該消隱點的空間平行線平行。如圖1所示。

Vi在圖像平面上的坐標(biāo)為則在攝像機(jī)坐標(biāo)系下的坐標(biāo)為：

由于OcVi互相垂直，則有：

用（4）式分別減去（5）式和（6）式得：

由（9）式和（10）式可知，有3個未知數(shù)，而只有兩個方程，解為不確定。我們可以由兩個完全相同的攝像機(jī)組成雙目立體視覺，如果上述兩個方程為左攝像機(jī)內(nèi)參數(shù)約束方程，同樣可得出右攝像機(jī)的內(nèi)參數(shù)約束方程：

將v0t看成一個整體，則由（9）－（12）式就可求出u0，v0，t，將u0，v0，t代入（4）或（5）式可求出：

這樣就得到了攝像機(jī)的全部內(nèi)參數(shù)u0，v0，fx，fy（此時相機(jī)的扭曲因子s＝0）。

3.2 攝像機(jī)外參數(shù)的標(biāo)定

將3.1中標(biāo)定的攝像機(jī)內(nèi)參數(shù)K代入（14）式可求出攝像機(jī)的旋轉(zhuǎn)矩陣R。同理可求出雙目立體視覺的另一個攝像機(jī)的旋轉(zhuǎn)矩陣R′

由圖2中的世界坐標(biāo)原點Ow的圖像點ow可得：

同理可求出雙目立體視覺系統(tǒng)的另一個攝像機(jī)的平移向量t′。

則雙目立體視覺的基線b（兩攝像機(jī)光心連線）為：

4 標(biāo)定試驗

采用一個邊長為30cm的正方體作為標(biāo)定塊，利用它上面的三組互相垂直的平行線，可以在成像平面上形成三個消隱點，對雙目視覺系統(tǒng)的內(nèi)外參數(shù)進(jìn)行標(biāo)定。

4.1 模擬試驗

采用一組模擬三維空間點來進(jìn)行試驗，三維空間點位于邊長為30cm的正方體的頂點，設(shè)模擬相機(jī)的內(nèi)參數(shù)為：u0＝50，v0＝50，fx＝400，fy＝600。試驗時，設(shè)左相機(jī)的外參數(shù)為：T1＝[30 40 60]′，攝像機(jī)繞世界坐標(biāo)軸X、Y、Z軸旋轉(zhuǎn)的角度分別為：π／15，π／10，π／15；右相機(jī)的外參數(shù)為：T1＝[60 40 80]′，攝像機(jī)繞世界坐標(biāo)軸X、Y、Z軸旋轉(zhuǎn)的角度分別為：π／15，－π／5，π／15。表為正方體的7個頂點在左右相機(jī)成像面上的坐標(biāo)。

表1 模擬點的坐標(biāo)

由模擬數(shù)據(jù)用本文所述方法可得相機(jī)的參數(shù)標(biāo)定結(jié)果：

用標(biāo)定的參數(shù)對立方體的頂點重投影，結(jié)果見表2；進(jìn)行圖像的三維歐氏重建，得到的立方體各棱邊的長度為：頂點1與頂點2組成的邊長度為30.0001；頂點3與頂點4的邊長30.0007；頂點6與頂點7的邊長30.0001；頂點1與頂點4的邊長29.9999；頂點2與頂點3的邊長30.0001；頂點6與頂點7的邊長29.9993；頂點1與頂點6的邊長29.9983；頂點4與頂點5的邊長29.9985；頂點2與頂點7的邊長29.99985。

表2 空間點的重投影坐標(biāo)

4.2 實際圖像標(biāo)定實驗

圖3和圖4分別是由兩相同型號的數(shù)碼相機(jī)，光軸平行放置，調(diào)節(jié)為相同的參數(shù)，對一邊長為30cm正方體標(biāo)定塊，同時拍攝所得的圖像。由正方體的三個不同方向的棱邊可得三個互相垂直的消隱點。以圖3和圖4上所求得的消隱點數(shù)據(jù)，可求得相機(jī)的內(nèi)參數(shù)為：

以標(biāo)定的參數(shù)對標(biāo)定塊的頂點進(jìn)行重投影，結(jié)果見表3和表4；三維歐氏重建后，各棱邊的長度分別為：頂點1與頂點2組成的邊長度為30.355；頂點3與頂點4的邊長30.190；頂點6與頂點7的邊長30.180；頂點1與頂點4的邊長30.608；頂點2與頂點3的邊長30.008；頂點6與頂點7的邊長29.136；頂點1與頂點6的邊長29.614；頂點4與頂點5的邊長29.713；頂點2與頂點7的邊長29.907。

表3 左圖重投影數(shù)據(jù)

表4 右圖重投影數(shù)據(jù)

從模擬數(shù)據(jù)試驗與實際圖像數(shù)據(jù)試驗的結(jié)果可以看出，以標(biāo)定的相機(jī)參數(shù)對空間點進(jìn)行重投影和三維重建，重投影的最大誤差不超過2個像素，重建的正方體棱邊長度誤差小于3%。由此證明本文提出的方法是可以用在井下移動機(jī)器人的雙目視覺系統(tǒng)相機(jī)的標(biāo)定。

5 井下巷道環(huán)境三維重建

采用本文所述方法對雙目視覺攝像機(jī)標(biāo)定后，采集了井下巷道一組圖像（峰峰礦業(yè)集團(tuán)梧桐莊礦），如圖5、圖6所示，圖7為視覺立體匹配后的視差圖，圖8為重建后的效果顯示。由此驗證本文提出的方法是可以應(yīng)用于井下環(huán)境的三維重建。并為煤炭安全生產(chǎn)提供環(huán)境的三維數(shù)據(jù)支持。

圖8 井下巷道重建顯示

6 結(jié)論

本文研究了一種雙目視覺系統(tǒng)相機(jī)的標(biāo)定方法，它以一正方體作為標(biāo)定快，利用其三個方向的棱邊在相機(jī)成像面上所形成的三個互相垂直的消隱點來確定像機(jī)的參數(shù)，該標(biāo)定方法簡單，不需要精密的標(biāo)定設(shè)備，對拍攝環(huán)境沒有太高的要求，試驗表明此方法是能夠滿足井下移動機(jī)器人的導(dǎo)航和井下三維場景重建應(yīng)用。

[1] 吳福朝.計算機(jī)視覺中的計算[M].北京：科學(xué)出版社，2008

[2] B.Caprilev.Torre.Using vanishing points for camera calibration.International of Computer Vison.Volume 4，Number 2

[3] R.Hartley.Multile View Geometry in Computer Vision[M]，London：Cambridge University Press.2003

[4] Cipolla R，Drummond T，Robertson D.Camera calibration from vanishing points in images of architectural scenes[A].In：Proceedings of British Machine Vision Conference[C]，Nottingham，English，1999

[5] 謝文寒.基于多像滅點進(jìn)行相機(jī)標(biāo)定的方法探究[D].武漢：武漢大學(xué)，2004

A method of calibration for coal mine mobile robot based on binocular mision

Chen Xuehui1，2，Jia Ruiqing1

（1.School of Mechanical Electronic and Information Engineering，China University of Mining and Technology（Beijing），Haidian，Beijing 100083，China；2.School of Information Engineering，Communication University of China，Chaoyang，Beijing 100024，China）

Based on the vanishing point，this paper proposes a new method of camera calibration.We consider a cube as calibrated objects，and through solving the vanishing point between two images，we can determine the camera internal parameters and the baseline of the two cameras.The tests showed that this calibration method is able to meet the coal mine mobile robot based on binocular stereo vision applications.

binocular stereo vision，camera model，camera calibration，vanishing point，reprojection

TD67

B

陳學(xué)惠（1963－），女，江蘇淮安人，大學(xué)本科，副教授，主要從事機(jī)器人視覺及圖像處理方向研究。

（責(zé)任編輯 熊志軍）