劉俸材，李愛(ài)迪，馬澤忠

1.重慶市國(guó)土資源和土地房屋勘測(cè)規(guī)劃院，重慶 400020

2.國(guó)家遙感應(yīng)用工程技術(shù)研究中心 重慶研究中心，重慶 400020

基于投影儀和攝像機(jī)的結(jié)構(gòu)光視覺(jué)標(biāo)定方法

劉俸材1，2，李愛(ài)迪1，2，馬澤忠1，2

1.重慶市國(guó)土資源和土地房屋勘測(cè)規(guī)劃院，重慶 400020

2.國(guó)家遙感應(yīng)用工程技術(shù)研究中心 重慶研究中心，重慶 400020

利用計(jì)算機(jī)視覺(jué)技術(shù)實(shí)現(xiàn)三維物體的掃描和場(chǎng)景恢復(fù)，在產(chǎn)品質(zhì)量檢測(cè)、機(jī)器人導(dǎo)航、逆向工程、物體識(shí)別以及文物保護(hù)和修復(fù)等方面有著廣闊的應(yīng)用前景[1]。典型的計(jì)算機(jī)視覺(jué)技術(shù)有基于雙目立體視覺(jué)技術(shù)的被動(dòng)視覺(jué)測(cè)量和基于結(jié)構(gòu)光視覺(jué)的主動(dòng)視覺(jué)測(cè)量[2]，而雙目立體視覺(jué)技術(shù)存在一個(gè)難以克服的問(wèn)題，就是立體匹配，避免立體匹配的一種有效方法就是采用結(jié)構(gòu)光視覺(jué)[3]。

結(jié)構(gòu)光視覺(jué)傳感器的標(biāo)定過(guò)程包括兩部分，一是攝像機(jī)內(nèi)參數(shù)的標(biāo)定，二是結(jié)構(gòu)光參數(shù)標(biāo)定即求取光柵與攝像機(jī)之間的相對(duì)位置關(guān)系[4]。攝像機(jī)內(nèi)參數(shù)的標(biāo)定已經(jīng)有通用的算法[5]，因此攝像機(jī)傳感器標(biāo)定的主要內(nèi)容就是結(jié)構(gòu)光參數(shù)標(biāo)定。目前，已經(jīng)有很多學(xué)者對(duì)結(jié)構(gòu)光參數(shù)標(biāo)定進(jìn)行了深入的研究，取得了一定的成果。如R. Dewar和K.W.James使用的“拉絲法”[6]、段發(fā)階提出的“鋸齒把法”[6]、Reid于1996年提出的一種由已知平面和圖像點(diǎn)的匹配直接獲得攝像機(jī)像平面點(diǎn)與結(jié)構(gòu)光光平面點(diǎn)的轉(zhuǎn)換關(guān)系的方法[6]。但是目前，所有的結(jié)構(gòu)光視覺(jué)標(biāo)定算法都只求解攝像機(jī)圖像平面與特定的結(jié)構(gòu)光平面的位置關(guān)系，而一旦光平面的空間位置發(fā)生了改變，則需要通過(guò)重新標(biāo)定才能求取新的空間點(diǎn)坐標(biāo)。

為實(shí)現(xiàn)結(jié)構(gòu)光視覺(jué)一次性標(biāo)定后，可以實(shí)現(xiàn)任意光平面的三維測(cè)量，本文通過(guò)求取攝像機(jī)光心和投影儀光心之間的相對(duì)位置關(guān)系，可以確定攝像機(jī)圖像平面與投影儀投射的任何光平面的空間位置關(guān)系，從而實(shí)現(xiàn)對(duì)投影儀投影的任意光柵位置進(jìn)行測(cè)量。

1 結(jié)構(gòu)光視覺(jué)模型

結(jié)構(gòu)光視覺(jué)測(cè)量原理如圖1所示。圖中，Oc為攝像機(jī)的光心，XcYcZcOc為攝像機(jī)坐標(biāo)系；Op為投影儀的光心，XpYpZpOp為投影儀坐標(biāo)系。

圖1 結(jié)構(gòu)光視覺(jué)模型

由于投影儀投影的光平面在投影儀坐標(biāo)系中的坐標(biāo)可以通過(guò)投影儀的各項(xiàng)參數(shù)計(jì)算出來(lái)，并且投影在被測(cè)物體上的光條可以通過(guò)攝像機(jī)標(biāo)定確定其在攝像機(jī)坐標(biāo)系中應(yīng)滿足的關(guān)系，如果知道攝像機(jī)坐標(biāo)系與投影儀坐標(biāo)系之間的相對(duì)位置關(guān)系，則可以求解出被測(cè)物體上的光條在攝像機(jī)坐標(biāo)系或者投影儀坐標(biāo)系中的具體坐標(biāo)[7]。如何求取攝像機(jī)坐標(biāo)系與投影儀坐標(biāo)系之間的旋轉(zhuǎn)矩陣R和平移向量T，即攝像機(jī)光心和投影儀光心之間的相對(duì)位置關(guān)系，就是本文要解決的問(wèn)題。

2 特征點(diǎn)在投影儀坐標(biāo)系中的坐標(biāo)

本文利用標(biāo)定板中的4個(gè)角點(diǎn)作為特征點(diǎn)，該4個(gè)特征點(diǎn)構(gòu)成一個(gè)長(zhǎng)方形，如圖2所示。通過(guò)計(jì)算該四個(gè)角點(diǎn)在投影儀坐標(biāo)系和攝像機(jī)坐標(biāo)系中的坐標(biāo)，求取投影儀光心和攝像機(jī)光心之間的相對(duì)位置關(guān)系。本文分兩步求取特征點(diǎn)在投影儀坐標(biāo)系中的坐標(biāo)，即先求取特征點(diǎn)在投影儀坐標(biāo)系中的XY坐標(biāo)，然后求取Z坐標(biāo)。

圖2 標(biāo)定板上的特征點(diǎn)

2.1 特征點(diǎn)在投影儀坐標(biāo)系中的XY坐標(biāo)

首先，固定好標(biāo)定模板并調(diào)節(jié)投影儀的位置，使投影儀的光軸垂直于模板平面并通過(guò)由四個(gè)特征點(diǎn)構(gòu)成的長(zhǎng)方形的中心。為實(shí)現(xiàn)這個(gè)目標(biāo)，可以通過(guò)投影一個(gè)十字光柵來(lái)檢測(cè)投影儀的光軸是否通過(guò)特征點(diǎn)構(gòu)成的長(zhǎng)方形的中心。為實(shí)現(xiàn)投影儀的光軸垂直于標(biāo)定模板平面，可以通過(guò)調(diào)節(jié)投影儀的位置并檢測(cè)投影圖像是否為完美的長(zhǎng)方形。如果投影儀投影的圖像為梯形，則投影儀的光軸于模板平面不垂直，可以通過(guò)調(diào)節(jié)投影儀擺放姿態(tài)實(shí)現(xiàn)投影完美的長(zhǎng)方形圖像。

不失一般性，將標(biāo)定板上特征點(diǎn)組成的長(zhǎng)方形的中心作為世界坐標(biāo)系的原點(diǎn)[8]，X軸水平向右，Y軸豎直向下，Z軸指向標(biāo)定板里面。投影儀坐標(biāo)系以投影儀光心為原點(diǎn)，三個(gè)軸的方向與世界坐標(biāo)系相同。由于投影儀的光軸垂直于模板平面且穿過(guò)世界坐標(biāo)系的原點(diǎn)，因此投影儀坐標(biāo)系的XY平面與世界坐標(biāo)系的XY平面平行，空間點(diǎn)在兩個(gè)坐標(biāo)系中的坐標(biāo)只有Z軸方向存在差異。因此，四個(gè)特征點(diǎn)在世界坐標(biāo)系和投影儀坐標(biāo)系中具有相同的X、Y坐標(biāo)，圖中標(biāo)定板每格的大小為30 mm× 30 mm，因此四個(gè)角點(diǎn)在世界坐標(biāo)系中的坐標(biāo)分別為（－60，－60，0）、（60，－60，0）、（－60，60，0）、（60，60，0），在投影儀中的坐標(biāo)為（－60，－60，z）、（60，－60，z）、（－60，60，z）、（60，60，z）。這里的z本質(zhì)上就是世界坐標(biāo)系和投影儀坐標(biāo)系在z軸上的距離[9]。

2.2 特征點(diǎn)在投影儀坐標(biāo)系中的Z坐標(biāo)

首先，將投影儀調(diào)整到一個(gè)合適的位置，要求投影儀的光軸垂直于模板平面且通過(guò)四個(gè)特征點(diǎn)構(gòu)成的長(zhǎng)方形的中心，記錄下投影圖像在模板平面上的寬度L1。然后將投影儀向后移動(dòng)一段距離L，并使得移動(dòng)后的投影儀仍然滿足光軸垂直于模板平面且通過(guò)四個(gè)特征點(diǎn)構(gòu)成的長(zhǎng)方形的中心，記錄下投影儀投影圖像的寬度L2，兩次投影十字光柵校正投影儀位置的圖像如圖3，圖4所示。

圖3 初始位置投影“十”字光柵

圖4 改變位置后投影“十”字光柵

求取特征點(diǎn)在投影儀坐標(biāo)系中的z坐標(biāo)的原理如圖5所示。為方便計(jì)算，將圖5簡(jiǎn)化如圖6所示。

圖5 結(jié)構(gòu)光視覺(jué)標(biāo)定原理圖

圖6 結(jié)構(gòu)光視覺(jué)標(biāo)定原理簡(jiǎn)化圖

在本文實(shí)驗(yàn)中，L=244，L1=270 mm，L2=390 mm，則z=793 mm，故標(biāo)定模板上的四個(gè)角點(diǎn)在投影儀坐標(biāo)系中的坐標(biāo)分別為：（－60，－60，793）、（60，－60，793）、（－60，60，793）、（60，60，793）。

3 結(jié)構(gòu)光視覺(jué)標(biāo)定

由于攝像機(jī)坐標(biāo)系和投影儀坐標(biāo)系均為正交坐標(biāo)系[2，10-11]，故可以用一個(gè)3×3的矩陣 R和3×1的向量T來(lái)表示上述兩個(gè)坐標(biāo)系之間的相對(duì)位置關(guān)系。設(shè)某空間點(diǎn)在投影儀坐標(biāo)系中的點(diǎn)為(xp，yp，zp)，在攝像機(jī)坐標(biāo)系中的點(diǎn)為(xc，yc，zc)，則有：

由公式（3）可得：

由于投影儀的光軸垂直于標(biāo)定板并通過(guò)四個(gè)特征點(diǎn)構(gòu)成的長(zhǎng)方形的中心，故可以用(-x，-y，z)、(x，-y，z)、(-x，y，z)、(x，y，z)來(lái)表示四個(gè)角點(diǎn)在投影儀坐標(biāo)系中的坐標(biāo)。再利用張正友靈活標(biāo)定算法求取四個(gè)特征點(diǎn)在攝像機(jī)坐標(biāo)系中的坐標(biāo)，并將這四個(gè)特征點(diǎn)的坐標(biāo)值代入式（4）、式（5）便可求解r11，r12，r21，r22，r31，r32。又由于矩陣R是單位正交矩陣[12]，故

最后，結(jié)合 r1·r3=0和 r2·r3=0確定 r13、r23、r33的符號(hào)，從而計(jì)算出r13、r23、r33。再將矩陣 R的相應(yīng)元素代入公式（3），從而計(jì)算出tx、ty、tz。至此，已經(jīng)成功求取攝像機(jī)光心與投影儀光心之間的相對(duì)位置關(guān)系，即旋轉(zhuǎn)矩陣R和平移向量T。本文實(shí)驗(yàn)結(jié)果如下：

4 投影任意光柵的三維測(cè)量

為計(jì)算投影儀投影在被測(cè)物體上的任意光柵條紋在投影儀坐標(biāo)系中的坐標(biāo)，現(xiàn)將投影儀投影模型簡(jiǎn)化如圖7所示。圖中，虛線和實(shí)線投影儀分別代表標(biāo)定階段移動(dòng)前和移動(dòng)后的投影儀位置。假設(shè)投影儀的投影夾角為α，則有：

圖7 光柵條紋在投影儀坐標(biāo)系中的坐標(biāo)計(jì)算

現(xiàn)設(shè)屏幕圖像中心的坐標(biāo)為(u0，v0)，屏幕圖像寬度為2w（單位：像素），橫坐標(biāo)為u的光柵條紋與投影儀主軸的夾角為β，則有：

因此，屏幕圖像上的任意光柵平面（假定橫坐標(biāo)為u）在投影儀坐標(biāo)系中的坐標(biāo)為：

設(shè)被測(cè)物體上的光柵點(diǎn)在攝像機(jī)坐標(biāo)系中的坐標(biāo)為(xcyczc)，在投影儀坐標(biāo)系中的坐標(biāo)為(xpypzp)，則有：

上式中，3×3的旋轉(zhuǎn)矩陣R和3×1的平移向量T已通過(guò)結(jié)構(gòu)光視覺(jué)標(biāo)定求解。由于光柵在屏幕圖像中的橫坐標(biāo)u為已知，且投影儀坐標(biāo)系中的點(diǎn)滿足公式（10），則：

上式中，L1、L2、d為標(biāo)定過(guò)程中的已知量，w為顯示器屏幕寬度的一半（單位：像素），u0為屏幕中心像素的橫坐標(biāo)，p為標(biāo)定系數(shù)。

由攝像機(jī)成像原理可得，攝像機(jī)坐標(biāo)系中的點(diǎn)(xcyczc)與其在采集得到的圖像上的對(duì)應(yīng)點(diǎn)的坐標(biāo)(ux，vx)滿足如下關(guān)系：

上式中，M為3×3的攝像機(jī)內(nèi)參數(shù)矩陣，已通過(guò)第2章攝像機(jī)標(biāo)定求解，c為變量系數(shù)。對(duì)于攝像機(jī)采集得到的圖像上的任意點(diǎn)(ux，vx)，根據(jù)公式（13）可得：

由公式（14）可得：

現(xiàn)將式（15）中計(jì)算所得(xc，yc，zc)代入公式（11）可得：

上式中，c為未知參數(shù)，因此要求解(xpypzp)至少需要四個(gè)方程，而公式（16）實(shí)際上只有三個(gè)方程，現(xiàn)結(jié)合公式（12）可得：

在公式（17）中，旋轉(zhuǎn)矩陣R和平移向量T已通過(guò)結(jié)構(gòu)光視覺(jué)標(biāo)定求解，故公式（16）中，可以通過(guò)三個(gè)方程求解三個(gè)未知數(shù)，從而可計(jì)算出(xpypzp)及參數(shù)c。

由于(ux，vx)為顯示屏幕上的任意點(diǎn)的坐標(biāo)，因此，可以利用該方法求取投影儀投影在物體上的任意光柵條紋在投影儀坐標(biāo)系或者攝像機(jī)坐標(biāo)系中的坐標(biāo)，從而實(shí)現(xiàn)連續(xù)快速的掃描和測(cè)量。

5 實(shí)驗(yàn)與結(jié)論

本實(shí)驗(yàn)使用維視MV-1300UM攝像機(jī)（分辨率均為640×480，像元尺寸為5.2 μm×5.2 μm）和明基DS550數(shù)字投影儀組成結(jié)構(gòu)光視覺(jué)系統(tǒng)并進(jìn)行標(biāo)定，用標(biāo)定后的結(jié)構(gòu)光視覺(jué)系統(tǒng)測(cè)量精度較高的標(biāo)定板（角點(diǎn)數(shù)為15×9，每格的大小為30 mm×30 mm）上各角點(diǎn)之間的距離，并與雙目立體視覺(jué)系統(tǒng)[13]測(cè)量的結(jié)果進(jìn)行比較，測(cè)量結(jié)果如表1所示。

通過(guò)表1的數(shù)據(jù)可以看出，采用本文算法標(biāo)定結(jié)構(gòu)光視覺(jué)系統(tǒng)的測(cè)量精度明顯高于雙目立體視覺(jué)系統(tǒng)，其相對(duì)誤差小于0.3%，僅為雙目立體視覺(jué)系統(tǒng)的1/3左右，其絕對(duì)誤差也小于0.4 mm。實(shí)驗(yàn)結(jié)果表明該結(jié)構(gòu)光視覺(jué)標(biāo)定算法可以應(yīng)用于工藝品掃描、文物保護(hù)和恢復(fù)等領(lǐng)域。由于結(jié)構(gòu)光視覺(jué)系統(tǒng)的測(cè)量精度主要受系統(tǒng)標(biāo)定誤差、圖像特征提取誤差、測(cè)量物距等因素的影響，可以通過(guò)多次標(biāo)定視覺(jué)系統(tǒng)求取平均值、利用亞像素特征提取算法、減小測(cè)量物距等方法，進(jìn)一步提高測(cè)量精度。

表1 測(cè)量結(jié)果

6 結(jié)束語(yǔ)

利用數(shù)字投影儀和攝像機(jī)組成結(jié)構(gòu)光視覺(jué)系統(tǒng)，再利用張正友靈活標(biāo)定算法求取攝像機(jī)內(nèi)參數(shù)以及標(biāo)定板上的四個(gè)特征點(diǎn)在攝像機(jī)坐標(biāo)系中的坐標(biāo)，接著計(jì)算四個(gè)特征點(diǎn)在投影儀坐標(biāo)系中的坐標(biāo)，從而求取攝像機(jī)光心與投影儀光心之間的相對(duì)位置關(guān)系，實(shí)現(xiàn)結(jié)構(gòu)光視覺(jué)標(biāo)定。結(jié)合投影儀自身的參數(shù)，求取投影儀投影的任意光平面與攝像機(jī)坐標(biāo)系之間的空間位置關(guān)系，因此可以求解投影儀投影在被測(cè)物體上的任意光柵的空間坐標(biāo)，實(shí)現(xiàn)三維測(cè)量和掃描。并通過(guò)對(duì)精度誤差為0.05 mm的標(biāo)定板進(jìn)行多次測(cè)量，實(shí)驗(yàn)結(jié)果的最大相對(duì)誤差為0.277%，表明該方法可以應(yīng)用于標(biāo)定基于投影儀和攝像機(jī)的結(jié)構(gòu)光視覺(jué)系統(tǒng)。

[1]Thomas P K，Luc V G.Real-time range acquisition by adaptive structured light[J].IEEE Trans on Pattern Analysis and Machine Intelligence，2006，28（3）：432-445.

[2]陳天飛，馬孜，吳翔.基于主動(dòng)視覺(jué)標(biāo)定線結(jié)構(gòu)光傳感器中的光平面[J].光學(xué)精密工程，2012，20（2）：256-264.

[3]吳彰良，盧榮勝，宮能剛，等.線結(jié)構(gòu)光視覺(jué)傳感器結(jié)構(gòu)參數(shù)優(yōu)化分析[J].傳感技術(shù)學(xué)報(bào)，2004，8（4）：709-712.

[4]Wang A Q，Shao L T.A simple method of radial distortion correction with center of distortion estimation[J].Journal of Mathematical Imaging and Vision，2009，35：165-172.

[5]孫軍華，張廣軍.結(jié)構(gòu)光視覺(jué)傳感器通用現(xiàn)場(chǎng)標(biāo)定方法[J].機(jī)械工程學(xué)報(bào)，2009，45（3）：174-177.

[6]張廣軍.視覺(jué)測(cè)量[M].北京：科學(xué)出版社，2008：134-148.

[7]Bradski G，Kaebler A.Learning OpenCV[M].Beijing：Tsinghua University Press，2009.

[8]Zhang Zhengyou.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis And Machine Intelligence，2000，22（11）：1330-1334.

[9]周富強(qiáng)，蔡雯華.基于一維靶標(biāo)的結(jié)構(gòu)光視覺(jué)傳感器標(biāo)定[J].機(jī)械工程學(xué)報(bào)，2010，46（18）：7-13.

[10]Zhang G X，Liu S G，Qiu Z R.Non-contact measurement of sculptured surface of rotation[J].Chinese Journal of Mechanical Engineering，2004，17（4）.

[11]David A，F(xiàn)orsyth，Ponce J.Computer vsion—a modern approach[M].Beijing：Tsinghua University Press，2004.

[12]薛婷.三維視覺(jué)監(jiān)測(cè)儀器化關(guān)鍵技術(shù)研究[D].天津：天津大學(xué)，2006.

[13]劉俸材，李愛(ài)迪，馬澤忠.結(jié)構(gòu)光視覺(jué)系統(tǒng)誤差分析與參數(shù)優(yōu)化[J].計(jì)算機(jī)工程與設(shè)計(jì)，2013，34（2）：757-761.

LIU Fengcai1，2，LI Aidi1，2，MA Zezhong1，2

1.Chongqing Institute of Surveying and Planning for Land Resource and Buildings,Chongqing 400020,China
2.Chongqing Research Center,National Engineering Technology Research Center for Remote Sensing Applications,Chongqing 400020,China

To get continuous scanning of the structured-light vision system which is based on the projector and camera,it is needed to calculate the space position relationship between any light plane of the projector and image plane of the camera. Also the relative position between optical centre of camera and projector requires to be obtained.This paper settles the camera intrinsic parameters.Four corner points in the calibration board are used as characteristic points,also their extrinsic parameters are computed by using the intrinsic parameters of the camera.So coordinates of four characteristic points in the camera coordinate system can be found.The coordinates of the four characteristic points in the projector coordinate system can be computed by using the parameters of the projector itself.Thus,the relative position between optical center of camera and projector is obtained.That’s the process of calibration of structured-light based on camera and projector. The angular distance between corner points on calibration board is measured by structured-light vision system that has been calibrated above.The maximum relative error is 0.277%,which indicates that the calibration algorithm can be used in structure-light vision system based on projector and camera.

structured-light vision；calibration method；camera calibration；3D recovery

為實(shí)現(xiàn)基于投影儀和攝像機(jī)的結(jié)構(gòu)光視覺(jué)系統(tǒng)連續(xù)掃描，需要計(jì)算投影儀投影的任意光平面與攝像機(jī)圖像平面的空間位置關(guān)系，進(jìn)而需要求取攝像機(jī)光心與投影儀光心之間的相對(duì)位置關(guān)系。求取攝像機(jī)的內(nèi)參數(shù)，在標(biāo)定板上選取四個(gè)角點(diǎn)作為特征點(diǎn)并利用攝像機(jī)內(nèi)參數(shù)求取該四個(gè)特征點(diǎn)的外參數(shù)，從而知道四個(gè)特征點(diǎn)在攝像機(jī)坐標(biāo)系中的坐標(biāo)。利用投影儀自身參數(shù)求解特征點(diǎn)在投影儀坐標(biāo)系中的坐標(biāo)，從而計(jì)算出攝像機(jī)光心與投影儀光心之間的相對(duì)位置關(guān)系，實(shí)現(xiàn)結(jié)構(gòu)光視覺(jué)標(biāo)定。利用標(biāo)定后的視覺(jué)系統(tǒng)，對(duì)標(biāo)定板上的角點(diǎn)距離進(jìn)行測(cè)量，最大相對(duì)誤差為0.277%，表明該標(biāo)定算法可以應(yīng)用于基于投影儀和攝像機(jī)的結(jié)構(gòu)光視覺(jué)系統(tǒng)。

結(jié)構(gòu)光視覺(jué)；標(biāo)定方法；攝像機(jī)標(biāo)定；三維恢復(fù)

A

TP212.14

10.3778/j.issn.1002-8331.1303-0421

LIU Fengcai，LI Aidi，MA Zezhong.Method for calibration of structured-light vision based on projector and camera. Computer Engineering and Applications,2014,50（24）：168-172.

劉俸材（1985—），男，碩士，主要研究領(lǐng)域?yàn)橛?jì)算機(jī)視覺(jué)；李愛(ài)迪（1979—），男，高級(jí)工程師；馬澤忠（1972—），男，土家族，博士后，正研級(jí)高級(jí)工程師。E-mail：524075200@qq.com

2013-03-27

2013-07-17

1002-8331（2014）24-0168-05

CNKI網(wǎng)絡(luò)優(yōu)先出版：2013-08-28，http∶//www.cnki.net/kcms/detail/11.2127.TP.20130828.1540.006.html