劉 峰， 呂 強(qiáng)， 王國(guó)勝， 郭 峰

(裝甲兵工程學(xué)院控制工程系，北京 100072)

RGB-D傳感器的標(biāo)定實(shí)驗(yàn)分析

劉 峰， 呂 強(qiáng)， 王國(guó)勝， 郭 峰

(裝甲兵工程學(xué)院控制工程系，北京 100072)

分析了RGB-D傳感器的標(biāo)定模型及標(biāo)定方法，利用標(biāo)定棋盤和Matlab工具箱對(duì)RGB-D傳感器進(jìn)行了標(biāo)定。采用攝像機(jī)標(biāo)定方法計(jì)算了彩色攝像機(jī)和深度攝像機(jī)的初始化參數(shù)，根據(jù)標(biāo)定棋盤和標(biāo)定板的共面關(guān)系計(jì)算了相對(duì)位姿的初始估計(jì)值，并采用非線性最小化方法對(duì)標(biāo)定參數(shù)進(jìn)行了優(yōu)化。實(shí)驗(yàn)結(jié)果表明：標(biāo)定后的彩色圖像和深度圖像的重投影誤差較小，深度測(cè)量不確定性標(biāo)準(zhǔn)差比標(biāo)定前約減小了1/2，有效地提高了RGB-D傳感器的測(cè)量精度。

RGB-D傳感器；攝像機(jī)標(biāo)定；彩色圖像；深度圖像

與傳統(tǒng)的ToF攝像機(jī)和激光雷達(dá)等深度測(cè)量傳感器相比， RGB-D傳感器[1]可以同時(shí)獲得環(huán)境的彩色圖像和深度圖像，具有成本低、速度快、感知信息豐富等優(yōu)點(diǎn)。RGB-D傳感器作為一種新型的視覺傳感器，在移動(dòng)機(jī)器人視覺定位與導(dǎo)航[2-4]、3D場(chǎng)景重建[5-6]、目標(biāo)識(shí)別[7]和醫(yī)療輔助[8]等領(lǐng)域具有廣泛的應(yīng)用前景。

RGB-D傳感器采用常規(guī)的RGB攝像機(jī)捕獲彩色圖像，利用紅外投射器投射光斑并由紅外攝像機(jī)捕獲深度圖像。由于攝像機(jī)的裝配和鏡頭畸變等多種原因，其輸出的彩色圖像和深度圖像并不是一一對(duì)應(yīng)的，而彩色圖像與深度圖像的精確對(duì)應(yīng)是3D場(chǎng)景重建等各種應(yīng)用的基礎(chǔ)。盡管RGB-D傳感器已經(jīng)過工廠標(biāo)定，但是在一些要求精度高的應(yīng)用中，仍需進(jìn)行更精確的標(biāo)定[9]。

目前，國(guó)內(nèi)外學(xué)者深入研究了RGB-D傳感器的深度測(cè)量原理和標(biāo)定模型，提出了RGB-D傳感器的各種標(biāo)定方法。常規(guī)的方法是分別對(duì)彩色攝像機(jī)和深度攝像機(jī)進(jìn)行標(biāo)定，然后標(biāo)定兩攝像機(jī)的相對(duì)位姿。Smisek等[10]采用傳統(tǒng)的RGB攝像機(jī)標(biāo)定棋盤，在遮擋紅外投射器并使用鹵素?zé)艄庹丈錁?biāo)定棋盤的情況下獲取紅外圖像，同時(shí)通過在彩色圖像和紅外圖像中提取標(biāo)定棋盤的角點(diǎn)特征來(lái)對(duì)Kinect進(jìn)行標(biāo)定。Herrera等[11]分析認(rèn)為:對(duì)RGB-D傳感器的2個(gè)攝像機(jī)和相對(duì)位姿同時(shí)進(jìn)行標(biāo)定可以獲得更高的測(cè)量精度。Raposo等[12]在此基礎(chǔ)上采用平面擬合方法和平面配準(zhǔn)方法分別對(duì)深度攝像機(jī)初始參數(shù)標(biāo)定和相對(duì)位姿標(biāo)定過程進(jìn)行優(yōu)化，有效減少了標(biāo)定圖像的數(shù)量和標(biāo)定時(shí)間。上述標(biāo)定方法均使用2維標(biāo)定棋盤進(jìn)行標(biāo)定。Li等[13]根據(jù)深度圖像的特征設(shè)計(jì)了一種3維標(biāo)定板對(duì)Kinect進(jìn)行了標(biāo)定;Liu等[14]使用1維的直桿進(jìn)行標(biāo)定。除了標(biāo)定彩色攝像機(jī)和深度攝像機(jī)的內(nèi)參和相對(duì)位姿外，Yamazoe等[15]同時(shí)還建立了紅外投射器的誤差模型，并對(duì)投射器的畸變參數(shù)進(jìn)行了標(biāo)定，進(jìn)一步減小了深度測(cè)量的誤差。

雖然3維標(biāo)定板可以提供深度圖像中的角點(diǎn)信息，但RGB-D傳感器的深度測(cè)量噪聲較大，因此本文在文獻(xiàn)[11]的RGB-D傳感器標(biāo)定模型以及標(biāo)定方法的基礎(chǔ)上，利用Matlab工具箱對(duì)Kinect傳感器進(jìn)行了標(biāo)定，有效地提高了測(cè)量精度。

1 RGB-D傳感器標(biāo)定參數(shù)

RGB-D傳感器的標(biāo)定參數(shù)主要包括彩色攝像機(jī)內(nèi)參、深度攝像機(jī)內(nèi)參、深度測(cè)量參數(shù)以及彩色攝像機(jī)和深度攝像機(jī)之間的相對(duì)位姿。

1.1 彩色攝像機(jī)內(nèi)參

假設(shè)彩色攝像機(jī)坐標(biāo)系中某點(diǎn)Xc的坐標(biāo)為Xc=(xc,yc,zc)T，令Xn=(xn,yn)T=(xc/zc,yc/zc)T，則彩色攝像機(jī)的切向畸變和徑向畸變分別為

(1)

(2)

基于方程(1)、(2)，則彩色攝像機(jī)坐標(biāo)系中點(diǎn)Xc投影到彩色圖像坐標(biāo)系中對(duì)應(yīng)點(diǎn)pc的坐標(biāo)為

(3)

式中:xk=xr+xg;fc=(fcx,fcy),為彩色攝像機(jī)的焦距；p0c=(u0c,v0c)T,為彩色攝像機(jī)的主點(diǎn)坐標(biāo)。

綜上可知:彩色攝像機(jī)所需標(biāo)定內(nèi)參包括焦距、主點(diǎn)坐標(biāo)和畸變系數(shù)，可簡(jiǎn)記為

1.2 深度攝像機(jī)內(nèi)參

假設(shè)深度攝像機(jī)坐標(biāo)系中一點(diǎn)Xd的坐標(biāo)為Xd=(xd,yd,zd)T，其對(duì)應(yīng)的深度圖像坐標(biāo)系中點(diǎn)pd的坐標(biāo)為pd=(ud,vd)T，按照上述計(jì)算彩色攝像機(jī)內(nèi)參的相同方法，可知深度攝像機(jī)所需標(biāo)定內(nèi)參為

式中:fd、p0d、kd分別為深度攝像機(jī)的焦距、主點(diǎn)坐標(biāo)和畸變系數(shù)。

原始深度圖像的實(shí)際深度值z(mì)d為

(4)

式中：c1和c0為深度攝像機(jī)的內(nèi)參；

(5)

為畸變修正后的視差，其中d為視差，Dδ為視差畸變，α=(α0,α1)為畸變衰減。

將式(5)代入式(4)，可得視差對(duì)應(yīng)的深度。但在計(jì)算重投影誤差時(shí)，需要將式(4)中深度換算成畸變修正后視差：

(6)

將方程(6)代入式(5)，可由dk計(jì)算視差d。

綜上所述，可將RGB-D傳感器的深度測(cè)量模型參數(shù)簡(jiǎn)記為

綜合深度攝像機(jī)所需標(biāo)定內(nèi)參Ld1，可知深度攝像機(jī)的模型參數(shù)為L(zhǎng)d1∪Ld2。因此可將深度攝像機(jī)的模型參數(shù)簡(jiǎn)記為

1.3 彩色攝像機(jī)和深度攝像機(jī)之間的相對(duì)位姿

RGB-D傳感器標(biāo)定過程中使用的4個(gè)坐標(biāo)系如圖1所示，其中{C}和{D}分別為彩色攝像機(jī)和深度攝像機(jī)的參考坐標(biāo)系，{V}為標(biāo)定平板參考坐標(biāo)系，{W}為標(biāo)定棋盤參考坐標(biāo)系。假設(shè){C}、{D}、{V}和{W}中任意2個(gè)坐標(biāo)系間的相對(duì)位姿矩陣記為T={R,t}，則一個(gè)坐標(biāo)系中的點(diǎn)可通過相對(duì)位姿矩陣變換到另一個(gè)坐標(biāo)系。以坐標(biāo)系{D}和{C}為例，{D}中一點(diǎn)Xd變換到彩色攝像機(jī)坐標(biāo)系{C}中對(duì)應(yīng)的坐標(biāo)Xc為

(7)

式中:Rr為旋轉(zhuǎn)變換矩陣;tr為平移向量。

圖1 參考坐標(biāo)系及變換關(guān)系

針對(duì)圖1中不同的標(biāo)定圖像，坐標(biāo)系{C}和{D}間的相對(duì)位姿Tr為固定的常數(shù)矩陣，而坐標(biāo)系{W}和{C}間的相對(duì)位姿Tc以及坐標(biāo)系{V}和{D}間的相對(duì)位姿Td是不同的。因此，彩色攝像機(jī)和深度攝像機(jī)之間的相對(duì)位姿參數(shù)記為

2 RGB-D傳感器標(biāo)定方法

圖2 RGB-D傳感器標(biāo)定流程

2.1 基于角點(diǎn)的標(biāo)定

利用坐標(biāo)系間的變換關(guān)系，彩色圖像坐標(biāo)系中的點(diǎn)(uc,vc)T和標(biāo)定棋盤坐標(biāo)系中的點(diǎn)(Xq,Yq)T之間的投影關(guān)系可寫為[16]

(8)

2.2 相對(duì)位姿估計(jì)

利用參考坐標(biāo)系{V}和{W}的共面關(guān)系，計(jì)算彩色攝像機(jī)和深度攝像機(jī)之間的相對(duì)位姿Tr，計(jì)算每幅圖像中標(biāo)定板的平面方程并將其視為約束方程。通過nTx-δ=0定義平面方程，其中n為單位法向量，δ為平面到坐標(biāo)系{C}原點(diǎn)的距離。

將坐標(biāo)系{C}和{D}間的旋轉(zhuǎn)變換矩陣寫成列向量的形式，即Rr=(r1,r2,r3)，并指定2個(gè)坐標(biāo)系間的平面系數(shù)為

(9)

根據(jù)多幅圖像的約束關(guān)系，求出相對(duì)位姿的解析解。將每幅圖像的平面系數(shù)串聯(lián)成矩陣形式：

對(duì)于深度圖像，平面系數(shù)為Md和bd。相對(duì)變換可寫成

(10)

(11)

2.3 非線性最小化

(12)

方程(12)高度非線性且含大量參數(shù)(Dδ有307 200個(gè)元素)。為了分離視差畸變參數(shù)，將方程(12)改寫為

(13)

對(duì)方程(13)的優(yōu)化過程可分為如下3個(gè)步驟完成：

1) 先保持其他參數(shù)不變，只對(duì)參數(shù)Ld和Lr進(jìn)行優(yōu)化；

2) 保持Dδ為常量，采用最小二乘法優(yōu)化方程(13)；

3) 對(duì)每個(gè)像素單獨(dú)優(yōu)化視差畸變Dδ，交替迭代步驟2)和3)，直到殘差穩(wěn)定。

2.4 視差畸變估計(jì)

視差畸變Dδ中的所有元素是相互獨(dú)立的，而Dδ(u,v)的估計(jì)僅與像素(u,v)的測(cè)量值有關(guān)。因此，單獨(dú)對(duì)Dδ進(jìn)行優(yōu)化即可。當(dāng)其他參數(shù)固定時(shí)，可求得Dδ(u,v)的解析解。針對(duì)Dδ，優(yōu)化方程(13)等價(jià)于優(yōu)化如下代價(jià)函數(shù)：

(14)

方程(14)是關(guān)于Dδ(u,v)的齊次方程，求解該方程可得Dδ(u,v)的最優(yōu)值。

3 RGB-D傳感器標(biāo)定實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)條件

在室內(nèi)環(huán)境良好光照條件下進(jìn)行RGB-D傳感器標(biāo)定，實(shí)驗(yàn)中采用9×7的標(biāo)定棋盤，黑白方格邊長(zhǎng)為4 cm。將RGB-D傳感器靜置于桌面，調(diào)整標(biāo)定棋盤的位姿，采用libfreenect庫(kù)提供的函數(shù)在不同的距離處獲取不同方向的標(biāo)定圖像。在距離傳感器0.6～4 m范圍內(nèi)采集了60組深度圖像和彩色圖像，其中40組用于標(biāo)定，20組用于驗(yàn)證標(biāo)定結(jié)果。標(biāo)定軟件使用Matlab工具箱Kinect Calibration Toolbox[17]，在內(nèi)存4 GB的2.4 GHz酷睿雙核筆記本電腦上運(yùn)行。

3.2 RGB-D傳感器標(biāo)定實(shí)驗(yàn)

用A4紙打印出黑白方格的標(biāo)定棋盤并粘貼在一個(gè)平板上，在Ubuntu系統(tǒng)中利用libfreenect庫(kù)提供的函數(shù)獲取RGB-D傳感器的原始彩色圖像和深度圖像。圖像序列包括4種類別：不同距離處的正面圖像、繞x軸旋轉(zhuǎn)的圖像、繞y軸旋轉(zhuǎn)的圖像以及標(biāo)定板鋪滿整個(gè)視場(chǎng)的圖像，如圖3從左到右依次所示。

圖3 用于標(biāo)定的4類圖像

3.2.1 RGB圖像角點(diǎn)提取

采用隨工具箱提供的角點(diǎn)檢測(cè)方法，在彩色圖像中提取出棋盤4個(gè)頂點(diǎn)處的角點(diǎn)，劃定自動(dòng)角點(diǎn)檢測(cè)的區(qū)域，自動(dòng)檢測(cè)出棋盤的角點(diǎn)。RGB圖像的角點(diǎn)提取結(jié)果如圖4所示。

圖4 自動(dòng)角點(diǎn)檢測(cè)

3.2.2 深度圖像標(biāo)定平面選取

在每幅深度圖像中，手動(dòng)選擇標(biāo)定板頂點(diǎn)附近的4個(gè)點(diǎn)，確定標(biāo)定平面，如圖5所示。由于標(biāo)定板邊界處的深度測(cè)量噪聲較大，為減小噪聲對(duì)標(biāo)定平面參數(shù)的影響，選取的標(biāo)定平面應(yīng)略小于標(biāo)定板的大小。

圖5 選取標(biāo)定平面

3.2.3 標(biāo)定參數(shù)初始化

采用基于角點(diǎn)和基于標(biāo)定平面的攝像機(jī)標(biāo)定方法分別得到RGB攝像機(jī)和深度攝像機(jī)的初始化參數(shù)，利用標(biāo)定棋盤和標(biāo)定板共面的關(guān)系獲得相對(duì)位姿的初始估計(jì)。標(biāo)定參數(shù)的初始化結(jié)果如下：

αo=(0, 0)，

3.2.4 參數(shù)優(yōu)化

由3.2.3節(jié)得到的標(biāo)定參數(shù)初始值，根據(jù)代價(jià)函數(shù)采用非線性最小化方法對(duì)標(biāo)定參數(shù)進(jìn)行優(yōu)化，最終得到的標(biāo)定參數(shù)如下：

fc=(521.03， 519.41)，

kc=(0.244 9,-0.807 6, 0.001 5, 0.002 8, 0.905 6)，

fd=(582.38, 577.90)，

tr=(-0.023 58, -0.001 01, -0.003 62)T。

3.3 標(biāo)定結(jié)果分析

標(biāo)定前后的彩色和深度疊加圖像如圖6所示，可以看出：標(biāo)定前深度圖像的邊沿顯示出一定的畸變，物體邊沿處的彩色圖像和深度圖像存在一定偏差；標(biāo)定后畸變得到了修正，彩色圖像和深度圖像基本吻合。

圖6 標(biāo)定前后的彩色和深度疊加圖像

標(biāo)定后的彩色圖像中角點(diǎn)的重投影誤差及其直方圖分別如圖7、8所示?？芍? 標(biāo)定后，角點(diǎn)的重投影誤差均值為0，最大值不超過2像素，標(biāo)準(zhǔn)差為0.157 585。優(yōu)化前的角點(diǎn)重投影誤差均值為-0.000 002，標(biāo)準(zhǔn)差為0.145 077。正如文獻(xiàn)[18]中所述，深度攝像機(jī)模型參數(shù)的優(yōu)化會(huì)導(dǎo)致RGB攝像機(jī)的重投影誤差增加。

圖7 標(biāo)定后的彩色圖像角點(diǎn)重投影誤差

圖8 標(biāo)定后的彩色圖像角點(diǎn)重投影誤差直方圖

圖9為標(biāo)定前后的深度圖像視差重投影誤差分布，可知:標(biāo)定前的重投影誤差均值為0.325 011，標(biāo)準(zhǔn)差為1.536 120；標(biāo)定后的重投影誤差均值為0.019 643，標(biāo)準(zhǔn)差為0.680 898。圖10為標(biāo)定前后深度測(cè)量的不確定性曲線，可以看出：在0.5～1.5 m范圍內(nèi)，標(biāo)定后的深度測(cè)量不確定性標(biāo)準(zhǔn)差比標(biāo)定前約減小了1/2；1.5 m后的深度測(cè)量不確定性相差不大。標(biāo)定后擬合的深度測(cè)量不確定性函數(shù)為

圖9 標(biāo)定前后的深度圖像視差重投影誤差分布

e(z)=2.859z2-1.57z+1.448。

圖10 標(biāo)定前后深度測(cè)量不確定性

4 結(jié)論

本文分析了RGB-D傳感器的標(biāo)定模型和標(biāo)定方法，使用Matlab工具箱Kinect Calibration Toolbox進(jìn)行了標(biāo)定實(shí)驗(yàn)，結(jié)果表明：在0.5～1.5 m范圍內(nèi)，標(biāo)定后的深度測(cè)量不確定性標(biāo)準(zhǔn)差比標(biāo)定前約減小了1/2，有效提高了RGB-D傳感器的測(cè)量精度。該方法的不足之處在于：圖像中的部分角點(diǎn)需要人工選取，占用了大量的時(shí)間。下一步，將研究在2種圖像中自動(dòng)提取角點(diǎn)的方法。

[1] Microsoft. Kinect for X-BOX 360[EB/OL].(2010-06-14)[2014-09-02].http://www.xbox.com/en-US/kinect

[2] Klussendorff J H, Hartmann J, Forouher D, et al. Graph-based Visual SLAM and Visual Odometry Using an RGB-D Camera[C]∥Proceedings of the 9th International Workshop on Robot Motion and Control. Kuslin: IEEE, 2013: 288-293.

[3] Kerl C, Sturm J, Cremers D. Dense Visual SLAM for RGB-D Cameras[C]∥Proceedings of the International Conference on Intelligent Robot Systems (IROS). Tokyo: IEEE, 2013: 2100-2106.

[4] Kerl C, Sturm J, Cremers D. Robust Odometry Estimation for RGB-D Cameras[C]∥Proceedings of 2013 IEEE International Conference on Robotics and Automation (ICRA). Karlsruhe, Germany: IEEE, 2013: 3748-3754.

[5] Endres F, Hess J, Sturm J, et al. 3D Mapping with an RGB-D Camera[J]. IEEE Transactions on Robotics, 2014, 30(1): 177-187.

[6] Sturm J, Bylowb E, Kerla C, et al. Dense Tracking and Mapping with a Quadrocopter[EB/OL].(2013-09-04)[2014-09-02].http://www.int-arch-photogramm-remote-sens-spatial-inf-sci.net/XL-1-W2/395/2013/isprsarchives-XL-1-W2-395-2013.pdf

[7] Gedik O S, Alatan A A. 3-D Rigid Body Tracking Using Vision and Depth Sensors[J]. IEEE Transactions on Cybernetics, 2013, 43(5): 1395-1405.

[8] Webster D, Celik O. Experimental Evaluation of Microsoft Kinect’s Accuracy and Capture Rate for Stroke Rehabilitation Applications[C]∥Proceedings of 2014 IEEE Haptics Symposium. Houston, TX: IEEE, 2014:455-460.

[9] Willow Garage. Intrinsic Calibration of the Kinect Cameras [EB/OL]. (2012-06-18)[2014-09-02].http://wiki.ros.org/openni_launch/Tutorials/IntrinsicCali bration

[10] Smisek J, Jancosek M, Pajdla T. 3D with Kinect[C]∥Proceedings of 2011 IEEE International Conference on Computer Vision Workshops.Barcelona: IEEE, 2011:1154-1160.

[11] Herrera D, Kannala J, Heikkil A J. Accurate and Practical Calibration of a Depth and Color Camera Pair[C]∥Proceedings of Computer Analysis of Images and Patterns. Seville, Spain: Springer Berlin Heidelberg, 2011:437-445.

[12] Raposo C, Barreto J P, Nunes U. Fast and Accurate Calibration of a Kinect Sensor[C]∥Proceedings of 2013 International Conference on 3D Vision. Seattle, WA:IEEE, 2013:342-349.

[13] Li S, Zhuo Q. A New Approach to Calibrate Range Image and Color Image from Kinect[C]∥Proceedings of 2012 4th International Conference on Intelligent Human-Machine Systems and Cybernetics(IHMSC). Nanchang, Jiangxi:IEEE,2012:252-255.

[14] Liu W H, Fan Y Y, Zhang Z, et al. A New Method for Calibrating Depth and Color Camera Pair Based on Kinect[C]∥Proceedings of 2012 International Conference on Audio, Language and Image Processing (ICALIP). Shanghai: IEEE, 2012: 212-217.

[15] Yamazoe H, Habe H, Mitsugami I, et al. Easy Depth Sensor Calibration[C]∥Proceedings of 2012 21st International Conference on Pattern Recognition (ICPR). Tsukuba: IEEE, 2012:465-468.

[16] Zheng Z Y. A Flexible New Technique for Camera Calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

[17] Herrera C D, Kannala J, Heikkila J. Joint Depth and Color Camera Calibration with Distortion Correction[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(10): 2058-2064.

[18] Karan B. Accuracy Improvements of Consumer-grade 3D Sensors for Robotic Applications[C]∥Proceedings of 2013 IEEE 11th International Symposium on Intelligent Systems and Informatics (SISY). Subotica: IEEE, 2013:141-146.

(責(zé)任編輯:尚彩娟)

Calibrating Experiment Analysis of RGB-D Sensor

LIU Feng, Lü Qiang, WANG Guo-sheng, GUO Feng

(Department of Control Engineering, Academy of Armored Force Engineering, Beijing 100072, China)

The calibration model and method for RGB-D sensor are analyzed, the calibration experiment of RGB-D sensor is investigated by using a chessboard and Matlab toolbox. The initial parameters of color camera and depth camera are calculated by the calibrating method of camera. Then the initial relative pose position is estimated by the coplanarity of the calibrating chessboard and calibrating board. Finally, the calibrating parameters are optimized by a nonlinear minimum method. The results of the calibrating experiment show that, the re-projection errors of the color image and the depth image are smaller, the standard error of the depth measurement uncertainty after calibrating is one time smaller than before, and the measurement accuracy of RGB-D sensor is efficiently improved.

RGB-D sensor; camera calibration; color image; depth image

1672-1497(2015)01-0065-06

2014- 09- 26

劉 峰(1987-)，男，博士研究生。

TP212

A

10.3969/j.issn.1672-1497.2015.01.013