摘 要：提出一種實用的移動機(jī)器人雙目視覺傳感器的標(biāo)定技術(shù)。為解決非線性標(biāo)定過程中解的不穩(wěn)定性，根據(jù)透視投影的交比不變性和透鏡成像的徑向排列約束(radial parallelism constraint，RAC)，線性標(biāo)定攝像機(jī)的內(nèi)部參數(shù)。然后，假定內(nèi)部參數(shù)不變，從雙目成像機(jī)理出發(fā)推導(dǎo)出本質(zhì)矩陣的分解形式，線性標(biāo)定出旋轉(zhuǎn)矩陣和與實際只相差1個比例因子的平移向量。最后，由已知兩個控制點之間的距離，求出實際的平移向量。實驗表明，該方法具有與傳統(tǒng)方法相同的精度，并且可實現(xiàn)外參數(shù)的現(xiàn)場標(biāo)定。

關(guān)鍵詞：標(biāo)定；雙目視覺；交比不變性；本質(zhì)矩陣；徑向約束

中圖分類號：TP391文獻(xiàn)標(biāo)識碼：B

文章編號：1004-373X(2008)22-187-05

On-line Calibration Technique of Vision Sensor in Moving Vehicles

ZHENG Banggui，DUAN Jianmin，TIAN Bingxiang

(College of Electronic Information and Control Engineering，Beijing University of Technology，Beijing，100124，China)

Abstract：A practical approach for stereo calibration in moving vehicles is proposed.To solve the instability of solution in the nonlinear calibration，intrinsic parameters are computed using cross-ratio invariability and Radial Parallelism Constraint (RAC) linearly.Then，assuming that intrinsic parameters are invariable，the deduction on decomposition form of essential matrix based on stereo imaging principle is given，and it can calibrate rotation matrix R and translation matrix T up to a scale factor linearly.Finally，the real extrinsic parameters are estimated with knowledge of distance between two scene points.Experimental results show that this method has same accuracy as that of traditional methods and can calibrate extrinsic parameters in the field.

Keywords：calibration;binocular vision;cross-ratio invariability;essential matrix;radial constraint

1 引 言

移動機(jī)器人視覺導(dǎo)航的關(guān)鍵技術(shù)之一是通過二維圖像提取出物體的三維信息，實現(xiàn)對場景環(huán)境的快速識別。如何獲得物體的精確的三維信息一直是機(jī)器視覺研究工作的重點。而立體視覺傳感器的標(biāo)定是必不可少的步驟。許多學(xué)者提出了攝像機(jī)標(biāo)定的多種方法，并得到了廣泛的應(yīng)用。傳統(tǒng)的方法是通過觀察攝像機(jī)前方的標(biāo)定物，確立匹配像素對，求解相關(guān)的方程組^［1-4］。然而這類方法需要精確得到控制點的3維坐標(biāo)，不得不做許多重復(fù)的工作，并且這些繁重的操作必須在實驗室內(nèi)精確地完成。

近年來，一些學(xué)者提出了各種簡化的立體攝像機(jī)自標(biāo)定方法^［5-7］。這些方法的特點是不需要控制點的絕對坐標(biāo)，而通過幾何約束關(guān)系來求解攝像機(jī)的參數(shù)。而有的方法需要加入額外的攝像機(jī)運(yùn)動，或者標(biāo)定精度不足。

雙目立體標(biāo)定不僅需要確定內(nèi)部參數(shù)，還要確定攝像機(jī)之間的相對位置關(guān)系。傳統(tǒng)的方法先分別標(biāo)定左右攝像機(jī)的內(nèi)部參數(shù)和外部參數(shù)，再計算兩攝像機(jī)的相對位置和方向。但該方法外參數(shù)只能在實驗室標(biāo)定，只適用于靜態(tài)的場合。這對移動機(jī)器人等動態(tài)環(huán)境來說是不適合的^［8］。

本文提出一種移動機(jī)器人雙目傳感器標(biāo)定技術(shù)。首先利用透視投影的交比不變性和透鏡成像的徑向排列約束對單個攝像機(jī)的內(nèi)參數(shù)進(jìn)行精確標(biāo)定；然后假定攝像機(jī)的內(nèi)部參數(shù)不變，再利用本質(zhì)矩陣的性質(zhì)，對安裝到現(xiàn)場的立體系統(tǒng)中兩臺攝像機(jī)的相對位置關(guān)系進(jìn)行標(biāo)定。

該方法不僅具有與傳統(tǒng)方法相當(dāng)?shù)木?，同時雙目標(biāo)定不限于實驗室環(huán)境，在標(biāo)定外參數(shù)時不需知道標(biāo)定物的空間坐標(biāo)，僅需要某兩控制點之間的相對距離即可，適合于機(jī)器人的“移動”特點，提高了標(biāo)定方法的靈活性。對于智能車輛(即移動機(jī)器人)導(dǎo)航的雙目立體系統(tǒng)，可以借助環(huán)境中的固定標(biāo)識來標(biāo)定雙目外參數(shù)。

2 成像模型

對于單攝像機(jī)模型，如圖1所示，設(shè)某一場景點在世界坐標(biāo)系的坐標(biāo)為(xw，yw，zw)，在攝像機(jī)坐標(biāo)系的坐標(biāo)為(xc，yc，zc)。攝像機(jī)坐標(biāo)系的原點定義在攝像機(jī)的光心，其 z 軸為攝像機(jī)的光軸，x 軸和 y 軸與圖像 X 軸和 Y 軸平行。圖像平面和光心的距離為有效焦距 f 。

圖1 考慮鏡頭畸變的攝像機(jī)成像模型

從場景點在世界坐標(biāo)系的坐標(biāo)(xw，yw，zw)變換到該點在計算機(jī)圖像坐標(biāo)系的投影點的坐標(biāo)(u，v)的過程可分為如下3步^［2］：

（1） 場景點從世界坐標(biāo)系到攝像機(jī)坐標(biāo)系的變換：

xcyczc=Rxwywzw+t（1）

其中，旋轉(zhuǎn)矩陣R及平移向量t為攝像機(jī)的外部參數(shù)，表示如下：

R=r11r12r13r21r22r23r31r32r33，t=t1t2t3

（2） 攝像機(jī)坐標(biāo)系到成像平面坐標(biāo)系的理想變換：

X=fxc/zc;Y=fyc/zc（2）

其中f為攝像機(jī)的焦距。

（3） 從成像平面坐標(biāo)系到計算機(jī)圖像坐標(biāo)系的變換：

u=X/dx+u0;v=Y/dy+v0（3）

其中(u0，v0)是計算機(jī)圖像中心的像素坐標(biāo)；dx，dy分別是X和Y方向相鄰兩像素間的距離(mm/pixel)，可以通過預(yù)標(biāo)定獲得。

由式(1)~(3)可得：

zcuv1=A(Rxwywzw+t)（4）

其中，投影矩陣A=α0u0

0βv0001，有效焦距α=f/dx，β=f/dy。

雙目模型的每個攝像機(jī)模型都符合上述表述。

3 攝像機(jī)內(nèi)參數(shù)標(biāo)定

對單攝像機(jī)模型，先標(biāo)定主點及部分外參數(shù)，再確定鏡頭的畸變系數(shù)，對圖像進(jìn)行畸變校正，最后標(biāo)定攝像機(jī)的有效焦距。

3.1 標(biāo)定攝像機(jī)主點、R、t1及t2

單攝像機(jī)模型中，設(shè)標(biāo)定模板位于世界坐標(biāo)系中的zw=0的平面上，由式(1)可以得到：

xcyc=r11xw+r12yw+t1r21xw+r22yw+t2（5）

由式(2)和(3)可得到：

XY=(u－u0)dx(v－v0)dy（6）

考慮攝像機(jī)成像的徑向排列約束條件，如圖1所示，向量OPu(或OPd)與向量pocp的方向相同，即：

xc/yc=X/Y（7）

將式(5)，(6)代入式(7)：

xwuywuxwvywvxwyw1v1T×r21/t2r22/t2－dy·r11/dx·t2

－dy·r12/dx·t2

(v0·dy·r11－u0·dx·r21)/dx·t2

(v0·dy·r12－u0·dx·r22)/dx·t2

－u0

－dy·t1/dx·t2

v0·dy·t1/dx·t2

=－u（8）

由式（8）可知，選不少于9個控制點即可求出u0，v0，r21/t2，r22/t2，r11/t2，r12/t2和t1/t2，一般采用最小二乘法來解該多控制點的方程組。進(jìn)一步可以根據(jù)旋轉(zhuǎn)矩陣的單位正交性質(zhì)來求解出R及t1和t2^［9］。

3.2 鏡頭畸變系數(shù)的標(biāo)定

首先，如圖2所示，空間共線4點A(xwA，ywA，zwA)，B(xwB，ywB，zwB)，C(xwC，ywC，zwC)和D(xwD，ywD，zwD)的一個交比J如下：

(xwA－xwC)(xwB－xwD)(xwB－xwC)(xwA－xwD)=J

(ywA－ywC)(ywB－ywD)(ywB－ywC)(ywA－ywD)=J

(zwA－zwC)(zwB－zwD)(zwB－zwC)(zwA－zwD)=J

（9）

其次，根據(jù)透視投影的交比不變性，其對應(yīng)理想圖像點A1(XA，YA)，B1(XB，YB)，C1(XC，YC)和D1(XD，YD)的對應(yīng)交比表示為^［10］：

(XA－XC)(XB－XD)(XB－XC)(XA－XD)=J(YA－YC)(YB－YD)(YB－YC)(YA－YD)=J（10）

圖2 交比不變性示意圖

在實際的三維測量中，應(yīng)考慮鏡頭的非線性畸變。理想圖像點坐標(biāo)(X，Y)和畸變后實際圖像點坐標(biāo)(Xd，Yd)的關(guān)系：

X=Xd+DX(Xd，Yd)

Y=Yd+DY(Xd，Yd)（11）

其中，DX(Xd，Yd)和DY(Xd，Yd)分別為X和Y方向的偏差：

DX(Xd，Yd)=k1Xd(X2d+Y2d)+

［k3(3X2d+Y2d)+2k4XdYd］+k5(X2d+Y2d)

DY(Xd，Yd)=k2Yd(X2d+Y2d)+

［k4(3X2d+Y2d)+2k3XdYd］+k6(X2d+Y2d)

根據(jù)式(11)，如果只考慮一階徑向畸變，則只需知道4個共線控制點即可求得其畸變系數(shù)k1，k2，這符合多數(shù)工業(yè)應(yīng)用場合的要求。對于某些場合，還需考慮切向畸變或者離心畸變等因素，可以通過非線性最小二乘擬合的方法求得畸變系數(shù)。

3.3 標(biāo)定鏡頭的有效焦距

利用式(11)對圖像進(jìn)行非線性校正，得到近似理想鏡頭情況下的圖像，進(jìn)而得到理想的計算機(jī)圖像。

由式(1)，(2)和(3)，結(jié)合zw=0有：

(u－u0)dxf=r11xw+r12yw+t1r31xw+r32yw+t3（12）

進(jìn)一步整理得到：

(r11xw+r12yw+t1)·f－(u－u0)dx·t3

=(u－u0)dx(r31xw+r32yw)（13）

此時，上式是關(guān)于f和t3的線性方程，可以通過線性最小二乘法擬合求得f和t3。

4 雙目外參數(shù)標(biāo)定

雙目成像模型如圖3所示，以左攝像機(jī)坐標(biāo)系作為世界坐標(biāo)系，矩陣R及向量t是右攝像機(jī)坐標(biāo)系相對于左攝像機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量。這里對用畸變系數(shù)校正后的理想圖像對進(jìn)行處理。

對左攝像機(jī)體系，有：

zcuv1=α0u00βv0001xcyczc=Axcyczc，

orxcyczc=zcA－1uv1（14）

同樣，對右攝像機(jī)體系，有：

c1=ccc=(Rxcyczc+t)（15）

其中，c=r31r32r33xcyczc+t3，代入上式，得：

1(［r31r32r33］xcyczc+t3)－(Rxcyczc+t)=0（16）

圖3 雙目成像模型

將式(14)代入式(16)，并記－0→u-~，－0→v-~，u－u0α→和v－v0β→，化簡后得：

zc(u-~r31－r11)+(u-~r32－r12)+u-~r33－r13

(v-~r31－r21)+(v-~r32－r22)+v-~r33－r23

=t1－u-~t3

t2－v-~t3（17）

消去zc得到：

u-~(r31t2－r21t3)+v-~(r11t3－r31t1)+

(r21t1－r11t2)+u-~(r32t2－r22t3)+

v-~(r12t3－r32t1)+(r22t1－r12t2)+

u-~(r33t2－r23t3)+v-~(r13t3－r33t1)+

(r23t1－r13t2)=0（18）

進(jìn)一步簡化式(18)，可得：

［u-~v-~1］SR1=0（19）

其中，S=0－t3t2t30－t1－t2t10。

由此可得本質(zhì)矩陣E=SR。由文獻(xiàn)［6，11，12］可知，本質(zhì)矩陣E的秩為2，并且E的分解幾乎是惟一的，最多只差1個尺度因子。由式（19）可求得與本質(zhì)矩陣E只差1個比例系數(shù)p1的矩陣，需要不少于8個控制點。對進(jìn)行奇異值分解=UDVT，令=UZUT，R=UWVT。其中：

W=010－100001，Z=0－10100000

則有=p2R，p2為比例系數(shù)。

因此，有E=p1=p1p2R=pR，p為比例系數(shù)，得：

S=p（20）

由式(20)求得向量t關(guān)于p的表達(dá)式，代入式(17)，求出zc關(guān)于p的表達(dá)式，再結(jié)合式(14)可推出，如果已知標(biāo)定模板中某兩控制點的距離，便可以求得比例系數(shù)p，就可以確定實際平移向量t。

綜上所述，實驗室內(nèi)完成內(nèi)參數(shù)的標(biāo)定，在現(xiàn)場安裝好雙目系統(tǒng)。標(biāo)定雙目外參數(shù)需要不少于8個控制點的平面模板，還需知道模板上任意兩控制點的距離。模版控制點分布力求均勻，數(shù)目越多，精度就越高。該標(biāo)定模板也可以繪制在路平面上。對安裝在智能車輛的雙目系統(tǒng)，可以利用如斑馬線等固定標(biāo)識隨時現(xiàn)場標(biāo)定外參數(shù)，提高了標(biāo)定的靈活性。

5 實驗結(jié)果分析

標(biāo)定實驗用的攝像機(jī)是 CMOS 攝像機(jī)。其圖像的分辨率為1 280×960。如圖4所示，標(biāo)定模板由 6×5個黑色方塊組成，每個小方塊的邊長及邊間距均為20 mm。標(biāo)定模板制作簡單，可以通過 600 DPI 的激光打印機(jī)用 A4 紙打印出。標(biāo)定實驗可分以下幾部分：

（1） 獲取模板圖像，進(jìn)行攝像機(jī)內(nèi)參數(shù)標(biāo)定。對每一攝像機(jī)采樣 16 幅圖像，其中 1 幅如圖4所示?？紤]一階徑向畸變，首先標(biāo)定射線機(jī)主點，確定鏡頭畸變系數(shù)，再標(biāo)定有效焦距。其標(biāo)定結(jié)果如表1所示。

表1 標(biāo)定的內(nèi)部參數(shù)

u0∕pixelsv0∕pixelsk1k2f∕pixels

左691.62442.890.007 450.007 142 156.7

右550.14515.330.006 420.007 122 185.9

（2） 進(jìn)行雙目外參數(shù)標(biāo)定。這里獲得8對圖像，其中的1對圖像如圖5所示。先根據(jù)式(19)求出與實際E只差1個比例因子的矩陣，并且，由式(20)，(17)和(14)可以計算出比例因子p。最后，可求得旋轉(zhuǎn)矩陣R及平移矩陣t。結(jié)果如下所示。

圖4 左攝像機(jī)獲取16 幅圖像中的1幅

R= -0.854 7-0.017 6-0.518 8

0.061 5-0.995 8-0.067 6

0.515 50.089 7-0.852 2，

t=246.224 687.863 7-119.801 9

圖5 由左右攝像機(jī)獲取的圖像

另外，也用傳統(tǒng)的方法對雙目外參數(shù)進(jìn)行標(biāo)定。首先，用單攝像機(jī)標(biāo)定方法分別標(biāo)定出每一攝像機(jī)的外參數(shù)，計算出左右攝像機(jī)的相對位置和方向。其標(biāo)定結(jié)果如下所示。

R= -0.850 9-0.015 1-0.525 1

0.061 7-0.995 5-0.071 4

0.521 60.093 2-0.848 1，

t=251.543 891.940 6-128.256 2

（3） 特征點三維重建。通過左右攝像機(jī)獲取模板的成像，對于每一控制點對，根據(jù)式(14)和(15)，可以得到4個關(guān)于xw，yw和zw的方程。解方程實際為求圖3中2條射線的交點，可以先將射線投影到圖中XOZ平面，解得xw和zw坐標(biāo)，再得到y(tǒng)w坐標(biāo)。圖6所示為模板上30個方塊頂點的實際三維坐標(biāo)圖。由圖可知各控制點共面，且與實際模板位置相符。

表2和表3分別給出了實際模板上各小方塊在u，v方向的邊長測量值。其絕對值誤差分別為2.65 mm和2.05 mm。從模板距離攝像機(jī)的位置來看，該測量誤差可以接受。誤差產(chǎn)生的原因主要是攝像機(jī)本身的成像效果、算法本身的計算誤差和標(biāo)定模板的遠(yuǎn)近等。如模板距離鏡頭太遠(yuǎn)或者太近，攝像機(jī)成像不清晰，導(dǎo)致控制點像素提取不精確。

表2 模板方塊u方向邊長的實測值

123456

120.111 321.198 421.783 222.468 722.771 322.550 1

220.589 721.343 122.204 822.552 422.582 922.131 5

320.646 821.525 122.084 322.619 722.653 922.404 7

420.571 321.33422.046 622.696 822.663 322.122 1

520.297 221.18121.675 822.060 421.957 321.925 3

表3 模板方塊v方向邊長的實測值

123456

119.998 620.086 620.760 221.088 821.308 321.332 6

220.566 520.968 121.349 821.511 421.865 821.694 8

321.129 821.502 321.644 121.726 622.052 721.836 5

421.036 521.447 921.381 121.638 921.678 521.69 3

520.537 620.811 720.659 421.193 320.835 621.04 5

圖6 控制點三維重建

6 結(jié) 語

本文研究了一種實用的移動機(jī)器人雙目視覺傳感器的標(biāo)定技術(shù)。該方法主要分2步：首先，根據(jù)透鏡成像的徑向排列約束計算出主點(u0，v0)，基于透視投影的交比不變性原理估計鏡頭畸變系數(shù)，再對圖像進(jìn)行糾正，并計算有效焦距f。該方法可避免非線性標(biāo)定過程中的解的不穩(wěn)定性。實驗中只考慮了一階徑向畸變，若要考慮切向畸變和離心畸變，可采用非線性最小方差擬和的方法來求解畸變系數(shù)。然后，假定內(nèi)部參數(shù)不變，對現(xiàn)場安裝好的雙目立體系統(tǒng)，從雙目系統(tǒng)的成像原理出發(fā)，推導(dǎo)出本質(zhì)矩陣的分解形式，根據(jù)兩控制點之間的相對距離，可線性地標(biāo)定雙目外參數(shù)。雙目外參數(shù)的標(biāo)定模板選擇比較自由，可以在地面繪制，也可利用環(huán)境中的固定標(biāo)識等，只需知道某2個控制點間的相對距離即可。實驗表明，該方法提高了立體標(biāo)定的靈活性，具有與傳統(tǒng)方法同樣的精度，模板制作簡單，可實現(xiàn)雙目系統(tǒng)的現(xiàn)場標(biāo)定。

參考文獻(xiàn)

［1］Faig W.Calibration of Close-range Photogrammetry Systems:Mathematical Formulation ［J］.Photogrammetric Eng.Remote Sensing，1975，41(12):1 479-1 486.

［2］Tsai R Y.A Versatile Camera Calibration Technique for High-accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Camera and Lenses ［J］.IEEE Journal of Automation，1987，3(4):323-334.

［3］Weng J，Cohen P，Herniou M.Camera Calibration with Distortion Models and Accuracy Evaluation ［J］.IEEE Trans.PAM I，1992，14(10):965-980.

［4］Ganapathy S.Decomposition of Transformation Matrices for Robot Vision ［A］.Proceedings of International Conference on Robotics and Automation［C］.1984:130-139.

［5］Maybank S J，F(xiàn)augeras O D.A Theory of Self-calibration of a Moving Camera ［J］.International Journal of Computer Vision，1992，8(2):123-151.

［6］Hartley R I.Estimation of Relative Camera Positions for Uncalibrated Cameras ［A］.Proceedings of IEEE Conference on Computer Vision and Pattern Recognition［C］.1992:761-764.

［7］Zhang Zhengyou.A Flexible New Technique for Camera Calibration ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(11):1 330-1 334.

［8］Dang T，Hoffmann C.Stereo Calibration in Vehicles ［A］.2004 IEEE Intelligent Vehicles Symposium［C］.2004:268-273.

［9］Zheng Nanning.Computer Vision and Pattern Recognition ［M］.Beijing:National Defense Industry Press，1998.

［10］Zhang Guangjun，He Junjie，Yang Xianming.Calibrating Camera RadialDistortion with Cross-ratio Invariability ［J］.Optics Laser Technology，2003，35:457-461.

［11］Longuet-Higgins H C.A Computer Algorithm for Reconstructing a Scene from Two Projections ［J］.Nature，1981，293(10):133-135.

［12］Hartley R I.In Defence of the 8-point Algorithm ［A］.Proceedings of the 5th International Conference on Computer Vision［C］.London:Cambridge，1995:1 064-1 070.

作者簡介 鄭榜貴 1972年出生，浙江江山人，博士研究生。主要從事機(jī)器視覺與智能檢測方面的研究。

注：本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文