藍(lán)福明 楊宜民

（廣東工業(yè)大學(xué)自動(dòng)化學(xué)院）

0 引言

雙目立體視覺(jué)[1]作為計(jì)算機(jī)視覺(jué)領(lǐng)域中的一個(gè)重要分支，近年來(lái)取得了較快的發(fā)展。雙目立體視覺(jué)的主要任務(wù)之一就是從兩個(gè)攝像機(jī)分別捕獲的兩幅二維圖像信息出發(fā)，計(jì)算出三維空間中物體的相關(guān)幾何信息，并由此三維重建和識(shí)別物體。雙目立體視覺(jué)涉及的知識(shí)比較多，其中包括圖像采集和預(yù)處理、攝像機(jī)標(biāo)定、立體匹配和三維重建等。而攝像機(jī)標(biāo)定是雙目立體視覺(jué)中最關(guān)鍵、最復(fù)雜的部分。攝像機(jī)是雙目立體視覺(jué)系統(tǒng)獲取圖像信息的主要工具。通過(guò)實(shí)驗(yàn)計(jì)算獲取攝像機(jī)內(nèi)部和外部參數(shù)的過(guò)程稱(chēng)為攝像機(jī)標(biāo)定[2]。其中攝像機(jī)的幾何和光學(xué)參數(shù)，即為攝像機(jī)內(nèi)部參數(shù)；攝像機(jī)相對(duì)于世界坐標(biāo)系的方位，即為攝像機(jī)外部參數(shù)。

在現(xiàn)有的攝像機(jī)標(biāo)定算法中，根據(jù)標(biāo)定過(guò)程對(duì)標(biāo)定物的要求不同，可將攝像機(jī)的標(biāo)定分為傳統(tǒng)標(biāo)定方法[3]、自標(biāo)定方法[4]和基于主動(dòng)視覺(jué)的標(biāo)定方法[5]。傳統(tǒng)標(biāo)定方法標(biāo)定精度高，但對(duì)實(shí)驗(yàn)環(huán)境要求較高，不易實(shí)現(xiàn)；自標(biāo)定法靈活性強(qiáng)，對(duì)實(shí)驗(yàn)環(huán)境要求低，容易實(shí)現(xiàn)，但其算法魯棒性差，精度水平無(wú)法與傳統(tǒng)的標(biāo)定方法相比；基于主動(dòng)視覺(jué)的標(biāo)定法其算法簡(jiǎn)單，魯棒性高，但是系統(tǒng)的成本高且實(shí)驗(yàn)條件要求高，不適合運(yùn)動(dòng)參數(shù)未知或無(wú)法控制的場(chǎng)合。

1 標(biāo)定原理

在雙目立體視覺(jué)系統(tǒng)中，左右兩個(gè)攝像機(jī)均符合針孔成像模型[6]。雙目視覺(jué)的模型如圖1所示，左右攝像機(jī)的圖像點(diǎn)lp、rp與點(diǎn)P對(duì)應(yīng)。

圖1 雙目視覺(jué)模型

從三維空間物體表面上點(diǎn)的幾何位置到該點(diǎn)在圖像上所對(duì)應(yīng)點(diǎn)的位置之間的轉(zhuǎn)換關(guān)系如圖2所示。它是由攝像機(jī)成像幾何模型決定的，通過(guò)四個(gè)坐標(biāo)系之間的相互轉(zhuǎn)化來(lái)實(shí)現(xiàn)，即

其中， dx和 dy表示像素點(diǎn)的大小； (u0, v0)為點(diǎn) O1在圖像像素坐標(biāo)系中的位置（即基準(zhǔn)點(diǎn)）；f為攝像機(jī)焦距，和v0只與攝像機(jī)的內(nèi)部結(jié)構(gòu)有關(guān)（即為內(nèi)部參數(shù)）；R為3×3階的正交單位矩陣，t為三維平移向量，R3×3和 t3×1完全由攝像機(jī)坐標(biāo)系相對(duì)于世界坐標(biāo)系的方位決定（即為外部參數(shù)）。其中可記內(nèi)部參數(shù)矩陣A為：

圖2 坐標(biāo)系間的相互轉(zhuǎn)化流程

根據(jù)文獻(xiàn)[7]中有關(guān)對(duì)式（3）的化簡(jiǎn)求解，可得到一個(gè)與 sl和 sr無(wú)關(guān)的和的關(guān)系式，這就是極線約束。故由標(biāo)定點(diǎn)在左右攝像機(jī)坐標(biāo)系的坐標(biāo)和，可得到雙目立體視覺(jué)攝像機(jī)外部參數(shù)的旋轉(zhuǎn)矩陣和平移向量

2 標(biāo)定過(guò)程

采用本文的方法標(biāo)定雙目視覺(jué)攝像機(jī)分兩步：

1) 結(jié)合 OpenCV[8]編程實(shí)現(xiàn)對(duì)攝像機(jī)的內(nèi)部參數(shù)在線標(biāo)定；

2) 利用本質(zhì)矩陣反解得到雙目立體視覺(jué)系統(tǒng)攝像機(jī)的外部參數(shù)。

2.1 基于OpenCV的攝像機(jī)內(nèi)部參數(shù)標(biāo)定

用C語(yǔ)言并結(jié)合OpenCV函數(shù)編程分別對(duì)左右兩個(gè)攝像機(jī)的內(nèi)部參數(shù)進(jìn)行在線標(biāo)定，以棋盤(pán)格作為標(biāo)定模板，棋盤(pán)每小格的大小為20 mm×20 mm，格數(shù)為8×8格，角點(diǎn)（標(biāo)定點(diǎn)）數(shù)為49個(gè)，見(jiàn)圖3。

圖3 標(biāo)定模板

攝像機(jī)內(nèi)部參數(shù)的標(biāo)定過(guò)程可分為如下步驟：

1) 讀取一組用于標(biāo)定實(shí)驗(yàn)的圖像數(shù)據(jù)。使用采集函數(shù)QueryFrame()獲取視頻中的一幀圖片，反復(fù)調(diào)用此函數(shù)，共采取20幅光軸互不平行的圖像；

2) 找到標(biāo)定點(diǎn)并初步得到標(biāo)定點(diǎn)坐標(biāo)值。將步驟 1)中采集到的每幅圖片數(shù)據(jù)分別代入到cvFindChessboardCorner（）函數(shù)，找到棋盤(pán)格角點(diǎn)的位置，即為標(biāo)定點(diǎn)；

3) 進(jìn)一步精確得到標(biāo)定點(diǎn)的亞像素級(jí)坐標(biāo)值并保存。對(duì)步驟 2)中找到的角點(diǎn)坐標(biāo)值再代入cvFindCornerSubPix（）函數(shù)，進(jìn)一步精確得到角點(diǎn)的亞像素級(jí)坐標(biāo)值并保存；

4) 得到兩個(gè)攝像機(jī)內(nèi)部參數(shù)矩陣。將步驟 3)中得到的亞像素角點(diǎn)坐標(biāo)值代入cvCalibrateCamera2（）函數(shù)，對(duì)兩個(gè)攝像頭分別進(jìn)行內(nèi)部參數(shù)標(biāo)定，可得到左右兩個(gè)攝像機(jī)的內(nèi)部參數(shù)矩陣分別為Al和Ar。

2.2 基于本質(zhì)矩陣E的攝像機(jī)外部參數(shù)求解標(biāo)定

文獻(xiàn)[9]介紹了基礎(chǔ)矩陣F和本質(zhì)矩陣E的基本推導(dǎo)。引入基礎(chǔ)矩陣F對(duì)式（3）進(jìn)行簡(jiǎn)化得：

當(dāng)攝像機(jī)的內(nèi)部參數(shù) Ar和 Al已知時(shí)，由式（4）可得=0，其中E=RS，即為本質(zhì)矩陣，E只與雙目立體視覺(jué)攝像機(jī)的外部參數(shù)有關(guān)。

由上述可知，兩臺(tái)攝像機(jī)的相對(duì)位置關(guān)系與本質(zhì)矩陣幾乎是等價(jià)的。也就是說(shuō)，給出了雙目視覺(jué)系統(tǒng)攝像機(jī)的外部參數(shù)R和t就等于給出了本質(zhì)矩陣E；反之，若給出了本質(zhì)矩陣E，則攝像機(jī)外部參數(shù)R和t也就確定了。由本質(zhì)矩陣E的性質(zhì)可知，它具有5個(gè)自由度且秩為2，根據(jù)矩陣分析知識(shí)可知其可以分解成一個(gè)滿(mǎn)秩的旋轉(zhuǎn)矩陣 R和一個(gè)平移反對(duì)稱(chēng)矩陣T（由t中的元素構(gòu)成），且分解為唯一的，最多相差一個(gè)常數(shù)比例因子λ。其中向量 t =(tx, ty, tz)T，矩陣T定義為

故可將攝像機(jī)外部參數(shù)的求解步驟分為如下：

1) 特解E0的求解

其中 a11,a21,…,a33為本質(zhì)矩陣E的9個(gè)要求解的未知數(shù)元素。式（5）為齊次線性方程組，故需要9個(gè)不同的匹配點(diǎn)的坐標(biāo)即可求解出9個(gè)未知數(shù)元素。依據(jù)線性代數(shù)理論可知，|E| =0，則方程組有無(wú)窮解，故若找到該方程組的一個(gè)特解E0，那么其通解的形式是，其中λ為一待定常數(shù)。令 a33= 1 ，代入式（5）化簡(jiǎn)可得：

則方程組變?yōu)榉驱R次的，故存在唯一的解，可用最小二乘法求得方程組的解。

將標(biāo)定模板上的N（8≤N≤49）個(gè)標(biāo)定點(diǎn)對(duì)應(yīng)的左右圖像像素坐標(biāo)點(diǎn)（即由2.1的步驟3）中角點(diǎn)的亞像素級(jí)坐標(biāo)值）的齊次坐標(biāo)（i=1,…,N）代入式（6）得： AX= -b，其中A是一個(gè)N×8的系數(shù)矩陣，是一個(gè)8×1的解向量，b是元素全為1的N×1的向量，則方程組的解為，即可求特解E0。

2) 求解常數(shù)λ

λ值為世界坐標(biāo)系中兩標(biāo)定點(diǎn)之間的距離與攝像機(jī)坐標(biāo)系下對(duì)應(yīng)兩點(diǎn)之間的距離的比值。其中世界坐標(biāo)系中兩標(biāo)定點(diǎn)之間的距離，可由標(biāo)定模板中兩角點(diǎn)之間的距離求得，而攝像機(jī)坐標(biāo)系下對(duì)應(yīng)兩點(diǎn)之間的距離，可由2.1的步驟3)得到的亞像素級(jí)坐標(biāo)值角點(diǎn)中對(duì)應(yīng)兩點(diǎn)之間的距離求得。

3) 攝像機(jī)外部參數(shù)R和t的求解

3 實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)采用Logitech C160型攝像頭2個(gè)，圖像分辨率為640×480像素。根據(jù)上述標(biāo)定原理和步驟，在Windows XP平臺(tái)下利用Visual Studio 2008開(kāi)發(fā)一個(gè)基于OpenCV 2.2的攝像頭內(nèi)部參數(shù)標(biāo)定和外部參數(shù)矩陣求解標(biāo)定程序。實(shí)驗(yàn)時(shí)將攝像頭固定好，保證在標(biāo)定過(guò)程中兩攝像頭之間無(wú)相對(duì)位移，測(cè)得兩攝像頭之間的基線b=18.3 cm。

按照2.1中的步驟標(biāo)定出兩個(gè)攝像頭的內(nèi)部參數(shù)矩陣分別為：

按照2.2中的步驟，通過(guò)編程實(shí)現(xiàn)對(duì)矩陣的運(yùn)算求解得到雙目視覺(jué)中攝像頭的外部參數(shù)為：

由以上的數(shù)據(jù)可以看出，左右攝像頭的焦距基本相同，且每個(gè)攝像頭的 fx和 fy也相近；攝像頭拍攝的圖像分辨率為640×480，同時(shí)內(nèi)部參數(shù)矩陣所反映的光心點(diǎn)坐標(biāo)也基本在點(diǎn)（320，240）附近；另外在實(shí)驗(yàn)時(shí)兩攝像頭要盡量平行對(duì)齊，從攝像頭外部參數(shù)的旋轉(zhuǎn)矩陣R可知該矩陣比較接近三階單位矩陣；這些都基本符合預(yù)期的標(biāo)定結(jié)果。但為了更加合理準(zhǔn)確地衡量標(biāo)定誤差，還需要利用標(biāo)定結(jié)果進(jìn)行重投影誤差計(jì)算。假設(shè) (u1i, v1i)為角點(diǎn)檢測(cè)得到的亞像素級(jí)圖像坐標(biāo)，( u2i, v2i)為實(shí)際三維坐標(biāo)重投影計(jì)算得到的圖像坐標(biāo)。利用式（7）計(jì)算重投影誤差（其中n為成功找到角點(diǎn)的總個(gè)數(shù)），通過(guò)計(jì)算得到的左攝像頭的重投影誤差為0.407486，右攝像頭的重投影誤差為0.397516，誤差級(jí)別均小于一個(gè)像素級(jí)。

4 結(jié)束語(yǔ)

利用OpenCV及矩陣求解運(yùn)算開(kāi)發(fā)的攝像機(jī)標(biāo)定程序具有標(biāo)定結(jié)果精確、運(yùn)行效率高等特性，此外利用C語(yǔ)言編程的跨平臺(tái)移植性也較好。而在實(shí)際應(yīng)用場(chǎng)合，標(biāo)定結(jié)果的精確與否將直接影響系統(tǒng)后續(xù)工作的相關(guān)測(cè)量精度，故還應(yīng)結(jié)合實(shí)際要求，在標(biāo)定精度和算法魯棒性方面做進(jìn)一步的研究，未來(lái)的重點(diǎn)應(yīng)放在有關(guān)標(biāo)定方法各個(gè)步驟的優(yōu)化方面。

[1] 黨樂(lè).基于雙目立體視覺(jué)的三維重建方法研究[D].西安:長(zhǎng)安大學(xué),2009.

[2] 邱茂林,馬頌德,李毅.計(jì)算機(jī)視覺(jué)中攝像機(jī)定標(biāo)綜述[J].自動(dòng)化學(xué)報(bào),2000,26(1):43-55.

[3] 于泓.攝像機(jī)標(biāo)定算法研究[D].濟(jì)南:山東大學(xué),2006.

[4] 孟曉橋,胡占義.攝像機(jī)自標(biāo)定方法的研究與進(jìn)展[J].自動(dòng)化學(xué)報(bào),2003(1):110-122.

[5] 胡占義,吳福朝.基于主動(dòng)視覺(jué)攝像機(jī)標(biāo)定方法[J],計(jì)算機(jī)學(xué)報(bào),2002,25(11):1149-1156.

[6] 王興昌.基于雙目立體視覺(jué)的三維重建技術(shù)研究[D].合肥:安徽大學(xué),2012.

[7] 張廣軍.機(jī)器視覺(jué)[M].北京:科學(xué)出版社,2005:110-112.

[8] Bradski G , Kaehler A .學(xué)習(xí)OpenCV（中文版）[M].于仕琪,劉瑞禎,譯.北京:清華大學(xué)出版社,2009.

[9] Sonka M, Hlavac V, Boyle R. Image Processing, Analysis and Machine Vision (2nd Edition) [M]. New York: Thomson Press,2002:460-469.