張 艷,趙麗娜,胡萬寶

(北京化工大學(xué)理學(xué)院，北京 100029)

中心折反射相機標(biāo)定方法綜述*

張 艷,趙麗娜,胡萬寶

(北京化工大學(xué)理學(xué)院，北京 100029)

近十幾年來，計算機視覺越來越受研究者們的歡迎，特別是全景相機由于其具有較大的視場而被廣泛應(yīng)用到許多領(lǐng)域，包括視頻監(jiān)控、機器人導(dǎo)航、電視電話會議、場景重建以及虛擬現(xiàn)實等。攝像機標(biāo)定是從二維圖像獲得三維信息必不可少的一步，攝像機標(biāo)定結(jié)果的好壞直接決定著三維重建結(jié)果以及其它計算機視覺應(yīng)用效果的好壞，所以，研究攝像機的標(biāo)定方法具有重要的理論研究意義和重要的實際應(yīng)用價值。這里將2000年到2012年折反射相機標(biāo)定方法按照標(biāo)定像的不同分為五大類：基于線的標(biāo)定、基于二維標(biāo)定塊標(biāo)定、基于三維點的標(biāo)定、基于球的標(biāo)定和自標(biāo)定，且簡要分析其優(yōu)缺點。

球面模型；折反射；相機標(biāo)定

1 引言

計算機視覺的研究目標(biāo)是使計算機具有通過二維圖像認知三維環(huán)境信息的能力。這種能力不僅使機器能感知三維環(huán)境中物體的幾何信息，包括它的形狀、位置、姿態(tài)、運動等，而且能對它們進行描述、存儲、識別與理解。

從二維圖像恢復(fù)三維物體可見表面的幾何結(jié)構(gòu)的過程稱為三維重建。三維重建主要分三個步驟完成：(1)圖像間對應(yīng)點的匹配；(2)標(biāo)定內(nèi)參；(3)求解外參數(shù)。

最早研究的全景相機技術(shù)有旋轉(zhuǎn)拼接式和魚眼攝像機，但是由于系統(tǒng)中存在轉(zhuǎn)動機構(gòu),系統(tǒng)的實時性很難得到滿足,在實時性要求較高的場合無法應(yīng)用。而魚眼攝像機系統(tǒng)復(fù)雜,造價昂貴。1999年Baker S和Nayer S[1]提出折反射系統(tǒng)由一個傳統(tǒng)相機及正前方的一個反射鏡面組成，并將其分為兩大類：中心系統(tǒng)與非中心系統(tǒng)。并且給出了中心折反射系統(tǒng)的完全分類：拋物折反射——正交相機前面放一個旋轉(zhuǎn)拋物鏡面；雙曲折反射——透視相機前面放一個旋轉(zhuǎn)雙曲鏡面；橢圓折反射——透視相機前面放一個旋轉(zhuǎn)橢圓鏡面；平面折反射——透視相機前面放一個平面。單視點全景折反射成像系統(tǒng)滿足單視點約束而且增大了視場，其中單視點比較適合建立數(shù)學(xué)模型，很容易計算相機的入射光線方向，而大視場可以幫助我們縮小局部視圖的可能性，提取特征。2001年，Geyer C和Daniilidis K[2]給出了球面統(tǒng)一模型，其具有良好的幾何約束，適合于建立統(tǒng)一的模型，圖像特性也更加方便研究。

傳統(tǒng)相機標(biāo)定是一個線性問題，折反射相機標(biāo)定是非線性問題，研究者們研究折反射相機標(biāo)定的熱點就是試圖尋找線性解法。本文第2節(jié)介紹球面成像模型及鏡面分類；第3節(jié)介紹標(biāo)定方法分類，并對其中的五個方法進行詳細的方法介紹，也是本篇文章的主要部分；第4節(jié)為本文小結(jié)?；谇蛎娴恼鄯瓷湎鄼C標(biāo)定仍是一個富有挑戰(zhàn)性的問題。

2 球面模型

折反射全景成像系統(tǒng)由一個常規(guī)的相機和一個反射面構(gòu)成。Svoboda T等人[3]證明了不同鏡面對應(yīng)不同的模型而且給出了對極幾何相關(guān)的公式。Geyer C和Daniilidis K[4]提出了可以處理任何中心折反射系統(tǒng)的統(tǒng)一模型：球面相機模型(圖1)，后來該模型被Ying X[5]和Barreto J P[6]推廣，迄今為止球面模型仍被廣泛應(yīng)用。

Figure 1 Spherical camera model圖1 球面相機模型

Table 1 Catadioptric camera category

3 標(biāo)定方法分類

關(guān)于標(biāo)定方法的分類已在文獻[5,7～9]中給出，Deng X M[7]將方法分為自標(biāo)定、基于球、基于線、基于點、二維標(biāo)定方法。Duan H等人[8]將標(biāo)定方法分為自標(biāo)定、基于三維點的標(biāo)定、基于二維點的標(biāo)定、基于線的標(biāo)定、基于球的標(biāo)定。Ying X H等人[5]把標(biāo)定方法分為已知世界坐標(biāo)系、自標(biāo)定、線的投影。Puig L等人[9]按照標(biāo)定系統(tǒng)的主要性質(zhì)將標(biāo)定方法分為基于線的標(biāo)定、二維模式標(biāo)定、基于三維點的標(biāo)定、自標(biāo)定、配極(Polarition)成像。本文按照有無標(biāo)定塊將方法分為兩類：有標(biāo)定塊；無標(biāo)定塊,即自標(biāo)定。其中有標(biāo)定塊按照其標(biāo)定塊的不同分為：基于線的標(biāo)定、基于二維標(biāo)定塊標(biāo)定、基于三維點的標(biāo)定、基于球的標(biāo)定。因此本文將標(biāo)定方法分為上述五類。

3.1 基于線的標(biāo)定

(1)

(2)

其中n=(nx,ny,nz)為球面像所在平面的法向量。由幾何不變量得到空間線的三個約束：

L1=d(bd-ae)-e(be-cd)=0

(3)

(4)

(5)

球的兩個約束：

s1=d(bd-ae)-e(be-cd)=0

(6)

(7)

得到參數(shù)的約束方程，利用三個球或者兩條線即可標(biāo)定相機。此方法基于球的標(biāo)定比基于線的魯棒性更強，精度更高，但是當(dāng)鏡面參數(shù)未知時，不能確定焦距，而且不適用退化的情況。2005年Barreto J P和Araujo H[11]研究了線的像的投影不變量性質(zhì)，證明了任意中心折反射相機均可由三或三條以上的線的像標(biāo)定。Ying X H[12]等人提出了運用Hough變換來探測線的像，標(biāo)定相機。2008年Wu F C等人[13]找到了一個適用于所有折反射相機的線性方法，首先提出空間點在可視球上的投影XS與其折反射像m之間的關(guān)系:

(8)

其中τ=(1-ξ2)/ξ2，ω=K-TK-1,m是一個三維行向量，得出主點約束方程:

(9)

運用三條線的像求出主點；平移像平面的原點到主點，得到空間線折反射投影標(biāo)定參數(shù)的一組約束:

(10)

最后在無任何相機先驗信息的情況下，通過一個視點下的三條或者三條以上的直線得到線性約束方程求解ω和τ的值。此方法不但提高了標(biāo)定的穩(wěn)定性，而且除了主點以外，所有參數(shù)都可以同時估計。

這類方法不需要知道用于標(biāo)定的空間直線間的相對位置以及直線相對于攝像機的位置關(guān)系，但只能估計攝像機內(nèi)參數(shù)，不能估計外參數(shù)。但是，基于線的像的標(biāo)定在實際中很難應(yīng)用，因為需要從一小弧來擬合二次曲線，這樣標(biāo)定既不準(zhǔn)確也不可靠。而且一般情況下，如果涉及很多線很難找到二維—三維對應(yīng)，因為并不是所有的二次曲線都是線的像[14]。Barreto J P和Araujo H[15]找到了擬合拋物折反射線像的二次曲線的充分條件,并且給出了證明。

3.2 控制點的二維標(biāo)定模式

這些控制點可以是角點、邊界點等任意易獲取的點，運用迭代的方法恢復(fù)內(nèi)參數(shù)和外參數(shù)。2004年，Wu Y H等人[16]運用同一個平面或者兩個平行平面內(nèi)的兩個圓進行標(biāo)定。步驟簡述如下：兩個平行圓與透視投影像之間建立擬仿射不變量，通過圓環(huán)點的像找到相機內(nèi)參的線性約束:

(11)

(12)

此方法精度高，魯棒性強，而且需要的標(biāo)定物的數(shù)量小(只需兩個平行圓)。2007年，DengXM等人[7]利用折反射相機三維橢圓邊界的像:

au2+2buv+cv2+2du+2ev+f=0

(13)

(14)

焦距fe表達式為:

(15)

然后使用中心折反射模型和球面模型之間的關(guān)系，運用DLT算法計算外參數(shù)初始值，再用非線性化的方法重新定義除主點以外的內(nèi)、外參數(shù)，其優(yōu)點是無需擬合部分可見二次曲線，僅需標(biāo)定圖像的橢圓邊界和二維標(biāo)定模型的像，而且此方法對于針孔模型和所有中心折反射相機來說標(biāo)定簡單。2009年Gasparini S等人[17]用一個二維—二維對應(yīng)的單應(yīng)陣H坐標(biāo)提升為6×6矩陣:

(16)

最少12對匹配點，運用DLT-like即可算出單應(yīng)陣，三幅圖像的單應(yīng)即可恢復(fù)IAC。對于拋物折反射相機而言，單幅圖像即可標(biāo)定。

3.3 基于三維點的標(biāo)定

基于三維點的標(biāo)定，只需知道三維空間點坐標(biāo)，即可標(biāo)定折反射相機。該方法的優(yōu)點在于標(biāo)定精度高，但是需要精度很高的標(biāo)定塊。

2001年Aliaga D G[18]放寬拋物折反射系統(tǒng)的假設(shè)，找到控制點的三維坐標(biāo)與其二維圖像坐標(biāo)的對應(yīng)關(guān)系，估計焦點距離使其滿足針孔模型，運用最優(yōu)化環(huán)來擬合內(nèi)參數(shù)和外參數(shù)。2004年，Vasseur P[19]提出了一個非線性方法來標(biāo)定相機內(nèi)參數(shù)。2005年，Wu Y H[20]等人找到一維/二維/三維場景點的不變量方程來擬合線性估計主點。2007年，Deng X M[21]等人又提出了三維空間中位于同一條直線的上的五個點在進行三次或者三次以上的簡單剛體變換以后，通過其圖像所隱含的消隱點線性求解IAC，即可標(biāo)定折反射相機的參數(shù)。2010年，Puig L等人[22]提出一種基于類直接線性算法(DLT-like)。

具體算法如下:三維點Q=[Q1Q2Q3Q4]T、像點q=[q1q2q3]、三維—二維對應(yīng)投影矩陣P提升標(biāo)：

(17)

(18)

(19)

其中：

(20)

3.4 基于球的標(biāo)定

2004年，Ying X H[5]通過幾何不變量找到了基于球的兩個不變量約束方程(方程(6)和方程(7))，運用三個球就可以非線性標(biāo)定折反射相機。2008年，Ying X H等人[23]在2004年的幾何不變量標(biāo)定折反射相機的基礎(chǔ)上，通過修改絕對二次曲線的像(MIAC),在像平面上得到一個與IAC同心的圓,運用雙觸點定理(Double-Contact Theorem)線性標(biāo)定折反射相機。但是，以上兩種方法對于拋物折反射方法是退化的。2012年，Duan H等人[8]解決了這種退化情形，步驟如下：首先在像平面上拋物鏡面投影的輪廓線是可視的，用其輪廓線初始化內(nèi)參數(shù)；提取k(k≥3)個視點下的兩個球面像，運用初始化的內(nèi)參數(shù)最小化目標(biāo)方程:

(21)

(22)

得到兩個平行圓C±i的表達式；求解C±i的公共解找到圓環(huán)點的像得出絕對二次曲線的像，從而標(biāo)定相機。但是，此方法僅適用于拋物折反射相機。

3.5 自標(biāo)定

自標(biāo)定方法適用于多視圖中點對應(yīng)，無需知道空間點位置及相機位置。2000年，Kang S B[24]給出了拋物折反射攝像機的自標(biāo)定方法，直接從場景圖像出發(fā)，使用多幅圖像對應(yīng)點之間的約束最小化目標(biāo)方程：

(23)

來標(biāo)定拋物折反射像機。其中，Npairs為不同圖像對的數(shù)量，med代表誤差εij的中間值，該方法的優(yōu)點在于不需要使用標(biāo)定塊就可以直接標(biāo)定中心折反射相機。2002年，Svoboda T[3]擴展了透視相機的極幾何到所有中心折反射相機上，得到三維空間中對應(yīng)射線的幾何性質(zhì)，得到像點的約束方程，從而得到中心折反射相機所有鏡面的極幾何約束。2010年，Ramalingam S等人[25]考慮在沒有任何平移和旋轉(zhuǎn)參數(shù)的前提下，使用純平移和純旋轉(zhuǎn)，從攝影射線的圖像匹配得到幾何約束來標(biāo)定中心相機。2011年，Espuny F[26]提出了一個與Ramalingam S類似的方法，相機圍繞著過投影中心線性無關(guān)的兩條未知線旋軸旋轉(zhuǎn)得到兩個密集的旋轉(zhuǎn)流，得到一個封閉形式的解，進而標(biāo)定中心相機。

在此我們將本文中提及的近10年攝像機標(biāo)定方法按時間分布如表2所示，并給出各方法之間的對比，如表3所示。

Table 2 Distribution table over the past decade

4 結(jié)束語

本文系統(tǒng)地論述了國內(nèi)外10年來中心折反射相機的標(biāo)定方法，將其分為五種方法，對其適用的范圍以及優(yōu)缺點做了簡單的概括。對于中心折反射相機來說，由于其大視場的特點越來越受到研究者們的喜愛，隨著算法的深入研究，標(biāo)定精度越來越高，魯棒性越來越強，適用范圍越來越廣。拋物折反射相機相對于雙曲折反射相機和橢圓折反射相機來說，標(biāo)定方法更加成熟而且比較全面。基于球面的折反射相機標(biāo)定仍然是一個具有挑戰(zhàn)性的開放性問題，暫時還沒有找到一種算法可以適用于所有類型折反射相機。

Table 3 Comparison among

[1] Baker S, Nayer S. A theory of single-viewpoint catadioptric image formation[J]. International Journal of Computer Vision, 1999, 35(2):175-196.

[2] Geyer C, Daniilidis K. Catadioptric projective geometry [J]. International Journal of Computer Vision, 2001, 45(3):223-243.

[3] Svoboda T,Pajdla T.Epipolar geometry for central catadioptric cameras [J]. International Journal of Computer Vision, 2002, 49 (1):23-37.

[4] Geyer C, Daniilidis K. A unifying theory for central panoramic systems and practical applications[C]∥Proc of the 6th European Conference on Computer Vision Part II, 2000:445-461.

[5] Ying Xiang-hua, Hu Zhan-yi. Catadioptric camera calibration using geometric invariants[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26 (10):1260-1271.

[6] Barreto J P,Araujo H.Issues on the geometry of central catadioptric image formation[C]∥Proc of IEEE Conference on Computer Vision and Pattern Recognition, 2001:422-427.

[7] Deng Xiao-ming, Wu Fu-chao, Wu Yi-hong. An easy calibration method for central catadioptric cameras[J]. Acta Automatic Sinica, 2007,33(8):801-808.

[8] Duan Hui-xian, Wu Yi-hong. A calibration method for paracatadioptric camera from sphere images[J]. Pattern Recognition Letters, 2012, 33(6):677-684.

[9] Puig L, Bermudez J, Sturm P, et al. Calibration of omnidirectional cameras in practice:A comparison of methods [J]. Computer Vision and Image Understanding, 2012,116(1):120-137.

[10] Geyer C, Daniilidis K. Paracatadioptric camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(5):687-695.

[11] Barreto J P, Araujo H. Geometric properties of central catadioptric line images and their application in calibration[J]. Pattern Analysis and Machine Intelligence, 2005, 27(8):1327-1333.

[12] Ying Xiang-hua, Zha Hong-bin. Simultaneously calibrating catadioptric camera and detecting line features using Hough transformation[C]∥Proc of IEEE/RSJ International Conference on Intelligent Robots and Systems, 2005:1343-1348.

[13] Wu Fu-chao, Duan Fu-qing, Hu Zhan-yi, et al. A new linear algorithm for calibrating central catadioptric cameras [J]. Pattern Recognition, 2008,41(10):3166-3172.

[14] Barreto J P, Araujo H. Fitting conics to paracatadioptric projections of lines[J]. Computer Vision and Image Understanding, 2006, 101(3):151-165.

[15] Sturm P, Barreto J. General imaging geometry for central catadioptric cameras [C]∥Proc of European Conference on Computer Vision, 2008:609-622.

[16] Wu Yi-hong, Zhu Hai-jiang, Hu Zhan-yi, et al. Camera calibration from the quasi-affine invariance of two parallel circles[C]∥Proc of European Conference on Computer Vision, 2004:190-202.

[17] Gasparini S, Sturm P, Barreto J P. Plane-based calibration of central catadioptric cameras [C]∥Proc of International Conference on Computer Vision, 2009:1195-1202.

[18] Aliaga D G. Accurate catadioptric calibration for real-time pose estimation in room-size environments[C]∥Proc of the 8th International Conference on Computer Vision, 2001:127-134.

[19] Vasseur P, Mouaddib E. Central catadioptric line detection[C]∥Proc of British Machine Vision Conference, 2004:1.

[20] Wu Yi-hong, Hu Zhan-yi. Geometric invariants and applications under catadioptric camera model [C]∥Proc of International Conference on Computer Vision, 2005:1547-1554.

[21] Deng Xiao-ming, Wu Fu-chao, Duan Fu-qing, et al. Catadioptric camera calibration with one-dimensional objects[J]. Chinese Journal of Computers,2007,30(5):737-747.(in Chinese)

[22] Puig L,Bastanlar Y,Sturm P,et al.Calibration of central catadioptric cameras Using a DLT-Like approach[J]. International Journal of Computer Vision, 2011, 93(1):101-114.

[23] Ying Xiang-hua,Zha Hong-bin.Identical projective geometric properties of central catadioptric lines images and sphere images with applications to calibration[J]. International Journal of Computer Vision, 2008, 78(1):89-105.

[24] Kang S B. Catadioptric self-calibration [C]∥Proc of the IEEE Conference on Computer Vision and Patten Recognition, 2000:201-207.

[25] Ramalingam S, Sturm P, Lodha S K. Generic self-calibration of central cameras[J]. Computer Vision and Image Understanding, 2010, 114(2):210-219.

[26] Espuny F, Gil J B. Generic self-calibration of central cameras from two rotational flows[J]. International Journal of Computer Vision, 2011, 91(2):131-145.

附中文參考文獻：

[21] 鄧小明,吳福朝,段福慶,等,基于一維標(biāo)定物的反射折射攝像機標(biāo)定方法[J].計算機學(xué)報，2007,30(5):737-747.

ZHANGYan,born in 1986,MS candidate,her research interest includes the study of central catadioptric camera calibration.

趙麗娜(1974-),女,河北保定人，博士，副教授，研究方向為計算機視覺。E-mail:zhaoln@mail.buct.edu.cn

ZHAOLi-na,born in 1974,PhD,associate professor,her research interest includes computer vision.

胡萬寶(1984-),男,河北張家口人,碩士，研究方向為人臉識別。E-mail:huwanbao2008@163.com

HUWan-bao,born in 1984,MS,his research interest includes face recognition.

Reviewofcentralcatadioptriccameracalibrationmethods

ZHANG Yan,ZHAO Li-na,HU Wan-bao

(College of Science,Beijing University of Chemical Technology,Beijing 100029,China)

In recent dozen years,computer vision becomes more popular,in which omnidirectional camera has a larger field of view (FOV) and widely been used in many fields,such as:robot navigation,visual surveillance,virtual reality, three-dimensional reconstruction, and so on.Camera calibration is an essential step to obtain three-dimensional geometric information from a two-dimensional image.Camera calibration results directly decide the results of 3-D reconstruction and other computer vision application effect.Hence,the study of such camera calibration method has important theoretical significance and practical applications.The paper classifies these methods from 2000 to 2012,by means of the difference calibration blocks,into five categories:calibration based on line;calibration based on two-dimensional calibration block;calibration based on three-dimensional point;calibration based on balls;self-calibration. And these methods’advantages and disadvantages are analyzed.

spherical model;catadioptric;camera calibration

1007-130X(2014)05-0951-06

2012-09-24;

：2013-03-12

國家自然科學(xué)基金天元基金資助項目(10926187)；中央高?；究蒲袠I(yè)務(wù)費專項資金資助項目(ZZ1019)；國家自然科學(xué)青年基金資助項目(11301021)

TP391.4

：A

10.3969/j.issn.1007-130X.2014.05.028

張艷(1986-),女,遼寧北票人，碩士生，研究方向為中心折反射相機方法標(biāo)定研究。E-mail:mnzhy.2007@163.com

通信地址：100029 北京市北京化工大學(xué)66信箱

Address:Mailbox 66,Beijing University of Chemical Technology,Beijing 100029,P.R.China