王美珍，劉學(xué)軍，劉 丹

（南京師范大學(xué)虛擬地理環(huán)境教育部重點(diǎn)實(shí)驗(yàn)室，江蘇南京 210046）

一、引 言

攝像機(jī)標(biāo)定源于20世紀(jì)早期的攝影測量學(xué)，其后分別經(jīng)歷了傳統(tǒng)攝像機(jī)標(biāo)定、主動式攝像機(jī)標(biāo)定和攝像機(jī)自標(biāo)定3個(gè)階段，是機(jī)器視覺、攝影測量學(xué)、計(jì)算機(jī)視覺等領(lǐng)域的重要命題。傳統(tǒng)攝像機(jī)標(biāo)定依賴精密的標(biāo)定物和三維特征點(diǎn)信息獲取設(shè)備，精度高，但過程復(fù)雜，計(jì)算量大；主動式標(biāo)定無需標(biāo)定物，通過控制攝像機(jī)作特定運(yùn)動，由多幅像片獲取多約束方程，從而解算出內(nèi)參，方便快捷，但仍對拍攝過程有限制，不具通適性；攝像機(jī)自標(biāo)定則是完全利用像片自身約束進(jìn)行標(biāo)定，對攝像機(jī)的位置、運(yùn)動及場景都沒有要求，缺點(diǎn)則是魯棒性差，精度不高［1-3］。

攝像機(jī)自標(biāo)定方法一般是利用多視圖間的幾何約束，在多視圖之間同名點(diǎn)匹配的基礎(chǔ)上，非線性求解攝像機(jī)內(nèi)參數(shù)，如基于Kruppa方程方法、基于絕對二次曲線和絕對對偶二次曲面的方法等。Kruppa方程對噪聲異常敏感，不具有魯棒性，若要進(jìn)行非線性優(yōu)化，則難以獲取穩(wěn)定且唯一的解，有時(shí)甚至無解。因此需要發(fā)展一種方法，無需圖像之間的匹配，僅僅依靠單幅圖像中提供的幾何信息獲取約束方程，通過單獨(dú)解算或聯(lián)立多個(gè)方程求解內(nèi)參。針對這一目標(biāo)，本文總結(jié)了不同的變量對相機(jī)內(nèi)參的約束，并通過對不同的幾何特征、不同的計(jì)算方法進(jìn)行統(tǒng)一的表達(dá)和計(jì)算，提出了統(tǒng)一的單視圖圖像相機(jī)標(biāo)定的方法。

二、不同變量對相機(jī)內(nèi)參的約束

1.攝像機(jī)的標(biāo)定矩陣

2.滅點(diǎn)對相機(jī)內(nèi)參的約束

根據(jù)拉蓋爾定理:相機(jī)的主點(diǎn)是3個(gè)互相垂直消影所構(gòu)成三角形的垂心；相機(jī)的焦距可由垂心和消影點(diǎn)計(jì)算而得。假設(shè)相機(jī)的畸變因子為0，縱橫比為1，可得相機(jī)的三參數(shù)內(nèi)參矩陣。當(dāng)圖像中只能獲得兩個(gè)互相垂直方向的滅點(diǎn)時(shí)，通常假設(shè)相機(jī)主點(diǎn)位于圖像中心，此時(shí)相機(jī)為一參數(shù)模型［4-9］。此類方法僅僅需要一幅圖像即可標(biāo)定相機(jī)內(nèi)參，通常焦距的標(biāo)定能獲取較好效果，但主點(diǎn)對滅點(diǎn)誤差的敏感度非常高，適用于對相機(jī)進(jìn)行弱標(biāo)定。

兩條正交直線的消影點(diǎn)為v1、v2，它們與絕對二次曲線的像ω的關(guān)系如下

因此，兩個(gè)互相垂直的滅點(diǎn)能夠提供一組對絕對二次曲線的約束［3］，即當(dāng)有1組互相垂直的滅點(diǎn)時(shí)，可完成一參數(shù)相機(jī)模型的標(biāo)定。若有3組相互獨(dú)立的垂直滅點(diǎn)，則可計(jì)算三參數(shù)模型；有5組相互獨(dú)立的垂直滅點(diǎn)，則可以計(jì)算五參數(shù)模型。因此針對不同的相機(jī)模型，給定足夠數(shù)目的約束，ω就可以計(jì)算出來。

3.虛圓點(diǎn)對相機(jī)內(nèi)參的約束

假設(shè)Im、Jm是兩個(gè)虛圓點(diǎn)I、J的像，由于I、J是ω上的點(diǎn)，故Im、Jm應(yīng)落在ω的像上，因此可得兩個(gè)約束

在射影變換下，Im、Jm仍然為一對共軛點(diǎn)，故式（2）提供的約束實(shí)際上是等同的，但可以使實(shí)部虛部分別為零，得到關(guān)于ω的兩個(gè)約束

式中，RE（*）、IM（*）分別表示計(jì)算結(jié)果的實(shí)部和虛部。因此，如果圖像中能夠計(jì)算出虛圓點(diǎn)信息，則在一幅圖像中就可提供對絕對二次曲線的兩個(gè)約束條件［10-13］。因此若能夠提供3張以上的圖像，則至少可提供6個(gè)約束，完成對五參數(shù)相機(jī)內(nèi)參的標(biāo)定；若僅能獲取一幅圖像，則僅能提供兩個(gè)約束，完成一參數(shù)相機(jī)焦距的標(biāo)定。

三、多約束相機(jī)內(nèi)參統(tǒng)一計(jì)算方法

由上文可知，各個(gè)不變量都可通過絕對二次曲線的像對相機(jī)內(nèi)參進(jìn)行約束，但每一不變量對絕對二次曲線的約束形式卻存在差異。因此，筆者首先將不同的約束表達(dá)為統(tǒng)一的形式，然后通過多約束優(yōu)化計(jì)算相機(jī)內(nèi)參。

1.多約束信息統(tǒng)一表達(dá)

不同的幾何特征對相機(jī)內(nèi)參提供不同的約束:①N組不相關(guān)的相互垂直的滅點(diǎn)，提供對相機(jī)內(nèi)參N個(gè)約束；②虛圓點(diǎn)提供對相機(jī)內(nèi)參兩個(gè)約束。在利用這些信息進(jìn)行標(biāo)定時(shí)，需要將系統(tǒng)進(jìn)行統(tǒng)一化表達(dá)，以便進(jìn)行統(tǒng)一處理。

由上文可知，3個(gè)互相垂直方向上的滅點(diǎn)可以使用拉蓋爾定理求解三參數(shù)相機(jī)模型的內(nèi)參，而按照基于二次曲線的相機(jī)標(biāo)定方法，可以用式（1）來表示，3組互相垂直的滅點(diǎn)提供3組約束。本節(jié)將其他不變量約束轉(zhuǎn)化為相互垂直的滅點(diǎn)，對絕對二次曲線進(jìn)行約束。

目前可用于計(jì)算虛圓點(diǎn)的幾何特征主要包括:①圓形和滅線，可通過計(jì)算無數(shù)組兩條互相垂直的直徑來確定兩個(gè)互相垂直的滅點(diǎn)［17］，由于它們之間具有相關(guān)性，可選擇其中兩組參與內(nèi)參的計(jì)算；②兩個(gè)不互相平行的矩形/正方形，其本身可確定兩組互相垂直的滅點(diǎn)；③某一平面和圖像平面之間對應(yīng)的點(diǎn)/線坐標(biāo)，可通過計(jì)算單應(yīng)矩陣來獲得兩組互相垂直的滅點(diǎn)。

2.多約束下絕對二次曲線優(yōu)化計(jì)算

當(dāng)圖像中包含多個(gè)約束條件時(shí)，可將其統(tǒng)一表達(dá)為如下形式

因此，至少需要5組非相關(guān)的互相垂直滅點(diǎn)才可確定五參數(shù)相機(jī)模型的內(nèi)參矩陣；當(dāng)包含4組非相關(guān)的互相垂直滅點(diǎn)時(shí)，可解算定四參數(shù)相機(jī)模型；以此類推，N個(gè)非相關(guān)約束，可解算N參數(shù)相機(jī)模型的參數(shù)。當(dāng)存在相關(guān)的互相垂直的滅點(diǎn)時(shí)，則只能獲得小于N的相機(jī)參數(shù)模型。從代數(shù)角度表現(xiàn)為矩陣A的秩，矩陣的秩即為可解算對應(yīng)的相機(jī)參數(shù)模型。

3.內(nèi)參矩陣統(tǒng)一計(jì)算

一旦絕對二次曲線ω確定，則可通過Cholesky分解求得對應(yīng)的相機(jī)參數(shù)，也可通過絕對二次曲線與內(nèi)參之間的關(guān)系，求解對象的相機(jī)參數(shù)，公式如下

當(dāng)互相垂直的滅點(diǎn)確定之后，將其形成如式（5）中A的形式，求解A的秩，根據(jù)秩確定對應(yīng)的絕對二次曲線特定形式，在此基礎(chǔ)上，即可計(jì)算相機(jī)內(nèi)參的值。當(dāng)矩陣的秩等于矩陣的行數(shù)時(shí)，有唯一解；當(dāng)矩陣的秩大于矩陣的行數(shù)時(shí)，可求解其優(yōu)化解。

四、試驗(yàn)與分析

1.試驗(yàn)數(shù)據(jù)與試驗(yàn)結(jié)果

（1）試驗(yàn)數(shù)據(jù)

分別選用兩幅室內(nèi)外圖像對本文方法進(jìn)行測試，如圖1所示，其中（a）為室內(nèi)圖像，（b）為室外圖像，圖片的相關(guān)信息見表1。

圖1 測試圖片

（2）標(biāo)定結(jié)果

為了說明本文方法可用于任意相機(jī)參數(shù)模型，即可自適應(yīng)根據(jù)幾何特征的數(shù)量求解相應(yīng)的相機(jī)參數(shù)，本文分別假定某一幾何特征不存在，根據(jù)求解不同的相機(jī)模型，針對室內(nèi)外場景進(jìn)行測試。

為了能夠標(biāo)定更多的相機(jī)參數(shù)，并提高標(biāo)定的精度，應(yīng)該盡可能多地應(yīng)用圖像中的幾何特征，又由于圖像中每個(gè)平面最多能夠提供對絕對二次曲線的兩個(gè)約束，因此在圖像標(biāo)定過程中，既要注重多約束條件的應(yīng)用又要注意多約束條件之間的相關(guān)性。

表1 真實(shí)場景試驗(yàn)數(shù)據(jù)

針對室內(nèi)圖像，首先求解每一組平行線確定的滅點(diǎn)，然后求解3個(gè)橢圓（圓形的像）確定的優(yōu)化滅線，結(jié)合滅線及其相對位于圖像中心橢圓，確定平面上兩組互相垂直方向的滅點(diǎn)，結(jié)合垂直于此平面的滅點(diǎn)，一共形成4組互相垂直的滅點(diǎn)。不同的幾何特征組合標(biāo)定的結(jié)果見表2。

表2 室內(nèi)圖像測試結(jié)果

針對室外圖像，首先求解每一組平行線確定的滅點(diǎn)，進(jìn)而計(jì)算橢圓所在平面的滅線，然后結(jié)合滅線及其橢圓，確定平面上兩組互相垂直方向的滅點(diǎn)，結(jié)合垂直于此平面的滅點(diǎn)，一共形成4組互相垂直的滅點(diǎn)。不同的幾何特征組合標(biāo)定的結(jié)果見表3。

2.試驗(yàn)結(jié)果分析

單幅圖像相機(jī)自標(biāo)定僅僅依賴圖像中包含的約束信息，通常運(yùn)用圖像中的平行、垂直、圓形、矩形等幾何特征，這些特征是一般場景中常見的對象所呈現(xiàn)的結(jié)構(gòu)。如包含建筑物的場景，通常包含3個(gè)互相垂直方向的平行線組，即可獲得3個(gè)相互垂直方向的滅點(diǎn)；室內(nèi)場景，通常包括多個(gè)互相平行的平面，平面上存在各種類型的物體，可提供豐富的標(biāo)定信息；道路場景，通常包含交通標(biāo)志線、窨井蓋、交通標(biāo)志牌，其形狀、尺寸亦可為相機(jī)標(biāo)定提供約束。這些特征為單幅圖像提供了豐富的約束，使得單幅圖像標(biāo)定成為可能。

表3 室外圖像測試結(jié)果

測試結(jié)果表明，圖像中包含的多種幾何特征都能為相機(jī)內(nèi)參的標(biāo)定提供約束。理論上非相關(guān)的幾何特征越多，所能標(biāo)定的內(nèi)參數(shù)量越多、精度越高，兩幅圖像的測試結(jié)果初步證實(shí)了這一點(diǎn)。

由于本文方法無需圖像之間的匹配，圖像之間獨(dú)立對相機(jī)內(nèi)參進(jìn)行約束，因此本文方法也適用于同一相機(jī)在不改變內(nèi)參的情況下，拍攝多幅包含一定數(shù)量幾何約束的圖像（圖像刻畫的場景之間無需相關(guān)）的相機(jī)標(biāo)定。

五、結(jié)束語

本文提出的基于場景的相機(jī)自標(biāo)定方法無需圖像之間的匹配，只需要圖像刻畫場景中對象的約束信息，在約束信息充分的情況下可僅利用單幅圖像進(jìn)行相機(jī)標(biāo)定，尤其適合室內(nèi)外場景；方法無需傳統(tǒng)標(biāo)定方法中的標(biāo)定模板，而選用場景中存在的對象，因此方法具有普適性，尤其適合結(jié)構(gòu)化的室內(nèi)外場景；方法無需相機(jī)作嚴(yán)格運(yùn)動，只需要多幅圖像在拍攝過程中相機(jī)內(nèi)參不發(fā)生變化，減少了對拍攝過程的限制，因此方法具有方便性。更為重要的是，本文方法將所有的幾何特征約束從形式上都轉(zhuǎn)化為相互垂直的滅點(diǎn)，在幾何過程中將不同參數(shù)模型采用同種方式求解，使得方法具有統(tǒng)一性。

單幅圖像的自標(biāo)定一直是攝像機(jī)標(biāo)定的難題之一，目前的標(biāo)定方法主要利用幾何關(guān)系來約束相機(jī)參數(shù)，而由圖像中對象的幾何尺寸所提供的約束，由于需要較為相應(yīng)的先驗(yàn)知識，目前應(yīng)用較少。

通常對場景中可用的標(biāo)定對象的尺寸、大小沒有限制，場景中的正交信息、平行信息，或是多邊形、多面體等都可通過人機(jī)交互來識別。而上述方法中有些涉及比例、角度等的先驗(yàn)信息，則須事先建立先驗(yàn)知識庫，如足球場、籃球場的長寬比為固定的，在進(jìn)行標(biāo)定時(shí)，可作為已知值帶入約束方程。目前已有相關(guān)方面的標(biāo)定方法的研究［18］，隨著對場景先驗(yàn)知識庫的構(gòu)建和完善，將有更多約束條件用于相機(jī)標(biāo)定方法。

［1］ 孟曉橋，胡占義.攝像機(jī)自標(biāo)定方法的研究與進(jìn)展［J］.自動化學(xué)報(bào)，2003，29（1）:110-124.

［2］ 邱茂林，馬頌德，李毅.計(jì)算機(jī)視覺中攝像機(jī)定標(biāo)綜述［J］.自動化學(xué)報(bào)，2000，26（1）:43-55.

［3］ HARTLY R，ZISSERMAN A.Multiple View Geometry in Computer Vision［M］.Cambridge:Cambridge University Press，2002.

［4］ 謝文寒，張祖勛，張劍清.一種新的基于滅點(diǎn)的相機(jī)標(biāo)定方法［J］.哈爾濱工業(yè)大學(xué)學(xué)報(bào)，2003，35（11）:1384-1387.

［5］ 李立冬，劉教民.單目視圖下相機(jī)標(biāo)定和平面測距研究［J］.河北科技大學(xué)學(xué)報(bào)，2005，26（1）:47-50.

［6］ 邱衛(wèi)國，昂海松.基于單張平行六面體照片的攝像機(jī)標(biāo)定方法［J］.傳感器技術(shù)，2005，24（6）:85-88

［7］ 魏鋒，王小林.采用單幅圓柱體圖像的攝像機(jī)標(biāo)定［J］.工程圖學(xué)學(xué)報(bào)，2009，30（1）:109-113.

［8］ 楊敏，沈春林.未標(biāo)定單幅結(jié)構(gòu)場景圖像的三維重構(gòu)［J］.中國圖象圖形學(xué)報(bào)，2004，9（4）:456-459.

［9］ CRIMINISI A，REID I，ZISSERMAN A.Single View Metrology［C］ ∥ Proceedings ofthe 7th IEEE International Conference on Computer Vision.Kerkyra:［s.n.］，1999:434-441.

［10］ KIM J S，GURDJOS P，KWEON I S.Geometric and Algebraic Constraints of Projected Concentric Circles and Their Applications to Camera Calibration［J］.IEEE Transaction on Pattern Analysis and Machine Intelligence，2005，27（4）:637-642.

［11］ ZHONG H，MAI F，HUNG Y S.Camera Calibration Using Circle and Right Angles［C］∥18th International Conference on Pattern Recognition.Hong Kong:［s.n.］.2006:646-649.

［12］ 孟曉橋，胡占義.一種新的基于虛圓點(diǎn)的攝像機(jī)自標(biāo)定方法［J］.軟件學(xué)報(bào)，2002，13（5）:957-965.

［13］ 吳福朝，王光輝，胡占義.基于矩形的確定攝像機(jī)內(nèi)參數(shù)與位置的線性方法［J］.軟件學(xué)報(bào)，2003，14（3）:703-711.

［14］ 祝海江，陳西，馬昕.基于射影不變性的單幅圖像的測量及相機(jī)標(biāo)定［J］.北京化工大學(xué)學(xué)報(bào):自然科學(xué)版，2008（5）:330-334.

［15］ 祝海江，吳福朝，胡占義.基于兩條平行線段的攝像機(jī)標(biāo)定［J］.自動化學(xué)報(bào)，2005，31（6）:853-864.

［16］ 段福慶，吳福朝，胡占義.基于平行性約束的攝像機(jī)標(biāo)定與 3D重構(gòu)［J］.軟件學(xué)報(bào)，2007，18（6）:1350-1360.

［17］ CHEN Y S，IP H，HUANG Z J，et al.Full Camera Calibration from a Single View of Planar Scene［C］∥Advances in Visual Computing:4th International Symposium.Las Vegas:［s.n.］，2008.

［18］ MIYAGAWA I，ARAI H，KOIKE H.Simple Camera Calibration from a Single Image Using Five Points on Two Orthogonal 1-D Objects［J］.IEEE Transactions on Image Processing，2010，19（6）:1528-1538.