何　胤，肖雙九

(上海交通大學(xué) 電子信息與電氣工程學(xué)院，上海 200240)

一種簡便的大空間多攝像機(jī)自標(biāo)定算法

何胤，肖雙九

(上海交通大學(xué) 電子信息與電氣工程學(xué)院，上海 200240)

針對現(xiàn)有的多攝像頭全自動目標(biāo)定方法要求至少3幅不同視圖才能完成標(biāo)定的限制條件，為減少攝像頭數(shù)量、降低擺放設(shè)計復(fù)雜度以及提高系統(tǒng)的整體性能，通過嚴(yán)格的數(shù)學(xué)推論證明了在攝像頭內(nèi)參一致的約束下，只需要2幅不同視圖即可完成標(biāo)定.經(jīng)實驗驗證，對標(biāo)定結(jié)果進(jìn)行二維重映射的像素誤差約1個像素.該算法在更寬松的限制條件下，仍然保持了操作簡便、計算結(jié)果穩(wěn)定且精度較高的性能.

計算機(jī)視覺；大空間；多攝像頭；自標(biāo)定

攝像機(jī)標(biāo)定的目的是尋找二維圖像與三維空間的一種對應(yīng)關(guān)系.1971年，文獻(xiàn)[1]建立了線性的攝像機(jī)成像模型，將這種對應(yīng)關(guān)系表示為一個參數(shù)矩陣，即攝像機(jī)矩陣，隨后研究者們對攝像機(jī)標(biāo)定進(jìn)行了深入的研究，提出了一些更精確、更可靠的算法[2-4].

隨著攝像機(jī)和計算機(jī)成本的降低和相關(guān)技術(shù)的發(fā)展，越來越多的多攝像機(jī)智能系統(tǒng)開始出現(xiàn)[5-6]，攝像機(jī)標(biāo)定作為很多智能系統(tǒng)的基礎(chǔ)技術(shù)，直接影響著系統(tǒng)的性能表現(xiàn)，而到目前為止，對大空間多攝像機(jī)全自動標(biāo)定算法的研究還較少.

攝像機(jī)自標(biāo)定是直接由未標(biāo)定的多幅圖像來計算攝像機(jī)和景物的度量性質(zhì)的一種算法類型[7].文獻(xiàn)[8-9]利用二維的移動圓盤對攝像機(jī)進(jìn)行標(biāo)定，而文獻(xiàn)[10]利用對應(yīng)點求取外參矩陣后，再使用一維標(biāo)定物求解外參矩陣的尺度因子.盡管這些算法都不需要知道標(biāo)定物在三維坐標(biāo)下的信息，但其有著一個共同的缺陷，它們都需要使用鏈?zhǔn)降姆绞?，一個接一個地把標(biāo)定結(jié)果結(jié)合起來，這個鏈接結(jié)果的過程很容易產(chǎn)生和傳遞錯誤.文獻(xiàn)[11]使用傳統(tǒng)的方法對大空間內(nèi)多攝像機(jī)進(jìn)行標(biāo)定，該方法使用連接起來的標(biāo)定板和一個三維鐳射測量儀器來收集足夠多的三維點，從而進(jìn)行標(biāo)定求解.文獻(xiàn)[12]提出了利用高精度網(wǎng)格的平板進(jìn)行多攝像機(jī)網(wǎng)絡(luò)標(biāo)定的算法.

文獻(xiàn)[13]提出了一種全自動的自標(biāo)定算法，標(biāo)定過程要求用戶拿著一支鐳射筆在標(biāo)定區(qū)域內(nèi)自由晃動，而這也是唯一需要用戶完成的動作.隨后算法檢測不同攝像機(jī)視圖中的亮點，這些點滿足攝像機(jī)的對極約束，利用4階矩陣分解，可由這些點構(gòu)成的測量尺度矩陣得到一個射影重構(gòu)，最后再通過求解單應(yīng)性變換矩陣，將射影重構(gòu)轉(zhuǎn)換為歐拉重構(gòu)，完成標(biāo)定過程.但是該算法受數(shù)學(xué)模型的限制，求解過程至少同時需要3個不同視圖的圖像，這會導(dǎo)致在大空間應(yīng)用場景中，攝像機(jī)的擺放設(shè)計更復(fù)雜，需要更多的攝像機(jī)，在增加成本的同時，也增大了后續(xù)應(yīng)用中(例如目標(biāo)跟蹤)的數(shù)據(jù)量，影響系統(tǒng)的整體性能.本文在文獻(xiàn)[13]的研究基礎(chǔ)上，對算法進(jìn)行了改進(jìn)，證明了在內(nèi)參一致的約束下，可以僅通過2個不同視圖求解單應(yīng)性變換矩陣，從而減少已有算法的限制.

1　算法原理

1.1攝像機(jī)模型

攝像機(jī)模型是光學(xué)成像幾何關(guān)系的簡化[14]，最簡單的模型為線性模型[1]，或稱針孔模型(pin-hole model).該模型的3個重要坐標(biāo)系如圖1所示.

(a) 圖像坐標(biāo)系

(b) 攝像機(jī)坐標(biāo)系和世界坐標(biāo)系圖1　圖像坐標(biāo)系、攝像機(jī)坐標(biāo)系和世界坐標(biāo)系Fig.1　Image coordinate,camera coordinate and world coordinate

(1)

1.2生成和分解測量尺度矩陣

(2)

其中:i表示第i個攝像機(jī);j表示第j個點.將所有的點和攝像機(jī)矩陣放入測量尺度矩陣Ws中

(3)

(4)

1.3求解單應(yīng)性變換矩陣

本文提出了一種僅需兩個視圖即可計算單應(yīng)性變換矩陣H的算法，該算法基于射影幾何的絕對二次曲線[5].與文獻(xiàn)[13]的方法類似，在本文的實現(xiàn)中，不需要測量三維點的世界坐標(biāo)信息，而是假設(shè)世界坐標(biāo)的原點在檢測點的中心位置.由式(1)可知

(5)

定義

H4×4=[A4×3b4×1]

(6)

其中：A4×3和b4×1分別表示H4×4的前三列和最后一列.由式(4)～(6)可得

Ki[Riti]=Pi[A4×3b4×1]

(7)

若假設(shè)世界坐標(biāo)系原點為所有采集三維點的中心，則可以獲得關(guān)于b4×1的2m個方程[13]，由式(7)有

KiRi=PiA

(8)

由此可以推出Ri=K-iPiA，用RRT=1消去旋轉(zhuǎn)矩陣Ri得

PiAATPiT

(9)

定義一個4×4的對稱矩陣

Q=AAT

(10)

此時，問題轉(zhuǎn)化為計算有10個未知數(shù)的對稱矩陣Q，本文假設(shè)攝像機(jī)的像素為方塊，主點與圖像坐標(biāo)系原點相重合，且所有攝像機(jī)的內(nèi)參相同，即KiKiT=KjKjT，則有

u0=0, v0=0, ax=ay, PiQPjT=PjQPjT

由此可得線性方程組

(11)

2　實驗驗證

本文的實驗設(shè)備為攝像機(jī)三腳架、IDS攝像機(jī)、紅外發(fā)光板、紅外反光小球、USB集線器以及一臺電腦(Intel Core i7-3770 3.4 GHz CPU，內(nèi)存8 GB)，代碼由Windows 7版本的Matlab 2013b編譯運行.

實驗所使用的主要設(shè)備如圖2(a)～(c)所示，實驗場景如圖2(d)所示，攝像機(jī)放置在三腳架上，紅外發(fā)光板放置在攝像頭后方，保證順著攝像頭視線發(fā)射紅外光，當(dāng)使用紅外反光小球在標(biāo)定區(qū)域中晃動時，攝像機(jī)能捕捉到紅外反光小球更高的亮度，以便于收集對應(yīng)點.專用的USB集線器能提供更高的帶寬和功率，保證在采集標(biāo)定圖像序列時，能夠達(dá)到同步.

(a) 攝像機(jī)及紅外發(fā)光板

(b) 紅外反光小球

(c) USB集線器

(d) 實驗場景，其中虛線框為攝像機(jī)，實線框為集線器圖2　標(biāo)定實驗設(shè)備及實驗場景Fig.2　Experiments devices and the scene

標(biāo)定開始前，攝像機(jī)通過USB集線器連接到計算機(jī)，然后開始捕捉標(biāo)定區(qū)域的圖像，圖像尺寸為752像素×480像素，圖像捕捉的幀率保持在3～5幀/s，幀率過高會收集很多無用的對應(yīng)點，晃動的速度與攝像機(jī)快門速度有關(guān)，晃動速度過快會造成采集的圖像有運動模糊，從而影響對應(yīng)點檢測精度.

本文算法與文獻(xiàn)[13]算法進(jìn)行了兩組對比實驗，分別對3個和2個攝像頭進(jìn)行標(biāo)定，每組實驗均采集了500幀圖像作為算法輸入，1號攝像頭圖像序列的部分幀如圖3所示.

(a) 第31幀

(b) 第63幀

(c) 第278幀

(d) 第498幀圖3　實驗采集標(biāo)定圖像樣例Fig.3　Sample images collected in the experiments

采用了Svoboda算法[13]和本文算法同時對3個攝像機(jī)進(jìn)行標(biāo)定，結(jié)果如圖4所示，圖4(a)和圖4(b)的3組柱狀標(biāo)識表示分別表示兩種算法的二維重映射錯誤值，深色為錯誤值的標(biāo)準(zhǔn)差，淺色表示錯誤值的算術(shù)平均值.由圖4(a)和圖4(b)可以看出，兩種算法在大于兩個攝像頭的場景下，都保持了較高的標(biāo)定精度，二維重映射錯誤平均值都保持在0.6～0.9像素，標(biāo)準(zhǔn)差也無明顯差別，圖4(c)和圖4(d)各自顯示了3號攝像機(jī)所有檢測到的點和剩余有效點二維再重建點的位置信息，其中圓圈表示檢測到的實際點位置，十字表示根據(jù)計算得到的攝像機(jī)矩陣二維重建點的位置.值得注意的是，由于RANSAC算法的隨機(jī)性，不同的計算過程中，有效點不一致，所以圖4(a)和圖4(b)被矯正的圓圈數(shù)量和位置不一致.

(a) 本文算法二維重映射誤差

(b) Svoboda 算法二維重映射誤差

(c) 本文算法對3號攝像機(jī)采集點二維重建結(jié)果

(d) Svoboda 算法對3號攝像機(jī)采集點二維重建結(jié)果圖4　利用本文算法和Svoboda算法對3個攝像機(jī)進(jìn)行標(biāo)定的實驗結(jié)果Fig.4　Experiments results of three cameras by ours and Svoboda’s algorithm repsectively

本文算法對僅有2個攝像頭的場景下的標(biāo)定結(jié)果如圖5所示.在這種場景下，文獻(xiàn)[13]的算法是無法完成標(biāo)定計算的，而本文的算法解決了該限制條件，并保持了文獻(xiàn)[13]的精確度，重映射錯誤平均值維持1像素左右，標(biāo)準(zhǔn)差在0.6像素左右.圖5(b)與圖4(c)和4(d)相似，根據(jù)計算的攝像機(jī)矩陣進(jìn)行二維重建后的檢測點分布，可以看出表示二維重建結(jié)果的十字位置與表示實際點的圓圈位置重合度高，證明了該算法的正確性.

(a) 本文算法二維重映射誤差

(b) 本文算法對2號攝像機(jī)采集點二維重建結(jié)果圖5　利用本文算法對兩個攝像機(jī)進(jìn)行標(biāo)定的實驗結(jié)果Fig.5　Experiment results of two cameras by our algorithm

在計算效率上，本文算法和Svoboda算法基本保持一致，在第一組實驗中，兩種算法耗時約8 min，在第二組實驗中，兩種算法耗時約5 min，可見兩種算法數(shù)學(xué)模型的復(fù)雜度是相同的，計算耗時與輸入的數(shù)據(jù)量密切相關(guān).

3　結(jié)　語

本文在攝像機(jī)內(nèi)參一致性的約束下，建立方程組對攝像機(jī)矩陣進(jìn)行求解，并通過實驗驗證了這是一種簡便可靠的全自動多攝像頭標(biāo)定算法.唯一需要用戶的操作是拿著紅外反光小球或者其他類似的發(fā)光小球在標(biāo)定空間中自由晃動，避免了傳統(tǒng)標(biāo)定對復(fù)雜標(biāo)定設(shè)備或標(biāo)定物的要求和繁瑣的過程.此外，在已有算法基礎(chǔ)上，本文成功地利用更常見的恒定內(nèi)參約束，放寬了已有算法需要至少3個不同視圖的限制條件，而僅需2個不同視圖即可完成標(biāo)定過程，同時保持了較高的精度和穩(wěn)定性.這項改進(jìn)能夠明顯擴(kuò)大該算法的潛在應(yīng)用范圍.在不同攝像機(jī)數(shù)量下保持高質(zhì)量標(biāo)定結(jié)果也證明了該算法廣闊的可用性.

[1] ABDEL-AZIZ Y, KARARA H. Direct linear transformation from comparator coordinates into object space coordinates in close-range photogrammetry[M]. Illinois: ASP Symposium on Close-Range Photogrammetry, 1971:1-18.

[2] TSAI R. A versatile camera calibration technique for high accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J]. IEEE Transactions on Robotics and Automation, 1987, 3(4):323-344.

[3] ZHANG Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

[4] SONG L, WU W, GUO J, et al. Survey on camera calibration technique[C]//Intelligent Human-Machine Systems and Cybernetics (IHMSC), 2013 5th International Conference on. Washington, DC, USA: IEEE Computer Society, 2013: 389-392.

[5] BRUMITT B, MEYERS B, KRUMM, et al. Easyliving:Technologies for intelligent environme-nts [C]//Handheld and Ubiquitous Computing. Berlin Heidelberg:Springer-Verlag, 2000:12-29.

[6] KHAN S, JAVED O, RASHEED Z, et al. Human tracking in multiple cameras[C]//International Conference on Computer Vision. Washington， DC， USA: IEEE Computer Society, 2001:331-336.

[7] HARTLEY R, ZISSERMAN A. Multiple view geometry in computer vision[M]. Cambridge UK: Cambridge University Press, 2003:1-670.

[8] PRINCE S, CHEOK A, FARBIZ F, et al. 3D live: Real time captured content for mixed reality[C]// ISMAR. Washington,DC,USA: IEEE Computer Society, 2002: 7-13.

[9] CHEUNG G, BAKER S, KANADE T. Shape-from-silhouette of articulated objects and its use for human body kinematics estimation and motion capture[C]// Computer Vision and Pattern Recognition. Washington, DC, USA: IEEE Computer Society, 2003:1-77.

[10] KURILLO G, LI Z, BAJCSY R. Wide-area external multi-camera calibration using vision graphs and virtual calibration object[C]//Distributed Smart Cameras, 2008. ICDSC 2008. Second ACM/IEEE International Conference on. Washington,DC,USA: IEEE Computer Society, 2008:1-9.

[11] KITAHARA I, SAITO H, AKIMICHI S,et al. Large-scale virtualized reality[R].Computer Vision and Pattern Recognition, Technical Sketches. Washington,DC,USA: IEEE Computer Society, 2001.

[12] BAKER, PATRICK T, ALOIMONOS Y. Calibration of a multicamera network[C]//Computer Vision and Pattern Recognition Workshop.Washington，DC，USA: IEEE Computer Society, 2001:72.

[13] SVOBODA T, MARTINEC D, PAJDLA T. A convenient multicamera self-calibration for virtual environments[J]. PRESENCE: Teleoperators and Virtual Environments, 2005, 14(4): 407-422.

[14] 馬頌德, 張正友. 計算機(jī)視覺計算理論與算法基礎(chǔ)[M].北京:科學(xué)出版社, 1998:1-282.

A Convenient Multi-camera Self-calibration Method in Large Site

HEYin,XIAOShuang-jiu

(School of Electronic Information and Electrical Engineering, Shanghai Jiaotong University, Shanghai 200240, China)

Now existing automatic self-calibration method has a limitation of requiring not less than three different views to complete the calibration.In order to reduce the camera amount, complexity of the camera placement, and enhance the performance of the whole system, rigorous mathematical reasoning is used to prove that two different views are enough if exploiting the constraint of invariable intrinsic parameters. The experiments show that the calibration result can achieve about 1 pixel error in 2D re-projection test.This algorithm has convenient pre-process and robust, accurate results under loosened limits as well as the state-of-the-art.

computer vision; large site; multi-camera; self-calibration

1671-0444(2015)04-0462-05

2014-11-30

國家自然科學(xué)基金資助項目(61173105， 61373085)

何胤(1989—)，男，四川眉山人，碩士研究生，研究方向為計算機(jī)視覺.E-mail:Blocks89@gmail.com

肖雙九(聯(lián)系人)，女，副教授，E-mail:xsjiu99@cs.sjtu.edu.cn

TP 391

A