蒯楊柳，文貢堅，回丙偉，邱少華

（國防科學技術(shù)大學ATR重點實驗室，湖南長沙410073）

利用多個小棋盤的大視場相機標定方法

蒯楊柳，文貢堅，回丙偉，邱少華

（國防科學技術(shù)大學ATR重點實驗室，湖南長沙410073）

為了實現(xiàn)高精度的相機標定，一般要求標定物的尺寸能夠布滿整個相機視場，而大的標定物不但制作、移動過程復雜，而且靈活性差的同時還會遮擋場景中的有用信息。本文提出了一種基于多個小棋盤的大視場相機標定方法，能兼顧相機標定的精度和靈活性。首先在場景靠近邊緣的4個角處各放一個小棋盤（擺放姿態(tài)不限），采用待標定的相機從不同角度多次拍攝場景（不少于3次）；然后將4個棋盤經(jīng)過旋轉(zhuǎn)和平移變換移到以左上角棋盤為基準的平面上構(gòu)成一個大棋盤；最后建立大棋盤上所有角點的重投影誤差函數(shù)，以左上角小棋盤的多幅圖像的標定結(jié)果作為初值，迭代優(yōu)化誤差函數(shù)得到標定結(jié)果的最終解。模擬和真實數(shù)據(jù)試驗結(jié)果表明該方法是可行的，且有較高的精度和靈活性。

大場景；相機標定；小棋盤；優(yōu)化

相機標定是從二維圖像獲取三維信息的過程中最關(guān)鍵的步驟，在計算機視覺導航、虛擬現(xiàn)實、三維重建等領(lǐng)域有著十分廣泛的應用［1-2］?，F(xiàn)有的相機標定方法中，基于標定物的相機標定法使用結(jié)構(gòu)已知的標定物，通過建立標定物上坐標已知的點與其圖像點之間的對應關(guān)系來求解相機的內(nèi)外參數(shù)［3-4］；相機自標定法是利用多幅圖像上特征點之間的對應關(guān)系進行標定，標定過程只利用了相機內(nèi)參數(shù)間的約束，與場景和攝像機的運動方式無關(guān)［5］。第一種方法標定精度高但是標定過程始終需要標定物，靈活性差，第二種方法操作方便簡單但是精度不高［6］。

在基于標定物的標定方法中，張正友的棋盤標定法［4］以其操作簡單方便、標定精度高的特點得到了廣泛的應用。但是針對大視場相機的標定，若要得到較高的相機標定精度，需要在場景中放置較大的棋盤，棋盤越大，越能真實反映場景與成像面間的投影關(guān)系，但是棋盤過大不僅制作、移動過程比較復雜，同時會遮擋場景中的有用信息。為了解決大棋盤標定存在的問題，本文提出了一種在場景中放置多個小棋盤并將其轉(zhuǎn)換為一個整體的大棋盤，再利用構(gòu)建的大棋盤對相機進行標定的方法，同時兼顧了相機標定的精度和靈活性。

一、基本原理

1.相機的成像模型

理想的成像模型是小孔模型，描述了三維空間中的一點M=［X Y Z］T與其投影點m=［x y］T之間的關(guān)系。設M和m的齊次坐標分別為= ［X Y Z 1］T和=［x y 1］T。在齊次坐標下，三維點M和投影點m之間的關(guān)系可以表示為

在真實情況下，相機拍攝得到的圖像總會存在一定程度的失真，因此引入了非線性模型［9］。真實像點坐標與理想像點坐標的關(guān)系滿足

式中，（xd，yd）為理想情況下的圖像點坐標；（xu，yu）為考慮畸變情況下的圖像點坐標；k1、k2為徑向畸變系數(shù)。因此相機標定算法的主要目的是求解出k1、k2、fu、fv、u0、v06個相機參數(shù)。

2.由多個小棋盤構(gòu)建整體大棋盤的原理

設在相機大視場中擺放有n個小棋盤，將小棋盤從左到右、從上到下依次編號為1，2，…，n，如圖1所示。對每一個小棋盤，以棋盤的左上角為坐標原點，以棋盤所在的平面為xoy平面建立右手坐標系，分別記為O-XiYiZi（i=1，2，…，n）。

圖1

根據(jù)每個棋盤上角點的空間點坐標和對應的像素點坐標（不少于4對）可以求得每個小棋盤平面和相機成像平面的單應性矩陣，進而得到每個小棋盤平面相對于成像平面的旋轉(zhuǎn)和平移向量，記為Ri、Ti（i=1，2，…，n）。以棋盤1所在的平面為基準平面，則棋盤i相對于基準平面的旋轉(zhuǎn)和平移向量Ri1、Ti1（i=2，…，n）可以表示為假設棋盤i（i=2，…，n）上的特征點在O-XiYiZi坐標系的坐標為Mi，則其在O-X1Y1Z1坐標下的坐標Mi1可以表示為

采用上述步驟可以將其他小棋盤上的所有特征點都轉(zhuǎn)換到基準平面上，從而將多個小棋盤構(gòu)成一個整體的大棋盤。

二、算法步驟

標定時在大場景中擺放n個小棋盤，使用待標定的相機從不同角度拍攝場景得到C幅圖像。本文提出的標定算法主要包括兩個步驟:首先利用張正友的方法［4］標定基準棋盤得到相機內(nèi)參數(shù)的初值；然后使用n個小棋盤構(gòu)建的大棋盤標定相機得到最終解。

1.相機內(nèi)參數(shù)初值的獲取

設基準棋盤上任一點M經(jīng)矩陣P投影得到圖像點m，已知棋盤上的所有點滿足Z=0，令M= ［x y 0 1］T，m=［u v 1］T，則有

式中，ri（i=1，2，3）為旋轉(zhuǎn)矩陣R的第i列；H為單應性矩陣。假設H=［h1h2h3］，其中hi（i=1，2，3）表示單應性矩陣H的第i列，則R、T可以表示為

當拍攝圖片數(shù)不少于3時，可以線性求解出向量w，將W進行Cholesky分解得到相機內(nèi)參數(shù)為

2.誤差函數(shù)的構(gòu)造與優(yōu)化求解

假設第m幅圖像上第n個小棋盤上第p個角點的空間點坐標為Xmnp，將其轉(zhuǎn)換到大棋盤平面后投影產(chǎn)生的圖像點坐標xmnp可以表示為

式中，Rm1、Tm1表示第m幅圖像上基準棋盤平面相對于成像平面的旋轉(zhuǎn)矩陣和平移向量；Rnm、Tnm表示第m幅圖像上第n個小棋盤相對于基準棋盤的旋轉(zhuǎn)矩陣和平移向量。假設為經(jīng)過角點檢測算法得到的第m幅圖像上第n個小棋盤上第p個角點的像素點坐標，建立拍攝得到的多幅圖像上所有角點的重投影誤差函數(shù)為式中，C為拍攝的圖片數(shù)；N為每幅圖片上的小棋盤數(shù)目；M為每個小棋盤上的角點個數(shù)。優(yōu)化函數(shù)中包含的變量有k1、k2、fu、fv、u0、v06個相機內(nèi)參數(shù)（不變）、拍每張照片時基準棋盤相對于成像平面的旋轉(zhuǎn)平移向量、多個小棋盤相對于基準棋盤的旋轉(zhuǎn)和平移向量（不變），共計6+6×C+6×（N-1）=6C+ 6N個待優(yōu)化參數(shù)。而由式（3）和式（6）可知，當相機內(nèi)參數(shù)向真值方向優(yōu)化時，所有的旋轉(zhuǎn)和平移向量也越接近真值，因此優(yōu)化時選擇k1、k2、fu、fv、u0、v0作為優(yōu)化參數(shù)，優(yōu)化方法采用模式搜索法（Hook）［10］。

三、仿真數(shù)據(jù)試驗結(jié)果與分析

在仿真試驗中主要測試了高斯噪聲大小、場景中擺放的棋盤個數(shù)、棋盤之間的距離、每個棋盤的大小和每個棋盤上的角點數(shù)等5個因素對相機標定結(jié)果的影響。試驗時相機內(nèi)參數(shù)的設置見表1，相機外參數(shù)的設置見表2，其中，［?β γ］T表示旋轉(zhuǎn)向量；［t1t2t3］T表示平移向量。

表1　仿真試驗設定的相機內(nèi)參數(shù)值

表2　3次拍攝設定的相機外參數(shù)值

1.高斯噪聲大小對標定結(jié)果的影響

在場景中放置4個相同的小棋盤，棋盤大小為200 mm×200 mm，角點數(shù)為3×3，棋盤間的距離保持在200 mm不變。在生成的圖像點坐標中加入均值為0、方差為σ的高斯白噪聲，將σ從0.1逐漸增加到1.0像素，每次增加0.1像素，在每一種噪聲水平下進行10次試驗，將結(jié)果的均值作為最終解。fu、fv、u0、v0的相對誤差和k1、k2的絕對誤差隨噪聲σ的變化趨勢如圖2所示。從圖中的變化趨勢可以看出相機標定結(jié)果的誤差會隨著噪聲方差的增加而增加，其中fu、fv、u0、v0在噪聲水平達到1.0時標定相對誤差在10%以內(nèi)，而k1、k2對噪聲相對較敏感。

圖2

2.棋盤個數(shù)對標定結(jié)果的影響

設置每個棋盤大小為100 mm×100 mm，角點數(shù)為3×3，將棋盤的個數(shù)從1依次增加到5，每次增加1。在生成的圖像點坐標中加入均值為0、方差為0.5的高斯白噪聲來模擬真實試驗場景。在每種棋盤個數(shù)參數(shù)下進行10次試驗，將結(jié)果的平均值作為最終解。計算fu、fv、u0、v0的相對誤差和k1、k2的絕對誤差隨棋盤個數(shù)的變化趨勢如圖3所示。從中可以看出隨著棋盤個數(shù)的增加，相機參數(shù)的標定精度會提高，當棋盤數(shù)增加到4以后標定精度基本保持不變。

3.棋盤間的距離對標定結(jié)果的影響

在場景中放置4個相同的小棋盤，棋盤大小為100 mm×100 mm，角點數(shù)為3×3，將棋盤間的距離d 從100 mm依次增加到600 mm，每次增加100 mm。采用上述中加噪聲和多次試驗的方法標定得到相機的參數(shù)。計算fu、fv、u0、v0的相對誤差和k1、k2的絕對誤差隨棋盤間距離d的變化趨勢如圖4所示。從中可以看出，隨著棋盤間距離d的增加，相機參數(shù)的標定精度都會提高，但當棋盤距離增加到500 mm之后，相機參數(shù)的標定精度基本保持不變。

圖3

圖4

4.每個棋盤的大小對標定結(jié)果的影響

在場景中放置4個相同的小棋盤，保持4個棋盤轉(zhuǎn)換生成的大棋盤覆蓋場景的面積不變，棋盤上的角點數(shù)為3×3，將每個棋盤的邊長L從100 mm依次增加到700 mm，每次增加100 mm，同樣采用上述中加噪聲和多次試驗的方法標定得到相機的參數(shù)。計算fu、fv、u0、v0的相對誤差和k1、k2的絕對誤差L的變化趨勢如圖5所示。從中可以看出隨著L的增加，相機參數(shù)的標定精度會提高，這是因為棋盤越大，標定得到的相機內(nèi)參數(shù)初值越好，優(yōu)化后的標定結(jié)果也越好。

5.每個棋盤上的角點數(shù)對標定結(jié)果的影響

在場景中放置4個相同的小棋盤，每個棋盤的大小為200 mm×200 mm，棋盤之間的距離保持在200 mm不變，將每個棋盤的角點數(shù)從2×2依次增加到7×7，每次在棋盤的每條邊上增加1個角點。同樣采用上述中加噪聲和多次試驗的方法標定得到相機的參數(shù)。計算fu、fv、u0、v0的相對誤差和k1、k2的絕對誤差隨每條邊角點數(shù)N的變化趨勢如圖6所示。從中可以看出，每條邊的角點數(shù)N由2增加到3時，標定的精度顯著提高，而增加到3以后N的變化對棋盤標定結(jié)果沒有明顯的影響。

根據(jù)仿真試驗結(jié)果可知:①大視場中擺放的棋盤個數(shù)的理想值是4；②相機標定精度會隨著棋盤和棋盤之間距離的增大而增大；③每個棋盤上角點個數(shù)（3以上）的增加不會明顯影響標定結(jié)果的精度。

四、真實數(shù)據(jù)試驗結(jié)果與分析

真實試驗時設計了3種不同類型的棋盤:一個1 m×1 m的大棋盤、4個50 cm×50 cm的小棋盤和4個30 cm×30 cm的小棋盤，棋盤上的角點數(shù)都是8×8。以大棋盤標定的結(jié)果作為參考值，通過對比兩種類型的小棋盤在優(yōu)化前后的試驗結(jié)果和對比優(yōu)化后的結(jié)果與參考值的差別來驗證算法的性能。試驗采用Canon EOS 650D相機，分辨率為5184×3456像素，依次在場景中擺放3種類型的棋盤，如圖7所示。分別使用相機從不同角度拍攝5張圖片，拍攝的過程中保持相機的焦距不變。

圖6

圖7

采用大棋盤和兩種小棋盤分別標定相機，得到的標定結(jié)果見表3，分析可知:①優(yōu)化后的標定結(jié)果普遍比優(yōu)化前好，這是由于提出的方法增大了標定物覆蓋場景的面積；②50 cm×50 cm小棋盤的標定結(jié)果比30 cm×30 cm的小棋盤好，能達到參考值的標定精度，這是由于50 cm能夠提供較高精度的初值；③兩種不同類型的小棋盤fu、fv、u0、v0的標定精度都很高，而k1、k2的標定精度30 cm×30 cm的小棋盤較差，這說明了k1、k2的標定精度對初值要求高。

表3　不同類型的棋盤標定結(jié)果

五、結(jié)束語

本文提出了一種基于多個小棋盤的大視場相機標定方法，通過多個小棋盤構(gòu)建一個整體的大棋盤標定相機，兼顧了相機標定的精度和靈活性。試驗結(jié)果表明了算法的有效性，不足之處是本文提出的算法中畸變系數(shù)的標定對初值的要求高，提高畸變系數(shù)的標定精度將是下一步研究的重點。

［1］ BROWN D C.Close-range Camera Calibration Photogrammetric Engineering［J］.Engineering and Remote Sensing，1971，37（8）:855-866.

［2］ FAIG W.Calibration of Close Range Photogrammetry System:MathematicalFormulationPhotogrammetric ［J］.Engineering and Remote Sensing，1975，41（12）: 1479-1485.

［3］ TSAI R Y.An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision［C］∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.San Francisco:IEEE，1986.

［4］ ZHANG Z Y.A Flexible New Technique for Camera Calibration［J］.IEEE Transactions on Pattern Analysis and Machine Automation，2000，3（4）:323-344.

［5］ STURM P.A Case against Kruppa’s Equations for Camera Self Calibration［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（10）: 1199-1204.

［6］ SONG L M，WU W F，GUO J R.Survey on Camera Calibration Technique［C］∥Fifth International Conference on Intelligent Human Machine Systems and Cybernetics.Hangzhou:IEEE，2013.

［7］ LIU B X，LI S Z.A New Easy Fast Camera Self-calibration Technique［J］.Computer Engineering&Science，2011，33（1）:88-93.

［8］ LIU P，JIA Y D.Vanishing Points Based Camera Calibration［J］.Journal of Image and Graphics，2003，8 （A）:134-138.

［9］ GARY B，ADRIAN K.學習OpenCV中文版［M］.北京:清華大學出版社，2009.

［10］ 謝政，李建平，陳摯.非線性最優(yōu)化理論與方法［M］.北京:高等教育出版社，2009.

Large-scale Scene Calibration Method Utilizing Multiple Chessboards

KUAI Yangliu，WEN Gongjian，HUI Bingwei，QIU Shaohua

10.13474/j.cnki.11-2246. 2016.0220.

P23

B

0494-0911（2016）07-0039-05

2015-06-18

蒯楊柳（1990—），女，研究方向為攝影測量。E-mail:kuaiyangliu@126.com

引文格式：蒯楊柳，文貢堅，回丙偉，等.利用多個小棋盤的大視場相機標定方法［J］.測繪通報，2016（7）:39-43.