曲 華，吳朝娜

（天津工業(yè)大學 理學院，天津 300387）

機器視覺具有廣泛的應(yīng)用前景，也是近年來的研究熱點.攝像機標定是計算機視覺測量系統(tǒng)的基礎(chǔ)，高精度的攝像機標定是精確測量物體方位的前提[1-4].在現(xiàn)實中，攝像機本身不是理想的線性模型，存在各種成像失真和誤差，因此有必要在真實環(huán)境中研究攝像機的成像模型.通常把獲得攝像機位置及特征參數(shù)的過程稱為攝像機標定.攝像機參數(shù)包括攝像機內(nèi)部參數(shù)和外部參數(shù)：內(nèi)部參數(shù)是攝像機成像的基本參數(shù)，描述空間三維坐標系中的點與圖像中像素點的對應(yīng)關(guān)系.包括實際焦距、主點（理想地應(yīng)該是圖像的中心）、透鏡畸變（主要包括徑向畸變和切向畸變）和其他系統(tǒng)誤差參數(shù)；外部參數(shù)是描述攝像機相對于外部世界方向的參數(shù)，指空間三維坐標系中的點與攝像機坐標系中對應(yīng)點的關(guān)系，具體指旋轉(zhuǎn)矩陣和平移向量中所描述的參數(shù)[5].

目前攝像機的標定方法很多，近年來也提出了許多針對各類攝像機的標定方法，比如文獻[6]實現(xiàn)了對交通監(jiān)控攝像機的標定，文獻[7]研究了對水下攝像機外殼參數(shù)的標定，文獻[8]完成了針對低分辨率傳感器攝像機的標定，文獻[9]實現(xiàn)了對多攝像機的標定等.但總體來說，一般可以分為3類：傳統(tǒng)攝像機標定、攝像機自標定和主動視覺標定.傳統(tǒng)攝像機標定方法需要有特定的定標參照物，然后通過理論計算，得到攝像機內(nèi)部參數(shù)和外部參數(shù).攝像機自標定方法，不需要特殊的定標參照物，它利用了攝像機本身參數(shù)之間的約束關(guān)系來得到標定結(jié)果.攝像機主動視覺標定一般用于攝像機在世界坐標系中運動參數(shù)已知的情況下，通常線性求解獲得標定結(jié)果.

傳統(tǒng)的攝像機標定方法適用范圍廣，標定精度高，但是標定過程復(fù)雜.自標定過程相對簡單，但是精度低[10].由于機器人是通過攝像機所獲得的圖像信息來識別物體的，因此基于主動視覺的標定方法更具有實用性.雖然主動視覺的標定方法優(yōu)于以上2種方法，但是它不能用于攝像機運動參數(shù)未知情況下的標定.因此，本文采用了一種在傳統(tǒng)標定和自標定之間的攝像機分步標定方法，其內(nèi)部參數(shù)仍采用簡單的標定方法獲得—張正友棋盤格法[11]，對于外部參數(shù)的獲得，使用了一種當攝像機平移和旋轉(zhuǎn)時的標定方法.本分步標定法通過先計算單個攝像機的內(nèi)參，再計算立體外參，不僅彌補了自標定精度低和傳統(tǒng)標定過程復(fù)雜的不足，還解決了主動視覺標定無法解決的攝像機運動參數(shù)未知情況下的標定問題，與此同時，本文還從Harris角度[12]對影響標定精度的因素進行了分析.

1 基本原理

1.1 攝像機模型

攝像機標定模型如圖1所示.針孔模型是一個簡單而實用的攝像機模型，通常用它來處理基本的幾何投影射線.根據(jù)針孔成像理論，攝像機由4個坐標系組成，它們分別是三維世界坐標系（OwXwYwZw）、攝像機坐標系（OcXcYcZc）、成像平面像素坐標系OUV和成像平面物理坐標系O1XY.

1.2 攝像機內(nèi)參的標定

根據(jù)小孔成像攝像機模型，在圖像上的點m=[U V]T和三維空間中的點M=[XwYwZw]T之間的投影關(guān)系如下：

式中：A為攝像機的內(nèi)參；R為3×3的旋轉(zhuǎn)矩陣；t為3×1的平移向量.

在三維空間坐標系中，定義3D平面Z=0，公式（1）可以寫成以下形式：

圖1 攝像機標定模型Fig.1 Camera calibration model

公式（2）描述了空間三維平面到圖像二維平面的映射關(guān)系.根據(jù)公式（2）得出，如果在三維平面和二維平面之間有4個相對應(yīng)的點，那么能夠得到這個單應(yīng)性矩陣H：

由于旋轉(zhuǎn)向量是彼此正交的，從公式（3）可以看出，一幅圖像可以提供跟攝像機參數(shù)相關(guān)的2個約束方程.因此，如果要求出攝像機中的5個內(nèi)參，那就需要至少3幅圖像（N≥3）.定義矩陣B=A-TA-1，就可以求出B的值，進而確定攝像機的參數(shù).

1.3 透鏡畸變的解決

考慮到透鏡畸變，參考坐標系從理想投影平面轉(zhuǎn)換為實際投影平面：

相機的鏡頭總是有一定的失真，這使得空間物體的成像不是理想的線性變換.有2個透鏡畸變類型，即徑向畸變和切向畸變.公式（4）表示了理想投影點和實像點之間的關(guān)系.其中k1和k2為徑向畸變的系數(shù)，p1和p2為切向畸變的系數(shù)，同時

1.4 在立體視覺下的攝像機標定模型

針對雙目立體視覺系統(tǒng)的標定，確定2個攝像機之間的相對位置.首先分別標定其自身的內(nèi)外參數(shù)，按照內(nèi)外參數(shù)分離法，再通過它們之間的外部參數(shù)關(guān)系獲得2個相機相對位置R和T，標定方程為：

由此可見，只要先標定2個攝像機，就可以得到2個攝像機的相對位置關(guān)系R和T.

2 標定實驗

本實驗結(jié)合OpenCV庫開發(fā)了一套攝像機內(nèi)外參標定程序，軟件環(huán)境為VS2010開發(fā)平臺及OpenCV2.4.1版本.在OpenCV中，主要使用cvLoad－Image（）讀取圖像、使用 cvFindChessboardCorners（）進行角點提取、使用cvFindCornerSubPix（）對角點進行亞像素求精以及cvCalibrateCamera2（）求取攝像機內(nèi)外參，攝像機采用的是工業(yè)攝像機，圖像最大分辨率為2 592×1 944.2個攝像機之間的間距為192.0 mm，標定板采用5×7棋盤，其角點數(shù)為4×6，棋盤格邊長為40 mm×40 mm，如圖2所示.

圖2 棋盤格Fig.2 Chessboard

分步標定實驗步驟：①制作棋盤格；②分別使用左右攝像機對標定板從8個不同角度拍照；③在VS2010開發(fā)平臺上使用OpenCV分別計算出左右攝像機的內(nèi)參；④左右攝像機同時對標定板從5個不同角度拍照，左右攝像機各拍出5張；⑤利用Matlab計算出雙目立體參數(shù).

3 實驗結(jié)果及分析

3.1 左攝像機標定結(jié)果

實驗中用左攝像機單獨對標定板從不同的角度拍攝圖片，所拍得的圖片如圖3所示.

圖3 單獨左攝像機拍攝圖片F(xiàn)ig.3 Separate pictures taken by the left camera

左攝像機內(nèi)參標定結(jié)果如下：

左攝像機內(nèi)參：

左攝像機畸變系數(shù)：

3.2 右攝像機標定結(jié)果

實驗中用右攝像機單獨對標定板從不同的角度拍攝圖片，所拍得的圖片如圖4所示.

圖4 單獨右攝像機拍攝圖片F(xiàn)ig.4 Separate pictures taken by the right camera

右攝像機內(nèi)參標定結(jié)果如下：

右攝像機內(nèi)參：

右攝像機畸變系數(shù)：

3.3 雙目攝像機立體參數(shù)標定結(jié)果

2個攝像機同時對標定板從不同角度拍攝照片，分別如圖5和圖6所示.

圖5 雙目左攝像機拍攝圖片F(xiàn)ig.5 Binocular pictures from the left camera

圖6 雙目右攝像機拍攝圖片F(xiàn)ig.6 Binocular pictures from the right camera

使用以上計算出的單個攝像機的內(nèi)參，通過Matlab得出5組外參，求取這5組外參的平均值，得出2個攝像機的相對位置關(guān)系R和T：

3.4 標定結(jié)果分析

通過以上數(shù)據(jù)可以得出，2個攝像機的焦距f計算值為11.8 mm，攝像機實際焦距（規(guī)格）為12.0 mm，同時根據(jù)2個攝像機的立體參數(shù)得出其基線長度為190.0 mm，而實測值為192.0 mm，因此，這個標定結(jié)果是可信的，符合預(yù)期的結(jié)果.

本文采用的攝像機分步標定法是一種介于攝像機傳統(tǒng)標定和自標定之間的一種標定方法.攝像機傳統(tǒng)標定精度高，但計算過程復(fù)雜，標定的傳統(tǒng)方法主要有雙平面法[13]、兩步法[14]、非線性優(yōu)化法[15]等，攝像機自標定靈活性強，但標定精度差，自標定方法主要有基于Kruppa方程的自標定方法[16]、分層逐步標定方法[17]和可變內(nèi)參數(shù)自標定法[18].使用文獻[19]提供的方法分別對傳統(tǒng)標定、分步標定和自標定結(jié)果進行總的圖像殘差均值的計算，對標定精度進行比較，結(jié)果如表1所示.

表1 圖像殘差均值和EdTab.1 dand the mean value of image residuals

表1 圖像殘差均值和EdTab.1 dand the mean value of image residuals

標定方法 雙平面法（傳統(tǒng)）兩步法（傳統(tǒng)）非線性優(yōu)化法（傳統(tǒng)） 分步標定X方向的圖像殘差均值/像素0.120 2 0.123 5 0.126 5 0.122 1 Y方向的圖像殘差均值/像素0.060 5 0.062 5 0.070 1 0.061 0 Ed/像素0.127 2 0.138 0 0.148 8 0.158 5時間/s 230 243 240 200標定方法基于Kruppa方程的自標定方法（自標定）可變內(nèi)參數(shù)標定方法（自標定）0.135 7 0.142 3 0.138 9分層逐步標定方法（自標定）X方向的圖像殘差均值/像素Y方向的圖像殘差均值/像素Ed/像素0.071 2 0.081 0 0.075 6時間/s 0.175 0 0.186 0 0.163 0 182 187 193

通過表1可以看出，使用傳統(tǒng)標定方法得出的最大0.148 8，而本文的分步標定法為0.158 5，使用自標定方法得出的最小為0.163 0.同時從表1中易得出，自標定運行時間最短，而傳統(tǒng)標定時間最長.可見，本文分步標定法比自標定方法精度高，同時比傳統(tǒng)標定方法時間短.分步標定法不僅克服了自標定方法精度低和傳統(tǒng)標定方法過程復(fù)雜的缺點，還解決了主動視覺標定中攝像機運動參數(shù)未知情況下的標定問題.

4 對攝像機標定精度的分析

通過實驗得出以下影響攝像機標定精度的幾個因素，并對此進行分析.

（1）在標定實驗中，提取角點用的是OpenCV中的cvFindChessboardCorners（）函數(shù)，該函數(shù)用的是Harris算子，因此利用攝像機拍照時，盡量選擇光照好的環(huán)境.Harris算子在角點檢測時，使用了微分算子對圖像進行微分運算，而微分運算對圖像密度的升降和對亮度的強弱不敏感（不改變Harris響應(yīng)極值點出現(xiàn)的位置），但是，由于閾值的選擇會影響角點檢測的數(shù)量，導(dǎo)致角點不能檢測完全，以致會影響攝像機標定的精度.攝像機標定過程中必須讓標定靶分別在X、Y、Z軸上進行一定的旋轉(zhuǎn)（Harris角點檢測算子具有旋轉(zhuǎn)不變性），這樣求解攝像機內(nèi)外參用到的矩陣才不會是病態(tài)的，才能準確計算出攝像機內(nèi)外參.

（2）實驗發(fā)現(xiàn)，攝像機的分辨率越高（圖片的尺寸越大），對圖片的拍攝條件要求越高，檢測角點的難度越大，這是因為Harris角點檢測算子不具有尺度不變性（在同一個檢測窗口可能會被檢測成邊緣或曲線，不易檢測出角點或角點檢測不完全）.

5 結(jié)論

本文在雙目立體視覺和傳統(tǒng)攝像機標定的基礎(chǔ)上，提出了分步標定的方法，首先利用OpenCV平臺，標定出單個攝像機的內(nèi)外參，然后再利用Matlab平臺，計算了攝像機運動參數(shù)未知情況下的立體參數(shù)，完成了攝像機的分步標定.經(jīng)計算得出總的圖像殘差均值為0.158 5像素，時間為200 s.標定結(jié)果比自標定方法精度高，同時比傳統(tǒng)標定方法時間短.實驗結(jié)果不僅達到了預(yù)期目的，而且從Harris角度分析發(fā)現(xiàn)光照、標定靶的旋轉(zhuǎn)程度對精度影響很大，同時攝像機的分辨率越高，對圖片的拍攝條件要求越高.本分步標定法不僅彌補了自標定精度低和傳統(tǒng)標定過程復(fù)雜的不足，還解決了主動視覺標定無法解決的攝像機運動參數(shù)未知情況下的標定問題.與此同時，本文還對影響標定精度的因素進行了分析.攝像機標定作為機器視覺研究的第一步，同時也是最重要的一步，它為后續(xù)的三維測量和重建等工作奠定了良好的基礎(chǔ).

[1]LI F，SEKKATI H，DEGLINT J，et al.Simultaneous projector-camera self-calibration for three-dimensional reconstruction and projection mapping[J].IEEE Transactions on Com－putational Imaging，2017，3（1）：74-83.

[2]SUN J，HOSSAIN M M，XU C L，et al.A novel calibration method of focused light field camera for 3-D reconstruction of flametemperature[J].OpticsCommunications，2017，390：7-15.

[3]LUHMANN T，F(xiàn)RASER C，MAAS H G.Sensor modelling and camera calibration for close-range photogrammetry[J].ISPRS Journal of Photogrammetry and Remote Sensing，2016，115：37-46.

[4]ALZAROK H，F(xiàn)LETCHER S，LONGSTAFF A P.A new strategy for improving vision based tracking accuracy based on utilization of camera calibration information[C]//Automation and Computing（ICAC），2016 22nd International Conference on.Colchester，UK：IEEE，2016：278-283.

[5]馬頌德，張正友.計算機視覺：計算理論與算法基礎(chǔ)[M].北京：科學出版社，1998.MA S D，ZHANG Z Y.Computer Vision-Calculation Theory and Algorithm[M].Beijing：Science Press，1998（in Chinese）.

[6]SOCHOR J，JURáNEK R，HEROUT A.Traffic surveillance camera calibration by 3D model bounding box alignment for accurate vehicle apeed measurement[J].Computer Vision and Image Understanding，2017，161：87-98.

[7]TRAFFELET L，EPPENBERGER T，MILLANE A，et al.Target-based calibration of underwater camera housing parameters[C]//Safety，Security，and Rescue Robotics（SSRR），2016 IEEE International Symposium on.Lausanne，Switzerland：IEEE，2016：201-206.

[8]GRATER J，STRAUSS T，LAUER M.Photometric laser scanner to camera calibration for low resolution sensors[C]//Intelligent Transportation Systems（ITSC），2016 IEEE 19th International Conference on.Rio de Janeiro，Brazil：IEEE，2016：1552-1557.

[9]CóRDOVA-ESPARZA D M，TERVEN J R，JIMéNEZHERNáNDEZ H，et al.A multiple camera calibration and point cloud fusion tool for kinect V2[J].Science of Computer Programming，2017，143：1-8.

[10]BOUDINE B，KRAMM S，El AKKAD N，et al.A flexible technique based on fundamental matrix for camera self-calibration with variable intrinsic parameters from two views[J].Journal of Visual Communication and Image Representation，2016，39：40-50.

[11]ZHANG Z Y.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）：1330-1334.

[12]HARRIS C.A combined corner and edge detector[J].Proc Alvey Vision Conf，1988（3）：147-151.

[13]田小超，李忠科.雙平面法標定的雙目視覺三維測量系統(tǒng)[J].電光與控制，2015，22（3）：54-57.TIAN X C，LI Z K.Binocular vision three-dimensional measurement system calibrated by double plane method[J].Electro-Optical and Control，2015，22（3）：54-57(in Chinese).

[14]SUSYANTO N，VELDHUIS R N J，SPREEUWERS L J，et al.Two-step calibration method for multi-algorithm score-based face recognition systems by minimizing discrimination loss[C]//International Conference on.Halmstad，Sweden：IEEE，2016：1-7.

[15]WEI Z，CAO Z，ZHANG G.Nonlinear optimization method in camera calibration[C]//International Conference on Electronic Measurement&Instruments.Beijing：IEEE，2009：（2）459-（2）461.

[16]LAO W，CHENG Z，KAM A H，et al.Focal length self-calibration based on degenerated Kruppa's equations：Method and evaluation[C]//International Conference on Image Processing.Singapore：IEEE，2004：3391-3394.

[17]GUO Y，LI B Z.Blind image watermarking method based on linear canonical wavelet transform and QR decomposition[J].I-et Image Processing，2016，10（10）：773-786.

[18]RUSSELL D，WEINREB S.Cryogenic self-calibrating noise parameter measurement system[J].IEEE Transactions on Microwave Theory&Techniques，2012，60（5）：1456-1467.

[19]劉國瑛，薛月菊，鄒湘軍，等.基于圖像殘差的攝像機標定精度比較[J].農(nóng)機化研究，2010，32（10）：118-121.LIU G Y，XUE Y J，ZOU X J，et al.Comparison of camera calibration accuracy based on image residual[J].Research on Agricultural Mechanization，2010，32（10）：118-121（in Chinese）.