程傳奇，郝向陽，李建勝，徐海鑫，王安然

(1. 信息工程大學導航與空天目標工程學院，河南 鄭州 450001; 2. 陸航駐哈爾濱地區(qū)軍代室，黑龍江 哈爾濱 150000)

基本矩陣約束下的攝像機畸變校正及像主點確定

程傳奇1，郝向陽1，李建勝1，徐海鑫2，王安然1

(1. 信息工程大學導航與空天目標工程學院，河南 鄭州 450001; 2. 陸航駐哈爾濱地區(qū)軍代室，黑龍江 哈爾濱 150000)

針對視覺測量系統(tǒng)中畸變校正過程煩瑣、計算復雜等問題，提出了一種基于基本矩陣約束的鏡頭畸變自動校正及像主點坐標確定方法?；趯O幾何的基本矩陣和一階徑向畸變模型構建了兩視圖同名點約束方程；為解決待求參數過多導致解不穩(wěn)定的問題，采用分步求解策略分別求解基本矩陣及畸變參數和主點坐標，用RANSAC穩(wěn)健估計方法求取基本矩陣，用迭代最小二乘優(yōu)化求解畸變參數和主點坐標，兩步交替進行。提出的算法僅使用兩張圖像即可獲取徑向畸變參數及主點坐標，可操作性強，且對噪聲具有一定的魯棒性，適用于自然場景圖像的校正。

計算機視覺；基本矩陣；畸變校正；迭代最小二乘；分步求解

Abstract： To solve the problem of complicated distortion correction process and complicated calculation in the vision measurement system, method for camera distortion calibration and principal point coordinate determination based on fundamental matrix is proposed.Based on epipolar geometry and single parameter correction model, the equation of correspondent points is formed. To avoid the problem of instability result from too many unknown parameter, utilize a two-step iterative optimization strategy to solve the distortion parameter, the principle point coordinate and the fundamental matrix, respectively. Utilize the RANSAC robust estimation method to obtain the fundamental matrix and utilize iterative least square optimization method to get the distortion parameter and the principle point coordinate. Proposed method can obtain distortion parameter and the principle point coordinate only by using two images, which is robust to the noise, and can be applied to natural scene image calibration.

Keywords： computer vision; fundamental matrix; distortion calibration; iterative least square; two-step strategy

計算機視覺使計算機通過二維圖像認知三維環(huán)境信息，因此圖像精度對計算機視覺十分重要。但實際鏡頭往往帶有不同程度的畸變，并不是嚴格透視成像，為保證計算機視覺研究中產品的質量和精度，必須對獲取圖像進行畸變校正[1]。

目前，鏡頭畸變校正算法主要分為兩類：第一類是攝像機標定法，將畸變參數和攝像機內外參數放在一起求解，在攝像機標定的過程中求解畸變參數。攝像機標定分為傳統(tǒng)標定法[2-4]和自標定法[5-7]。傳統(tǒng)攝像機標定方法精度高，可靠性好，但需要標定靶標，標定過程復雜。攝像機自標定方法不需要標定物，方法較靈活，但是多個參數一起校正必然會出現參數耦合問題，且對初值和噪聲敏感，魯棒性不強。第二類是非量測獨立校正算法，可以不考慮其他內參的影響而直接校正畸變，因而引起大量學者的興趣。學者們提出基于交比不變性[8-9]、 基于直線投影[10-11]、基于消隱點共線約束[12]等方法來校正畸變，文獻[13]構建了畸變分離模型，利用非量測的方法完成攝像機標定。但是以上這些算法都直接將平面幾何中心作為像主點處理，而受限于制作工藝水平，主點坐標與平面幾何中心往往存在差異?；兙哂衅洫毩⑿?，尤其鏡頭畸變的主要成分——徑向畸變是與像主點坐標有關的函數，故基于已知攝像機中心假設前提，勢必會影響畸變校正精度。文獻[14]考慮到主點因素，利用遺傳算法同時優(yōu)化獲取畸變參數和主點坐標，但算法計算成本過高，實現較困難。

因此，本文提出一種基于基本矩陣約束進行畸變自動校正的方法，同時對像主點坐標進行估計。根據基本矩陣約束建立關于基本矩陣、畸變參數、主點坐標的非線性模型，為使得求解過程穩(wěn)定，求解時兩類參量(基本矩陣與畸變參數、主點坐標)分步迭代進行，最終可實現兩幅圖像進行攝像機鏡頭畸變的穩(wěn)健自動校正。

1 算法基本原理

1.1 對極幾何

對極幾何是兩視圖之間內在的射影幾何，它只依賴于攝像機內參數及相對姿態(tài)，與景物結構無關。如圖1所示，兩攝像機分別由它們的中心C、C′表示；攝像機中心、三維點X及其像點x、x′都在對極平面π上；像點x反向投影成三維空間的一條射線，由攝像機中心C和x確定，這條射線在第二幅視圖中成像為一條直線l′(對應x的對極線)；由于三維空間點X必然在這條射線上，故X在第二幅視圖中的像點x′必然在l′上。

圖1 對極幾何

1.2 基本矩陣

基本矩陣F是對極幾何關系的核心，它是一個秩為2的3×3矩陣。若一個三維空間點X在兩幅視圖中的投影分別為x和x′，那么有基本矩陣約束

x′TFx=0

(1)

式中，x=[xy1]T，x′=[x′y′ 1]T，均為齊次坐標。

1.3 鏡頭畸變校正模型

鏡頭畸變校正模型為

δx(x,y)=(k1x(x2+y2)+k2x(x2+y2)2)+ (p1(3x2+y2)+2p2xy)+s1(x2+y2)

(2)

δy(x,y)=(k1y(x2+y2)+k2y(x2+y2)2)+ (p2(x2+3y2)+2p1xy)+s2(x2+y2)

(3)

δx(x,y)=xu-x

(4)

δy(x,y)=yu-y

(5)

式(2)—式(3)中，第一項為徑向畸變；第二項為離心畸變；第三項為薄棱鏡畸變；k1、k2、p1、p2、s1、s2為畸變系數。文獻[15]已經證明非徑向畸變的誤差總和只有徑向畸變的1/7～1/8，Tasi[2]也認為過多地考慮畸變會增加計算復雜程度，反而有可能會影響計算精度。故一般在應用中僅使用第一項徑向畸變，而k2對畸變貢獻較小，這里僅使用一階徑向畸變模型

(6)

L(r,k1,k2)=1+k1r2

(7)

r2=(x-u0)2+(y-v0)2

(8)

式中，(u0,v0)表示像主點坐標，即畸變中心。

2 算法實現

2.1 待求量參數化

(9)

令(x,x′)表示實際兩幅畸變圖像的同名點齊次坐標，把鏡頭畸變校正模型(式(6))代入，即得到圖像畸變情況下的對極幾何關系式

L′(k1,x0)(x′-x0)TF(x-x0)L(k1,x0)=0

(10)

式中，x0=[u0,v0,1]；k1、u0、v0為待求參數；由于F是在存在畸變的情況下求解得到的，因此也是不精確的，這里把F也當作待求參數；x和x′為獲取的同名像點，為已知量。因此，問題轉化為已知同名點集，如何求解k1、u0、v0并優(yōu)化修正F。待求參量過多時，容易造成解的不穩(wěn)定，本文采用兩步求解及分步迭代優(yōu)化的分層策略，分別求解基本矩陣F和k1、u0、v0。采用RANSAC黃金標準算法估計兩視圖基本矩陣；用迭代最小二乘求解畸變系數和主點坐標，校正圖像；兩步求解交替進行，直至滿足收斂條件。

2.2 參數平差模型建立與求解

將式(10)左邊表示成多項式形式

g(k1,x0)=L′(k1,x0)(x′-x0)TF(x-x0)L(k1,x0)

(11)

(12)

式中，g0為式(11)的初始值；M為實際測量值，因為基于RANSAC魯棒估計獲取的內點都滿足基本矩陣約束(式(1))，故M設為0；徑向畸變系數k1一般賦初值為0；像主點坐標x0初值設為圖像中心。

當有n組同名點時，可組成線性誤差方程組

Vn×1=An×12M12×1-Pn×1

(13)

(14)

為保證精度，更新過程采取迭代方式進行，一般迭代2～3次即可收斂。

2.3 收斂性分析

分析易知，g(k1,u0,v0)對參數k1為二次多項式函數，是凸函數形式，故通過最小二乘迭代求解可獲得全局最優(yōu)解；而g(k1,u0,v0)對于參數u0、v0為六次多項式函數，為非凸函數，故通過最小二乘迭代求解可能會獲取局部最優(yōu)解而非全局最優(yōu)，因此像主點坐標(u0,v0)初值的選取對最終收斂結果尤為重要。由于主點坐標一般位于圖像中心附近，故將圖像中心坐標選為初值。圖2為選取的一張圖像獲取的函數g(k1,u0,v0)分別隨u0、v0變化的趨勢圖?？梢钥闯觯瑘D2中由于主點坐標的取值范圍在圖像中心附近，故函數值只有一個極值點，說明把圖像中心作為主點坐標初值進行迭代，可收斂至全局最優(yōu)。

圖2 函數g隨(u0,v0)變化的趨勢圖

2.4 算法流程

(1) 讀入兩幅圖像。

(5) 判斷是否滿足高斯-牛頓迭代收斂條件(迭代增量小于特定閾值ε1或達到迭代次數iter)，若滿足，則進入步驟(6)；若不滿足，則跳轉步驟(4)，直至滿足收斂條件，算法轉入步驟(6)。

算法流程如圖3所示。

圖3 本文算法流程

3 試驗與分析

為驗證算法的有效性與正確性，設計了仿真試驗和真實算例對算法性能進行分析。

3.1 仿真試驗

圖4 仿真三維點

圖5 畸變圖像

本文采用校正后像點坐標與對應真實像點坐標的均方根誤差(RMS)作為評價指標，來衡量畸變校正效果的優(yōu)劣。圖7為本文算法在不同噪聲水平下的校正結果(畸變參數k1=-2×10-8)。噪聲以0.5個像素為步長，每個噪聲水平下的RMS值均為隨機運行20次的平均值。由圖7可知，像點噪聲將直接影響算法的性能，算法校正誤差隨噪聲水平提高而增大。但目前的特征提取算法一般可將特征點定位至亞像素級，故本文算法仍具有較大的實用性。

圖6 校正后圖像

圖7 算法校正結果與噪聲水平的關系

3.2 真實算例

圖8 原始圖像及特征點匹配

4 結 論

本文針對圖像畸變問題，提出了一種圖像自動校正的新方法。該方法基于對極幾何的基本矩陣和一階徑向畸變模型構建兩視圖同名點約束方程；然后采用一種兩步求解及分步迭代優(yōu)化的分層策略優(yōu)化基本矩陣并求解畸變參數和主點坐標。用RANSAC黃金標準算法估計兩視圖基本矩陣，用迭代最小二乘求解畸變系數和主點坐標，校正圖像，兩步求解交替進行，直至滿足收斂條件。

圖9 校正后圖像及特征點匹配

(1) 本方法是一種獨立的畸變校正算法，無需任何標定靶標，不受未知環(huán)境場景因素的影響，且避免了攝像機內參數之間的耦合影響，具有很強的適用性。

(2) 設計的分步求解策略避免了待求參數過多引起解不穩(wěn)定的問題，使得算法實現具有穩(wěn)健性。

(3) 本方法在進行畸變校正的同時，還獲取了精確的圖像主點坐標，有利于后續(xù)的攝像機自標定以及計算機視覺中的度量重建任務。

[1] 李曉明, 姚劍, 張繼福. 攝像機畸變模型的比較與選擇[J]. 計算機輔助設計與圖形學學報, 2015, 27(5):824-831.

[2] TSAI R Y. A Versatile Camera Calibration Technique for High-accuracy 3D Machine Vision Metrology Using Off-the-shelf TV Cameras and Lenses[J]. Journal of Robotics & Automation IEEE, 1987, 3(4):323-344.

[3] ZHANG Z. A Flexible New Technique for Camera Calibration[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2000, 22(11):1330-1334.

[4] 葉峰, 王敏, 陳劍東,等. 共面點的攝像機非線性畸變校正[J]. 光學精密工程, 2015, 23(10):2962-2970.

[5] MERRAS M, AKKAD N E, SAAIDI A, et al. Camera Self-calibration with Varying Parameters by an Unknown Three Dimensional Scene Using the Improved Genetic Algorithm[J]. 3d Research, 2015, 6(1):1-14.

[6] 洪洋, 孫秀霞, 蔡鳴,等. 基于正交消隱點無窮單應的攝像機內參數自標定方法[J]. 中國激光, 2015(12):182-192.

[7] BRüCKNER M, BAJRAMOVIC F, DENZLER J. Intrinsic and Extrinsic Active Self-calibration of Multi-camera Systems[J]. Machine Vision & Applications, 2014, 25(2):389-403.

[8] 唐巍, 葉東, 袁鋒,等. 視覺測量系統(tǒng)中一種獨立的畸變校正算法[J]. 光電子·激光, 2013(2):308-315.

[9] 薛俊鵬, 蘇顯渝. 基于兩個正交一維物體的單幅圖像相機標定[J]. 光學學報, 2012(1):145-151.

[10] 張敏, 金龍旭, 吳凡路,等. 基于Hough變換的攝像機畸變非量測標定方法[J]. 光電子·激光, 2015(11):2217-2223.

[11] 陳天飛, 馬孜, 李鵬,等. 一種基于非量測畸變校正的攝像機標定方法[J]. 控制與決策, 2012, 27(2):243-246.

[12] 趙振慶, 葉東, 吳斌, 等.消隱點共線約束逐點畸變校正算法[J]. 光學精密工程, 2015,23(4):1196-1204.

[13] 周富強, 蔡斐華. 基于非量測畸變校正的攝像機標定方法[J]. 機械工程學報, 2009, 45(8): 228-232.

[14] 張靖, 朱大勇, 張志勇. 攝像機鏡頭畸變的一種非量測校正方法[J]. 光學學報, 2008,8(28):1552-1557.

[15] WENG J, COHEN P, HERNIOU M. Calibration of Stereo Cameras Using a Non-linear Distortion Model(CCD sensory)[C]∥Proceedings of International Conference on Pattern Recognition.1990.[S.l.]：IEEE,1990:246-253.

CameraDistortionCalibrationandPrincipalPointCoordinateDeterminationBasedonFundamentalMatrix

CHENG Chuanqi1，HAO Xiangyang1，LI Jiansheng1,XU Haixin2，WANG Anran1

(1. School of Navigation and Aerospace Engineering, Information Engineering University, Zhengzhou 450001, China; 2. Military Representative Office of Army Aviation in Harbin, Harbin 150000, China)

P237

A

0494-0911(2017)09-0032-05

2017-01-17

國家863計劃(2015AA7034057A); 國家自然科學基金(61173077)

程傳奇(1989—)，男，博士生，研究方向為計算機視覺及導航定位與位置服務。E-mail: legend3q@163.com

程傳奇，郝向陽，張振杰，等.基本矩陣約束下的攝像機畸變校正及像主點確定[J].測繪通報，2017(9)：32-36.

10.13474/j.cnki.11-2246.2017.0282.