程傳奇，郝向陽(yáng)，李建勝，徐海鑫，王安然

(1. 信息工程大學(xué)導(dǎo)航與空天目標(biāo)工程學(xué)院，河南 鄭州 450001; 2. 陸航駐哈爾濱地區(qū)軍代室，黑龍江 哈爾濱 150000)

基本矩陣約束下的攝像機(jī)畸變校正及像主點(diǎn)確定

程傳奇1，郝向陽(yáng)1，李建勝1，徐海鑫2，王安然1

(1. 信息工程大學(xué)導(dǎo)航與空天目標(biāo)工程學(xué)院，河南 鄭州 450001; 2. 陸航駐哈爾濱地區(qū)軍代室，黑龍江 哈爾濱 150000)

針對(duì)視覺(jué)測(cè)量系統(tǒng)中畸變校正過(guò)程煩瑣、計(jì)算復(fù)雜等問(wèn)題，提出了一種基于基本矩陣約束的鏡頭畸變自動(dòng)校正及像主點(diǎn)坐標(biāo)確定方法?；趯?duì)極幾何的基本矩陣和一階徑向畸變模型構(gòu)建了兩視圖同名點(diǎn)約束方程；為解決待求參數(shù)過(guò)多導(dǎo)致解不穩(wěn)定的問(wèn)題，采用分步求解策略分別求解基本矩陣及畸變參數(shù)和主點(diǎn)坐標(biāo)，用RANSAC穩(wěn)健估計(jì)方法求取基本矩陣，用迭代最小二乘優(yōu)化求解畸變參數(shù)和主點(diǎn)坐標(biāo)，兩步交替進(jìn)行。提出的算法僅使用兩張圖像即可獲取徑向畸變參數(shù)及主點(diǎn)坐標(biāo)，可操作性強(qiáng)，且對(duì)噪聲具有一定的魯棒性，適用于自然場(chǎng)景圖像的校正。

計(jì)算機(jī)視覺(jué)；基本矩陣；畸變校正；迭代最小二乘；分步求解

Abstract： To solve the problem of complicated distortion correction process and complicated calculation in the vision measurement system, method for camera distortion calibration and principal point coordinate determination based on fundamental matrix is proposed.Based on epipolar geometry and single parameter correction model, the equation of correspondent points is formed. To avoid the problem of instability result from too many unknown parameter, utilize a two-step iterative optimization strategy to solve the distortion parameter, the principle point coordinate and the fundamental matrix, respectively. Utilize the RANSAC robust estimation method to obtain the fundamental matrix and utilize iterative least square optimization method to get the distortion parameter and the principle point coordinate. Proposed method can obtain distortion parameter and the principle point coordinate only by using two images, which is robust to the noise, and can be applied to natural scene image calibration.

Keywords： computer vision; fundamental matrix; distortion calibration; iterative least square; two-step strategy

計(jì)算機(jī)視覺(jué)使計(jì)算機(jī)通過(guò)二維圖像認(rèn)知三維環(huán)境信息，因此圖像精度對(duì)計(jì)算機(jī)視覺(jué)十分重要。但實(shí)際鏡頭往往帶有不同程度的畸變，并不是嚴(yán)格透視成像，為保證計(jì)算機(jī)視覺(jué)研究中產(chǎn)品的質(zhì)量和精度，必須對(duì)獲取圖像進(jìn)行畸變校正[1]。

目前，鏡頭畸變校正算法主要分為兩類：第一類是攝像機(jī)標(biāo)定法，將畸變參數(shù)和攝像機(jī)內(nèi)外參數(shù)放在一起求解，在攝像機(jī)標(biāo)定的過(guò)程中求解畸變參數(shù)。攝像機(jī)標(biāo)定分為傳統(tǒng)標(biāo)定法[2-4]和自標(biāo)定法[5-7]。傳統(tǒng)攝像機(jī)標(biāo)定方法精度高，可靠性好，但需要標(biāo)定靶標(biāo)，標(biāo)定過(guò)程復(fù)雜。攝像機(jī)自標(biāo)定方法不需要標(biāo)定物，方法較靈活，但是多個(gè)參數(shù)一起校正必然會(huì)出現(xiàn)參數(shù)耦合問(wèn)題，且對(duì)初值和噪聲敏感，魯棒性不強(qiáng)。第二類是非量測(cè)獨(dú)立校正算法，可以不考慮其他內(nèi)參的影響而直接校正畸變，因而引起大量學(xué)者的興趣。學(xué)者們提出基于交比不變性[8-9]、 基于直線投影[10-11]、基于消隱點(diǎn)共線約束[12]等方法來(lái)校正畸變，文獻(xiàn)[13]構(gòu)建了畸變分離模型，利用非量測(cè)的方法完成攝像機(jī)標(biāo)定。但是以上這些算法都直接將平面幾何中心作為像主點(diǎn)處理，而受限于制作工藝水平，主點(diǎn)坐標(biāo)與平面幾何中心往往存在差異。畸變具有其獨(dú)立性，尤其鏡頭畸變的主要成分——徑向畸變是與像主點(diǎn)坐標(biāo)有關(guān)的函數(shù)，故基于已知攝像機(jī)中心假設(shè)前提，勢(shì)必會(huì)影響畸變校正精度。文獻(xiàn)[14]考慮到主點(diǎn)因素，利用遺傳算法同時(shí)優(yōu)化獲取畸變參數(shù)和主點(diǎn)坐標(biāo)，但算法計(jì)算成本過(guò)高，實(shí)現(xiàn)較困難。

因此，本文提出一種基于基本矩陣約束進(jìn)行畸變自動(dòng)校正的方法，同時(shí)對(duì)像主點(diǎn)坐標(biāo)進(jìn)行估計(jì)。根據(jù)基本矩陣約束建立關(guān)于基本矩陣、畸變參數(shù)、主點(diǎn)坐標(biāo)的非線性模型，為使得求解過(guò)程穩(wěn)定，求解時(shí)兩類參量(基本矩陣與畸變參數(shù)、主點(diǎn)坐標(biāo))分步迭代進(jìn)行，最終可實(shí)現(xiàn)兩幅圖像進(jìn)行攝像機(jī)鏡頭畸變的穩(wěn)健自動(dòng)校正。

1 算法基本原理

1.1 對(duì)極幾何

對(duì)極幾何是兩視圖之間內(nèi)在的射影幾何，它只依賴于攝像機(jī)內(nèi)參數(shù)及相對(duì)姿態(tài)，與景物結(jié)構(gòu)無(wú)關(guān)。如圖1所示，兩攝像機(jī)分別由它們的中心C、C′表示；攝像機(jī)中心、三維點(diǎn)X及其像點(diǎn)x、x′都在對(duì)極平面π上；像點(diǎn)x反向投影成三維空間的一條射線，由攝像機(jī)中心C和x確定，這條射線在第二幅視圖中成像為一條直線l′(對(duì)應(yīng)x的對(duì)極線)；由于三維空間點(diǎn)X必然在這條射線上，故X在第二幅視圖中的像點(diǎn)x′必然在l′上。

圖1 對(duì)極幾何

1.2 基本矩陣

基本矩陣F是對(duì)極幾何關(guān)系的核心，它是一個(gè)秩為2的3×3矩陣。若一個(gè)三維空間點(diǎn)X在兩幅視圖中的投影分別為x和x′，那么有基本矩陣約束

x′TFx=0

(1)

式中，x=[xy1]T，x′=[x′y′ 1]T，均為齊次坐標(biāo)。

1.3 鏡頭畸變校正模型

鏡頭畸變校正模型為

δx(x,y)=(k1x(x2+y2)+k2x(x2+y2)2)+ (p1(3x2+y2)+2p2xy)+s1(x2+y2)

(2)

δy(x,y)=(k1y(x2+y2)+k2y(x2+y2)2)+ (p2(x2+3y2)+2p1xy)+s2(x2+y2)

(3)

δx(x,y)=xu-x

(4)

δy(x,y)=yu-y

(5)

式(2)—式(3)中，第一項(xiàng)為徑向畸變；第二項(xiàng)為離心畸變；第三項(xiàng)為薄棱鏡畸變；k1、k2、p1、p2、s1、s2為畸變系數(shù)。文獻(xiàn)[15]已經(jīng)證明非徑向畸變的誤差總和只有徑向畸變的1/7～1/8，Tasi[2]也認(rèn)為過(guò)多地考慮畸變會(huì)增加計(jì)算復(fù)雜程度，反而有可能會(huì)影響計(jì)算精度。故一般在應(yīng)用中僅使用第一項(xiàng)徑向畸變，而k2對(duì)畸變貢獻(xiàn)較小，這里僅使用一階徑向畸變模型

(6)

L(r,k1,k2)=1+k1r2

(7)

r2=(x-u0)2+(y-v0)2

(8)

式中，(u0,v0)表示像主點(diǎn)坐標(biāo)，即畸變中心。

2 算法實(shí)現(xiàn)

2.1 待求量參數(shù)化

(9)

令(x,x′)表示實(shí)際兩幅畸變圖像的同名點(diǎn)齊次坐標(biāo)，把鏡頭畸變校正模型(式(6))代入，即得到圖像畸變情況下的對(duì)極幾何關(guān)系式

L′(k1,x0)(x′-x0)TF(x-x0)L(k1,x0)=0

(10)

式中，x0=[u0,v0,1]；k1、u0、v0為待求參數(shù)；由于F是在存在畸變的情況下求解得到的，因此也是不精確的，這里把F也當(dāng)作待求參數(shù)；x和x′為獲取的同名像點(diǎn)，為已知量。因此，問(wèn)題轉(zhuǎn)化為已知同名點(diǎn)集，如何求解k1、u0、v0并優(yōu)化修正F。待求參量過(guò)多時(shí)，容易造成解的不穩(wěn)定，本文采用兩步求解及分步迭代優(yōu)化的分層策略，分別求解基本矩陣F和k1、u0、v0。采用RANSAC黃金標(biāo)準(zhǔn)算法估計(jì)兩視圖基本矩陣；用迭代最小二乘求解畸變系數(shù)和主點(diǎn)坐標(biāo)，校正圖像；兩步求解交替進(jìn)行，直至滿足收斂條件。

2.2 參數(shù)平差模型建立與求解

將式(10)左邊表示成多項(xiàng)式形式

g(k1,x0)=L′(k1,x0)(x′-x0)TF(x-x0)L(k1,x0)

(11)

(12)

式中，g0為式(11)的初始值；M為實(shí)際測(cè)量值，因?yàn)榛赗ANSAC魯棒估計(jì)獲取的內(nèi)點(diǎn)都滿足基本矩陣約束(式(1))，故M設(shè)為0；徑向畸變系數(shù)k1一般賦初值為0；像主點(diǎn)坐標(biāo)x0初值設(shè)為圖像中心。

當(dāng)有n組同名點(diǎn)時(shí)，可組成線性誤差方程組

Vn×1=An×12M12×1-Pn×1

(13)

(14)

為保證精度，更新過(guò)程采取迭代方式進(jìn)行，一般迭代2～3次即可收斂。

2.3 收斂性分析

分析易知，g(k1,u0,v0)對(duì)參數(shù)k1為二次多項(xiàng)式函數(shù)，是凸函數(shù)形式，故通過(guò)最小二乘迭代求解可獲得全局最優(yōu)解；而g(k1,u0,v0)對(duì)于參數(shù)u0、v0為六次多項(xiàng)式函數(shù)，為非凸函數(shù)，故通過(guò)最小二乘迭代求解可能會(huì)獲取局部最優(yōu)解而非全局最優(yōu)，因此像主點(diǎn)坐標(biāo)(u0,v0)初值的選取對(duì)最終收斂結(jié)果尤為重要。由于主點(diǎn)坐標(biāo)一般位于圖像中心附近，故將圖像中心坐標(biāo)選為初值。圖2為選取的一張圖像獲取的函數(shù)g(k1,u0,v0)分別隨u0、v0變化的趨勢(shì)圖。可以看出，圖2中由于主點(diǎn)坐標(biāo)的取值范圍在圖像中心附近，故函數(shù)值只有一個(gè)極值點(diǎn)，說(shuō)明把圖像中心作為主點(diǎn)坐標(biāo)初值進(jìn)行迭代，可收斂至全局最優(yōu)。

圖2 函數(shù)g隨(u0,v0)變化的趨勢(shì)圖

2.4 算法流程

(1) 讀入兩幅圖像。

(5) 判斷是否滿足高斯-牛頓迭代收斂條件(迭代增量小于特定閾值ε1或達(dá)到迭代次數(shù)iter)，若滿足，則進(jìn)入步驟(6)；若不滿足，則跳轉(zhuǎn)步驟(4)，直至滿足收斂條件，算法轉(zhuǎn)入步驟(6)。

算法流程如圖3所示。

圖3 本文算法流程

3 試驗(yàn)與分析

為驗(yàn)證算法的有效性與正確性，設(shè)計(jì)了仿真試驗(yàn)和真實(shí)算例對(duì)算法性能進(jìn)行分析。

3.1 仿真試驗(yàn)

圖4 仿真三維點(diǎn)

圖5 畸變圖像

本文采用校正后像點(diǎn)坐標(biāo)與對(duì)應(yīng)真實(shí)像點(diǎn)坐標(biāo)的均方根誤差(RMS)作為評(píng)價(jià)指標(biāo)，來(lái)衡量畸變校正效果的優(yōu)劣。圖7為本文算法在不同噪聲水平下的校正結(jié)果(畸變參數(shù)k1=-2×10-8)。噪聲以0.5個(gè)像素為步長(zhǎng)，每個(gè)噪聲水平下的RMS值均為隨機(jī)運(yùn)行20次的平均值。由圖7可知，像點(diǎn)噪聲將直接影響算法的性能，算法校正誤差隨噪聲水平提高而增大。但目前的特征提取算法一般可將特征點(diǎn)定位至亞像素級(jí)，故本文算法仍具有較大的實(shí)用性。

圖6 校正后圖像

圖7 算法校正結(jié)果與噪聲水平的關(guān)系

3.2 真實(shí)算例

圖8 原始圖像及特征點(diǎn)匹配

4 結(jié) 論

本文針對(duì)圖像畸變問(wèn)題，提出了一種圖像自動(dòng)校正的新方法。該方法基于對(duì)極幾何的基本矩陣和一階徑向畸變模型構(gòu)建兩視圖同名點(diǎn)約束方程；然后采用一種兩步求解及分步迭代優(yōu)化的分層策略優(yōu)化基本矩陣并求解畸變參數(shù)和主點(diǎn)坐標(biāo)。用RANSAC黃金標(biāo)準(zhǔn)算法估計(jì)兩視圖基本矩陣，用迭代最小二乘求解畸變系數(shù)和主點(diǎn)坐標(biāo)，校正圖像，兩步求解交替進(jìn)行，直至滿足收斂條件。

圖9 校正后圖像及特征點(diǎn)匹配

(1) 本方法是一種獨(dú)立的畸變校正算法，無(wú)需任何標(biāo)定靶標(biāo)，不受未知環(huán)境場(chǎng)景因素的影響，且避免了攝像機(jī)內(nèi)參數(shù)之間的耦合影響，具有很強(qiáng)的適用性。

(2) 設(shè)計(jì)的分步求解策略避免了待求參數(shù)過(guò)多引起解不穩(wěn)定的問(wèn)題，使得算法實(shí)現(xiàn)具有穩(wěn)健性。

(3) 本方法在進(jìn)行畸變校正的同時(shí)，還獲取了精確的圖像主點(diǎn)坐標(biāo)，有利于后續(xù)的攝像機(jī)自標(biāo)定以及計(jì)算機(jī)視覺(jué)中的度量重建任務(wù)。

[1] 李曉明, 姚劍, 張繼福. 攝像機(jī)畸變模型的比較與選擇[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2015, 27(5):824-831.

[2] TSAI R Y. A Versatile Camera Calibration Technique for High-accuracy 3D Machine Vision Metrology Using Off-the-shelf TV Cameras and Lenses[J]. Journal of Robotics & Automation IEEE, 1987, 3(4):323-344.

[3] ZHANG Z. A Flexible New Technique for Camera Calibration[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2000, 22(11):1330-1334.

[4] 葉峰, 王敏, 陳劍東,等. 共面點(diǎn)的攝像機(jī)非線性畸變校正[J]. 光學(xué)精密工程, 2015, 23(10):2962-2970.

[5] MERRAS M, AKKAD N E, SAAIDI A, et al. Camera Self-calibration with Varying Parameters by an Unknown Three Dimensional Scene Using the Improved Genetic Algorithm[J]. 3d Research, 2015, 6(1):1-14.

[6] 洪洋, 孫秀霞, 蔡鳴,等. 基于正交消隱點(diǎn)無(wú)窮單應(yīng)的攝像機(jī)內(nèi)參數(shù)自標(biāo)定方法[J]. 中國(guó)激光, 2015(12):182-192.

[7] BRüCKNER M, BAJRAMOVIC F, DENZLER J. Intrinsic and Extrinsic Active Self-calibration of Multi-camera Systems[J]. Machine Vision & Applications, 2014, 25(2):389-403.

[8] 唐巍, 葉東, 袁鋒,等. 視覺(jué)測(cè)量系統(tǒng)中一種獨(dú)立的畸變校正算法[J]. 光電子·激光, 2013(2):308-315.

[9] 薛俊鵬, 蘇顯渝. 基于兩個(gè)正交一維物體的單幅圖像相機(jī)標(biāo)定[J]. 光學(xué)學(xué)報(bào), 2012(1):145-151.

[10] 張敏, 金龍旭, 吳凡路,等. 基于Hough變換的攝像機(jī)畸變非量測(cè)標(biāo)定方法[J]. 光電子·激光, 2015(11):2217-2223.

[11] 陳天飛, 馬孜, 李鵬,等. 一種基于非量測(cè)畸變校正的攝像機(jī)標(biāo)定方法[J]. 控制與決策, 2012, 27(2):243-246.

[12] 趙振慶, 葉東, 吳斌, 等.消隱點(diǎn)共線約束逐點(diǎn)畸變校正算法[J]. 光學(xué)精密工程, 2015,23(4):1196-1204.

[13] 周富強(qiáng), 蔡斐華. 基于非量測(cè)畸變校正的攝像機(jī)標(biāo)定方法[J]. 機(jī)械工程學(xué)報(bào), 2009, 45(8): 228-232.

[14] 張靖, 朱大勇, 張志勇. 攝像機(jī)鏡頭畸變的一種非量測(cè)校正方法[J]. 光學(xué)學(xué)報(bào), 2008,8(28):1552-1557.

[15] WENG J, COHEN P, HERNIOU M. Calibration of Stereo Cameras Using a Non-linear Distortion Model(CCD sensory)[C]∥Proceedings of International Conference on Pattern Recognition.1990.[S.l.]：IEEE,1990:246-253.

CameraDistortionCalibrationandPrincipalPointCoordinateDeterminationBasedonFundamentalMatrix

CHENG Chuanqi1，HAO Xiangyang1，LI Jiansheng1,XU Haixin2，WANG Anran1

(1. School of Navigation and Aerospace Engineering, Information Engineering University, Zhengzhou 450001, China; 2. Military Representative Office of Army Aviation in Harbin, Harbin 150000, China)

P237

A

0494-0911(2017)09-0032-05

2017-01-17

國(guó)家863計(jì)劃(2015AA7034057A); 國(guó)家自然科學(xué)基金(61173077)

程傳奇(1989—)，男，博士生，研究方向?yàn)橛?jì)算機(jī)視覺(jué)及導(dǎo)航定位與位置服務(wù)。E-mail: legend3q@163.com

程傳奇，郝向陽(yáng)，張振杰，等.基本矩陣約束下的攝像機(jī)畸變校正及像主點(diǎn)確定[J].測(cè)繪通報(bào)，2017(9)：32-36.

10.13474/j.cnki.11-2246.2017.0282.