師 平

(江蘇航空職業(yè)技術學院，江蘇 鎮(zhèn)江 212134)

魚眼圖像徑向畸變校正的一種新方法

師 平

(江蘇航空職業(yè)技術學院，江蘇 鎮(zhèn)江 212134)

由于魚眼相機視場廣闊在很多領域都得到了廣泛應用，但其圖像存在著明顯的徑向畸變，需要在應用之前加以校正。為此分析了徑向畸變模型解析解的非唯一性；根據(jù)徑向畸變的對稱性，得出了畸變直線與理想直線之間的關系，即畸變校正的解析表達式；提出了一種魚眼圖像徑向畸變校正的新方法。實驗證明，該方法計算簡單，能有效校正包含直線特征的場景。

徑向畸變；魚眼圖像；幾何校正；畸變校正

魚眼鏡頭因其寬視場的特點廣泛應用于區(qū)域監(jiān)控、機器導航和智能交通等領域。但是魚眼鏡頭拍攝的圖像存在較大程度的失真，為了后續(xù)處理的方便，必須對失真圖像進行處理，即畸變圖像校正[1]。目前，畸變圖像校正大體可分為2種途徑：①將畸變模型代入小孔成像模型中，然后通過標定攝像機的內外參數(shù)求出的畸變模型將圖像校正，常見的標定方法有基于特征點的標定[2]、基于相機扭曲系數(shù)的標定[3]。②不標定攝像機內外參數(shù)，僅利用單幅圖像的幾何特征建立統(tǒng)一的畸變模型，再通過數(shù)值方法優(yōu)化出最優(yōu)解進行校正，常見的方法有根據(jù)畸變曲線的彎曲特點[4]、用橢球面模型[5]、球面坐標投影模型[6]和弧面映射模型[7]等去逼近和擬合；還有利用直線畸變后形成的曲線的圓心共線約束[8]、利用直線畸變特征[9]和利用直線投影幾何不變性[10]等許多思路。文獻[11]提出了一種不預先設定模型，通過像點之間的約束來解算模型的新算法。文獻[12]提出了畸變能量的定義方法，可用于評價畸變的程度。該方法的優(yōu)勢在于不設定畸變模型首先減少了模型誤差對標定的影響。

本文通過分析徑向畸變的對稱性，得出畸變曲線與理想直線之間的關系，即曲線畸變校正的解析表達式；進而提出一種基于徑向畸變模型的幾何校正方法。采用魚眼圖像進行實驗，對不同階次的模型進行對比。

1 徑向畸變模型

畸變可分為徑向畸變和切向畸變，由于切向畸變較小，本文僅對徑向畸變進行建模。徑向畸變根據(jù)鏡頭的不同可以大致分為桶形畸變和枕形畸變兩種[13]。一般來說，徑向畸變模型可以表述為[14]

如列向量 (x, y,1)T為圖像點 P測量的坐標，(x', y',1)T為矯正后的理想像點 P'的坐標，而(x,y ,1)T為徑向失真中心P0的坐標，r為實際像oo點到徑向失真中心的距離，即。L(r)是徑向失真因子，僅是半徑r的函數(shù)。

其中，只有 r為已知量，r'與 L（ r）均是未知的，對于一個多元方程，其解析解并不是唯一的。下面通過分析將說明徑向畸變模型的最優(yōu)解是一組線性相關的解。

假設物點 Pi在攝像機坐標系下的坐標為(Xi, Yi, Zi)，其對應的實際像點為 pi( xi, yi)，采用基于重投影最小準則的標定方法，得到畸變因子為L( ri)，焦距為f。證明畸變因子 L'( ri) = L( ri)×λ，焦距f'=f×λ，也可以使重投影達到最小。

重投影公式為

其中，內參數(shù)(f, L( r))與(f',L'( r))在代數(shù)上等價，都可以使重投影最小，說明其解都是最優(yōu)解，即徑向畸變模型的最優(yōu)解是一組線性相關的解。

因此，本文用的徑向畸變模型有不唯一的解析解，其數(shù)值最優(yōu)解是一組線性相關的解。

2 徑向畸變模型的對稱性分析

2.1 畸變的對稱性

根據(jù)式(2)，發(fā)現(xiàn)當實際像點矢徑 r相同時，其畸變量也是一致的，即與主點距離相同的點其畸變量也相同，稱這種規(guī)律為畸變的對稱性，用公式表述則為：

(1) 主點距離相同的 2個像點為 P1( x1, y1)、P2( x2,y2)，即

此規(guī)律體現(xiàn)了畸變圖像中各像點之間的聯(lián)系與制約關系，且直線畸變后形成的曲線也不是相互獨立的，下面探討畸變直線之間的量化關系，進而據(jù)此得出畸變曲線對應的理想直線的參數(shù)。

2.2 畸變曲線校正

假設像點P1、P2分別在畸變曲線C1、C2上，其對應的理想直線分別用列向量表示為 l1T=(a1, b1,1)， l2T=(a2, b2,1)，則有分別在l1、l2，即

將式(4)～(7)轉化為代數(shù)表達式則為

經過整理得

當取主點為原點，則有

根據(jù)式(9)，可以得出以下2個結論：

結論1. 當l1=l2時，

利用該結論，可以直接求解出畸變曲線對應的理想直線的斜率。

利用該結論可以進一步求解出兩條理想直線第2個參數(shù)之間的關系。

至此可以得出畸變點和理想直線參數(shù)之間的關系，只要找到主點，就可以直接求出畸變曲線對應的理想直線的參數(shù)。

3 畸變校正算法

到主點就可以找到畸變曲線和理想直線之間的關系，即可以將畸變曲線還原為其本來的理想直線，進而可以求出畸變模型。具體的畸變校正算法流程如圖1所示。

3.1 主點擬合

擬合主點的方式有很多，本文采用畸變曲線對稱軸交匯的方法進行求解，具體方法見圖2。

圖2中，P0為畸變中心；曲線C1、C2為直線畸變后形成的曲線；T1、T2為曲線C1、C2上部分點擬合形成的二次曲線。根據(jù)畸變對稱性原理，畸變曲線是軸對稱圖形，并且主點必過對稱軸，則有二次曲線對稱軸就是畸變曲線的對稱軸，多條對稱軸的交點即為主點。

3.2 直線參數(shù)求解

如圖3所示，以曲線C1為例，說明其理想直線的參數(shù)求解過程，以 P0( x0,y0)為圓心，以rk1為半徑做圓交曲線C1于 (xk11,yk11)、( xk12,yk12)兩點，根據(jù)式(9)，則有

依照此方法，可以求出 k2, k3,… ,kn等。

根據(jù)2.2節(jié)的結論2求解直線的第2個參數(shù)。假設b1=1(根據(jù)第一節(jié)證明的徑向畸變模型的解不唯一性，這樣的假設是有效的)，以 (x0,y0)為圓心，以rb1為半徑做圓交曲線C1、C2于 (xb11,yb11)、(xb12,yb12)兩點以此方法，可以依次求出 b2, b3,…,bn等。

3.3 求解畸變模型

同文獻[15]所提方法類似，根據(jù)理想直線和畸變曲線的對應關系，可以計算得出一組點的矢徑r1, r2,… ,rn，對應的理想像點的矢徑 r1', r2' ,… ,rn' ，然后可以選擇模型去擬合畸變因子函數(shù)L( r)。本文選擇多項式模型進行擬合，模型的階次需要根據(jù)校正效果進行選擇，即參數(shù) n是一個經驗值，需要通過實驗進行設置。事實上，本文通過實驗證明，取 n=3時，校正的效果就已經不錯了。進一步提高階數(shù)，大大增加了計算量，效果改善卻并不明顯。

得到畸變模型后，畸變校正就是畸變模型的反變換。利用式(1)，根據(jù)擬合模型求得的最優(yōu)模型可以將原圖像上的像素點進行映射，即可得到校正后的圖像。

4 實驗與分析

本文實驗采用魚眼鏡頭實際拍攝棋盤格圖像，圖像大小為720×480。如圖4所示，任意選取6條直線，在每條直線上選取15個點，根據(jù)式(11)擬合出各條直線，對應如下式的二次曲線

進一步根據(jù)該二次曲線的對稱軸求其交點，可以得出主點坐標為(340.0868 202.6049)。據(jù)式(12)和(13)，求出6條直線的2個參數(shù)如表1所示。

圖4 魚眼鏡頭畸變后的圖像

表1 擬合直線參數(shù)表

在求得的主點坐標和理想直線的基礎上，可以用畸變因子表征直線不同位置點的畸變程度，即不同矢徑對應不同的畸變因子，其關系可用圖5所示。其中橫坐標為徑矢r，單位為像素；縱坐標為畸變因子，單位是無量綱。

圖5 矢徑與畸變因子對應的關系圖

圖6 各階畸變誤差及校正圖

如圖 6所示，采用一、二階模型時，校正誤差較大，三階以上誤差變化不明顯。而三階模型的計算量更少，因此畸變模型一般采用三階就可以了。

與文獻[13]相比，本文方法計算簡單，原理清晰，可以用較少的數(shù)據(jù)量得到比較精確的結果。

5 結論與展望

隨著魚眼相機的廣泛應用，魚眼圖幾何畸變校正已經成為當前重要的研究熱點。本文研究了徑向畸變模型，證明其解析解不唯一，且最優(yōu)解是一組線性相關的解；分析了徑向畸變的對稱性，得出畸變曲線與理想直線之間的關系，即曲線畸變校正的解析表達式；提出了一種基于徑向畸變模型的幾何校正方法。實驗證明，該方法計算簡單，能有效校正包含直線特征的場景。且對于該模型，并不是階次越高越好：三階以前擬合誤差隨著階次的升高而降低，三階以后下降的不太明顯。因此，通常選擇三階模型。

下一步工作主要關注 2個方面：①多項式擬合中存在龍格現(xiàn)象，文章沒有考慮；②畸變模型中沒有考慮切向畸變。

[1] Faisal B, Matthew N. Automatic radial distortion estimation from a single image [J]. Journal of Mathematical Imaging and Vision, 2013, 25(1): 31-45.

[2] 劉 艷, 李騰飛. 對張正友相機標定法的改進研究[J].光學技術, 2014, 40(6): 565-570.

[3] 黃 淼, 周志光, 陶煜波, 等. 基于數(shù)碼相機參數(shù)還原的多屏拼接幾何校正技術[J]. 計算機輔助設計與圖形學學報, 2010, 22(10): 1803-1809.

[4] Dunne A K, Mallon J, Whelan P F. Efficient generic calibration method for general cameras with single centre of projection [C]//IEEE 11th International Conference on Computer Vision. New York: IEEE Press, 2007: 1-8.

[5] 楊中偉, 楊 鳴. 基于橢球面模型的魚眼圖像校正方法[J]. 光學儀器, 2015, 37(2): 127-131.

[6] Xiao S Z, Wang F W. Generation of panoramic view from 360 degree fisheye images based on angular fisheye projection [C/OL]//Distributed Computing and Applications to Business, Engineering and Science (DCABES), 2011 Tenth International Symposium on. [2015-08-10]. https://www.computer.org/csdl/proceedings/ dcabes/2011/4415/00/4415a187.pdf.

[7] Formea R T, Tahri O, Chaumette F. Distance-based and orientation-based visual servoing from three points [J]. IEEE Transactions on Robotics, 2011, 27(2): 256-267.

[8] 朱云芳, 杜 歆. 基于圓心共線約束的魚眼鏡頭徑向畸變估計[J]. 光電工程, 2014, 41(11): 36-43.

[9] Ricardo G, Agustin O, Ricaro F, et al. Uncertainty analysis of the DLT-Lines calibration algorithm for cameras with radial distortion [J]. Computer Vision and Image Understanding, 2015, 40(3): 115-126.

[10] 傅 丹, 周 劍, 邱志強, 等. 基于直線的幾何不變性標定攝像機參數(shù)[J]. 中國圖象圖形學報, 2009, 14(6): 1058-1063.

[11] Hartley R I, Kang S B. Parameter-free radial distortion correction with centre of distortion estimation [J]. IEEE Transaction on Pattern Analysis and Machine Intelligence, 2007, 29(8): 1309-1321.

[12] Shi J, Zhao X Y, Zhang C M, et al. An evaluation method for distortion energy parameterization of triangular meshes [J]. Computer Aided Drafting, Design and Manufacturing, 2013, 23(3): 13-17.

[13] Zuzana K, Martin B, Klas J. et al. Fast and robust numerical solutions to minimal problems for cameras with radial distortion [J]. Computer Vision and Image Understanding, 2010, 114(2): 234-244.

[14] Wu Y H, Hu Z Y, Li Y F. Radial distortion invariants and lens evaluation under a single-optical-axis omnidirectional camera [J]. Computer Vision and Image Understanding, 2014, 126(9): 11-27.

[15] 張海彬, 余 燁, 李 琳, 等. 基于視點糾正的魚眼圖像場景化漫游方法[J]. 圖學學報, 2014, 35(3): 435-441.

A Novel Method for Fish-Eye Image Radial Distortion Correction

Shi Ping
(Jiangsu Aviation Technical College, Zhen jiang Jiangsu 212134, China)

Since the fish-eye camera has wide view field, it has been used widely in many fields. However, there is seriously radial distortion, needed to be corrected before any application. Fish-eye image geometric correction is a hot and difficult problem in current industrial applications and theoretical research. This paper presents a radial distortion model, and point out its analytical solution is not unique. According the symmetry of the radial distortion, reveals the relationship between a distortion curve and its ideal straight line, called the analytical expression of the curve distortion correction. Based on the previous analysis, this paper proposes a geometric correction method. Experiments show that this method is simple, can effectively corrects the scene which containing line features.

radial distortion; fish-eye image; geometric correction; distortion correction

TP 37

10.11996/JG.j.2095-302X.2016060805

A

2095-302X(2016)06-0805-05

2016-05-09；定稿日期：2016-05-29

師 平(1969-)，男，江蘇鎮(zhèn)江人，副教授，碩士。主要研究方向為智能制造。E-mail：zj2119663@126.com