朱均超，葛 磊，韓芳芳，劉 娜，張寶峰

(天津理工大學天津市復雜系統(tǒng)控制理論及應(yīng)用重點實驗室，天津300384)

隨著計算機視覺的不斷發(fā)展，常規(guī)鏡頭因為視場角的有限，在許多應(yīng)用領(lǐng)域受到了限制;而魚眼鏡頭是一種短焦距鏡頭，可以獲得超大的視場角，可達到185度甚至270度的視場角［1］，因而在在全方位視覺、機器人導航、虛擬現(xiàn)實及視覺監(jiān)控等領(lǐng)域中有著重要的實用意義［2］。但魚眼鏡頭應(yīng)用的難點在于，魚眼鏡頭的成像原理與普通光學鏡有很大區(qū)別，成像規(guī)律不滿足針孔成像模型，常規(guī)鏡頭射線投影定理并不適用［3］。且魚眼鏡頭實現(xiàn)大場景范圍的圖像采集時，圖像將帶有較嚴重畸變，如圖1所示。因此，本文對魚眼鏡頭的成像模型進行研究，探索魚眼鏡頭成像規(guī)律及標定方法，以便更好地將魚眼鏡頭應(yīng)用于其他方面［4］。

圖1 魚眼鏡頭及魚眼圖像

目前，國內(nèi)外學者已提出了一些魚眼鏡頭成像模型。英向華等［5］提出了球面透視投影模型;徐剛強等［6］提出了基于拋物面的投影成像模型;張琨等［2］通過分割圓的方法進行球面經(jīng)度定位來模擬魚眼鏡頭成像模型。本文采用物理參數(shù)分離標定的方法對魚眼鏡頭成像模型的關(guān)鍵參數(shù)進行標定，進而提出基于分離參數(shù)標定的成像模型，可以得到魚眼像素點與真實場景中物點的對應(yīng)關(guān)系，計算更為簡便，實時性高。

1 魚眼鏡頭成像模型

魚眼鏡頭成像，即將三維空間內(nèi)一點經(jīng)坐標變換，投影到二維成像面上的過程［7］。本文提出的魚眼鏡頭成像模型如圖2所示。

圖2 魚眼成像模型

其中包含五個坐標系:世界坐標系(Xw，Yw，Zw)、魚眼鏡頭坐標系(Xl，Yl，Zl)、攝像機坐標系(Xc，Yc，Zc)，圖像坐標系(x，y)和成像面坐標系(u，v)。世界坐標系中任一點P在魚眼鏡頭坐標系下的入射角為ω，該點在鏡頭坐標系的投影的偏移角為θ。成像面坐標系為圖像坐標系的平移，圖像坐標系的原心O'在成像面坐標系下坐標為(u0，v0)。在圖像坐標系中，光軸的投影為原心O'，點P的投影為P'，O'P'的徑向長度為r'，與O'y軸負方向夾角為θ'。因此，根據(jù)圖像坐標系下成像點 P'對應(yīng)的r'、θ'值，擬合得到魚眼鏡頭坐標系下入射光線OlP，記為 OlP(ω，θ)。

目前，絕大多數(shù)魚眼鏡頭均基于四種成像模型制造，即“體視投影”，“等距投影”，“等立體角投影”［8］和“正交投影”［9］。本文基于等距投影模型展開討論，如圖3所示，“等距投影”表示視場角ω相等的物點在像面上具有等徑向距離r'，r'與視場角ω成正比，徑向放大率不變，如式(1)。

但在實際成像過程中，k值在不同投影位置并不是恒定不變的，會存在徑向畸變和切向畸變［10］，畸變與像平面上徑向距離 r'、切向偏移角 θ'有關(guān)［11］。本文的目的是設(shè)計分離參數(shù)標定實驗，探討魚眼圖像不同r'、θ'對應(yīng)的像點與真實物點位置之間的關(guān)系，為后續(xù)的圖像畸變校正研究提供模型參數(shù)。提出魚眼圖像像點與物點對應(yīng)關(guān)系公式為:

其中，K、J分別為徑向畸變系數(shù)矩陣和切向畸變系數(shù)矩陣。

圖3 等距投影模型

2 分離參數(shù)標定思想

2.1 標定思想及標定步驟

基于等距成像模型，徑向距離r'可在魚眼圖像中直接測量，ω通過式(4)計算得到，從而可以根據(jù)式(2)對畸變系數(shù)矩陣K進行擬合。但虛擬成像距離l未知，因此，本文需要對虛擬成像距離進行標定。

由于魚眼鏡頭存在光學偏差以及鏡頭裝配誤差，造成圖像中心偏離成像芯片靶面中心，因此首先確定圖像中心坐標［12］。在標定圖像中心及虛擬成像距離的基礎(chǔ)上，研究畸變系數(shù)與r'、θ'之間的關(guān)系?？紤]到徑向、切向畸變的影響，設(shè)計新靶標對畸變系數(shù)進行標定。設(shè)計靶標由6組等距同心圓c1…6及10條過圓心且偏移角不等的射線L1…10組成，如圖4所示。

讓魚眼鏡頭光心對準圖4靶標中心O成像，光學系統(tǒng)光軸垂直于靶標平面?？梢钥闯?，靶標上每個同心圓上的點對于魚眼成像系統(tǒng)具有相同的ω值，每條射線上的點具有相同的θ值，進而得到魚眼鏡頭成像畸變系數(shù)與r'、θ'之間的關(guān)系。

具體標定步驟為:最小二乘法進行圓擬合，標定光學中心;根據(jù)成像系統(tǒng)幾何關(guān)系，計算得到虛擬成像距離l;采集靶標圖像，提取不同位置上的物、像點對，對畸變系數(shù)與r'、θ'之間的關(guān)系進行討論。

2.2 光學中心及虛擬成像距離l標定

由于制造、裝配誤差等因素存在，物理鏡頭的光學中心與魚眼圖像的中心點存在一定偏差，而在實際標定中，首先要使魚眼圖像中心與物理靶標中心對準。因此，首先對魚眼圖像中心進行標定，為其他參數(shù)標定奠定基礎(chǔ)。本文采用對圖像邊緣進行最小二乘法擬合圓曲線方法進行中心標定，圓心即為魚眼圖像中心，并獲得魚眼圖像圓半徑。

l為魚眼鏡頭的虛擬成像距離，是標定畸變矩陣的前提，但l不能直接測量得到，因此，利用幾何關(guān)系推導得到l的值。l的標定模型如圖3，設(shè)P1、P2為OlP上任意兩點，在成像面上投影均為點P'。P1A⊥O'Ol于 A點，P2B⊥O'Ol于 B點，則有 ΔOlAP1～ΔOlBP2，根據(jù)相似三角形幾何關(guān)系，得到式(5)。

2.3 畸變系數(shù)的標定

上文已介紹，物點的入射角與成像面上投影點到光心的距離關(guān)系如式(2)所示，K為五階徑向畸變系數(shù)矩陣，展開得到式(6)。其中，r'為成像面上投影點到光心的徑向距離，如式(7)，(u，v)為成像面上的投影點，(u0，v0)為標定的光心坐標，ω在圖像采集過程中，通過式(4)計算得到，R為靶標同心圓半徑。

切向上的偏移角度可由式(3)進行擬合，展開可得到式(8)。其中，θ'可由式(9)得到。由于圖像平面極坐標的周期性［5］，當 θ'=2π 時，有 θ=2π，因此j5不是獨立參數(shù)，可表示如式(10)。

其中，r'、θ'可通過魚眼圖像的像素點通過式(7)、式(9)計算得到，由r'值可知ω值，θ值在靶標中已設(shè)定。因此，可擬合得到畸變系數(shù)K和J，根據(jù)本文的投影模型，如式(2，3)，可計算魚眼圖像的任一像點對應(yīng)的空間內(nèi)的物點位置。

3 分離參數(shù)標定實驗分析

3.1 光學中心標定過程及結(jié)果

采集魚眼圖像，取灰度閾值為100(總灰度范圍在0～255)，將魚眼成像圓形區(qū)域設(shè)為白色;利用canny算子對整個圖像進行邊緣檢測，提取邊緣輪廓;隨機選取邊緣上三個點，進行圓擬合［13］，得到圓心坐標及半徑，多次測量求平均值。

實驗結(jié)果如圖5所示，光心及半徑擬合結(jié)果如表1所示。本文中圖表均以pixel表示像素單位。

圖5 獲得光心坐標及半徑的結(jié)果

表1 光心及半徑實驗數(shù)據(jù)及擬合結(jié)果(單位:pixel)

對上表所示的多次實驗結(jié)果求平均，本文實驗以(980，771)為光心坐標，魚眼圖像半徑為767。

3.2 虛擬成像距離l的標定過程及結(jié)果

在魚眼鏡頭采集程序中，標記圖像中心(u0，v0)，以及水平方向和垂直方向上(u0－300，v0)、(u0+300，v0)、(u0，v0－300)和(u0，v0+300)四個位置，如圖6;移動改變靶標到魚眼鏡頭平面的距離H，使得靶標中心與光心重合，標記的四個點與半徑為R的同心圓 ci(i=1…6)重合，如圖7，記下多組 H、R 值;由式(5)記算多組l值，實驗數(shù)據(jù)如表2所示，求平均值。

圖6 魚眼圖像標記設(shè)定

圖7 移動靶標采集圖像

表2 實驗數(shù)據(jù)(單位:mm，r'=300 pixel)

根據(jù)式(5)計算多組數(shù)據(jù)，求得l的平均值為12.410 7 mm。

3.3 畸變系數(shù)的標定過程及結(jié)果

具體實驗步驟如下:

步驟1:采集靶標圖像，使靶標中心始終與光軸中心重合，靶標橫縱軸始終與標記點重合;

步驟2:沿光軸方向移動靶標，改變靶標到魚眼鏡頭平面的距離H，記錄同一射線與多組同心圓交點對應(yīng)的H、R值，如圖4中Ai(i=1…6);

步驟3:根據(jù)式(4)(7)，由每組H、R值計算得到不同r'值對應(yīng)的ω值;

步驟4:根據(jù)多組ω、r'值擬合得到徑向畸變系數(shù)矩陣K，擬合數(shù)據(jù)如表3所示;

步驟5:固定標記點半徑r'為300像素點，取同一魚眼圖像上多組不同射線與R=30.0 mm的圓的交點(u，v)，如圖4中Bi(i=1…10)，由式(9)得到對應(yīng)的 θ'值;

步驟6:θ值由靶標確定，根據(jù)每條射線的θ、θ'值擬合得到徑向畸變系數(shù)矩陣J，擬合數(shù)據(jù)如表4;

步驟7:由式(2)、式(3)得到魚眼鏡頭成像模型，取任意不同的靶標點，對比成像模型得到像素點與真實成像點的誤差。

表3 標定K矩陣實驗數(shù)據(jù)(θ=0)

表4 標定J矩陣實驗數(shù)據(jù)(r'=300 pixelR=30.0 mm)

K 值擬合結(jié)果為 K=［19.749 1 36.906 2 25.624 8 －7.007 5 2.387 1］。誤差值如圖 8 所示，角度誤差范圍在±0.01內(nèi)。

圖8 徑向畸變系數(shù)擬合結(jié)果(弧度/徑向距離)

J值擬合結(jié)果如圖9所示，將2π角展開，可看出誤差軌跡在每一個象限內(nèi)的規(guī)律基本相同，因此直接將角度在π/2，即單個象限內(nèi)展開，如圖10所示。J值的最終擬合結(jié)果為，J=［0.039 7－0.281 4 0.233 3 －0.040 4 －0.000 1］。如圖11所示，角度誤差可控制在±0.03內(nèi)。

圖9 切向畸變?nèi)嵌日归_(弧度/樣本點)

3.4 成像模型誤差分析

設(shè)計靶標如圖12所示，取多組角點，通過式(6)、式(8)可以得到真實位置，記為(ω0，θ0);經(jīng)魚眼圖像的成像點(r'，θ')，根據(jù)本文提出的投影模型，如式(2，3)，結(jié)果對比如表5所示。

可以看出，擬合得到的物點與真實物點存在極小的差值，其中ω參數(shù)和θ參數(shù)各自的誤差值平均值分別為0.0115和0.0194，最大誤差值分別控制在0.04 和0.03 內(nèi)，如圖13、圖14 所示。

圖10 切向畸變單象限展開(弧度/樣本點)

圖11 切向畸變系數(shù)擬合結(jié)果(弧度差值/全角度)

圖12 誤差計算靶標及魚眼圖像

圖13 ω參數(shù)誤差分析(弧度/樣本點)

表5 投影模型與真實點的對比(H=40 mm)

圖14 θ參數(shù)誤差分析(弧度/樣本點)

4 結(jié)論

本文提出了一種通過對分離的物理參數(shù)進行標定的方法，探索研究魚眼鏡頭的成像模型，得到魚眼鏡頭成像模型公式，并擬合得到公式中的徑向畸變系數(shù)矩陣及切向畸變系數(shù)矩陣。通過將經(jīng)成像模型反推得到的物點與真實物點進行對比，可以看出誤差很小，成像模型可以較好的模擬出魚眼鏡頭成像過程。根據(jù)本文提出的成像模型，可以更好地進行魚眼圖像畸變校正、匹配［14－15］以及三維重建等后續(xù)工作。

［1］ 王永仲.魚眼鏡頭光學［M］.北京:科學出版社，2006.

［2］ 張琨，王翠榮.基于圓分割的魚眼鏡頭圖像畸變校正算法［J］.東北大學學報，2011，32(9):1240－1243.

［3］ 王迅.基于魚眼相機的立體圖像校正和圖像拼接［D］.浙江:浙江大學，2011.

［4］ Moreau Julien，Ambellouis Sébastien，Ruiche Yassine.3D Reconstruction of Urban Environments Based on Fisheye Stereovision［J］.8th International Conference on Signal Image Technology and Internet Based Systems，SITIS 2012:36－41.

［5］ 英向華，胡占義.一種基于球面透視投影約束的魚眼鏡頭矯正方法［J］.計算機學報，2003，26(12):1702－1707.

［6］ 徐剛強，鄭利平.基于一種橢圓魚眼圖像的畸變校正模型［J］.計算機技術(shù)與應(yīng)用進展(CACIS·2010)，2010:271－274.

［7］ Ryberg A，Lennartson B，Christiansson A K，et al.Analysis and E-valuation of a General Camera Model［J］.Computer Vision and Image Understanding，2011，115(11):1503－1515.

［8］ Kanatani Kenichi.Calibration of Ulatra-Wide Fisheye Lens Cameras by Eigenvalue Minimization［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35(4):813－822.

［9］ Schneider D，Schwalbe E，Maas H.Validation of Geometric Models for Fisheye Lenses［J］.ISPRS Journal of Photogrammetry and Remote Sensing，2009，64:259－266.

［10］賈云得，呂宏靜，徐岸，等.一種魚眼鏡頭成像立體視覺系統(tǒng)的標定方法［J］.計算機學報，2000，23(11):1215－1219.

［11］吳方，王震.魚眼鏡頭圖像變形矯正算法研究［J］.計算機科學，2009，36(4B):109－111.

［12］ Huang Fuyu，Wang Yongzhong，Shen Xueju，et al.Method for Calibrating the Fisheye Distortion Center［J］.Applied Optics，2012，51(34):8169－8176.

［13］ 唐俊.魚眼圖像輪廓提取算法研究［J］.微機發(fā)展，2004，14(10):10－12.

［14］鄧傳斌，郭雷，李維.基于SIFT的遙感圖像配準方法［J］.傳感技術(shù)學報，2009，22(12):1742－1747.

［15］管業(yè)鵬，顧偉康.基于雙目視覺的基準差梯度立體匹配法［J］.傳感技術(shù)學報，2004，3(1):74－77.