李禮 謝井華 王紅 黎宇嘉 盆李艷

摘? 要：由于鏡頭在制造及裝配過程中必然會存在誤差，而且在廣角鏡頭的設(shè)計中不可避免的會產(chǎn)生非線性畸變，無法避免最直觀的效果就是拍到的圖像發(fā)生扭曲。為了減小畸變對圖像的影響，故需要重建整個系統(tǒng)拍攝得到的2D圖像信息與其對應(yīng)3D空間物體信息之間準確的對應(yīng)關(guān)系。文章通過建立正確的數(shù)學校正模型，采用基于MATLAB內(nèi)部工具箱對相機進行標定，得到相機內(nèi)外參數(shù)投影矩陣關(guān)系，從而對畸變圖像進行校正。

關(guān)鍵詞：光電模塊;畸變校正;廣角鏡頭

中圖分類號：TP273+.4? ? ? ? ? ? ? ? 文獻標識碼：A文章編號：2096-4706（2021）19-0168-04

Study on Image Distortion Correction Method of CCD Large Field of View Lens in Downview System

LI Li， XIE Jinghua， WANG Hong， LI Yujia， PEN Liyang

（State-owned Changhong Machinery Factory， Guilin? 541002， China）

Abstract： Due to the lens in the manufacturing and assembly process will inevitably have errors， and in the design of wide-angle lens will inevitably produce nonlinear distortion， the most intuitive effect that can not avoided is the captured image is distorted. In order to reduce the influence of distortion on the image， it is necessary to reconstruct the accurate correspondence between the 2D image information captured by the whole system and the corresponding 3D space object information.? In this paper， the correct mathematical correction model is established， and the camera is calibrated based on the internal toolbox of MATLAB， and the projection matrix relationship of the parameters inside and outside the camera is obtained， so as to correct the distorted image.

Keywords： photoelectric module; distortion correction; wide angle lens

0? 引? 言

航空成像產(chǎn)品在航空偵察中扮演著非常重要的角色，其可安裝在各種類型的飛行器上，是獲取地面及空中目標信息的重要設(shè)備。電荷耦合器件（charge-coupled device， CCD）是目前市面上使用最多的一種圖像傳感器，它的原理是通過鏡頭把聚焦的景物光信號轉(zhuǎn)換為后端需要處理的電信號，并且結(jié)合后端的圖像處理技術(shù)進而顯示出圖像。當拍攝大視場的景物圖像信息時，就需要相機的整體視場足夠的大，以便探測系統(tǒng)完成圖像采集和信息觀察，故需要廣義上的廣角鏡頭進行聚光。但是會產(chǎn)生的一個很重要的問題就是廣角鏡頭比小視場的鏡頭產(chǎn)生的非線性畸變更加明顯，最終會導(dǎo)致拍到的圖像發(fā)生扭曲。為了讓相機拍到的圖像畸變很小，就需要我們找到該相機幾何模型從而達到對相機標定。但由于在光學系統(tǒng)設(shè)計、加工和裝調(diào)等流程中，會因為許多不確定因素導(dǎo)致系統(tǒng)畸變，實際效果就是在拍攝中所得的圖像信息并不能夠準確的反映實際圖像信息。為了得到實際圖像的三維空間位置與其圖像中對應(yīng)像素點的準確關(guān)系，就需要在調(diào)試的過程中通過畸變校正的方法來彌補目的。

相機標定是找到圖像像素位置與標準模板位置之間的對應(yīng)關(guān)系，從而獲取攝像機的內(nèi)參和外參矩陣，內(nèi)參和外參系數(shù)可以對之后相機拍攝的圖像進行后期矯正，從而能夠得到畸變相對很小的圖像。目前主要的標定方法是傳統(tǒng)相機標定法和相機自標定法[1，2]。傳統(tǒng)相機標定法是利用已知的標定物尺寸，通過建立標定物上坐標已知的點與其圖像點之間的對應(yīng)關(guān)系，并且借助算法獲得相機模型的內(nèi)外參數(shù)。傳統(tǒng)相機標定法在圖像標定過程中對標定物的精度要求非常高，而且始終需要標定物。相機自標定法主要是利用場景中的一些平行或者正交的信息進行標定。其中空間平行線在相機圖像平面上的交點被稱為消失點，它是射影幾何中一個非常重要的特征，所以很多學者研究了基于消失點的相機自標定方法。自標定方法靈活性強，可對相機進行在線定標。但由于它是基于絕對二次曲線或曲面的方法，其算法魯棒性差。

本文主要研究了航空成像系統(tǒng)下視系統(tǒng)廣角相機的畸變校正技術(shù)，旨在詳細分析畸變校正算法，并在MATLAB上觀察校正效果并適當修改相應(yīng)的值，從而能夠讓標定結(jié)果更加的精確和系統(tǒng)更加穩(wěn)定。根據(jù)畸變前、后圖對應(yīng)點的映射關(guān)系，得到偏移量，進而形成校正表，從而實現(xiàn)對圖像的校正。

1? 標定原理

通俗講相機標定就是通過建立模型，找到拍攝的實際物點與所成像點之間的一一對應(yīng)關(guān)系，使用算法計算出成像系統(tǒng)的光學和幾何參數(shù)。相機成像模型實際上就是光學成像模型的簡化模型。相機成像模型反映了實際物體到相機成像平面的投影變化關(guān)系，相機成像模型是相機標定的關(guān)鍵。

目前常用的有線性模型和非線性模型兩種。實際的成像系統(tǒng)是透鏡成像的非線性模型。小孔成像模型是相機成像采用最多的模型。在此模型下，物體的空間坐標和圖像坐標之間是線性的關(guān)系，因而對相機參數(shù)的求解就歸結(jié)到求解線性方程組上。四個坐標系的關(guān)系圖如圖1所示，其中：世界坐標系（Xw，Yw，Zw）就是反應(yīng)客觀現(xiàn)實世界中的絕對坐標系，Xw軸和Yw軸兩個方向視情況而定，Zw軸在通常情況下是深度軸;相機坐標系（Xc，Yc，Zc）的原點為鏡頭的光心，Xc軸和Yc軸與圖像相應(yīng)軸平行，Zc軸為相機的光軸，相機坐標系可以在任意環(huán)境中隨意擺放;圖像物理坐標系（x，y）就是靶面的坐標系統(tǒng)，一般情況下單位為微米或者毫米進行計量，圖像物理坐標系中的x軸和y軸分別與相機坐標系中的Xc軸和Yc軸方向平行，而且圖像物理坐標系中的原點一定會在相機的光軸上;圖像像素坐標系（u，?），像素是圖像的單元，故圖像像素坐標系與圖像物理坐標系共面，并且u軸和x軸平行，?軸和y軸平行。Q為三維空間點，q為Q在圖像平面投影成的像點[3-5]。

根據(jù)圖1可知，相機坐標系與世界坐標系的轉(zhuǎn)換關(guān)系即相機外部參數(shù)矩陣為：

（1）

其中，R是旋轉(zhuǎn)正交矩陣，t為平移向量。此公式的作用是描述標定板圍繞相機運動的位置或者反之。

在使用相機拍攝物體時，圖像上每個像素點的亮度值與其強度有關(guān)，圖像上的圖像點位置僅與空間物體的相對方位及相機內(nèi)部結(jié)構(gòu)有關(guān)，而我們可以使用矩陣來表示相機內(nèi)部結(jié)構(gòu)參數(shù)，矩陣為：

（2）

其中，cx和cy是相機光軸與圖像平面的投影中心;cx、cy、γ，fx、fy是相機的內(nèi)參數(shù)，內(nèi)部參數(shù)與相機的位置無關(guān)。相機標定也就是求解M矩陣的過程。

2? 試驗及結(jié)果分析

2.1? 角點提取

首先利用通道轉(zhuǎn)換法將采集到的棋盤格彩色圖像轉(zhuǎn)換成灰度圖像;

第二步是計算所轉(zhuǎn)換的黑白圖像在x和y兩個方向的梯度ix，iy，算法如式（3）和式（4）所示：

（3）

（4）

第三步是計算圖像在x和y兩個方向的梯度乘積，算法如式（5）、式（6）和式（7）所示：

i2x=ix * iy? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（5）

i2y=iy * iy? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（6）

i2xy=ix * iy? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（7）

第四步是將第三步所得的x和y方向的梯度乘積利用高斯函數(shù)進行高斯加權(quán)，分別生成矩陣δ、ε和?，算法如式（8）、式（9）和式（10）所示：

（8）

（9）

（10）

第五步是計算每個像素的響應(yīng)值S，當響應(yīng)值低于所設(shè)定閾值λ時通過算法將其置為零，算法如式（11）所示：

（11）

第六步是再設(shè)定的區(qū)域內(nèi)進行非最大值抑制處理，局部最大值點就是所采集的圖像中的角點。

2.2? 角點精度優(yōu)化方法

使用上述算法檢測出來的角點，有可能會在真正的角點附近非常小的鄰域里同時存在幾個“偽角點”。故角點的精度就顯得尤為重要，因為對標定的結(jié)果有著非常大的影響。本文章所用的方法就是先找出這些偽角點，然后將X軸坐標和Y軸坐標分別進行相加并且取相應(yīng)的平均值，得到的平均值就是真正的角點。這種方法就削弱了因攝像環(huán)境等因素引起的噪聲影響。

利用平均法優(yōu)化后的數(shù)據(jù)坐標和真實的坐標的整體誤差得到了有效地降低，提高了角點的精確度，并且角點的檢測精度也得到了非常好的改善，從而提高了所采集圖像的標定的精度。

2.3? 試驗結(jié)果

利用上述步驟便可得到圖像中的各個角點，并且通過坐標轉(zhuǎn)換關(guān)系得到不同圖像中每幅圖像多個角點之間的投影轉(zhuǎn)換關(guān)系。

在本試驗中，由于相機的特殊性，不能夠連續(xù)采集，只能夠單獨一幀采集。所用棋盤格圖紙是通過Excel表格制作，通過把棋盤格圖紙固定在一張平整的泡沫板上，手拿著泡沫板變化不同的角度，從而采集到不同位置和不同姿態(tài)的圖像，從中選取20幅圖像質(zhì)量較好的圖像進行試驗。部分圖像如圖2所示。

圖3為試驗角點提取，從圖3中可以看出，由于CCD相機像素不高，圖像質(zhì)量一般，但是該工具箱都能夠準確的自動提取角點。在導(dǎo)入圖像的過程中，有提示需要輸入棋盤格的尺寸，輸入前期測量好的尺寸即可。在提取角點的過程中會發(fā)現(xiàn)軟件自動提取的角點與實際圖像的角點存在差距，這個可以通過反復(fù)修角點重投影進行誤差修正，通過不斷的反復(fù)修改，直到達到理想的角點提取效果。

圖4為相機與標定板的三維空間模型，從圖中可以非常直觀地看出相機坐標系，圖中不同的顏色的網(wǎng)格代表標定板相對于相機的不同位置和方向角，坐標系（Xc，Yc，Zc）的原點為鏡頭的光心，Xc軸和Yc軸與圖像相應(yīng)軸平行，Zc軸為相機的光軸，相機坐標系可以在任意環(huán)境中隨意擺放。

角點提取成功之后就是相機標定。標定所有的參數(shù)，其中內(nèi)參數(shù)包括圖像中心、畸變系數(shù)以及有效焦距。如果在標定后誤差值比較大的話看角點提取是否不精確，調(diào)整方法按上文操作。最后通過調(diào)用函數(shù)調(diào)出相機畸變模型分析畸變的程度。本文利用MATLAB標定試驗后得到相機的內(nèi)參和外參，并利用相機畸變校正數(shù)學模型在MATLAB軟件中進行后期處理，對像素坐標位置進行了校正。

廣角鏡頭相機的圖像畸變校正分為灰度校正和像素點的幾何變化，定量地分析相機圖像的灰度校正效果。圖5是指投影的點（理論值）與圖像上的測量點的誤差圖，從圖中可以看到校正后的圖像誤差效果還是比較理想的，但是畸變是無法徹底消除的，只能夠調(diào)整在合適的范圍內(nèi)。因為這里面不僅有試驗條件所帶來的誤差，比如墻體不是非常的光滑、所用模板不是非常的平整等。而且在實際操作中不可避免的認為誤差，更有甚者安裝誤差、加工誤差等更加是不可避免的，是絕對存在的。因此后期工作只是能夠改善其畸變，但是并不能夠完全抵消，還是會存在一些剩余畸變量。

本文針對所研究目標的實際使用情況，航空相機本身的精度比較高，其畸變量相對較小，與普通相機不在一個數(shù)量級上。因此可以在校正圖像中將圖像平面的畸變中心作為參考中心點，利用畸變中心最近四點連同所在區(qū)域的中心點為基準，并且以兩點之間的距離作為參考從而能夠找到像素坐標位置，進而得出畸變率。

3? 結(jié)? 論

航空成像系統(tǒng)在對地面景物進行成像時，為了能夠獲得足夠大的景物范圍。航空成像系統(tǒng)利用廣角鏡頭來得到足夠大的實時圖像視場，以便于實時圖像的大面積采集，從而能夠?qū)崿F(xiàn)高效便捷的探測工作。利用模板法進行標定，試驗結(jié)果表明，通過采用角點精度控制方法實現(xiàn)了對角點的高精度控制，提高了角點坐標精度。利用MATLAB自帶的標定工具箱可以得到CCD相機圖像的內(nèi)外部參數(shù)和畸變系數(shù)，并且里用算法實現(xiàn)了標定，由于對角點有了非常有效的控制，使得最終的標定結(jié)果更加的準確，并且可以通過自己編程序?qū)崿F(xiàn)部分不具備的功能。

參考文獻：

[1] 康健.圖像處理的數(shù)碼相機定位技術(shù)的研究與實現(xiàn) [D].淮南：安徽理工大學，2009.

[2] 賈丹.攝像機現(xiàn)場標定算法研究 [D].哈爾濱：哈爾濱工程大學，2007.

[3] 朱錚濤，黎紹發(fā)，陳華平.基于平面網(wǎng)格模型的攝像機鏡頭畸變校正技術(shù) [J].計算機工程與應(yīng)用，2004（23）：32-35.

[4] 崔洪州，孔淵，周起勃，等.基于畸變率的圖像幾何校正 [J].應(yīng)用光學，2006（3）：183-185+215.

[5] 江潔，張廣軍，周富強，等.大視場廣角物鏡畸變的實時數(shù)字校正 [J].儀器儀表學報，2004（2）：174-177+182.

作者簡介：李禮（1985—），男，漢族，廣西貴港人，工程師，碩士研究生，研究方向：制導(dǎo)武器工程化應(yīng)用。