李 茜，聶 亮

（西安工業(yè)大學 光電工程學院，陜西 西安 710021）

引言

隨著光電成像技術(shù)的日趨成熟，大視場高分辨率光電成像系統(tǒng)可以獲取更大空間范圍、更多空間細節(jié)的目標圖像，成為目前主要發(fā)展趨勢之一。復(fù)眼式光學成像系統(tǒng)能在保證大視場的同時獲得高分辨率圖像，逐漸取代傳統(tǒng)單孔徑光學系統(tǒng)，在國防科技領(lǐng)域如無人機、光電偵查、導彈制導等以及安防攝像機、智能機器人、微型復(fù)眼相機等民用經(jīng)濟領(lǐng)域中有著廣泛的應(yīng)用[1-2]。

本文研究的復(fù)眼式光學成像系統(tǒng)采用同心多尺度結(jié)構(gòu)，如圖1所示。同心多尺度成像系統(tǒng)主要分為同心球透鏡、微相機陣列兩部分。整個視場被微相機陣列分為多個小視場，相鄰小視場之間存在視場重疊，每個小視場對應(yīng)一個微相機，通過微相機陣列將多幅有重疊區(qū)域的小視場子圖像拼接成全視場高分辨率圖像[3-5]。

圖1 復(fù)眼式光學成像系統(tǒng)圖Fig.1 Schematic diagram of compound-eye optical imaging system

復(fù)眼式光學系統(tǒng)微相機的視頻圖像存在畸變，發(fā)生畸變的圖像無法準確傳達真實場景的內(nèi)容，導致圖像無法拼接或者拼接錯誤。為了滿足復(fù)眼式光學成像系統(tǒng)圖像拼接高精度的要求，需要對每個微相機的畸變進行測量和校正。2016年，上海大學Li 等人通過校準捕獲圖像進行光學系統(tǒng)畸變校正，生成畸變條紋圖形，通過投影系統(tǒng)投射畸變校正后的條紋。2018年，韓國電子與電信研究所的Hayan Kim 提出數(shù)值補償方法用于重建畸變大小。

本文針對復(fù)眼式光學成像系統(tǒng)畸變問題，采用可見光圖像顯示技術(shù)，生成多模動態(tài)電子畸變測量靶標，建立多項式擬合算法，構(gòu)建畸變測量校正模型，采用最小二乘法獲得畸變系數(shù)，通過雙線性插值法模型對圖像進行重建，以提升復(fù)眼系統(tǒng)中多孔徑拼接的圖像質(zhì)量。

1 畸變測量

1.1 畸變測量系統(tǒng)

畸變測量系統(tǒng)由目標發(fā)生子系統(tǒng)、多維調(diào)整子系統(tǒng)、圖像采集子系統(tǒng)構(gòu)成，如圖2所示。測試時，目標發(fā)生子系統(tǒng)生成9×13 陣列的十字目標畸變測試標準靶，通過手動多維調(diào)整臺調(diào)整待測復(fù)眼式光學成像系統(tǒng)，圖像采集子系統(tǒng)接收待測系統(tǒng)輸出的畸變標準靶的圖像，如圖3所示。

圖2 復(fù)眼式光學成像系統(tǒng)畸變測量原理圖Fig.2 Schematic diagram of distortion measurement of compound-eye optical imaging system

圖3 畸變圖像Fig.3 Distorted image

1.2 畸變圖像目標點提取

畸變測量校正需要利用數(shù)字圖像處理方法獲取畸變圖像中的目標點信息。本文采用自適應(yīng)中值濾波、局部直方圖增強等方法對畸變圖像進行預(yù)處理[6]，運用圖像處理中閾值化分割法從圖像中提取出目標點[7]。

閾值分割后的畸變二值圖像中目標點成為一個個分離的連通區(qū)域，校正前首先要找到圖像中的每個目標對象，并用同樣的數(shù)值標記屬于同一目標對象的所有像素，進而提取每個目標點的中心坐標，標記出各個連通區(qū)域[8]。

以圖4所示的待標記連通區(qū)域為例，標記的算法實現(xiàn)步驟如下：

圖4 待標記的連通區(qū)域Fig.4 Connected regions to be marked

1）定義數(shù)組N(i)。i為連通區(qū)域的標號，為第i個連通區(qū)域的像素個數(shù)，初始化0,i=0；新分配與待標記連通區(qū)域大小相等的內(nèi)存，初始化為0。

2）逐行逐列掃描目標圖像，若當前點像素值為1 且其左上、正上、右上、左點都不為1，則將N(i)值和i值分別加1。若右上點為1，則將右上點標記賦予當前點，N(i)值加1；若不為1，但正上點為1，則將正上點標記賦予當前點，N(i)值加1。同理判斷左上和左點，若都不為1，賦予當前點i+1作為新的標記值，以此來標記另一區(qū)域。

該算法實現(xiàn)邊掃描邊提取，有效克服了重復(fù)標記的問題，標記結(jié)果如圖5所示。

圖5 標記后的連通區(qū)域Fig.5 Connected area after marking

畸變圖像經(jīng)過標記后，各個目標點具有相同標記，即可對目標進行細分定位，通過圖像質(zhì)心法提取畸變圖像目標點的中心坐標?；儓D像的中心部分視場較小可視為理想成像，以畸變圖像中心9 個目標點為理想點坐標，計算虛擬理想圖目標點的行列間距，還原虛擬理想圖像各個目標點的中心坐標[9]。圖3 的畸變圖像和虛擬理想圖像目標中心點對比如圖6所示，畸變目標點用紅色星點表示，理想目標點用藍色圓點表示。

圖6 畸變圖像和虛擬理想圖像目標中心點對比Fig.6 Comparison of target center points between distorted image and virtual ideal image

2 基于多項式擬合的畸變校正算法

圖像產(chǎn)生畸變是圖像中的像素點位置發(fā)生偏移，利用多項式模型進行畸變校正實際上是對發(fā)生畸變的圖像進行恢復(fù)的過程。通過確定位置的目標點建立兩幅圖像之間的對應(yīng)關(guān)系，利用空間變換校正圖像中的各像素位置，得到正常顯示的圖形[10-14]，基于多項式擬合算法的畸變校正過程如圖7所示。

圖7 多項式擬合校正過程示意圖Fig.7 Schematic diagram of correction process of polynomial fitting

1）建立多項式數(shù)學模型，提取目標點，建立其像素空間位置的對應(yīng)關(guān)系。通過畸變圖像目標點的中心像素坐標(xd,yd)→(ρd,θd)和理想圖像目標點的中心像素坐標(xi,yi)→(ρi,θi)，由多個目標點的坐標關(guān)系得到一個線性方程組，如（1）式所示，利用最小二乘法求得畸變系數(shù)。

2）根據(jù)畸變系數(shù)計算出每個理想點對應(yīng)的畸變點的坐標(ρt,θt)→(xt,yt)，即：

3）在重新排列畸變圖像像素時，像素映射關(guān)系并不是一一對應(yīng)的，因此利用雙線性插值法進行灰度重建，將非整數(shù)位置點的灰度值變換為整數(shù)位置點的灰度值。通過公式（3）計算畸變點(xt,yt)對應(yīng)的灰度值g(xt,yt)，取整后即為校正圖像素點(xi,yi)對應(yīng)的灰度值φ(xi,yi)。

3 實驗與結(jié)果分析

3.1 多項式擬合算法分析

根據(jù)圖6 中畸變目標點和理想目標點位移繪制偏差分布圖如圖8所示。偏差呈對稱分布，畸變圖像的點陣區(qū)域越接近中心部分，理想點和畸變點偏差越小，而在圖像邊緣，尤其是4 個角上，偏差較大，達到了35 個像素，如不進行畸變校正，邊緣特征點誤差較大，會降低后期圖像拼接的精度。

圖8 偏差分布圖Fig.8 Deviation distribution diagram

圖9 是多項式擬合進行校正后的效果圖，紅色星點是畸變圖像目標中心點，藍色圓點是采用多項式算法計算的擬合目標中心點，可以看出畸變圖像目標中心點與擬合目標中心點幾乎完全重合。圖10 是針對圖3 采用多項式擬合算法得到的畸變校正圖，擬合之后圖像成像質(zhì)量得到提升。多項式擬合殘差分布如圖10所示，圖像中心區(qū)域殘差在0.1～0.3 個像素之間，圖像邊緣殘差為1 個像素以內(nèi)，擬合之后圖像成像質(zhì)量得到提升。

圖9 多項式擬合Fig.9 Polynomial fitting

圖10 校正后圖像Fig.10 Image after correction

3.2 校正精度評估

在多項式擬合的數(shù)學模型和畸變系數(shù)足夠準確的前提下，畸變點可以映射正確的理想點位置，否則會產(chǎn)生殘余畸變，因此我們用殘余畸變來評價畸變校正的精度。多項式擬合殘差分布如圖11所示，圖像中心區(qū)域殘差在0.1～0.3 個像素之間，圖像邊緣殘差為1 個像素以內(nèi)，優(yōu)于傳統(tǒng)Tsai 算法。表1 給出了畸變校正精度評估的各項指標，通過表1 中數(shù)據(jù)可看出，采用多項式擬合算法校正后的平均相對畸變小于0.1%。

表1 校正算法的精度評價Table 1 Comprehensive evaluation of correction algorithm

圖11 不同算法殘差分布對比圖Fig.11 Comparison diagram of residual distribution with different algorithms

3.3 校正圖像的拼接

采用多項式擬合算法，對復(fù)眼式光學成像系統(tǒng)（如圖12所示）的多個子孔徑圖像進行畸變校正，校準結(jié)果如圖13所示。從圖13 中兩幅圖像的校正示例可以看出，圖像的畸變得到了較好的校正。根據(jù)復(fù)眼式光學成像系統(tǒng)的特性，結(jié)合邊緣檢測，采用SIFT 算法進行子圖像特征點檢測和提取，利用RANSAC 算法對提取出的特征點進行精確匹配，通過加權(quán)平均算法實現(xiàn)多幅子圖像的拼接融合，完成復(fù)眼式光學成像系統(tǒng)多孔徑圖像拼接[15-16]，如圖14所示。

圖12 多孔徑原始圖像Fig.12 Original image of multi-aperture

圖13 子孔徑圖像畸變校正示例Fig.13 Example of distortion correction of sub-aperture image

圖14 畸變校正后多孔徑圖像拼接圖Fig.14 Stitched image of multi-aperture image after distortion correction

4 結(jié)論

本文針對復(fù)眼式光學成像系統(tǒng)畸變提出了基于多項式擬合算法的畸變測量校正方法，實驗結(jié)果表明，校正后的平均相對畸變優(yōu)于0.1%，提高了畸變校正的精度。但是通過校正結(jié)果可以看出，圖像邊緣部分仍然存在殘余畸變，對復(fù)眼式光學成像系統(tǒng)后期圖像拼接精度仍有一定影響，因此，還需要繼續(xù)對算法進行優(yōu)化改進。