(安徽大學(xué) 計算智能與信號處理教育部重點實驗室，合肥 230039)

0 引言

光學(xué)器件由于在實際的生產(chǎn)過程中的失誤導(dǎo)致成像原理無法滿足小孔成像模型，因此采集得到的圖像往往存在畸變現(xiàn)象[1]。鏡頭畸變對相機(jī)的標(biāo)定精度存在直接的影響，從而影響著后續(xù)的測量與三維重建的精度。

現(xiàn)如今，為了得到更好的校正效果，國內(nèi)外的學(xué)者們在該方面做了很多研究。Tsai兩步法中首先通過線性標(biāo)定求解出初始參數(shù)，在通過非線性優(yōu)化求得最終的標(biāo)定參數(shù)與畸變系數(shù)[2]。張正友標(biāo)定法[3]首先通過建立畸變的數(shù)學(xué)模型，在利用多幅不同位姿的標(biāo)定板圖像完成對畸變參數(shù)的標(biāo)定，但該算法需要通過考慮畸變的種類來建立數(shù)學(xué)模型。葉峰等對Tsai兩步法進(jìn)行改進(jìn)，首先選取畸變較小的圖像中心位置進(jìn)行參數(shù)的求解，再將焦距和平移分量作為變量，采用迭代的方法逼近精確值。該算法計算較為繁瑣，求解過程較為復(fù)雜[4]。楊麟等人基于直線的投影還是直線的特性提出利用直線投影特征來對圖像進(jìn)行校正，但該算法需要保證實際場景中必須存在直線[5]。文獻(xiàn)[6]提出將圖像中的畸變曲線提取出來，通過優(yōu)化畸變參數(shù)來將曲線轉(zhuǎn)化為直線，但該算法模型建立較為困難。以上的這些算法都需要建立數(shù)學(xué)模型，但由于畸變種類較多，無法建立準(zhǔn)確的數(shù)學(xué)模型，因此本文提出改進(jìn)的遺傳模擬退火的BP神經(jīng)網(wǎng)絡(luò)算法來進(jìn)行畸變校正。該算法無需考慮畸變的數(shù)學(xué)模型，通過理想點與畸變點作為網(wǎng)絡(luò)的輸入與輸出，通過訓(xùn)練得到畸變模型，同時本文采用改進(jìn)的遺傳模擬退火算法對BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值進(jìn)行優(yōu)化，與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相比，加快了網(wǎng)絡(luò)的訓(xùn)練速度。

1 畸變模型原理

由于實際生產(chǎn)的光學(xué)器件成像原理并不滿足小孔成像，導(dǎo)致實際投影點與理想像點并不在同一點上，即鏡頭存在畸變[7]。為了提高圖像校正的精度，不僅僅只考慮徑向畸變，同時也要考慮切向畸變[8]。因此理想像點(u,v)與實際投影點(Xd,Yd)滿足關(guān)系如下：

(1)

其中：

(2)

2 基于改進(jìn)的GA-SA-BP的畸變校正

2.1 改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法

傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)采用梯度下降法進(jìn)行反向傳遞來對權(quán)值和閾值進(jìn)行修正，但該算法收斂速度較慢，同時精度不高，而LM算法既保留了梯度下降法的優(yōu)點[9]，同時收斂精度較高，因而采用LM算法對BP神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)。

BP神經(jīng)網(wǎng)絡(luò)的目標(biāo)誤差函數(shù)為：

(3)

其中：n代表輸出層的節(jié)點總數(shù)，yi表示第i個輸出節(jié)點的期望輸出，ci代表第i個輸出節(jié)點的實際輸出，w是一個包含了BP神經(jīng)網(wǎng)絡(luò)中所有的權(quán)值與閾值的向量。

在神經(jīng)網(wǎng)絡(luò)反向傳播中，LM算法對網(wǎng)絡(luò)中權(quán)值和閾值的修正量記為Δx，可表示為：

Δx=-[JT(w)J(w)+μI]-1JT(w)e(w)

(4)

其中：J(w)為雅克比矩陣。

2.2 改進(jìn)的GA-SA算法優(yōu)化改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)

利用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行畸變校正，無需考慮畸變數(shù)學(xué)模型，過程簡單，但BP神經(jīng)網(wǎng)絡(luò)在應(yīng)用過程中存在收斂速率較慢，易收斂到局部最優(yōu)解的弊端，難以滿足精度上的要求[10]。因而本文采用改進(jìn)的遺傳模擬退火算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的權(quán)值與閾值，提高BP神經(jīng)網(wǎng)絡(luò)的性能。

改進(jìn)的GA-SA算法優(yōu)化操作關(guān)鍵性步驟如下。

2.2.1 初始化操作

根據(jù)所要優(yōu)化的參數(shù)構(gòu)成一個向量，然后根據(jù)該個體向量隨機(jī)生成初始種群，因GA-SA算法是對網(wǎng)絡(luò)的閾值和權(quán)值進(jìn)行優(yōu)化，因而按照網(wǎng)絡(luò)的誤差構(gòu)造適應(yīng)度函數(shù)。

(5)

2.2.2 選擇操作

傳統(tǒng)的遺傳算法在選擇操作中常采用輪盤選法，但該方法選擇隨意性太大，在滿足既考慮下代種群多樣性，也考慮盡可能多的選擇好的個體的同時，本文采用分段選擇策略與隨機(jī)抽樣相結(jié)合的選擇操作，設(shè)計選擇方法如下：

①計算種群的適應(yīng)度值，同時對其按由小到大進(jìn)行排序構(gòu)成新的種群，由適應(yīng)度函數(shù)式(5)所示，適應(yīng)度值越小，個體基因越好，因而新種群中的個體是按從好到差進(jìn)行排序的。

②將新種群平均分成好中差3個子種群，在分別從3個子種群中按隨機(jī)抽樣的方法選擇一定數(shù)量的個體，構(gòu)成選擇操作后的種群，在本文算法中，好中差3個子種群抽取數(shù)量的比例按照5:3:2進(jìn)行選擇操作，其目的是為了在保證下代種群多樣性的同時盡可能保留好的個體。

2.2.3 自適應(yīng)交叉和變異操作

自適應(yīng)交叉操作是以一定的概率Pc來對個體進(jìn)行重組，生成新的個體，通過調(diào)整的值來保證在后代種群進(jìn)化過程中盡可能保留好的個體基因。

(6)

其中：Pc1，Pc2分別表示初始交叉概率中較大值與較小值，fmin，fave，f分別表示當(dāng)前種群中的最小適應(yīng)值，平均適應(yīng)值及交叉?zhèn)€體中較小的適應(yīng)度值。

種群中兩個個體的交叉方式如下[11]：

(7)

其中:x1，x2為交叉操作前選中的個體，x'1，x'2為交叉操作后產(chǎn)生的新個體，r為[0,1]上的隨機(jī)數(shù)。

自適應(yīng)變異操作是通過一定概率Pm來對選中的個體進(jìn)行變異操作，保存種群的多樣性，同時通過自適應(yīng)概率Pm來防止優(yōu)質(zhì)個體發(fā)生基因突變。

(8)

其中：Pm1，Pm2分別表示初始變異概率中較大值與較小值，fmin，fave，f分別表示當(dāng)前種群中的最小適應(yīng)值，平均適應(yīng)值及變異個體的適應(yīng)度值。

在變異操作中，對個體采用隨機(jī)抽樣的方法確定個體X中需要變異的基因：xi，然后采用非均勻變異算子[12]對該基因進(jìn)行變異。

(9)

其中：x'i為基因xi變異后得到的基因，G，Gmax分別為當(dāng)前進(jìn)化代數(shù)和算法中總的迭代次數(shù)；r1為(0,1)上的隨機(jī)數(shù)，ai,bi為該變異基因取值范圍的最小和最大值。

2.2.4 模擬退火局部優(yōu)化操作

為了避免遺傳算法易于收斂到局部最優(yōu)的情況，在種群趨于穩(wěn)定時，進(jìn)行模擬退火[13]再優(yōu)化操作。判斷種群是否趨于穩(wěn)定的條件如下：

fave-fmin

(10)

其中：fave表示種群中平均適應(yīng)度值，fmin表示種群中最優(yōu)個體所對應(yīng)的適應(yīng)度值，當(dāng)平均適應(yīng)度值接近最優(yōu)適應(yīng)度值，即種群進(jìn)化趨于穩(wěn)定。

進(jìn)行模擬退火再優(yōu)化操作，首先在個體鄰域范圍內(nèi)產(chǎn)生新的個體，假設(shè)原個體適應(yīng)度值為f(x)，新個體適應(yīng)值為f(x′)，新個體取代原個體的概率P如下所示。

(11)

其中：x為原個體，x’為新個體，T為當(dāng)前模擬退火時的溫度。

2.3 基于GA-SA-BP的畸變圖像校正算法設(shè)計

本文算法對樣本進(jìn)行訓(xùn)練時，基本的流程圖如圖1所示。

圖1 算法的大致流程圖

在圖1中，無論是理想狀態(tài)下的角點坐標(biāo)，還是實際得到的角點坐標(biāo)都是二維坐標(biāo)。因此，本文中神經(jīng)網(wǎng)絡(luò)模型為2-5-2型，其結(jié)構(gòu)圖如圖2所示。

圖2 神經(jīng)網(wǎng)絡(luò)模型架構(gòu)

在利用改進(jìn)GA-SA-BP算法對畸變圖像進(jìn)行校正的具體步驟如下：

1)通過張正友標(biāo)定算法得到相機(jī)的內(nèi)外參數(shù)，構(gòu)建出相機(jī)的線性模型，通過角點的世界坐標(biāo)計算出角點的理想像點坐標(biāo)，作為網(wǎng)絡(luò)的輸出；通過harris角點檢測算法得到角點的實際像點坐標(biāo)，作為網(wǎng)絡(luò)的輸入；

2)初始化操作。構(gòu)建BP神經(jīng)網(wǎng)絡(luò)架構(gòu)模型，基于改進(jìn)的遺傳模擬退火算法的初始種群規(guī)模N，模擬退火操作的起始的溫度T，遺傳模擬退火算法中的最大進(jìn)化代數(shù)Gmax，判斷種群趨于穩(wěn)定時的閾值a；

3)根據(jù)式(5)計算種群的個體適應(yīng)度值；

4)利用改進(jìn)的GA-SA算法來對種群進(jìn)行操作，得到新的種群；

5)判斷當(dāng)前種群是否趨于穩(wěn)定，如果趨于穩(wěn)定，使用模擬退火算法對種群進(jìn)行操作，然后轉(zhuǎn)步驟6)；如果種群沒有趨于穩(wěn)定，直接轉(zhuǎn)步驟6)；

6)判斷當(dāng)前進(jìn)化代數(shù)是否達(dá)到最大進(jìn)化代數(shù)，或者最小適應(yīng)度值達(dá)到所設(shè)定的誤差精度，如果滿足上述條件中的任意一條，則轉(zhuǎn)步驟7)，否則轉(zhuǎn)3)；

7)保存經(jīng)過改進(jìn)的遺傳模擬退火算法操作后得到的最優(yōu)的閾值和權(quán)值，然后將BP神經(jīng)網(wǎng)絡(luò)中的權(quán)值和閾值置于最優(yōu)的權(quán)值與閾值，最后通過樣本數(shù)據(jù)來優(yōu)化網(wǎng)絡(luò)，得到最終的神經(jīng)網(wǎng)絡(luò)模型；

8)利用雙三次插值算法對畸變圖像進(jìn)行校正，得到校正后的圖像。

改進(jìn)的遺傳模擬退火算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的流程圖如圖3所示。

圖3 改進(jìn)的GA-SA-BP算法流程圖

2.4 精度誤差結(jié)果分析

利用改進(jìn)的遺傳模擬退火算法的BP神經(jīng)網(wǎng)絡(luò)算法進(jìn)行畸變校正，在訓(xùn)練結(jié)束后，為了判斷訓(xùn)練所得的網(wǎng)絡(luò)模型是否滿足精度要求，往往需要誤差分析來判斷[14]，誤差分析方法采用式(12)，式(13)進(jìn)行評價。

水平方向的絕對誤差為：

Ex=|u-u'|

(12)

垂直方向的絕對誤差為：

Ey=|v-v'|

(13)

3 實驗結(jié)果分析

為了驗證在圖像畸變校正中本文算法的可行性，在進(jìn)行仿真實驗時，所采用的模板圖像為：

圖4 模板圖像

由圖4可知，棋盤格內(nèi)部有144個角點，其中選取132個特征點用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，剩下的12個特征點用于對訓(xùn)練所得的網(wǎng)絡(luò)模型進(jìn)行測試。

3.1 實驗結(jié)果

分別采用傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)與本文提出的改進(jìn)的GA-SA-BP算法分別進(jìn)行實驗，所得到的神經(jīng)網(wǎng)絡(luò)訓(xùn)練誤差曲線圖如圖5～6所示。

圖5 傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練曲線圖

圖6 本文算法訓(xùn)練曲線圖

從圖5，圖6中可以看出，用基于梯度下降法的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時，迭代2 000次，最好的誤差精度約為，而基于本文算法進(jìn)行訓(xùn)練時，迭代次數(shù)為690次，誤差精度為。本文算法較之BP神經(jīng)網(wǎng)絡(luò)而言，迭代次數(shù)明顯降低，提高了效率，同時精度也得以提高。

基于改進(jìn)的GA-SA-BP算法進(jìn)行訓(xùn)練，由式(12)，式(13)得到12個測試點的水平方向上誤差與垂直方向上的誤差，所得的誤差結(jié)果圖如下所示：

從圖7，圖8，表1可知，本文算法得到的網(wǎng)絡(luò)模型，用測試樣本測試后，水平方向的最大絕對誤差為0.188 6像素，垂直方向最大絕對誤差為0.185 6像素，12個測試點的RMS值大部分都小于0.1像素，因此本文算法在畸變校正上具有較高的精度。

3.2 畸變圖像校正實驗

下面利用基于本文算法對SR300相機(jī)所采集的畸變圖像進(jìn)行校正，通過雙三次插值算法得到校正后的圖像。

圖7 水平方向的絕對誤差圖

圖8 垂直方向的絕對誤差圖

測試點的結(jié)果如表1所示。

表1 圖像的仿真結(jié)果

圖9 畸變圖像

圖10 校正后的圖像

由圖10可看出，畸變圖像校正后效果較之畸變圖像相比，得到了很好的改善，因此本算法可以用于圖像的畸變校正。

基于一般針孔相機(jī)拍攝采集得到的圖像(圖11)，使用本文算法對其進(jìn)行校正，得到校正圖如圖12所示。

圖11 畸變圖像

圖12 校正后的圖像

利用本文算法對不同兩個相機(jī)所采集的數(shù)據(jù)集進(jìn)行畸變校正，由兩組實驗結(jié)果可看出，校正效果較好。

4 結(jié)論

本文采用基于改進(jìn)的GA-SA-BP算法對圖像進(jìn)行畸變校正，既具有GA算法的全局搜索能力，也具有BP算法較強(qiáng)的局部優(yōu)化能力，同時在遺傳算法中加入模擬退火算法的目的是為了彌補(bǔ)遺傳算法易收斂于局部最優(yōu)的不足，提高了精度。本文算法與傳統(tǒng)畸變校正方法相比，無需建立畸變模型，操作簡單。最后通過實驗分析，結(jié)果表明基于改進(jìn)的GA-SA-BP算法對畸變圖像進(jìn)行校正，校正效果較好，同時將該算法與傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)算法相比，校正精度提高了不少，同時大大降低了迭代次數(shù)，提高了效率。