李江華，李恩德

(江西理工大學(xué)信息工程學(xué)院，江西 贛州 341000)

1 引言

在大范圍監(jiān)控、安全監(jiān)測(cè)、智能機(jī)器人視覺(jué)系統(tǒng)以及汽車(chē)影像等方面，魚(yú)眼鏡頭因其短焦距大視角的特點(diǎn)而被計(jì)算機(jī)視覺(jué)領(lǐng)域廣泛應(yīng)用。然而魚(yú)眼鏡頭因其特殊的構(gòu)造導(dǎo)致得到的圖像會(huì)在一定程度上發(fā)生畸變。因此，為獲得準(zhǔn)確的圖像內(nèi)容，對(duì)于畸變圖像的校正則必不可少[1，2]。近幾年來(lái)，魚(yú)眼圖像的校正方法主要有兩個(gè)不同的研究方向，即基于投影變換的校正方法和基于魚(yú)眼鏡頭標(biāo)定的校正方法[3]?；阽R頭標(biāo)定的方法需要世界坐標(biāo)與圖像坐標(biāo)之間的關(guān)系轉(zhuǎn)換，并且需要攝像機(jī)內(nèi)部參數(shù)，因其成本高，實(shí)現(xiàn)復(fù)雜而很少使用?；谕队白儞Q的校正方法則是主要通過(guò)建立成像模型，擬合多形式等方法得到校正圖像。ZHANG[4]等人首先建立橢圓函數(shù)模型，其次基于此模型對(duì)魚(yú)眼圖像進(jìn)行初步校正，最后，將橢圓函數(shù)模型中的參數(shù)調(diào)整為對(duì)圖像進(jìn)行修正以獲得更好的校正效果，然而在魚(yú)眼圖像邊緣部分有一定的損失。Stenfan Hensel[5]等人通過(guò)結(jié)合對(duì)校正參數(shù)的估計(jì)，對(duì)魚(yú)眼圖像的徑向畸變進(jìn)行校正，實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法的有效性。Tien-Ying Kuo[6]等人利用加權(quán)聯(lián)合殘差細(xì)化獲得更好的畸變參數(shù)并產(chǎn)生更準(zhǔn)確的魚(yú)眼失真圖像，實(shí)驗(yàn)結(jié)果表明該方法可以有效校正徑向變形和拉伸邊界的魚(yú)眼圖像，但是此方法計(jì)算量過(guò)大，對(duì)于魚(yú)眼鏡頭內(nèi)部系數(shù)有一定要求，實(shí)現(xiàn)復(fù)雜。ZHANG[7]等人提出了一種兩步校正方法。首先，提出了自適應(yīng)的經(jīng)緯度校正方法，并利用霍夫變換對(duì)直線進(jìn)行檢測(cè)和估計(jì)，其次，檢查直線的保存和方向，基于一致性的優(yōu)化，以獲得最終的校正結(jié)果，實(shí)驗(yàn)結(jié)果表明，該方法能夠獲得連貫的自然外觀，然而圖像的非中心部分存在一定的失真現(xiàn)象。

YANG[8]在已有的球面投影模型算法的基礎(chǔ)上，通過(guò)引入系數(shù)量化選定的區(qū)域進(jìn)行縮小，再給予加權(quán)，有效保留圖像周邊信息，改善模糊情況，提高了圖像的可視性，具有很好的實(shí)用價(jià)值，但在縱向校正方面仍存在缺陷，周?chē)晥D仍有較大畸變的存在。WEI[9]在傳統(tǒng)經(jīng)緯校正的基礎(chǔ)上提出一種雙經(jīng)度模型校正，解決了在傳統(tǒng)經(jīng)緯度校正上水平方向上畸變的問(wèn)題，無(wú)需借助外界設(shè)備仍能達(dá)到較好的校正效果，但在極點(diǎn)附近的畸變依然不能較好的校正，雙極點(diǎn)的畸變?nèi)匀粸榻窈笮Ｕ芯糠较颉ANG[10]提出一種針對(duì)魚(yú)眼圖像徑向畸變的校正算法，對(duì)畸變直線的斜率進(jìn)行求解得到多項(xiàng)式校正模型的參數(shù)，建立校正圖像與畸變圖像的映射關(guān)系。此算法計(jì)算量低，校正圖像質(zhì)量較高，具有較強(qiáng)的適應(yīng)性。WANG[11]運(yùn)用圖像處理技術(shù)從標(biāo)準(zhǔn)模板的畸變圖像中提取樣本，然后將樣本作為輸入信息進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，建立畸變圖像與校正圖像之間的映射關(guān)系，校正效果較好，但其耗時(shí)過(guò)長(zhǎng)，對(duì)硬件要求高，實(shí)時(shí)性差。

上述方法雖然都對(duì)魚(yú)眼圖像的畸變進(jìn)行了校正，但是在效率方面和適應(yīng)性方面都存在一定的局限性，本文在分析了魚(yú)眼圖像畸變的原理，提出一種建立校正量場(chǎng)的方法，以解決效率和視圖中心關(guān)鍵區(qū)域校正以及縱向校正缺乏等方面的不足。

2 魚(yú)眼圖像成像與畸變?cè)?/h2>

普通相機(jī)成像的視場(chǎng)角只有45°左右，其成像遵循的是針孔相機(jī)模型，在成像過(guò)程中實(shí)際場(chǎng)景中的直線仍被投影為圖像平面上的直線。然而魚(yú)眼相機(jī)因?yàn)橐晥?chǎng)角在180°甚至超過(guò)180°，如果按照針孔相機(jī)模型成像的話，投影圖像會(huì)變得非常大，當(dāng)相機(jī)視場(chǎng)角達(dá)到180°時(shí)，圖像甚至?xí)優(yōu)闊o(wú)窮大[12，13]。所以，魚(yú)眼相機(jī)的投影模型為了將盡可能大的場(chǎng)景投影到有限的圖像平面內(nèi)，允許了相機(jī)畸變的存在。在本文中，由于切向畸變是由傳感器和透鏡的未對(duì)準(zhǔn)引起的，因此僅考慮徑向畸變。另外，對(duì)透鏡畸變的研究涉及徑向畸變而無(wú)切向畸變因此忽略其余類(lèi)型的畸變。

魚(yú)眼鏡頭在實(shí)驗(yàn)中可近似為一半球形，如圖1所示，假設(shè)c是空間中的一個(gè)拍攝對(duì)象點(diǎn)，連接空間中點(diǎn)c與光軸中心點(diǎn)o，交半球面于b點(diǎn)，過(guò)b點(diǎn)做XOY面的垂線，交XOY面于a點(diǎn)，a就是空間拍攝點(diǎn)c在魚(yú)眼成像平面上的成像點(diǎn)[14]。

圖1 魚(yú)眼鏡頭成像原理

在魚(yú)眼圖像成像過(guò)程中，徑向畸變又可分為枕形畸變和桶形畸變[15]，魚(yú)眼鏡頭在拍攝時(shí)產(chǎn)生桶形畸變，如圖2所示。

圖2 魚(yú)眼圖像畸變圖

本文給出了魚(yú)眼圖像畸變過(guò)程的計(jì)算公式。以下是Slama，Tasi[16]等人提出的高階徑向多項(xiàng)式模型。

(1)

(2)

式(2)是畸變半徑，K為畸變系數(shù)。

3 魚(yú)眼圖像輪廓提取

魚(yú)眼圖像校正的前提是將魚(yú)眼圖像的有效區(qū)域從圖中提取出來(lái)并精確的提取出有效區(qū)域的半徑和中心以用于圖像的校正。目前主要的提取算法有面積統(tǒng)計(jì)法，最小二乘擬合法，區(qū)域增長(zhǎng)法和掃描線逼近法[17～19]。本文根據(jù)原始算法提出一種新的快速掃描算法，具體流程如下所述：

a) 將圖像轉(zhuǎn)化為灰度圖像。

b) 設(shè)置一個(gè)合適的閾值。

c) 從圖像上方開(kāi)始逐行逐列掃描。

d) 當(dāng)?shù)趇行第j列亮度大于閾值時(shí)，直接開(kāi)始掃描第i+1行，第j列，如果同樣第i+1行第j列亮度大于閾值，則第i行為切線，(i，j)為上切點(diǎn)，確定上切點(diǎn)(top，j1)，若亮度小于閾值，則繼續(xù)向下掃描。

e) 確定上切點(diǎn)后，過(guò)上切點(diǎn)做上切線的垂線，并于垂線上從下方開(kāi)始向上逐點(diǎn)掃描，當(dāng)(i，j1)和(i-1，j1)同時(shí)大于閾值時(shí)，確定下切點(diǎn)(bottom，j1)。

f) 確定上下切點(diǎn)后，連接上下切點(diǎn)，并做上下切點(diǎn)連線的中垂線，以上步中步驟相同，可確定左右切點(diǎn)。

對(duì)有效區(qū)域進(jìn)行矩陣修正并計(jì)算有效區(qū)域半徑

R=max((right-left/2)，(bottom-top)/2)

(3)

以及圓心。

該提取算法在有效的加強(qiáng)了噪音干擾帶來(lái)的誤差以及減少了時(shí)間復(fù)雜度，掃描線逼近法的算法計(jì)算量為

(m-2R)·n+(n-2R)·m

(4)

而本文提出的改進(jìn)算法計(jì)算量為

(m-2R)/2+(n-2R)-(m-2R)/2

(5)

在掃描線因噪聲點(diǎn)而出現(xiàn)誤差的問(wèn)題也得到了解決，同時(shí)引入矩陣校正，對(duì)不規(guī)范的有效區(qū)域進(jìn)行了校正。

4 校正算法描述

文中提出一種基于建立校正量場(chǎng)的魚(yú)眼圖像校正算法，算法框架見(jiàn)圖3，具體流程如圖3所示。

圖3 算法流程圖

a) 利用本文提出的新的快速提取魚(yú)眼圖像的算法將魚(yú)眼圖像有效區(qū)域提取出來(lái)，并確定邊界，圓心以及有效區(qū)域半徑等信息。

b) 生成x與y方向上的校正量場(chǎng)。

c) 定義畸變圖形與校正圖形的校正關(guān)系。

d) 獲取校正量。

e) 校正圖像。

f) 對(duì)校正圖像進(jìn)行灰度插值。

4.1 獲取校正關(guān)系

在傳統(tǒng)的魚(yú)眼圖像2D校正方法中，對(duì)于魚(yú)眼圖像中心關(guān)鍵區(qū)域的校正不足和縱軸方向上的畸變校正缺乏問(wèn)題，本文根據(jù)魚(yú)眼圖像的畸變?cè)?，分析魚(yú)眼圖像在縱向和橫向方向上的畸變過(guò)程，在畸變點(diǎn)周?chē)珊线m的校正量場(chǎng)，定義畸變圖形與校正圖形之間的校正關(guān)系。如圖4所示，對(duì)魚(yú)眼圖像上半部分進(jìn)行校正時(shí)，以畸變點(diǎn)為中心，獲得校正量場(chǎng)J-K-L-N?；凕c(diǎn)坐標(biāo)為A(a，b)，魚(yú)眼圖像中心M(x0，y0)，半徑為R。假設(shè)OQ為魚(yú)眼圖像上的一條橫向經(jīng)線，PAD為縱向經(jīng)線的一部分，對(duì)于A進(jìn)行校正，就要分別對(duì)其橫縱兩個(gè)方向進(jìn)行校正。

在縱向方向上，根據(jù)幾何關(guān)系(6)

(6)

在縱向方向上的臨時(shí)校正點(diǎn)為c(u，v)。根據(jù)關(guān)系式(6)，可得校正關(guān)系，如式(7)所示。

(7)

根據(jù)式(7)，可得臨時(shí)校正點(diǎn)的坐標(biāo)為

(8)

圖4 校正關(guān)系圖

完成對(duì)縱向方向上畸變的校正后，對(duì)橫向方向上的畸變進(jìn)行校正，由于魚(yú)眼圖像在橫向方向上的畸變量稍大，且對(duì)于畸變的魚(yú)眼圖像而言，橫縱方向上的畸變不能一概而論，故在校正量場(chǎng)中，需要對(duì)橫向方向上的校正關(guān)系進(jìn)行新的定義。以經(jīng)線PAD作一條四分之一圓，交校正量場(chǎng)于D，J兩點(diǎn)，生成四分之一圓NJD。

設(shè)N點(diǎn)坐標(biāo)為N(x00，0)，在橫向方向上的臨時(shí)校正點(diǎn)為I(i，j)，新的四分之一圓半徑為Rnew。根據(jù)幾何關(guān)系可得公式：

(9)

根據(jù)式(9)可得

(10)

(11)

通過(guò)建立的校正量場(chǎng)獲得畸變點(diǎn)A在橫縱兩個(gè)方向上的校正關(guān)系后，通過(guò)遍歷各個(gè)畸變像素點(diǎn)，獲得校正量，再對(duì)圖像進(jìn)行校正。

4.2 灰度插值

在通過(guò)建立校正量場(chǎng)確定校正關(guān)系并獲取校正量后，為匹配像素點(diǎn)的坐標(biāo)位置，完成圖像的描繪，需要進(jìn)行插值運(yùn)算[20]。在傳統(tǒng)的魚(yú)眼圖像校正中，常用的插值算法有最鄰近插值和雙線性插值，但是由于直接進(jìn)行線性插值會(huì)出現(xiàn)不光滑的問(wèn)題。本文考慮到Hermite插值導(dǎo)數(shù)連續(xù)，具有保型性以及分段三次Hermite插值法的光滑特性 ，所以本文引入分段三次Hermite插值對(duì)校正后的圖像進(jìn)行插值運(yùn)算。

5 實(shí)驗(yàn)結(jié)果分析

文中實(shí)驗(yàn)在Matlab2019a平臺(tái)進(jìn)行實(shí)驗(yàn)操作，選取尺寸在370·340標(biāo)準(zhǔn)測(cè)試魚(yú)眼圖像作為實(shí)驗(yàn)圖像。并對(duì)文獻(xiàn)[12]、文獻(xiàn)[15]的算法與文中算法進(jìn)行了性能比較。

文中實(shí)驗(yàn)首先利用新的快速提取算法進(jìn)行魚(yú)眼有效區(qū)域提取，然后利用校正量場(chǎng)定義校正關(guān)系，遍歷圖像畸變點(diǎn)獲得校正量，進(jìn)行校正，最后進(jìn)行灰度插值獲得校正后的圖像。魚(yú)眼畸變圖像中心區(qū)域畸變嚴(yán)重，無(wú)法獲取客觀準(zhǔn)確的圖像信息。文中先采用新的快速提取魚(yú)眼有效區(qū)域算法提取魚(yú)眼圖像有效區(qū)域。利用同一張圖片分別對(duì)文獻(xiàn)[17]、文獻(xiàn)[18]，以及本文方法三種提取算法的提取時(shí)間，有效區(qū)域提取精度進(jìn)行測(cè)試，如表1所示。

表1 提取有效區(qū)域算法比較

傳統(tǒng)的掃描線逼近法運(yùn)行時(shí)間為19.824s，區(qū)域生長(zhǎng)法運(yùn)行時(shí)間為1205.497s，本文算法為1.481s，可見(jiàn)提取時(shí)間大大縮短，提高了效率。而在提取誤差方面本文提取算法也相對(duì)較小，可見(jiàn)本文提取算法性能更佳。

原來(lái)視角有200多度的魚(yú)眼圖像，校正到平面圖像，必然會(huì)有一些景物，在平面圖像上是顯示不出來(lái)的。視角中心區(qū)域的校正亦即魚(yú)眼圖像主要信息的校正就變得尤為重要。本文利用圖像中心區(qū)域景物的校正角度作為評(píng)判標(biāo)準(zhǔn)，利用一幅標(biāo)準(zhǔn)測(cè)試圖對(duì)文獻(xiàn)[12]、文獻(xiàn)[15]與本文算法進(jìn)行比較。魚(yú)眼圖像及校正圖像分別如圖5所示。

圖5 視角200多度的魚(yú)眼圖像及校正圖像

為驗(yàn)證算法的可行性以及有效性，采用魚(yú)眼原圖像及不同方法校正后的圖像的有效線段作為樣本進(jìn)行測(cè)試，將圖中易于觀察的視覺(jué)中心的橫線用白色代替，其它區(qū)域轉(zhuǎn)成黑色，與文獻(xiàn)[12]、文獻(xiàn)[15]方法進(jìn)行對(duì)比后，如圖6所示。

圖6 魚(yú)眼圖像及校正圖像

由圖6的圖像作為評(píng)判標(biāo)準(zhǔn)，與畸變圖形以及文獻(xiàn)[12]、文獻(xiàn)[15]方法進(jìn)行對(duì)比，從主觀視角方面可以看出在縱向方向的畸變上本文方法校正效果得到較大改善。最后，分別對(duì)三幅二值圖像的樣本線段進(jìn)行畸變角度計(jì)算，比較在橫向以及縱向方向上的畸變角度，通過(guò)數(shù)據(jù)分析本文方法的有效性和可行性，具體數(shù)據(jù)如表2所示。在2D魚(yú)眼圖像校正縱向方向畸變上校正較差方面，經(jīng)過(guò)本文方法，得以改善。

表2 畸變程度比較

同時(shí)本文作為2D校正法，運(yùn)行時(shí)間將是算法可行性的一大衡量標(biāo)準(zhǔn)，本文同文獻(xiàn)[12]、文獻(xiàn)[15]的算法運(yùn)行時(shí)間進(jìn)行對(duì)比，時(shí)間運(yùn)行記錄如圖7所示。

由圖7可知，在本文算法增加校正效果的同時(shí)，算法復(fù)雜度增加的同時(shí)，時(shí)間復(fù)雜度并沒(méi)有明顯增加，并沒(méi)有丟失2D校正的快速校正的特點(diǎn)，因此本文算法具有可行性。

圖7 運(yùn)行時(shí)間比較

6 結(jié)束語(yǔ)

本文針對(duì)傳統(tǒng)的魚(yú)眼圖像2D校正方法中，對(duì)于魚(yú)眼圖像中心關(guān)鍵區(qū)域的校正不足和縱軸方向上的畸變校正缺乏問(wèn)題，提出了改進(jìn)算法。該算法通過(guò)新的快速掃描方法提取魚(yú)眼有效區(qū)域，建立移動(dòng)的校正量場(chǎng)不斷對(duì)畸變點(diǎn)進(jìn)行校正，融合分段三次Hermite插值對(duì)校正后的圖像進(jìn)行插值運(yùn)算，在不影響2D校正速率的情況下，著重提高了畸變圖像中心區(qū)域的校正效果，在縱向畸變上更是進(jìn)一步提高，同時(shí)校正后的圖像更為光滑，具有較高的可行性和有效性，對(duì)于圖像邊緣部分的校正，是今后研究的重點(diǎn)。