王 華，叢建亭，侯相深，孫金瑋

(1.哈爾濱工業(yè)大學(xué)交通科學(xué)與工程學(xué)院，哈爾濱 150090，hitwh@hit.edu.cn;2.哈爾濱工業(yè)大學(xué)電氣工程及自動化學(xué)院，哈爾濱 150001)

畸變圖像的有效配準(zhǔn)算法

王 華1，叢建亭2，侯相深1，孫金瑋2

(1.哈爾濱工業(yè)大學(xué)交通科學(xué)與工程學(xué)院，哈爾濱 150090，hitwh@hit.edu.cn;2.哈爾濱工業(yè)大學(xué)電氣工程及自動化學(xué)院，哈爾濱 150001)

鏡頭畸變是導(dǎo)致圖像質(zhì)量降低的主要因素之一.通常在圖像存在畸變情況時，要先通過圖像畸變校正方法來減小畸變對圖像的影響，但校正過程較為復(fù)雜.本文提出了一種新的畸變圖像的有效配準(zhǔn)算法，算法分為初始匹配和松弛優(yōu)化匹配兩步，初始匹配算法采用圓投影匹配算法，松弛匹配算法則以向量旋轉(zhuǎn)角的旋轉(zhuǎn)和縮放不變性特征作為初始匹配對的優(yōu)化準(zhǔn)則，首先計(jì)算向量旋轉(zhuǎn)角度差值，然后通過構(gòu)造支持度函數(shù)和剔除策略選出最優(yōu)匹配對.實(shí)驗(yàn)證明，該算法在圖像非線性畸變誤差較大的情況下也能夠?qū)崿F(xiàn)正確匹配.

圖像畸變;圓投影匹配;向量旋轉(zhuǎn)角;松弛匹配

圖像配準(zhǔn)是醫(yī)學(xué)、航空、模式識別和圖像拼接等領(lǐng)域的一項(xiàng)極其重要的技術(shù)［1］，因此一直以來都是圖像處理領(lǐng)域中的熱點(diǎn)問題之一，幾十年來關(guān)于圖像配準(zhǔn)的各種算法也層出不窮［2－5］，但是很多算法在圖像質(zhì)量降低的時候會失效.

目前圖像拼接面臨的難題主要集中在圖像配準(zhǔn)這一關(guān)鍵環(huán)節(jié)，雖然國內(nèi)外許多學(xué)者對該環(huán)節(jié)進(jìn)行了廣泛和深入的研究，并且針對不同類型的圖像也提出了很多有效的方法，但是仍然存在以下幾個方面的問題［2］:(1)目前的研究成果仍然無法實(shí)現(xiàn)全自動的圖像配準(zhǔn);(2)由于圖像噪聲的影響、獲取景物區(qū)域和邊緣的困難以及缺乏必需的控制特征點(diǎn)等因素的限制，高精度的圖像配準(zhǔn)難度很大;(3)如何提高配準(zhǔn)處理速度，達(dá)到快速和實(shí)時的要求也是圖像配準(zhǔn)的一大難題;(4)在參考圖像與待配準(zhǔn)圖像之間有較大的尺寸比例差別、較大的旋轉(zhuǎn)角及較大的平移時的情況時，常常會出現(xiàn)配準(zhǔn)失效的現(xiàn)象;(5)目前的圖像拼接的評價主要依托于圖像配準(zhǔn)與圖像融合的評價體系，而它們的評價方法至今也沒有一種公認(rèn)的統(tǒng)一的評價方法，進(jìn)而導(dǎo)致了圖像拼接方法的各個性能的不一致性.

由于鏡頭畸變是導(dǎo)致圖像質(zhì)量降低的主要因素之一［3］，通常在圖像存在畸變情況時，要先通過圖像畸變校正方法來減小畸變對圖像的影響，校正過程較為復(fù)雜，因此本文提出了一種新的畸變圖像配準(zhǔn)算法并對算法的抗畸變性能通過標(biāo)準(zhǔn)圖像作了詳細(xì)的研究.

1 圖像的非線性畸變理論

相機(jī)成像過程中產(chǎn)生的非線性變形主要取決于鏡頭鏡片組合間距誤差，其次是鏡片本身的曲線誤差和CCD的制造誤差.上述的各項(xiàng)因素產(chǎn)生的非線性變形綜合效果可以用數(shù)學(xué)模型［4］來表示

式中:δx、δy分別為圖像像素點(diǎn)在圖像坐標(biāo)系中x、y方向的變形量;x、y分別是圖像坐標(biāo)系中的像素點(diǎn)的坐標(biāo);k1、k2、p1、p2、s1、s2分別為變形系數(shù).上式中的變形量可分為三部分，第一部分稱為徑向畸變，第二部分稱為離心畸變，第三部分稱為薄棱鏡畸變.一般在應(yīng)用中僅取第一部分的畸變，這部分的變形已經(jīng)足夠描述非線性畸變［4］.由此可得

式中r2=x2+y2，x′和y′分別是與實(shí)際圖像中的坐標(biāo)為x和y相對應(yīng)的變形校正后的坐標(biāo).

2 圖像匹配算法的相關(guān)理論

2.1 Moravec興趣點(diǎn)

Moravec興趣點(diǎn)［5］是指一幅圖像內(nèi)在水平、垂直及兩個對角線方向灰度變化最小的一類特征點(diǎn)，具有計(jì)算簡單和速度快的優(yōu)點(diǎn).其實(shí)現(xiàn)步驟［6］:

(1)計(jì)算各個像素的興趣值IV，以像素點(diǎn)g(x，y)為中心取w×w(如5×5的窗口)，按式(1)計(jì)算其沿水平、垂直及兩個對角線方向的灰度變化(如圖1所示).

式中，k=INT(w/2).取4個方向的最小者作為像素點(diǎn)g(x，y)的興趣值IV(x，y):

(2)給定一個經(jīng)驗(yàn)閾值T，將興趣值大于T的點(diǎn)作為候選點(diǎn).

(3)在一定大小的窗口內(nèi)(可不同于興趣值計(jì)算窗口)，候選點(diǎn)中興趣值最大的像素點(diǎn)即作為興趣點(diǎn).

圖1 Moravec算子5×5窗口

2.2 圓投影初始匹配算法

本文采用了圓投影匹配算法對Moravec興趣點(diǎn)做初始匹配.采用極坐標(biāo)表示參考圖像T，以圖像T中提取出的M點(diǎn)為坐標(biāo)原點(diǎn)O，建立極坐標(biāo)系，如圖2所示.設(shè)O在原坐標(biāo)系中的坐標(biāo)為(Φ，Ψ)，圖像中的像素在原坐標(biāo)系中的坐標(biāo)為(m，n)，則定義圓投影向量P(r)為

圖2 計(jì)算圓投影向量

當(dāng)圖像旋轉(zhuǎn)時，任一半徑圓上的像素也跟著作同心同半徑旋轉(zhuǎn)，所以P(r)是保持不變的，因此P(r)是一個旋轉(zhuǎn)不變量.圓投影匹配算法就是以圓投影向量為基礎(chǔ)實(shí)現(xiàn)匹配的，因而能實(shí)現(xiàn)任意角度旋轉(zhuǎn)的正確匹配［7］.

以PT(r)表示參考圖像的圓投影向量，PSi，j(r)表示待配準(zhǔn)圖像子圖Si，j的圓投影向量.定義相似性度量函數(shù)為

由于圖像在計(jì)算機(jī)中是以矩陣形式存儲的，(R，θ)與(r，θ)所對應(yīng)的點(diǎn)通常會落在圖像像素之間，采用就近原則選取像點(diǎn)往往會造成一些像素的重復(fù)選擇和漏取，而且計(jì)算也非常麻煩，若將圓拉成正方形環(huán)如圖3所示，每個環(huán)都是以坐標(biāo)原點(diǎn)O為中心，則投影圖既包含了圖像的所有信息，計(jì)算也很簡單［8］.

圖3 環(huán)投影

2.3 基于向量旋轉(zhuǎn)角的四元松弛匹配優(yōu)化算法

假設(shè)參考圖像1、待配準(zhǔn)圖像2的初始匹配后的點(diǎn)特征集P={p1，p2，…，pm}和Q={q1，q2，…，qm}，其中，P可以看作Q經(jīng)過平移后迭加一定的畸變誤差而得到的對應(yīng)點(diǎn)集，點(diǎn)集中存在一定比例的錯誤匹配對(注:一般情況下，錯誤比例不超過 60%)，(pi，qi)、(pj，qj)和(pu，qu)為集合中任意3個初始匹配對.

提出一種新的抗畸變的松弛優(yōu)化匹配算法，其主要思想及實(shí)現(xiàn)過程如下:對每一特征點(diǎn)四元組(pi，qi，ph，qh)，首先要計(jì)算出參考圖像 1 和待配準(zhǔn)圖像 2 中點(diǎn)對(pu，qu)與(pi，qi，ph，qh)構(gòu)成的向量旋轉(zhuǎn)角度差θ.

則由四元組 (pi，qi，ph，qh)可求得在pi與qi配對且ph與qh配對的情況下(如圖4所示)，向量Δp2與向量Δp1的夾角θ1，向量Δq2與向量Δq1的夾角θ2的標(biāo)量值分別為

則待配準(zhǔn)圖像2中向量角θ2與參考圖像1中向量角θ1的角度差θ為

這里，(Δp1×Δp2)與(Δq1×Δq2)均表示兩向量的向量外積的方向向量.

令 φiihh(u，u)為(pu，qu)對四元組(pi，qi，ph，qh)的支持度函數(shù).

角度差θ的變化范圍為(－π，π)，類似基本點(diǎn)松弛匹配算法的支持度函數(shù)形式，構(gòu)造一個基于θ的支持度函數(shù)

其中f(θ)是與畸變誤差相關(guān)的支持基函數(shù)，基函數(shù)的形式可根據(jù)圖像畸變誤差的大小選擇不同的函數(shù)形式.

當(dāng)畸變誤差較小時可選基于tan(k·θ)的函數(shù)來提高支持度函數(shù)對θ變化的敏感度.

在畸變誤差范圍確定的條件下，可以通過選取某個函數(shù)來調(diào)整算法對畸變的容忍度.

式中:a表示畸變誤差容忍指數(shù)函數(shù)ax的底數(shù);θr表示點(diǎn)集的畸變誤差在期望情況下的θ容忍余量;θm表示點(diǎn)集的畸變誤差在最壞情況下的θ容忍余量，即θ值得信賴的上限.實(shí)驗(yàn)證明，a取值在1＜a＜1.3時效果較好，∞可取非常大的值.

假如f(θ)=1，表明向量旋轉(zhuǎn)角θ1與θ2相等，則表示qu相對于qi和qh相似于pu相對于pi與ph，因此點(diǎn)對(pu，qu)應(yīng)當(dāng)給予四元組(pi，qi，ph，qh)以最大的支持，隨著f(θ)的增加，其支持度應(yīng)減小.

四元組(pi，qi，ph，qh)周圍的點(diǎn)對對它的最大支持度可以表示為

圖4 基于向量角的旋轉(zhuǎn)與比例不變示意圖

如果(pu，qu)與圖像中其他匹配對組成的任意四元組的最大支持度都不大，則可以認(rèn)為(pu，qu)是錯誤匹配對，應(yīng)該剔除掉.因此在優(yōu)化過程中可設(shè)置平均支持度閾值，當(dāng)(pu，qu)與圖像中其他匹配對組成的任意四元組的最大支持度的平均值(即(pu，qu)的平均支持度)大于該閾值，則認(rèn)為匹配對(pu，qu)為正確匹配對.

3 實(shí)驗(yàn)結(jié)果

從USC－SIPI圖像數(shù)據(jù)庫網(wǎng)站下載512×512的Lena圖像作為配準(zhǔn)實(shí)驗(yàn)的參考圖像(圖5(a))，并對參考圖像作桶形畸變與枕形畸變變換，如圖5(b)和圖5(c)所示.

圖5 Lena參考圖像及其兩種畸變圖像

經(jīng)多次反復(fù)實(shí)驗(yàn)，本算法對在不同畸變系數(shù)下的桶形畸變圖像配準(zhǔn)和枕形畸變圖像配準(zhǔn)的正確匹配率平均統(tǒng)計(jì)圖如圖6所示.當(dāng)畸變系數(shù)k取0

圖6 桶形畸變和枕形畸變圖像配準(zhǔn)統(tǒng)計(jì)

本文實(shí)驗(yàn)只取畸變系數(shù)k=k1=k2=±2×10－6兩種情況時，當(dāng)系數(shù)絕對值超過此值時圖像畸變將明顯影響人的主觀視覺感受.從參考圖像與待配準(zhǔn)圖像中均勻提取150個左右的Moravec興趣點(diǎn)，反復(fù)實(shí)驗(yàn)證明，Lena圖的圓投影初始匹配閾值和平均支持度閾值設(shè)置在0.99以上較為合理，因此將初始匹配閾值設(shè)置為0.995可篩選出若干錯誤比例小于60%的初始匹配對集.平均支持度閾值主要用來控制優(yōu)化后匹配對的數(shù)目，反復(fù)實(shí)驗(yàn)證明，Lena圖的平均支持度閾值在0.99以上比較合理.經(jīng)過四元松弛匹配優(yōu)化算法后，大于閾值0.99的所有匹配對均保留下來作為正確匹配對(注:也可以根據(jù)需要的匹配對個數(shù)優(yōu)化).實(shí)驗(yàn)中支持基函數(shù)f(θ)選用第2節(jié)公式(2)，本文實(shí)驗(yàn)中a=1. 1，∞取10 000，θr取經(jīng)驗(yàn)值0. 45，θm取經(jīng)驗(yàn)值0.6.

4 結(jié)果分析

圖7(a)是參考圖像與桶形畸變圖像的圓投影初始匹配結(jié)果，由于受畸變誤差影響，結(jié)果中存在大約40%的錯誤匹配對，從圖7(b)可以看出，經(jīng)過四元松弛匹配優(yōu)化算法錯誤匹配對被全部剔除.同樣從圖8也可以看出，本算法對枕形畸變圖像也有效.

當(dāng)圖像存在畸變誤差時，本算法通過選用支持度基函數(shù)式(2)，可以正確優(yōu)化匹配對.由于該算法支持度函數(shù)的衰減速度是隨著畸變誤差的不同而相應(yīng)改變，因此在已知畸變誤差范圍的情況下，可以通過調(diào)整參數(shù)θr和θm來合理改變不同畸變誤差情況下的支持度衰減速度從而使算法對畸變誤差有較強(qiáng)的容忍能力，也就可以區(qū)分正確匹配對與錯誤匹配對.值得一提的是，平均支持度的閾值要根據(jù)實(shí)際需要合理選取，通過圖8(c)可看出，當(dāng)平均支持度閾值選取為0.95時出現(xiàn)了兩個錯誤匹配對1和 2，這說明為了避免正確匹配對大量丟失的同時也容忍了少量的錯誤匹配對，但是錯誤匹配對的衰減速度相對正確匹配對來說仍然快得多，因此只要根據(jù)實(shí)際需要的匹配對數(shù)目合理優(yōu)化，這些錯誤匹配對一般都會被剔除掉.

圖7 參考圖像與桶形畸變圖像的初始和優(yōu)化匹配對

圖8 參考圖像與枕形畸變圖像的初始匹配對和平均支持度閾值分別為0.99與0.95的優(yōu)化匹配對

5 結(jié)語

提出了一種新的畸變圖像配準(zhǔn)算法，首先均勻提取Moravec興趣點(diǎn)，然后通過圓投影匹配算法對興趣點(diǎn)初始匹配，最后根據(jù)基于向量旋轉(zhuǎn)角的四元松弛匹配優(yōu)化算法對初始匹配進(jìn)行篩選優(yōu)化得到正確匹配對.反復(fù)實(shí)驗(yàn)證明，本算法在畸變圖像之間存在旋轉(zhuǎn)、縮放和畸變誤差情況下，通過調(diào)整支持基函數(shù)f(θ)的形式，可使算法對存在較大畸變誤差的圖像配準(zhǔn)具有一定的容忍能力.

［1］王蕾，劉貴喜.圖像配準(zhǔn)技術(shù)及應(yīng)用研究［D］.西安:西安電子科技大學(xué)，2007.

［2］倪國強(qiáng)，劉瓊.多源圖像配準(zhǔn)技術(shù)分析與展望［J］.光電工程， 2004，31(9):1 －6.

［3］朱錚濤，黎紹發(fā).鏡頭畸變及其校正技術(shù)［J］.光學(xué)技術(shù)， 2005，31(1):136－141.

［4］姜大志，郁倩，王冰洋，等.計(jì)算機(jī)視覺成象的非線性畸變研究與綜述［J］.計(jì)算機(jī)工程， 2001，27(12):108－110.

［5］MORAVEC H P.Towards automatic visual obstacle avoidance［C］//Proceedings of the 5th International Joint Conference on Artificial Intelligence.Cambridege，Massachusetts:The International Joint Conferences on Artificial Intelligence，1977:584.

［6］李曉娟，郭寶龍.圖像拼接技術(shù)研究［D］.西安:西安電子科技大學(xué)，2007.

［7］徐亦斌，王敬東，李鵬.基于圓投影向量的景象匹配方法研究［J］.系統(tǒng)工程與電子技術(shù)， 2005，27(10):1725－1728.

［8］黃玲玲，吳慶憲，姜長生，等.巡航導(dǎo)彈航跡控制中景象匹配快速算法研究［J］.航空兵器，2006(5):43－48.

Effective matching algorithm of distorted images

WANG Hua1，CONG Jian-ting2，HOU Xiang-shen1，SUN Jin-wei2

(1.School of Transportation Science and Engineering，Harbin Institute of Technology，Harbin 150090，China，hitwh@hit.edu.cn;2.Department of Automatic Measurement and Control，Harbin Institute of Technology，Harbin 150001，China)

The image distortion caused by lens reduces the quality of images and the processing of image correction is complex.A new effective matching algorithm of distorted images is proposed in this paper，which has two steps of the initial matching and the relaxation optimization matching.The circular projection method is applied in the initial matching step and the algorithm with characteristics of anti-rotation and anti-scale of rotating angle of vectors is applied as the optimization criterion of matching pairs.The value difference of the rotating angle of vectors should be calculated at first，and then the optimal matching pairs can be selected by using of the support function and the rules of rejection.Experimental results with a large number of images prove that the algorithm is still effective in the condition of large nonlinear distortion error of images.

image distortion;circular projection matching;rotating angle of vectors;relaxation matching

TP391.41

A

0367－6234(2010)04－0597－05

2009－06－10.

王 華(1975—)男，博士，副教授.

(編輯 趙麗瑩)