張曉宇， 戴 芳， 甘明輝， 王賽芳

?

基于經(jīng)驗?zāi)B(tài)分解的圖像拼接

張曉宇， 戴 芳， 甘明輝， 王賽芳

（西安理工大學(xué)理學(xué)院，陜西西安710054）

對待拼接圖像分別進行經(jīng)驗?zāi)B(tài)分解，對分解得到的第一個固有模態(tài)函數(shù)與第二個固有模態(tài)函數(shù)的疊加進行特征點提取、特征點匹配與變換矩陣的估計以實現(xiàn)圖像的拼接，文中提出的方法有效提高了特征點匹配的正確率，具有很強的魯棒性。在圖像融合方面文中提出一種新的基于余弦關(guān)系變換的加權(quán)融合技術(shù)，在實現(xiàn)圖像無縫拼接的同時，可有效去除拼接圖像重疊區(qū)域的重影與鬼影現(xiàn)象。

計算機應(yīng)用；圖像拼接；經(jīng)驗?zāi)B(tài)分解；余弦關(guān)系變換

圖像拼接是將一組相互間存在重疊區(qū)域的圖像序列實施配準，進而融合成一幅完整、無縫、寬視野、高分辨率新圖像的技術(shù)。圖像拼接技術(shù)現(xiàn)已廣泛應(yīng)用于顯微圖像分析、空間探測、醫(yī)學(xué)圖像分析處理、虛擬現(xiàn)實技術(shù)、遙感數(shù)據(jù)處理、軍事偵察、公安取證和數(shù)碼相機超分辨處理等方面，具有廣泛的應(yīng)用前景。

圖像拼接的關(guān)鍵技術(shù)是圖像配準與圖像融合。在圖像配準中基于圖像特征點的配準方法是該領(lǐng)域的研究熱點，該方法是對待配準的兩幅圖像提取滿足特定要求的特征點，然后對這兩組特征點進行匹配，生成一組特征點匹配對，利用這組匹配點對間的對應(yīng)關(guān)系估計出全局變換參數(shù)，以實現(xiàn)圖像配準。該方法的優(yōu)點是運算速度較快，配準精度由特征點的提取精度以及特征點匹配精度決定，因此選擇和提取具有魯棒性的特征點以及提高特征點匹配的精度是本文研究的重點。

傳統(tǒng)Harris角點檢測算法只能在單一尺度下進行特征點檢測，特征點的提取過于依賴閾值的選取，易受噪聲點的影響而產(chǎn)生偏移現(xiàn)象。為解決這一問題，近年來有學(xué)者利用小波變換對圖像進行分解，在多尺度下進行角點提取，并取得一些成果，但小波變換的分解方法本質(zhì)上是一種適合于線性信號分析的方法，它將信號按照固定的小波基進行分解，在分解過程中丟棄了信號的某些局部特征，而且在小波基的選取上也具有一定的主觀性。針對以上問題，結(jié)合經(jīng)驗?zāi)B(tài)分解(Empirical Mode Decomposition, EMD)對非線性、非平穩(wěn)信號分析的優(yōu)越性，本文利用經(jīng)驗?zāi)B(tài)分解技術(shù)對待拼接圖像進行分解，在分解后得到的固有模態(tài)函數(shù)(Intrinsic Mode function, IMF)的基礎(chǔ)上進行Harris角點檢測及特征點匹配，以提高特征點提取及匹配的正確率，實現(xiàn)高質(zhì)量圖像拼接。

本文的具體安排如下：第二部分介紹經(jīng)驗?zāi)B(tài)分解的基本原理，并給出對圖像進行經(jīng)驗?zāi)B(tài)分解的算法步驟；Harris角點檢測的基本原理在第三部分給出；第四部分介紹歸一化相關(guān)法在本文特征點匹配中的改進與應(yīng)用；第五部分介紹了RANSAC(Random Sample Consensus)算法及最小中值法的基本思想并給出了變換矩陣估計的算法步驟；第六部分是圖像拼接和融合，介紹一種基于余弦關(guān)系變換的加權(quán)融合技術(shù)，并將融合效果與傳統(tǒng)的0-1漸變加權(quán)融合進行了比較；第七部分為實驗結(jié)果與性能分析；最后為結(jié)論。

1　經(jīng)驗?zāi)B(tài)分解

經(jīng)驗?zāi)B(tài)分解是1998年由Huang等人提出的一種自適應(yīng)變尺度多分辨分析方法，它利用信號自身特征進行信號分解，可以把非平穩(wěn)、非線性信號按照頻率由高到低的順序逐層篩選，分解成一組穩(wěn)態(tài)、線性的數(shù)據(jù)系列集，即固有模態(tài)函數(shù)集。

經(jīng)驗?zāi)B(tài)分解的基本原理是找出信號的局部極大值和局部極小值點，對這些點進行插值，獲得信號的上、下包絡(luò)和均值包絡(luò)，然后利用篩選算法把符合固有模態(tài)函數(shù)的信號依次分解出來，即把一個信號分解成若干個固有模態(tài)函數(shù)和殘差信號之和。

固有模態(tài)函數(shù)是原始信號本身所包含的最基本的信號組成單元。它必須同時滿足下列條件：① 數(shù)據(jù)極值點和過零點數(shù)目必須相等或至多相差1；②在任意點由局部極大值點構(gòu)成的包絡(luò)和局部極小值點構(gòu)成的包絡(luò)的平均值為0。

利用經(jīng)驗?zāi)B(tài)分解對圖像進行分解的具體步驟如下：

（1）求出圖像的局部極大值點和局部極小值點；

（2）對圖像極大值點和極小值點分別進行三次插值，生成上、下包絡(luò)曲面；

（3）對上、下包絡(luò)曲面取平均得到平均曲面；

（4）從圖像中減去平均曲面：-=；

（5）將作為新的重復(fù)步驟(1)～(4)，直到r滿足IMF的條件，此時得到第一個固有模態(tài)函數(shù)，記為；

（6）從原始圖像中減去，對得到殘差圖像再重復(fù)上面的篩選過程得到第二個固有模態(tài)函數(shù)；

（7）對與取和，記為=+。

是對圖像分解后得到的第一個固有模態(tài)函數(shù)，包含原圖像大量的高頻信息，反映原圖像細節(jié)及輪廓方面的信息；是圖像分解得到的第二個固有模態(tài)函數(shù)，表示圖像的次高頻信息。對與進行疊加得到的具有固有模態(tài)函數(shù)固有的局部波形對稱等優(yōu)點，在保留了大量原始圖像信息的同時，還能剔除噪點、光線不一致等意外因素造成的影響，因此在上進行操作能有效提高特征點的提取精度與特征點匹配的準確率。

2　特征點提取

基于圖像特征的配準方法首先是要盡可能準確地提取出圖像的特征點。在眾多方法中Harris角點檢測由于其在一致性和有效性方面的優(yōu)良性能一直被人們所推崇。該方法提取的特征點具有旋轉(zhuǎn)、平移不變性，且可以達到亞像素級的精度；對噪聲和光照條件的影響也具有一定的魯棒性。所以本文采用Harris角點檢測器對經(jīng)EMD分解后的第一個固有模態(tài)函數(shù)與第二個固有模態(tài)函數(shù)的疊加進行角點檢測，以獲得理想的檢測結(jié)果。

Harris角點檢測是通過微分運算和自相關(guān)矩陣運算來檢測信號點特征的位置，即通過下列響應(yīng)函數(shù)來體現(xiàn)

其中

（2）

閾值的設(shè)置具有主觀性，設(shè)置的過大會造成特征點錯選和漏選，而設(shè)置過小又將導(dǎo)致計算量的增加。為此本文首先根據(jù)值進行局部非極大值抑制以確保得到的點均為局部極值點，再對檢測到的局部極值點按照值大小進行降序排列，提取前個點作為特征點，進入下一步特征點匹配。這樣就避免了閾值設(shè)置的主觀性帶來的上述影響，同時又得到一批數(shù)目穩(wěn)定、適中的最優(yōu)特征點。

3　特征點匹配

對兩幅待拼接的圖像進行經(jīng)驗?zāi)B(tài)分解，分別獲得和，其中是第一幅圖的前兩個固有模態(tài)函數(shù)的疊加，為第二幅圖的前兩個固有模態(tài)函數(shù)的疊加。然后分別對和進行特征點提取，對獲取的特征點進行匹配，以尋找對應(yīng)的同名點。本文采用歸一化相關(guān)法(Normalised Cross-Correlation, NCC)進行特征點匹配，它的基本思想是依據(jù)待拼接圖像上對應(yīng)角點鄰域像素灰度值的相似性進行匹配，設(shè)T和S分別為以待拼接圖像與上的角點為中心，大小為′兩個相關(guān)窗口，、為兩圖相關(guān)窗口內(nèi)像素灰度值的均值，則定義角點之間的相關(guān)系數(shù)為

本文在進行角點匹配時，對中的每一角點p與中的所有角點進行匹配，即計算p與中所有角點的相關(guān)系數(shù)值，尋找中與p相關(guān)系數(shù)最大的角點作為p點的匹配點，其中，對圖像中的個角點遍歷完畢后即可產(chǎn)生個特征點對，對產(chǎn)生的特征點對按照值的大小降序排序，對匹配過程中產(chǎn)生的“多對一”誤匹配情況采取全部剔除的操作，然后在所得特征點對中按照黃金分割0.618的比例，根據(jù)相關(guān)系數(shù)值由大到小截取一定數(shù)量的最優(yōu)匹配點對，從而確保得到足夠數(shù)量及精度的匹配點對，避免了匹配過程對閾值選取的過度依賴。

4　變換矩陣估計

由于相機的運動、透鏡作用和光源變化等一些復(fù)雜因素，相機獲取的圖像序列必然存在光強差異、反光區(qū)域以及坐標系不一致等問題，因此為了實現(xiàn)圖像序列的拼接，首先必須確定這些圖像序列間的空間對應(yīng)關(guān)系。目前常用的圖像間的變換關(guān)系模型有平移變換模型、剛性變換模型、仿射變換模型以及投影變換模型。本文采用的是仿射變換模型，利用齊次坐標以矩陣的形式來描述該模型為

即為變換矩陣，通過式(4)將待變換圖像經(jīng)平移、旋轉(zhuǎn)、縮放變換到參考圖像坐標系下。

經(jīng)過特征點匹配以后，在兩幅像間產(chǎn)生一個對應(yīng)特征點集。要實現(xiàn)圖像間的拼接，理論上直接從匹配點對中隨機抽取三對匹配點即可將計算出來，但經(jīng)過歸一化方法在剔除了部分偏差過大的點對后，得到的特征點對仍然存在誤差，直接使用這些點對估計變換矩陣誤差會很大，因此要得到最優(yōu)的變換矩陣還要經(jīng)過一個篩選和優(yōu)化的過程。本文采用RANSAC(Random Sample Consensus)算法與最小中值法(least Median squares)相結(jié)合來估計最優(yōu)變換矩陣。

RANSAC是一種魯棒性的擬合數(shù)據(jù)算法，它能充分利用測得的數(shù)據(jù)，根據(jù)閾值把它們分成內(nèi)點和外點。由于內(nèi)點數(shù)據(jù)比較準確，因此RANSAC使用內(nèi)點來進行參數(shù)估計。

最小中值法的基本思想是計算所有匹配點數(shù)據(jù)的余差，取其中值作為標準，把滿足小于中值的匹配點作為優(yōu)化樣本來重新估計最優(yōu)的變換矩陣。變換矩陣估計算法如下：

（1）隨機選取3對匹配點，利用式(4)計算變換矩陣；

（2）對待拼接圖像上的每一個特征點利用計算它在圖像中的對應(yīng)點，并計算該對應(yīng)點與在中的匹配點之間的距離差d，稱為余差；

（3）根據(jù)RANSAC算法中內(nèi)點距離小于閾值的原則，設(shè)定閾值，并將d<對應(yīng)的特征點對作為此次估計的內(nèi)點集合，記錄內(nèi)點數(shù)目，在此內(nèi)點集合內(nèi)重復(fù)步驟(1)重新估計；

（4）重復(fù)步驟(2)、(3)，經(jīng)過次隨機采樣后得到最大內(nèi)點集合以及與之對應(yīng)的變換矩陣；

（5）運用最小中值優(yōu)化算法對進行優(yōu)化估計。首先對步驟(4)中得到的內(nèi)點進行次隨機采樣，每個子樣本為3個匹配點對，根據(jù)式(4)計算出每個子樣本的變換矩陣M{M|=1, 2,…,}；然后，在最大內(nèi)點集合內(nèi)對每個矩陣M分別計算出與之對應(yīng)的個特征點對間余差的平方r_,{r_,|=1, 2, …,;=1, 2, …,}，取每組余差平方的中間值U=(r_,)；尋找U中的最小值以及與其對應(yīng)的變換矩陣；用在最大內(nèi)點集合內(nèi)再次計算個特征點對間余差的平方_min,{r_, |=1, 2, …,}，取_min,所對應(yīng)的匹配點對作為最優(yōu)的樣本空間，對最優(yōu)樣本點進行優(yōu)化處理求得最優(yōu)變換矩陣。

5　圖像拼接與融合

變換矩陣確定后，接下來的工作就是將圖像進行配準。設(shè)為參考圖像，為待配準圖像，本文采用后向映射法對進行配準，即給出新坐標系（參考圖像所在的坐標系）下每個點的坐標，利用變換矩陣尋找其在上的對應(yīng)點，并將處的像素值提取作為新坐標系下該點處的像素值，但因為通過計算得到的和值并非整數(shù)，要得到處的像素值，還需運用雙線性插值進行處理。

配準完成后，開始對圖像進行拼接融合。圖像融合是將配準后的圖像序列進行拼接，增加圖像信息量并消除接縫的過程。常用的拼接圖像平滑過渡方法是加權(quán)平均融合法（即漸入漸出法）。假如、是兩幅已配準待拼接圖像，將圖像和進行拼接融合，則融合后的圖像可表示為

參數(shù)，與重疊區(qū)域的寬度有關(guān)，且+= 1，0<,<1。在重疊區(qū)域中由1漸變到0，由0漸變到1，如圖1(a)所示（實線為，虛線為），由此實現(xiàn)了在重疊區(qū)域中由到的緩慢平滑過渡。該方法在拼接圖像序列的重疊區(qū)域存在圖像空間位置不一致，特別是存在運動物體時會出現(xiàn)很明顯的重影和鬼影現(xiàn)象，為此作者改進該算法，對權(quán)值、引入帶有余弦關(guān)系變換的函數(shù)，其中==,，的值由重疊區(qū)域的每一行的寬度確定，初值為0。假設(shè)某一行重疊區(qū)域的寬度為，則，該行重疊區(qū)域從左向右隨著像素位置遞增。由圖1(b)可以看出（實線為，虛線為），在重疊區(qū)域中權(quán)重，減小與增加的速度均較0-1漸變要緩和，這樣就保證了在重疊區(qū)域中線左側(cè)參考圖像的權(quán)重更大一些，在中線右側(cè)拼接圖像的權(quán)重更大一些，從而有效地減少了靠近重疊區(qū)域左右邊緣處的重影和鬼影現(xiàn)象。將融合后的圖像作為與圖像再次使用該方法進行加權(quán)融合，以加重在拼接圖像中的權(quán)重，以此來消除重疊區(qū)域中線周圍的重影與鬼影現(xiàn)象。

(a)0-1漸變權(quán)重函數(shù)

(b)　余弦關(guān)系漸變權(quán)重函數(shù)

6　實驗結(jié)果及性能分析

為驗證算法的有效性，以兩幅圖像進行實驗。實驗條件：英特爾迅馳雙核1.87G，2G，MATLAB6.5，WINXP，SONY170。使用的圖像是通過手持相機，以固定焦距連續(xù)拍攝的大小為640′480′3，JPG格式的兩幅圖像，如圖2所示。利用EMD對和分別進行分解，獲得固有模態(tài)函數(shù)，和，，其中和分別為對應(yīng)于的第一個固有模態(tài)函數(shù)和第二個固有模態(tài)函數(shù)，和是對應(yīng)于的前兩個固有模態(tài)函數(shù)，如圖3(a)~(d)所示。圖3(e)為與的疊加，圖3(f)為與的疊加。圖4(a)、(b)是對和分別進行Harris角點檢測，并按照角點響應(yīng)值由大到小提取的前200個特征點。使用歸一化相關(guān)系數(shù)法對提取的特征點在與上進行匹配，相關(guān)窗口大小為13×13，匹配點對如圖4(c)、圖4(d)所示。該實驗的部分實驗數(shù)據(jù)與對獲取的原始圖像與直接進行特征點提取與特征點匹配操作的實驗數(shù)據(jù)如表1 所示，表1中還同時列出了本文實驗3（實驗用圖為圖8(a)與圖8(b)）的一組實驗數(shù)據(jù)，通過對比可以看出基于EMD的特征點匹配的正確率高于基于原圖像的特征點匹配的正確率。圖5為使用0-1漸變加權(quán)平均融合法得到的融合圖像，從圖中可以看出有明顯的重影與鬼影現(xiàn)象（由方框框出）。圖6為使用基于余弦關(guān)系變換的加權(quán)融合算法得到的融合圖像，從兩幅圖像的對比中可以看出該方法可有效去除重影與鬼影。圖6為待拼接圖像的重疊區(qū)域超過50%的拼接效果圖，圖7、圖8是使本文方法得到的另兩組重疊區(qū)域少于50%的實驗2與實驗3的拼接效果圖。（注：在圖像拼接過程中，由于圖像的旋轉(zhuǎn)和平移會產(chǎn)生部分黑色邊框，在本文的實驗中為了保持圖像信息的完整性，沒有對邊框進行切割。）

(a)的第1個固有模態(tài)函數(shù)(b)的第2個固有模態(tài)函數(shù)(c)的第1個固有模態(tài)函數(shù)

(d)的第2個固有模態(tài)函數(shù)(e)與的疊加(f )與的疊加

圖3 經(jīng)EMD分解的固有模態(tài)函數(shù)及其疊加的圖像

(a)對進行Harris角點提取(b)對進行Harris角點提取

(c)(d)使用歸一化相關(guān)系數(shù)法得到的匹配點對

圖4 對與進行特征點提取與特征點匹配

表1 基于EMD的特征點匹配與基于原圖的特征點匹配效果比較

（注：表1兩組實驗是在相同的實驗條件下進行的，實驗條件如上文所述。）

圖5　0-1漸變加權(quán)平均融合后的拼接圖

圖6　基于余弦關(guān)系變換加權(quán)融合后的拼接圖

(a)實驗2左圖

(b)實驗2右圖

(c) 實驗2拼接效果圖

(a)實驗3左圖

(b)實驗3右圖

(c) 實驗3拼接效果圖

7　結(jié) 論

本文研究了角點檢測，特征點匹配、變換矩陣估計、圖像配準與融合等有關(guān)圖像拼接的關(guān)鍵技術(shù)，提出了一種基于EMD的圖像拼接技術(shù)，通過實驗證明了該方法有效提高了特征點匹配的正確率，具有很強的自適應(yīng)性與魯棒性，在圖像融合方面提出了一種基于余弦關(guān)系變換加權(quán)融合算法，通過實驗表明該方法能夠?qū)崿F(xiàn)視覺上的自然過渡和無縫拼接，并克服了傳統(tǒng)0-1漸變加權(quán)融合算法在圖像重疊區(qū)域產(chǎn)生的重影和鬼影現(xiàn)象，具有很強的實用性。

[1] Harris C G, Stephen M. A combined corner and edge detector [C]//Proc. 4Alvey Vision Conference, Manchester, 1988: 147-151.

[2] Huang N E. The empirical mode decomposition and the Hilbert spectrum for nonlinear and non-stationary time series analysis [C]//Proc. of the Royal Society of London, 1998: 903-995.

[3] 孫 暉. 經(jīng)驗?zāi)B(tài)分解理論與應(yīng)用研究[D]. 杭州: 浙江大學(xué), 2005.

[4] 田 丹, 高 強, 趙振兵, 等. 基于經(jīng)驗?zāi)Ｊ椒纸夂突バ畔⒌膱D像配準研究[J]. 電力系統(tǒng)通信, 2009, 30(195): 37-40.

[5] Nunes J C, Guyot S, Delechelle E. Texture analysis based on local analysis of the bidimensional empirieal mode decomposition [J]. Machine Vision and Applications, 2005, 16(3): 177-188.

[6] Stefano L Di, Mattoccia S, Mola M. An efficient algorithm for exhaustive template matching based on normalized cross correlation [C]//Proc. 12International Conference on Image Analysis and Processing, 2003: 322-327.

[7] 周亞平. 圖像配準技術(shù)研究[D]. 杭州: 浙江大學(xué), 2008.

[8] ZHAO Xiangyang, DU Limin. An automatic and robust image mosaic algorithm [J]. Journal of Image and Graphics,2004, 9(4): 417-422.

[9] 黃有群, 付 裕, 馬廣焜. 基于RANSAC算法的柱面全景圖拼接方法[J]. 沈陽工業(yè)大學(xué)學(xué)報, 2008, 30(4): 461-465.

[10] 顧費勇. 基于圖像的自適應(yīng)圖像拼接算法研究[D]. 杭州: 浙江大學(xué), 2008.

[11] Richard Szeliski. Video mosaics for virtual environments [J]. IEEE Computer Graphics and Applications, 1996, 16(2): 22-30.

[12] 仵建寧, 郭寶龍, 馮宗哲. 一種基于興趣點匹配的圖像拼接方法[J]. 計算機應(yīng)用, 2006, 26(3): 610-612.

Image Stitching Based on Empirical Mode Decomposition

ZHANG Xiao-yu, DAI Fang, GAN Ming-hui, WANG Sai-fang

( College of Science, Xi'an University of Technology, Xi’an Shaanxi 710054, China )

The first two intrinsic mode functions of each image are obtained by using empirical mode decomposition algorithm to decompose images which need stitch. Through this method, the feature points are extracted and matched from the first two intrinsic mode function’s superimposition of each image. Based on these matched feature points pairs, parameters of the transformation matrix are calculated and then images are stitched. Experimental results have shown that this method effectively improves the accuracy rate of the feature points matched and has strong robustness. On image fusion, a novel weighed technique based on cosine relationship transform is proposed. With this technique, not only the seamless stitching images can be obtained, but also the phenomenon of ghosting in the overlapping stitching region can be eliminated.

computer application; image stitching; empirical mode decomposition; cosine relationship transform

TP 391

A

1003-0158(2011)01-0059-08

2009-06-22

陜西省教育廳科學(xué)研究計劃資助項目（09JK611）；西安理工大學(xué)科技創(chuàng)新計劃資助項目（108-210811）；西安理工大學(xué)校博 士啟動金（108-210905）

張曉宇（1980-），女，山東商河人，碩士研究生，主要研究方向為計算智能與信息處理。