周靖鴻，朱建軍，周　璀，樊東昊

(中南大學(xué) 地球科學(xué)與信息物理學(xué)院，湖南 長沙 410083)

?

遙感影像亞像素快速配準(zhǔn)方法

周靖鴻，朱建軍，周璀，樊東昊

(中南大學(xué) 地球科學(xué)與信息物理學(xué)院，湖南 長沙 410083)

摘要：針對經(jīng)典亞像素配準(zhǔn)算法運(yùn)算效率不高的情況，提出一種快速亞像素配準(zhǔn)方法。在原有傅里葉變換相位相關(guān)方法與矩陣乘法離散傅里葉變換方法的基礎(chǔ)上，利用有效子圖代替原圖進(jìn)行圖像亞像素配準(zhǔn)。有效子圖是通過二維小波分解高頻分量的能量總和大小來選取，再對有效子圖進(jìn)行相位相關(guān)像素級定位與矩陣乘法傅里葉變換亞像素定位。改進(jìn)方法不但繼承矩陣乘法離散傅里葉變換亞像素高精度配準(zhǔn)的優(yōu)良性能，而且選用有效子圖替代原圖進(jìn)行配準(zhǔn)其速度可大大提高，對海量數(shù)據(jù)的遙感影像更顯優(yōu)勢。經(jīng)模擬試驗(yàn)與工程實(shí)例，綜合分析該方法的配準(zhǔn)精度與配準(zhǔn)速度，證明改進(jìn)方法較經(jīng)典亞像素配準(zhǔn)算法效率更高，更適合用于實(shí)際遙感影像的高精度配準(zhǔn)。

關(guān)鍵詞：亞像素配準(zhǔn)；有效子圖；相位相關(guān)；歸一化互功率譜；矩陣乘法離散傅里葉變換；Fourier-Mellin變換

隨著遙感技術(shù)的飛速發(fā)展，獲取遙感數(shù)據(jù)的技術(shù)逐漸趨向多平臺(tái)、多傳感器、多角度和高時(shí)間分辨率、高空間分辨率、高光譜分辨率的三多三高時(shí)代[1]。因此，獲得航空航天遙感數(shù)據(jù)的信息量成倍增大[2]。近年來利用一幅或多幅同一場景的低分辨率遙感影像經(jīng)超分辨率重建生成一幅高分辨率遙感影像已成為研究的熱點(diǎn)，而影像重建過程中低分辨率影像間的亞像素配準(zhǔn)精度與效率顯得尤為重要[3]。

圖像像素級配準(zhǔn)的方法很多[4-5]，目前圖像亞像素配準(zhǔn)算法：插值法[6-7]、擴(kuò)展相位相關(guān)[8]和解最優(yōu)化問題[9-11]。插值法的性能受內(nèi)插算法的影響；解最優(yōu)化問題求解精度雖高，但在實(shí)際應(yīng)用中計(jì)算量非常大[12]。而相位相關(guān)法能將兩者的性能相互綜合，其范圍包括了空域的相位相關(guān)[7,12]和頻率域的相位相關(guān)。頻率域相位相關(guān)方法最早由Kuglin[13]在求解圖像平移參數(shù)時(shí)提出，配準(zhǔn)精度可達(dá)到像素級；在此基礎(chǔ)上高瑩瑩[14]、Lee[15]、De[16]、Chen[17]、Reddy[18]等人利用了Fourier-Mellin變換將圖像配準(zhǔn)擴(kuò)展到了具有旋轉(zhuǎn)、平移、縮放等不同情況，但涉及到的都只是像素級的配準(zhǔn)；后來Soummer[19]等人提出了矩陣乘法傅里葉變換用于圖像的亞像素配準(zhǔn)，該方法是以相位相關(guān)像素級配準(zhǔn)為基礎(chǔ)，在求得整數(shù)位移的一定鄰域范圍內(nèi)進(jìn)行上采樣離散傅里葉變換，其配準(zhǔn)精度相對于傳統(tǒng)的亞像素配準(zhǔn)方法效果要好[20]。該方法數(shù)據(jù)量較大時(shí)計(jì)算量也較大，對于海量的遙感數(shù)據(jù)不太實(shí)用。圖像的平移是一個(gè)整體過程，局部平移信息能反映整幅圖像的平移變化。針對遙感影像提出一種改進(jìn)的亞像素配準(zhǔn)方法，利用小波變換選取局部有效子圖代替原圖，采用矩陣乘法傅里葉變換求取亞像素級位移，通過有效子圖的替代減少計(jì)算量從而提高配準(zhǔn)效率。方法融入Fourier-Mellin變換[18]，當(dāng)影像間存在旋轉(zhuǎn)、縮放、平移變換時(shí)同樣適用。該方法進(jìn)行亞像素配準(zhǔn)可大大縮短配準(zhǔn)過程的計(jì)算量提高配準(zhǔn)效率，與傳統(tǒng)的方法[21]相比該方法在滿足亞像素配準(zhǔn)精度要求的同時(shí)能成倍提高配準(zhǔn)效率，適用于遙感影像海量數(shù)據(jù)的配準(zhǔn)。

1亞像素配準(zhǔn)的關(guān)鍵技術(shù)

1.1歸一化相位相關(guān)法

從Kuglin[13]提出相位相關(guān)算法用于求取圖像的平移參數(shù)開始，圖像傅里葉變換頻率域配準(zhǔn)方法被人們廣泛應(yīng)用。設(shè)參考圖像為f(x,y)，配準(zhǔn)圖像為g(x-x0,y-y0)，兩圖像之間位移為(x0,y0)，相位相關(guān)歸一化互功率譜

(1)

式中:Rfg為兩圖像相位相關(guān)的歸一化互功率譜;Ff,Fg分別為f,g的傅里葉變換;Fg*為Fg的復(fù)數(shù)共軛。

相位相關(guān)法是求傅里葉逆變換峰值。對Rfg進(jìn)行傅里葉逆變換，得到脈沖函數(shù)δ(x-x0,y-y0)，根據(jù)該函數(shù)的峰值可定位得到圖像的位移坐標(biāo)(x0,y0)。

(2)

1.2上采樣矩陣乘法DFT

傳統(tǒng)的利用相位相關(guān)法求取圖像亞像素位移需借助上采樣[8]，該過程在圖像傅里葉變換(discreteFouriertransform，DFT)后的頻率域進(jìn)行上采樣插零[22]，再進(jìn)行相位相關(guān)法求取亞像素位移。在此基礎(chǔ)上Soummer等提出基于矩陣乘法的傅里葉變換[19]，該方法對像素級位移位置一定鄰域范圍內(nèi)的信息進(jìn)行區(qū)域性上采樣來求取亞像素位移，可高效率地求出圖像間的亞像素位移。上采樣矩陣乘法DFT計(jì)算可獲得與相位相關(guān)上采樣插零求取亞像素位移方法的同樣效果[23]，得到圖像的亞像素平移位置，而且計(jì)算量得到降低。

2改進(jìn)的亞像素配準(zhǔn)算法

2.1有效子圖的優(yōu)勢

基于矩陣乘法的上采樣離散傅里葉變換方法雖然避免了傳統(tǒng)方法在求取圖像亞像素位移時(shí)的不足，但該方法在利用相位相關(guān)求取整數(shù)級位移的步驟中其計(jì)算量會(huì)隨著圖像尺寸的增大而不斷變大。為此，為了充分利用該方法亞像素配準(zhǔn)的有效性又能使其適用于遙感影像的配準(zhǔn)，這里提出采用有效子圖代替原圖進(jìn)行圖像亞像素配準(zhǔn)的一種改進(jìn)方法。

2.2有效子圖的選取

有效子圖可用二維小波方法來選取。二維小波分解后的低頻分量代表了圖像的輪廓信息，3個(gè)方向的高頻部分分量代表了圖像3個(gè)方向的細(xì)節(jié)信息，高頻部分能量總和最大時(shí)對應(yīng)的圖像其細(xì)節(jié)部分信息最多，此時(shí)用該子圖做圖像配準(zhǔn)其效果會(huì)較信息量少的子圖要精確，以此作為有效子圖選取標(biāo)準(zhǔn)。例如將大小為512×512的圖像均勻分割成16等份。對16份有效子圖分別進(jìn)行一層二維小波變換如圖1所示。

圖1　二維小波分解

其中:LLi是第i個(gè)子圖二維小波分解后的低頻子圖，HLi，LHi，HHi分別對應(yīng)第i個(gè)子圖二維小波分解水平、垂直、對角3個(gè)方向的高頻子圖。求取各子圖高頻總能量和：

(3)

式中：ENi為第i個(gè)子圖3個(gè)方向高頻能量總和，當(dāng)采用16子圖時(shí)i=1,2,3，…，16。HLi，LHi，HHi分別對應(yīng)第i個(gè)子圖二維小波分解水平、垂直、對角3個(gè)方向的高頻子圖。

2.3有效子圖的亞像素配準(zhǔn)

對每個(gè)子圖高頻總能量和的大小進(jìn)行對比，取能量和最大時(shí)對應(yīng)的子圖作為有效子圖。數(shù)學(xué)計(jì)算式：

(4)

式中：MAX為能量總和最大時(shí)對應(yīng)的子圖。ENi為各個(gè)子圖的高頻能量之和。

改進(jìn)方法選取有效子圖代替原圖來進(jìn)行配準(zhǔn)的過程，與傳統(tǒng)方法相比更加適用于大尺度遙感影像的高精度配準(zhǔn)。后面的實(shí)驗(yàn)也會(huì)證實(shí)該改進(jìn)方法在滿足亞像素精度配準(zhǔn)要求的前提下，較文獻(xiàn)[13]中的相位相關(guān)法、文獻(xiàn)[20]中的矩陣乘法DFT等方法都優(yōu)越，能高效率進(jìn)行圖像亞像素配準(zhǔn)。改進(jìn)方法是將二維小波變換、相位相關(guān)、上采樣矩陣乘法DFT相結(jié)合(wavelettransform,phasecorrelation,andmatrixmultiplyDFT)的亞像素圖像配準(zhǔn)算法，為了敘述簡單以下簡稱WPM方法。

WPM算法具體步驟：

1)有效子圖選取。利用原圖等尺度分割后的各個(gè)子圖進(jìn)行二維小波分解，取高頻能量總和最高時(shí)對應(yīng)的子圖作為下一步像素級粗定位的有效子圖。

2)像素級粗定位。計(jì)算有效子圖的相位相關(guān)歸一化功率譜，求得圖像間像素級位移(x0,y0)。

3)亞像素級定位。在像素級位移(x0,y0)周圍進(jìn)行k倍上采樣矩陣乘法DFT計(jì)算，獲得配準(zhǔn)位置

(x0_Up,y0_Up)。

4)亞像素位移值。對像素級定位(x0,y0)與亞像素級定位(x0_Up,y0_Up)進(jìn)行綜合得最終亞像素配準(zhǔn)結(jié)果(x0+ x0_Up/k,y0+y0_Up/k)。

2.4算法的效率分析

分析本文算法的計(jì)算復(fù)雜度。根據(jù)上采樣矩陣乘法求取可得，e-2iπUXT的尺度為NB×NA，f(X,Y)的尺度為NA×NA，e-2iπYVT的尺度為NA×NB。根據(jù)復(fù)數(shù)運(yùn)算中乘法需6個(gè)浮點(diǎn)運(yùn)算，加法需2個(gè)浮點(diǎn)運(yùn)算[24]，得總運(yùn)算次數(shù)：

(5)

采樣矩陣乘法DFT在配準(zhǔn)過程中是以局部區(qū)域信息進(jìn)行的亞像素配準(zhǔn)，相比于傳統(tǒng)基于傅里葉變換的零填充上采樣插零而言，算法的計(jì)算復(fù)雜度已經(jīng)大大縮小，而本文算法的計(jì)算復(fù)雜度要更優(yōu)于上采樣矩陣乘法DFT為(n/16)，故算法在計(jì)算量得到顯著提高。

3實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證算法的可行性與優(yōu)越性，本文進(jìn)行大量的對比試驗(yàn)、綜合測試，并對實(shí)驗(yàn)結(jié)果進(jìn)行分析。

3.1實(shí)驗(yàn)1

為了驗(yàn)證上述算法的優(yōu)越性，進(jìn)行第一組對比實(shí)驗(yàn)。計(jì)算平臺(tái)是內(nèi)存為4GB，處理器Core-i3，CPU主頻1.8GHz的筆記本電腦，計(jì)算軟件采用Matlab7.0。圖像選取尺寸為512×512的Lena圖像如圖2(a)所示，實(shí)驗(yàn)用亞像素位移為△1(10.486，13.738)的圖像如圖2(b)所示，亞像素位移圖像是通過傅里葉變換相位位移來實(shí)現(xiàn)的。

圖2　實(shí)驗(yàn)圖像

對圖像進(jìn)行16等分分割，每份子圖大小為128×128，利用二維小波對各個(gè)子圖進(jìn)行分解,選取分解后3個(gè)高頻分量總和最大時(shí)對應(yīng)的子圖作為有效子圖。有效子圖選取的結(jié)果如圖3(a)、3(b)中高亮顯示的子塊所示，其中圖3(c)為圖3(a)高亮部分的放大，圖3(d)為圖3(b)高亮部分的放大。

圖3　有效子圖

選取上采樣倍數(shù)k=100，分別用WPM算法、文獻(xiàn)[13]和文獻(xiàn)[20]中的方法對有效子圖3(c)與3(d)進(jìn)行配準(zhǔn)，配準(zhǔn)結(jié)果如表1所示。配準(zhǔn)過程中WPM算法的歸一化相位相關(guān)法像素級粗配準(zhǔn)和矩陣乘法DFT亞像素級配準(zhǔn)的頻譜圖分別如圖4(a)、4(b)所示。

表1　不同方法的配準(zhǔn)精度和速度對比

圖4　圖像的功率譜

從表1中可以看出WPM算法較文獻(xiàn)[13]相位相關(guān)法相比，其配準(zhǔn)精度達(dá)到0.01的亞像素精度能很好地滿足亞像素配準(zhǔn)的要求；WPM算法較文獻(xiàn)[20]中上采樣矩陣乘法DFT算法相比，在配準(zhǔn)精度滿足要求的同時(shí)，WPM算法的計(jì)算時(shí)間整整縮短一半，效率提高近一倍。仿真實(shí)驗(yàn)表明WPM算法能滿足亞像素配準(zhǔn)精度而且配準(zhǔn)效率很高，可以很好地用于工程實(shí)踐。

3.2實(shí)驗(yàn)2

為驗(yàn)證WPM算法工程實(shí)際應(yīng)用的精確性與高效性，進(jìn)行第二組實(shí)驗(yàn)。實(shí)驗(yàn)采用某地區(qū)上空的航拍遙感影像，從其中截取大小為1 024×1 024像素尺寸的影像如圖5(a)所示，配準(zhǔn)圖像的位移為△2(27.173 6，33.729 1)，如圖5(b)所示。

圖5　某地區(qū)遙感影像

對此遙感影像同樣進(jìn)行16等分劃分，各子圖大小為256×256。有效子圖的選取結(jié)果如圖6(a)、6(b)中高亮顯示的子塊所示，圖6(c)、6(d)分別為圖6(a)、6(b)中高亮部分的放大。

圖6　有效子圖

上采樣倍數(shù)k=100，采用WPM、文獻(xiàn)[13]、文獻(xiàn)[20]等算法對圖6(c)與6(d)進(jìn)行配準(zhǔn)。WPM算法配準(zhǔn)過程中像素級配準(zhǔn)和亞像素級配準(zhǔn)的頻譜圖分別如圖7(a)、7(b)所示。各方法亞像素配準(zhǔn)結(jié)果如表2所示。

通過圖7可得，改進(jìn)方法用于真實(shí)遙感影像像素級及亞像素級定位時(shí)仍具有唯一性與精確性。通過表2可得WPM算法用于真實(shí)遙感影像的亞像素配準(zhǔn)時(shí)，與文獻(xiàn)[13]方法相比較，仍能得到高精度的亞像位移；WPM算法與目前亞像素配準(zhǔn)精度較高的上采樣矩陣乘法DFT相比，精度在滿足要求的同時(shí)，計(jì)算速度幾乎快了一倍。

圖7　圖像的功率譜

配準(zhǔn)參數(shù) 配準(zhǔn)方法 X方向位移/像素Y方向位移/像素配準(zhǔn)所用時(shí)間/sX與Y方向配準(zhǔn)精度/像素標(biāo)準(zhǔn)位移△127.17433.729——WPM算法27.1733.730.7660.01,0.01文獻(xiàn)[13]算法27.0034.000.0391,1文獻(xiàn)[20]算法27.1733.731.3770.01,0.01

3.3實(shí)驗(yàn)3

為驗(yàn)證改進(jìn)方法的普遍適用性，進(jìn)行第3組對比試驗(yàn)。實(shí)驗(yàn)選取256×256的遙感圖像8(a)作為參考，對其進(jìn)行參數(shù)分別為(5.3，4.1，17，1.3)的位移、旋轉(zhuǎn)、縮放處理，獲得待配準(zhǔn)的圖像如圖8(b)所示。圖8是整圖根據(jù)配準(zhǔn)參數(shù)的配準(zhǔn)結(jié)果。表3列出了本文WPM方法與文獻(xiàn)[21]中傳統(tǒng)方法的對比結(jié)果。

圖8　實(shí)驗(yàn)影像

運(yùn)動(dòng)參數(shù)實(shí)際值文獻(xiàn)[21]中方法WPM算法位移參數(shù)/像素5.3,4.15,45.4,4.0旋轉(zhuǎn)角度/(°)1716.916.9縮放倍數(shù)/倍1.31.31.3配準(zhǔn)用時(shí)/s—0.2390.061

通過以上實(shí)驗(yàn)結(jié)果表明本文方法在影像間同時(shí)存在旋轉(zhuǎn)、縮放、平移變換時(shí)同樣適用。

4結(jié)論

本文提出了一種利用有效子圖代替原圖進(jìn)行配準(zhǔn)的改進(jìn)方法，在保證圖像間高精度亞像素配準(zhǔn)準(zhǔn)確性的前提下同時(shí)提高配準(zhǔn)的速度，減少配準(zhǔn)過程的計(jì)算量，適用于存在旋轉(zhuǎn)、縮放、平移的遙感數(shù)據(jù)處理。

參考文獻(xiàn)：

[1]李德仁.利用遙感影像進(jìn)行變化檢測[J].武漢大學(xué)學(xué)報(bào)(信息科學(xué)版),2003,28(增1)：7-12.

[2]馮志元,李朝奎,殷智慧,等.基于集群的遙感影像并行繪制研究[J].測繪工程,2014,23(7):26-29.

[3]孫濤,林立宇,孫夫雄,等.光學(xué)遙感影像復(fù)原與超分辨重建[M].北京：國防工業(yè)出版社,2012.

[4]陳令羽,賈奮勵(lì),宋國民.基于全景影像的增強(qiáng)地理現(xiàn)實(shí)配準(zhǔn)方法研究[J].測繪工程,2014,23(10)：4-8.

[5]朱朝杰,王仁禮,董廣軍.MATLAB環(huán)境下遙感影像配準(zhǔn)與融合技術(shù)研究[J].測繪工程,2006,15(06)：57-59.

[6]TIANQ,HUHNSMN.Algorithmsforsubpixelregistration[J].ComputerVision,Graphics,andImageProcessing,1986,35(2) 220-233.

[7]劉衛(wèi)光,崔江濤,周利華.插值和相位相關(guān)的圖像亞像素配準(zhǔn)方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2005,17(6)：1273-1277.

[8]FOROOSHH,ZERUBIAJB,BERTHODM.Extensionofphasecorrelationtosubpixelregistration[J].IEEETransactionsonImageProcessing,2002,11(3)：188-200.

[9]THEVENAZP,RUTTIMANNUE,UNSERM.Apyramidapproachtosubpixelregistrationbasedonintensity[J].IEEETransactionsonImageProcessing,1998,7(1) 27-41.

[10] 李暢,李芳芳.基于假設(shè)檢驗(yàn)的數(shù)字影像線狀特征亞像素自動(dòng)提取[J].測繪學(xué)報(bào),2013,42(1)：67-72.

[11] 李延成,李軍,劉慧霞,等.基于最小二乘法的區(qū)域整體最優(yōu)匹配選取控制點(diǎn)的方法[J].測繪科學(xué),2012,37(6)：94-97.

[12] 黎俊,彭啟民,范植華.亞像素級圖像配準(zhǔn)算法研究[J].中國圖像圖形學(xué)報(bào),2008,13(11)：2070-2075.

[13]KUGLINCD.Thephasecorrelationimagealignmentmethod[C].Proc.Int.Conf.onCyberneticsandSociety,1975:163-165.

[14] 高瑩瑩,楊建峰,馬曉龍,等.基于Fourier-Mellin算法的干涉圖像配準(zhǔn)[J].光學(xué)精密工程,2007(9):1415-1420.

[15]LEEDJ,MITRAS,KRILETF.Analysisofsequentialcompleximages,usingfeatureextractionandtwo-dimensionalcepstrumtechniques[J].JOSAA,1989,6(6)：863-870.

[16]DECASTROE,MORANDIC.RegistrationoftranslatedandrotatedimagesusingfiniteFouriertransforms[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,1987 (5)：700-703.

[17]CHENQ,DEFRISEM,DECONINCKF.Symmetricphase-onlymatchedfilteringofFourier-Mellintransformsforimageregistrationandrecognition[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,1994,16(12)：1156-1168.

[18]REDDYBS,CHATTERJIBN.AnFFT-basedtechniquefortranslation,rotation,andscale-invariantimageregistration[J].IEEETransactionsonImageProcessing,1996,5(8)：1266-1271.

[19]SOUMMERR,PUEYOL,SIVARAMAKRISHNANA,etal.FastcomputationofLyot-stylecoronagraphpropagation[J].OpticsExpress,2007,15(24)：15935-15951.

[20]GUIZAR-SICAIROSM,THURMANST,FIENUPJR.Efficientsubpixelimageregistrationalgorithms[J].Opticsletters,2008,33(2)：156-158.

[21] 李忠新,茅耀斌,王執(zhí)銓.基于對數(shù)極坐標(biāo)映射的圖像拼接方法[J].中國圖像圖形學(xué)報(bào),2005,10(1)：59-63.

[22]SMITHJO.MathematicsoftheDiscreteFourierTransform(DFT)：Withmusicandaudioapplications[M].JuliusSmith,2007.

[23] 周武,胡躍明.基于相位相關(guān)和重采樣的亞像素圖像配準(zhǔn)算法[J].華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版),2010,38(10)：68-73.

[24] 王彩玲,程勇,趙春霞,等.局部相位相關(guān)用于圖像亞像素級配準(zhǔn)技術(shù)研究[J].中國圖像圖形學(xué)報(bào),2011,16(3)：427-432.

[責(zé)任編輯：李銘娜]

A fast sub-pixel registration method for remote sensing image

ZHOU Jinghong,ZHU Jianjun,ZHOU Cui,FAN Donghao

(SchoolofGeosciencesandInfo-Physics,CentralSouthUniversity,Changsha410083,China)

Abstract：A fast and efficient sub-pixel registration method is proposed in order to solve the classical methods’ problems of low efficiency.This paper uses the efficient sub-graph instead original image to sub-pixel registration,based on the Fourier transform phase correlation and matrix Fourier transform method.Effective sub-graph is selected by the total size of the high-frequency energy after two-dimensional wavelet decomposition,then the phase correlation is used to calculate the pixel shift and matrix Fourier transform to calculate the sub-pixel shift.Not only the improved method inherits the advantage of matrix Fourier transform sub-pixel registration,but also the registration speed is greatly improved.This is more applicable to massive remote sensing data.Through simulation and engineering practice,the composited registration accuracy and speed,prove that the improved method is more efficient compared with the classical methods,and more suitable for real remote sensing image registration.

Key words：sub-pixel registration；effective sub-graph；phase correlation；normalized cross power spectrum；matrix direct Fourier transform；Fourier-Mellin transform

DOI:10.19349/j.cnki.issn1006-7949.2016.07.015

收稿日期：2015-05-20

基金項(xiàng)目：973子課題(2013CB733303)；國家863資助項(xiàng)目(2012AA121301)；國家自然科學(xué)基金資助項(xiàng)目(41274010)

作者簡介：周靖鴻(1989-)，男，碩士研究生.

中圖分類號：TP752

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號：1006-7949(2016)07-0071-07