周靖鴻，周　璀,2，朱建軍，章浙濤，樊東昊

(1.中南大學 地球科學與信息物理學院，湖南 長沙 410083；2.湖南交通職業(yè)技術(shù)學院 交通信息學院，湖南 長沙 410132)

?

一種基于Contourlet變換的遙感影像超分辨率重建改進方法

周靖鴻1，周璀1,2，朱建軍1，章浙濤1，樊東昊1

(1.中南大學 地球科學與信息物理學院，湖南 長沙 410083；2.湖南交通職業(yè)技術(shù)學院 交通信息學院，湖南 長沙 410132)

摘要：針對原有方法輪廓波(Contourlet)分解高頻信息處理的不足，提出用零填充重采樣代替雙三次插值用于高頻信息處理的新方法，該方法可使Contourlet分解后的高頻信息重采樣過程不引入噪聲能量的同時獲得理想的插值結(jié)果。改進方法利用Contourlet多分辨率分析的特征，以及零填充重采樣方法較傳統(tǒng)插值方法優(yōu)越的性能，此兩者相結(jié)合可改進原有方法的不足，提高單幀影像的超分辨率重建效果。經(jīng)理論分析與試驗驗證，改進后方法的超分辨率重建結(jié)果無論在定性分析與定量對比上都要優(yōu)于傳統(tǒng)方法。

關(guān)鍵詞：超分辨率；圖像重建；輪廓波變換；傅里葉變換；零填充重采樣；小波變換

遙感影像超分辨率重建是利用同一地區(qū)一副或多幅觀測影像通過一定的算法提高影像的分辨率，增加影像信息量，從而使影像細節(jié)信息更精確視覺效果更佳的一個過程。

Contourlet變換最早由Do等[1,2]提出，其將拉普拉斯金字塔濾波器[3]與方向濾波器[4]充分結(jié)合實現(xiàn)圖像多尺度多方向多分辨率的分析，而二維小波變換僅是一維小波在水平、垂直方向上的張成，分解得到的也只是這兩方向的高頻分量，兩者相比用于遙感影像的多分辨率分析前者更顯優(yōu)勢，為此Contourlet變換被廣泛地應用于遙感影像與測量數(shù)據(jù)的處理當中[5-8]。文獻[9]提出在Contourlet域?qū)AI插值與圖像融合技術(shù)相結(jié)合實現(xiàn)多幀影像的超分辨率重建方法，但這在對數(shù)據(jù)量少的單幀影像并不適用；文獻[10]中提出Contourlet域的正則化模型超分辨率重建方法具有較好的效果，但是算法在求取收斂性與正則化過程中計算量較大影響計算的效率；文獻[11]中在Contourlet域雙三次插值進行遙感影像超分辨率重建取得較好的結(jié)果，但雙三次插值的效果不是最優(yōu)，對高頻也會引入一定的噪聲能量。同時，Smith[12]指出頻率域重采樣插零等價于空域的理想插值，證實將二維數(shù)據(jù)經(jīng)傅里葉變換轉(zhuǎn)化到頻率域后進行重采樣插零，再進行傅里葉逆變換得到理想插值結(jié)果，該方法優(yōu)于傳統(tǒng)插值方法[13]。

在Contourlet變換的基礎(chǔ)上，提出一種改進的超分辨率重建方法。對原圖像Contourlet分解后的各個高頻子圖進行離散傅里葉變換零填充重采樣(以下簡稱DFT零填充重采樣)獲得變換后的高頻，將原圖作為低頻與變換得到的高頻進行Contourlet逆變換得到最終結(jié)果。改進方法將高頻進行零填充處理是為了得到高頻部分的理想插值以最大程度的相似于重建過程的高頻圖像。通過試驗驗證，該方法有效可行，并較原有方法優(yōu)越。

1Contourlet變換

二維小波是小波的高階形式，濾波器的方向仍只是單方向的，處理二維影像數(shù)據(jù)時僅僅是對水平與垂直方向依次進行濾波。而Contourlet變換采用的是拉普拉斯金字塔濾波器[3]與方向濾波器組[4]，相比于二維小波變換而言，方向濾波器組才是真正意義上的多方向分解。拉普拉斯金字塔與方向濾波器相結(jié)合將原圖進行N層分解時可得到1個方向上的低頻子圖與2N個方向的高頻子圖[14]。分解過程為

(L1,H1,H2,…,H2N)=ContourletN(image).

(1)

其中L1，H1，H2,…,H2N分別為低頻與2N個方向高頻，ContourletN為N層Contourlet分解，image為原圖。

該分解過程可以用圖1所示直觀表述。采用zoneplate圖像進行3層Contourlet分解得到1個低頻子圖與8個不同方向的高頻子圖。

圖1　Contourlet分解

2改進的超分辨率重建方法

單幀圖像的超分辨率重建是近年來研究熱點[15]，傳統(tǒng)基于Contourlet變換的超分辨率重建方法是將Contourlet變換與插值方法相結(jié)合。文獻[11]中將Contourlet變換與雙三次插值相結(jié)合的方法取得了一定的效果。但雙三次插值法處理高頻信息時，將帶入多余的能量，從而模糊高頻部分。因此傳統(tǒng)的插值方法是有局限性的，導致插值的效果并不最優(yōu)。DFT零填充重采樣是對傳統(tǒng)插值方法的改進，被廣泛應用于一維及二維數(shù)字信號處理過程[16]，此過程未引入能量不會產(chǎn)生噪聲。首先利用二維傅里葉變換：

(2)

式中：F為f的二維傅里葉變換；w,v為頻率；m,n為坐標。

對傅里葉變換后的二維信息進行零填充處理，即將變換后所得數(shù)據(jù)放置到一個較其兩倍大小的空矩陣中心處，其余部分取零值。然后對此矩陣進行傅里葉逆變換，得零填充重采樣的最終結(jié)果。傅里葉逆變換：

(3)

DFT零填充重采樣操作是對二維序列信號的理想插值，相比于傳統(tǒng)插值方法更加優(yōu)越[17]?；诖吮疚膶ξ墨I[11]方法中的高頻插值過程進行改進，用DFT零填充重采樣插值代替雙三次插值過程。利用零填充重采樣明顯優(yōu)于傳統(tǒng)雙三次插值的優(yōu)勢，獲得超分辨率重建過程各方向上更精確的高頻信息，此過程不會引入噪聲。方法的整體流程圖見圖2。

改進方法的具體步驟如下：

1)Contourlet分解。將原圖利用Contourlet變換獲得一個方向低頻與多個方向的高頻。

2)高頻信息處理。對各個方向高頻信息經(jīng)零填充重采樣處理，得到對應方向上處理后的各高頻分量。

3)Contourlet重構(gòu)。將原圖作為超分辨率重建過程的低頻，與處理后的各高頻信息作為對應方向上重建過程的高頻進行Contourlet逆變換獲得最終的超分辨重建結(jié)果。

圖2　改進的Contourlet域超分辨率重建方法

3實驗與分析

3.1實驗一

為比較傳統(tǒng)方法與改進方法的超分辨率效果，實驗選取Matlab中自帶的Cameraman圖像，將該圖進行二維小波分解獲得低頻圖像如圖3(a)所示，此圖為去除高頻細節(jié)后的模糊圖像，將此圖作為實驗用圖。分別采用直接雙三次插值方法、文獻[13]中的DFT零填充重采樣方法、文獻[18]中小波雙三次插值方法、文獻[11]中Contourlet域雙三次插值方法以及本文改進方法進行超分辨率實驗，Contourlet分解過程中分解層數(shù)選擇為3層，塔式濾波器類型為9-7，方向濾波器類型為pkva8。各方法的實驗結(jié)果如圖3所示。

圖3 各種超分辨率重建方法比較

將各方法超分辨率結(jié)果與原始Cameraman圖像比較。采用峰值信噪比(PSNR)與均方根誤差(RMSE)[19]進行定量分析，PSNR值越大表示重建效果越好，RMSE值越小代表重建效果越好，求?。?/p>

(4)

(5)

表1　各種超分辨率方法重建結(jié)果

3.2實驗二

為驗證改進方法適用于遙感影像的超分辨率重建，進行一組真實遙感影像試驗。試驗選取的是某地區(qū)的航空光學遙感影像，截取其中像素大小為400×400的圖像如圖4(a)所示。同模擬實驗，對原圖進行二維小波分解獲得的低頻子圖作為實驗用圖。圖4(b)、4(c)、4(d)分別為小波雙三次插值、Contourlet域雙三次插值與改進方法的超分辨率重建結(jié)果。各方法PSNR與RMSE的計算結(jié)果如表2所示。

表2　各方法真實遙感影像重建結(jié)果比較

圖4　各種超分辨率重建方法的結(jié)果比較

通過以上兩組實驗分析可得無論從定性分析與定量對比都可以看出，改進方法與傳統(tǒng)方法相比用于圖像的超分辨率重建效果都明顯優(yōu)于各傳統(tǒng)方法。通過實驗得到以下幾點結(jié)論：DFT零填充重采樣方法明顯優(yōu)于傳統(tǒng)雙三次插值方法，適用于圖像超分辨率重建；重建過程中高頻進行雙三次插值會引入多余信息，從而造成重建圖像視覺效果不佳；單一運用DFT零填充重采樣，其超分辨重建過程中未引入能量而圖像尺寸卻增大一倍，平均能量降低使得圖像的亮度變得較暗，不便于觀測；Contourlet變換與小波變換相比，由于方向濾波器的作用使得Contourlet分解能獲得更多方向的高頻子圖，多方向分解得更充分，用于超分辨率重建較二維小波變換效果更好；DFT零填充重采樣代替原有的雙三次插值方法用于Contourlet域超分辨率重建，可獲得較好結(jié)果。

總結(jié)起來，改進方法基于Contourlet變換多分辨率分析的優(yōu)勢，利用DFT零填充重采樣較雙三次插值優(yōu)越的特點，兩者相結(jié)合使得重建過程的高頻信息最大程度的相似于高分辨率圖像，低頻用原圖進行替代遵循Contourlet變換各層低頻信息相似性的特點，最終結(jié)果在定性視覺效果與定量數(shù)據(jù)分析上都能得到更優(yōu)的效果，是一種較為實用的單幀圖像超分辨率重建方法。

4結(jié)束語

本文將DFT零填充重采樣與Contourlet變換相結(jié)合應用于遙感影像的超分辨率重建，將Contourlet域的雙三次插值方法用零填充重采樣來代替以實現(xiàn)高頻信息的理想插值。并通過與基于Contourlet域雙三次插值以及小波雙三次插值等傳統(tǒng)重建方法進行實驗比較與分析，驗證本文改進方法的重建效果優(yōu)于傳統(tǒng)方法，具有較好的應用價值。

參考文獻：

[1]DO M N,VETTERLI M.Contourlets：a directional multiresolution image representation[C]//Image Processing.2002.Proceedings.2002 International Conference on.IEEE,2002,1：357-360.

[2]DO M N,VETTERLI M.The contourlet transform：an efficient directional multiresolution image representation[J].Image Processing,IEEE Transactions on,2005,14(12)：2091-2106.

[3]BURT P,ADELSON E.The Laplacian pyramid as a compact image code[J].Communications,IEEE Transactions on,1983,31(4)：532-540.

[4]BAMBERGER R H,SMITH M J T.A filter bank for the directional decomposition of images：Theory and design[J].Signal Processing,IEEE Transactions on,1992,40(4)：882-893.

[5]賀崢嶸,劉智,王番，等.非下采樣Contourlet域的ICA法SAR圖像相干斑抑制[J].測繪工程,2011,20(3)：28-32.

[6]陳颯,吳一全.基于Contourlet域Hausdorff距離和粒子群的多源遙感影像匹配[J].測繪學報,2010,39(6)：599-604.

[7]吳艷,焦驚眉,楊曉麗,等.基于Contourlet域HMT和D-S證據(jù)融合的SAR圖像分割[J].測繪學報,2011,40(2)：148-155.

[8]孫曉霞,張繼賢,高井祥,等.基于IHS變換和非下采樣Contourlet變換的不同波段多極化SAR圖像融合[J].測繪通報,2011(6):1-4.

[9]ZHANG X,CAO K,JIAO L.A contourlet-based interpolation restoration method for super-resolution of SAR image[C]//Synthetic Aperture Radar,2009.APSAR 2009.2nd Asian-Pacific Conference on.IEEE,2009：1068-1071.

[10] 王強,彭國華,陳曉.在多尺度Contourlet域中的SAR圖像正則化超分辨[J].計算機工程與應用,2010(3):186-188.

[11] 徐彤陽,方勇.基于 Contourlet 變換的雙三次插值算法[J].計算機工程,2010,36(7)：20-22.

[12] SMITH J O.Mathematics of the discrete fourier transform (DFT)[M].Center for Computer Research in Music and Acoustics (CCRMA),Stanford University,2002.

[13] 周武.精密圖像配準方法研究及在精密電子組裝中的應用[D].廣州：華南理工大學,2012.

[14] 邵振峰,朱先強,張斯斯.利用Contourlet變換和譜直方圖進行多源遙感影像紋理特征檢索[J].武漢大學學報(信息科學版),2010,35(6)：723-726.

[15] 張慧,徐暉,林兩魁.基于稀疏重構(gòu)的空間鄰近目標紅外單幀圖像超分辨方法[J].光學學報,2013 33(4)：52-59.

[16] RAGUIN L G,CIOBANU L.Localized NMR Velocity Measurements in Small Channels[J].Magnetic Resonance Microscopy,2008.

[17] 周武,胡躍明.基于相位相關(guān)和重采樣的亞像素圖像配準算法術(shù)[J].華南理工大學學報 (自然科學版),2010,38(10):68-73.

[18] 屈有山,田維堅,李英才,等.基于小波雙三次插值提高光學遙感影像空間分辨率的研究[J].光子學報,2004,33(5)：601-604.

[19] 陶珂,朱建軍.多指標融合的小波去噪最佳分解尺度選擇方法[J].測繪學報,2012,41(5)：749-755.

[20] 康永輝,戴激光,宋偉東.異源高分辨率遙感影像的三維重建[J].測繪科學，2015，40(6)：156-161

[21] 孔令婷,楊英寶,章勇.基于不同分辨率遙感影像的分類方法對比研究[J].測繪與空間地理信息，2015，40(3)：40-43.

[責任編輯：李銘娜]

An improved super-resolution reconstruction method of remote sensing image using Contourlet transformZHOU Jinghong1,ZHOU Cui1,2,ZHU Jianjun1,ZHANG Zhetao1,FAN Donghao1

(1.School of Geosciences and Info-Physics,Central South University,Changsha 410083,China；2.College of Traffic Information,Hunan Communication Polytechnic,Changsha 410132,China)

Abstract：An improved method that uses zero-filled resampling in Fourier domain instead of the bi-cubic interpolation is proposed to solve the problem of high frequency information process using traditional Contourlet transform.This algorithm will not make the resampling process of high frequency to introduce noise energy and also can get the expected interpolation results.The improved method takes the advantage of Contourlet transform multi-resolution analysis and zero-filled resampling,which can improve the traditional method’ insufficient and also enhance the super-resolution reconstruction’ effect of single frame image.Theoretical analysis and experimental verification approve the improved method both in qualitative analysis and quantitative comparison is better than traditional methods.

Key words：super-resolution；image reconstruction；Contourlet transform；Fourier transform；zero-filled resampling；wavelet transform

中圖分類號：TP751

文獻標識碼：A

文章編號：1006-7949(2016)05-0059-05

作者簡介：周靖鴻(1989-)，男，碩士研究生.

基金項目：國家973計劃資助項目(2013CB733303)；國家863資助項目(2012AA121301)；國家自然科學基金資助項目(41274010，40974007)

收稿日期：2015-01-12；修回日期：2015-07-11