楊學峰，程耀瑜，王 高

(中北大學 信息與通信工程學院，太原 030051)

基于小波域壓縮感知的遙感圖像超分辨算法

楊學峰*，程耀瑜，王 高

(中北大學 信息與通信工程學院，太原 030051)

(*通信作者電子郵箱yxf768@nuc.edu.cn)

針對單字典表達復雜多樣的圖像紋理存在一定的局限性的問題，利用壓縮感知和小波理論建立了一種多字典遙感圖像超分辨算法。首先,對訓練圖像在小波域的不同頻帶利用K-奇異值分解(K-SVD)算法建立不同的字典；然后,利用全局限制求取高分辨率圖像的初始解；最后,利用正交匹配追蹤算法(OMP)對初始解在小波域進行多字典稀疏求解。實驗結果表明，相比基于單字典的超分辨重建算法，結果圖像的主觀視覺效果有很大提高，客觀評價指標的峰值信噪比(PSNR)和結構相似度(SSIM)分別提高2.8 dB以上和0.01以上。字典可一次建立重復使用，降低了運算時間。

遙感圖像；超分辨；壓縮感知；字典學習；小波

0 引言

分辨率是遙感圖像的最重要特征之一。由于許多實際條件的限制，獲取的遙感圖像分辨率不能達到實際需求。圖像超分辨重建技術可以對獲取的一幀或多幀低分辨率圖像進行處理以得到更高分辨率的圖像。

圖像超分辨重建大致可分為三類：基于重建的方法、基于插值的方法和基于學習的方法?；谥亟ǖ姆椒╗1-3]一般用于多幀超分辨，多幀低分辨率圖像間的運動估計是該方法的難點，運動估計的誤差會對超分辨效果產生比較大的影響?；诓逯档姆椒╗4-5]可以快速地對單幀圖像進行超分辨，但合適的先驗信息不易加入，放大倍數較大時性能下降?；趯W習的方法近年來獲得了巨大的進展，大致又可分為基于神經網絡[6-8]和基于稀疏表示與壓縮感知的超分辨[9-17]兩大類: 前者利用神經網絡學習高和低分辨率圖像之間的映射關系，該類方法在學習階段計算量較大; 后者利用稀疏性作為先驗信息，為求解欠定問題提供了新的視角和工具。

文獻[9-13]將壓縮感知和稀疏表示理論應用于圖像的超分辨重建，獲得了良好的超分辨效果。文獻[9-12]利用K-奇異值分解(K-Singular Value Decomposition,K-SVD)方法進行字典學習，基于壓縮感知理論進行超分辨重建。由于訓練圖像與超分辨圖像紋理有可能存在較大差別，從而影響超分辨重建的效果。在此基礎上，文獻[13]將訓練圖像限定在超分辨圖像本身，一定程度上解決了上述問題，但需要對每幀超分辨圖像都進行字典學習，即字典是一次性的。

上述都是基于單字典學習。一般認為，利用單一字典表達復雜多樣的紋理有一定的局限性?；诙嘧值鋵W習獲得了發(fā)展[14-16]。文獻[14]按照圖像塊梯度和的大小將圖像塊紋理分成7類，建立7個不同字典，重建階段將圖像塊歸類并在相應的類別中進行稀疏求解，但該分類方法沒有考慮圖像紋理的方向性。文獻[15]對每組圖像塊提取K個紋理，形成K個子字典；重建階段對每個低分辨率圖像塊進行K次稀疏求解，K值較大時計算量很大?？紤]到小波變換可以將圖像分解為低頻頻帶和3個方向的高頻頻帶，并且具有多分辨特性。利用小波變換對圖像紋理進行分類是一種有效的方法。文獻[16]在小波域低頻部分進行稀疏求解，另3個頻率采用雙立方插值，顯然高頻成分的恢復不足。

在上述基礎上，本文利用小波變換將復雜多樣的紋理分解為4個不同的頻帶，對應建立4個字典來描述。基于壓縮感知理論在4個不同頻段分別進行稀疏求解，最后增加全局性限制以消除塊狀效應。

1 理論基礎

1.1 壓縮感知

壓縮感知理論[17-19]認為，在滿足一定條件下，可以通過較少的測量信號y完美重建原始信號x。完美重建所需的測量數目與Φ和Ψ的相干性、x的稀疏性密切相關。

1.2 字典學習

字典學習指冗余字典的構建過程。假定Ib=Dαb，其中Ib為圖像塊矢量，D∈RN×K為冗余字典，αb∈RK為稀疏表示系數，且有‖αb‖0=r?K。K-SVD字典學習方法[20]借鑒K均值聚類的思想，通過求解最優(yōu)化問題

(1)

同時獲得冗余字典D和對應的稀疏表示αb，其中T0為稀疏限制的閾值。

1.3 稀疏編碼

稀疏編碼指稀疏表示系數的求解過程，即求解式(2):

(2)

近年來涌現出多種稀疏編碼算法，如基追蹤(Basis Pursuit, BP)算法、匹配追蹤(Matching Pursuits, MP)算法、正交匹配追蹤(Orthogonal Matching Pursuit, OMP)算法等[21]，但BP算法的計算量較大，而OMP算法是對MP算法的改進，在分解的每一步對所選擇的全部原子進行正交化處理，收斂速度更快[22]。

2 小波域多字典超分辨重建

為克服單字典表達復雜紋理圖像能力的不足，利用多個字典進行表示將會獲得更好的效果。小波變換可以將圖像分解成4個不同的頻帶，分別對應低頻、垂直、水平和傾斜頻帶，并且可以進行多級的分解。本文將利用多級小波變換，在小波域利用壓縮感知理論求解面向遙感圖像的超分辨重建問題。

假設Xb、Yb分別表示對應的第b個高分辨率和低分辨率圖像塊，H表示退化算子(圖像退化過程包含模糊和下采樣)，依據壓縮感知理論，Xb又可以利用字典D進行稀疏表示，則兩者關系可表示為式(3)：

Yb=HXb=HDαb

(3)

式(3)可通過式(4)所示的最優(yōu)化問題求解：

(4)

進一步在小波域通過多字典求解，設WS和WA分別表示小波綜合與分析算子，對應小波域4個頻帶分別訓練獲得4個字典Dk(k=H(表示水平方向),V(表示垂直方向),D(表示對角線方向),A(表示低頻部分分解系數))，αb,k表示第b圖像塊第k頻帶的稀疏表示，則最優(yōu)化問題變?yōu)椋?/p>

(5)

其中：Dw=[DA,DH,DV,DD]，αwb=[αb,A，αb,H，αb,V，αb,D]T。

上述最優(yōu)化問題可通過式(6)求解：

(6)

由于H和WS兩個算子不具有可交換性，為簡化求解，將其分成如下兩步(式(7)和(8))：

(7)

(8)

式(7)的求解需要加入適當的正則化項，這里采用Laplace正則化項。式(8)等價于：

(9)

根據以上分析，本文建立基于小波域多字典學習和壓縮感知的超分辨重建算法，步驟如下：

步驟4 求解X^b=WsDwαwb，式中Dw和αwb的含義同公式(5)，生成高分辨率圖像塊X^b。

步驟5 將各圖像塊X^b拼接后進行逆小波變換形成一幀高分辨率圖像。

3 實驗結果

3.1 對比實驗

為證明算法的有效性，本文進行了下面實驗，實驗所用圖像來自USC-SIP遙感圖像庫。在字典訓練中， 對如圖1所示的不同紋理的6幀尺寸為1 024×1 024的遙感圖像進行二級小波分解，對分解后的低頻部分和3個高頻部分進行分塊，分塊大小為2×2，然后對這4組圖像塊利用K-SVD算法進行字典學習，得到4個小波域字典。每個字典的原子數目本文參照文獻[12]的結果，設為16，則每個字典是大小為4×16的矩陣。

利用訓練好的字典，對其他遙感圖像進行超分辨重建。文獻[13]提出了基于壓縮感知的單字典算法，與本文算法原理接近。文獻[14]給出了一種基于稀疏表示和多字典對的算法。本文算法主要與這兩種算法進行對比分析。對圖2所示的4幀圖像進行實驗，得到4組實驗結果。首先對一幀尺寸為256×256的高分辨率圖像(High Resolution Image, HRI)執(zhí)行支持域為3×3、標準差為2的高斯模糊，接著1/2×1/2倍的下采樣，得到一幀退化的低分辨率圖像(Low Resolution Image, LRI)，對LRI分別執(zhí)行雙線性插值、文獻[13]算法、文獻[14]算法和本文算法進行比較分析。

圖1 6幀訓練圖像Fig. 1 Six frame training images

圖2 4組實驗圖像Fig. 2 Four experimental images

圖3給出了第一組實驗結果,圖4給出了該實驗結果圖像中截取的兩塊小區(qū)域的放大圖像。

圖3 對圖2(a)實驗結果比較Fig. 3 Comparison of experimental results to Fig. 2(a)

從圖4中可以看出，相比LRI的雙線性插值，文獻 [13]和[14]算法的超分辨圖像的分辨率有了很大提高，圖像更加清晰，原來不能分辨的許多紋理已經能夠分辨出來。文獻[14]算法利用多字典對在一定程度上比單字典對表達圖像紋理更有效，性能上比文獻[13]算法有一定提高, 而本文算法利用小波多級分解進行紋理分類，能更有效地表達復雜的紋理，結果圖像的分辨率有了較大提高，一些在圖4(c)和圖4(d)中模糊或者不能分辨的紋理在圖4(e)中能夠明顯分辨出來。

圖4 圖3的局部放大Fig. 4 Partial enlarged detail of Fig.3

為定量比較算法的性能，表1和表2給出了上述4組實驗結果的峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)和結構相似度(Structural SIMilarity, SSIM)指標。相比雙線性插值，文獻[13]算法結果的PSNR指標和SSIM指標分別提高3 dB 和0.04以上； 文獻[14]算法結果又相對于文獻[13]算法結果分別提高0.4 dB和0.003以上； 本文算法比雙線性插值提高6 dB和0.057以上。

表1 實驗結果的PSNR比較 dBTab. 1 PSNR comparison of experimental results dB

表2 實驗結果的SSIM比較Tab. 2 SSIM comparison of experimental results

3.2 計算量分析

從算法原理上，文獻[13]算法與本文算法最為接近，本文主要與該算法進行計算量的比較。根據算法原理，與文獻[13] 算法相比，本文算法的計算主要增加了全局求解、小波正反變換和多字典的建立三部分，如果將字典建立包含在內，計算量有適當的增加; 但本文算法所建字典可重復使用，減少了每次都重建字典的計算, 當字典一旦建立重復使用時，計算量又會大大減小。

為便于計算量的比較，對本文算法包含字典建立和不包含字典建立兩種計算時間進行實驗比較，而文獻[13] 算法的計算時間則必須包含字典建立部分。分別對128×128、256×256和512×512三種尺寸的10組遙感圖像執(zhí)行上述三種算法的計算時間取平均值進行比較，結果如圖5所示?？梢钥闯?，如果考慮字典建立時間，本文算法不到文獻[13]算法的4倍，主要為建立字典的時間。如果不考慮字典建立時間，本文算法大約為文獻[13]算法的計算時間的一半。

圖5 計算時間比較Fig. 5 Comparison of computation time

4 結語

針對遙感圖像的分辨率增強以及單字典表達復雜圖像紋理的局限性問題，本文提出了一種基于壓縮感知理論的小波域多字典超分辨重建算法?；舅枷胧腔趬嚎s感知理論，將單字典改為小波域多字典進行超分辨重建。利用小波變換的頻帶分解和多分辨特性，在小波域進行多字典的訓練和稀疏求解。結果表明，本文算法重建圖像的分辨率相比單字典算法和同類多字典算法有很大提高。主觀評價上超分辨重建圖像紋理更加豐富清晰,客觀評價指標PSNR和SSIM指標都有較大提高。考慮字典建立的時間，與單字典算法相比，本文算法計算量稍大。由于字典可重復使用，字典建立以后進行大批量遙感圖像超分辨處理時，計算時間又大幅減少，為單字典算法的一半左右。對于小波域字典與感知矩陣的相干性分析、利用更有效的圖像表達方式如Contourlet等進行多字典多尺度的超分辨重建、同時考慮相鄰圖像塊間的相關性等是下一步的研究方向。

References)

[1] ZHANG L P, ZHANG H Y, SHEN H F, et al. A super-resolution reconstruction algorithm for surveillance images[J]. Signal Processing, 2010,90(3):848-859.

[2] LI F, JIA X P, DONALD F, et al. Super resolution for remote sensing images based on a universal hidden Markov tree model[J]. IEEE Transactions on Geoscience and Remote Sensing, 2010, 48(3):1270-1278.

[3] YUAN Q Q, ZHANG L P, SHEN H F. Regional spatially adaptive total variation super-resolution with spatial information filtering and clustering[J]. IEEE Transactions on Image Processing, 2013,22(6):2327-2342.

[4] LI X, ORCHARD M T. New edge-directed interpolation[J]. IEEE Transactions on Image Processing, 2001, 10 (10):1521-1527.

[5] GUO K, YANG X, ZHA H, et al. Multiscale semilocal interpolation with antialiasing[J]. IEEE Transactions on Image Processing, 2012,21(2):615-625.

[6] 楊學峰, 王高, 程耀瑜. 基于徑向基函數的多幀圖像超分辨重建算法[J]. 計算機應用, 2014,34(1):142-144.(YANG X F, WANG G, CHENG Y Y. Multi-frame image super-resolution reconstruction algorithm with radial basis function neural network[J]. Journal of Computer Applications, 2014, 34(1):142-144.)

[7] 袁其平, 林海杰, 陳志宏,等. 用支持向量回歸法實現單幀圖像超分辨率重建[J]. 光學精密工程, 2016, 24(9):2302-2309. (YUAN Q P, LIN H J, CHEN Z H, et al. Single image super-resolution reconstruction using support vector regression[J]. Optics and Precision Engineering, 2016, 24(9): 2302-2309.)

[8] CHAO D, CHEN C L, HE K, et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(2):295-307.

[9] SUN Y C, GU G H, SUI X B, et al. Single image super-resolution using compressive sensing with a redundant dictionary[J]. IEEE Photonics Journal，2015, 7(2): 6900411.

[10] YANG S Y, SUN F H, WANG M, et al. Novel super resolution restoration of remote sensing images based on compressive sensing and example patches-aided dictionary learning[C]// Proceedings of the 2011 International Workshop on Multi-Platform/Multi-Sensor Remote Sensing and Mapping. Piscataway, NJ: IEEE,2011: 1-6.

[11] 陳偉業(yè), 孫權森. 結合壓縮感知與非局部信息的圖像超分辨率重建[J]. 計算機應用, 2016, 36(9):2570-2575. (CHEN W Y, SUN Q S. Image super-resolution reconstruction combined with compressed sensing and nonlocal information[J]. Journal of Computer Applications, 2016, 36 (9): 2570-2575.)

[12] NAVEEN K, PRADEEP N, RAHUL G, et al. Understanding compressive sensing and sparse representation-based super-resolution[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2012, 22(5):778-789.

[13] PAN Z X, YU J, HUANG H J, et al. Super-resolution based on compressive sensing and structural self-similarity for remote sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2013, 51(9):4864-4876.

[14] YEGANLI F, NAZZAL M, UNAL M, et al. Image super-resolution via sparse representation over multiple learned dictionaries based on edge sharpness[J]. Signal, Image and Video Processing, 2015, 10(3):535-542.

[15] WU W, YANG X M, LIU K, et al. A new framework for remote sensing image super-resolution: sparse representation-based method by processing dictionaries with multi-type features[J]. Journal of Systems Architecture, 2016, 64:63-75.

[16] SURYANARAYANA G, DHULI R. Image resolution enhancement using wavelet domain transformation and sparse signal representation[C]// Proceedings of the 2nd International Conference on Intelligent Computing, Communication & Convergence. Amsterdam: Elsevier, 2016:311-316.

[17] DONOHO D L. Compressed sensing[J]. IEEE Transactions on Information Theory, 2006, 52(4):1289-1306.

[18] HOLGER R, KARIN S, PIERRE V. Compressed sensing and redundant dictionaries[J]. IEEE Transactions on Information Theory, 2008, 54(5):2210-2219.

[19] EMMANUEL J, MICHAEL B. An introduction to compressive sampling[J]. IEEE Signal Processing Magazine, 2008, 25(2):21-30.

[20] MICHAL A, MICHAEL E, ALFRED B.K-SVD: an algorithm for designing of overcomplete dictionaries for sparse representation[J]. IEEE Transactions on Signal Process, 2006, 54(11):4311-4322.

[21] YANG J Y, PENG Y G, XU W L, et al. Ways to sparse representation: an overview[J]. Science in China Series F: Information Sciences,2009, 52(4):695-703.

[22] PATI Y C, REZAIFAR R, KRISHNAPRAS P S. Orthogonal matching pursuit:recursive function approximation with applications to wavelet decomposition[C]// Proceedings of the 27th Asilomar Conference on Signals, Systems and Computers. Piscataway, NJ: IEEE,1993:40-44.

This work is supported by the National Defense Key Laboratory Fund Program of China (9140C120402120C1208).

YANG Xuefeng, born in 1976, Ph. D., lecturer. His research interests include image restoration and super-resolution reconstruction, pattern recognition, computer vision.

CHENG Yaoyu, born in 1966, Ph. D., professor. His research interests include information acquisition and processing, image processing, measurement and control system.

WANG Gao, born in 1973, Ph. D., professor. His research interests include optoelectronic information processing.

Super-resolution algorithm for remote sensing imagesbased on compressive sensing in wavelet domain

YANG Xuefeng*, CHENG Yaoyu, WANG Gao

(SchoolofInformationandCommunicationEngineering,NorthUniversityofChina,TaiyuanShanxi030051,China)

Focused on the issue that complex image texture can not be fully expressed by single dictionary in image Super-Resolution (SR) reconstruction, a remote sensing image super-resolution algorithm based on compressive sensing and wavelet theory using multiple dictionaries was proposed. Firstly, theK-Singular Value Decomposition (K-SVD) algorithm was used to establish the different dictionaries in the different frequency bands in wavelet domain. Secondly, the initial solution of SR image was obtained by using global limited condition. Finally, the sparse solution of multiple dictionaries in wavelet domain was implemented using Orthogonal Matching Pursuit (OMP) algorithm. The experimental results show that the proposed algorithm presents the better subjective visual effect compared with the single dictionary based algorithm. The Peak Signal-to-Noise Ratio (PSNR) and the Structural SIMilarity (SSIM) index increase more than 2.8 dB and 0.01 separately. The computation time is reduced as the dictionaries can be used once again.

remote sensing image; super-resolution; compressive sensing; dictionary learning; wavelet

2016-09-27;

2016-12-12。 基金項目:國防測試重點實驗室基金資助項目(9140C120402120C1208)。

楊學峰(1976—)，男，河南商丘人，講師，博士，主要研究方向:圖像復原與超分辨重建、模式識別、計算機視覺; 程耀瑜(1966—)，男，山西平遙人，教授，博士，主要研究方向:信息獲取與處理、圖像處理、測控系統(tǒng); 王高(1973—)，男，山西襄汾人，教授，博士，主要研究方向:光電信息處理。

1001-9081(2017)05-1430-04

10.11772/j.issn.1001-9081.2017.05.1430

TP751.1

A