康軍梅，隋立春，2，李 麗，楊振胤，丁明濤，王 君

KANG Junmei1,SUI Lichun1，2,LI Li1,YANG Zhenyin1,DING Mingtao1,WANG Jun1

1.長安大學(xué)，西安 710054

2.地理國情監(jiān)測國家測繪地理信息局工程中心，西安 710054

1.Chang’an University,Xi’an 710054,China

2.National Geographic Condition Monitoring National Mapping Geographic Information Bureau Engineering Center,Xi’an 710054,China

1 引言

遙感技術(shù)作為獲取地物信息的重要手段，在國民經(jīng)濟、對地觀測等領(lǐng)域起著重要的作用。遙感影像的空間分辨率是衡量遙感影像質(zhì)量的關(guān)鍵性指標(biāo)，利用分辨率高的影像可獲得更為豐富和精致的地物細節(jié)，提高遙感影像的應(yīng)用潛力。然而在遙感領(lǐng)域，受成像環(huán)境、成像平臺、傳感器成本等多方面的制約，通常難以獲得滿足實際應(yīng)用的影像。超分辨率（Super Resolution，SR）方法不僅可以提高遙感影像的空間分辨率，而且成本較低，已成為遙感影像分辨率提升領(lǐng)域研究的熱點。SR方法通過一幅或多幅低分辨率（Low Resolution，LR）圖像重建高分辨率（High Resolution，HR）圖像，從而提高圖像的空間分辨率[1]。其關(guān)鍵技術(shù)是獲得額外附加信息來彌補降質(zhì)過程中損失的細節(jié)信息[2]。

SR方法可分為基于插值的、基于重建的和基于學(xué)習(xí)的方法，其中基于學(xué)習(xí)的方法[3-4]通過訓(xùn)練樣本圖像學(xué)習(xí)LR圖像與HR圖像之間的關(guān)系，從輸入LR圖像上重建出需要的HR圖像。此類方法充分運用了圖像的先驗知識，對圖像細節(jié)恢復(fù)較好。目前，由于機器學(xué)習(xí)和壓縮感知研究不斷深入，基于稀疏編碼以及字典學(xué)習(xí)的SR重建已成為學(xué)者們研究的熱點[5]。Glasner等[5]提出利用圖像自身冗余信息來建立樣本庫的SR算法，將測試圖像采用不同尺度進行插值運算組成樣本庫。該算法雖然充分利用圖像的冗余信息，但其自適應(yīng)能力差。Yang等[6-8]提出一種基于稀疏表示的SR算法，其中利用大量的HR圖像構(gòu)成圖像庫組成字典學(xué)習(xí)的訓(xùn)練樣本，通過聯(lián)合字典訓(xùn)練學(xué)習(xí)。該算法重建的圖像具有較好的視覺效果，但是運算復(fù)雜度高，需消耗大量時間進行字典學(xué)習(xí)，降低了SR重建的速度。Zeyde等[9]提出一種單幅圖像超分辨率（Single Image Scale-up Super-Resolution，SSSR）算法，其中HR字典和LR字典單獨進行學(xué)習(xí)，且在LR字典學(xué)習(xí)時對圖像塊進行降維，在HR字典學(xué)習(xí)時利用偽逆式簡化，大幅提高了SR重建的速度。倪浩等[10]提出一種基于雙正則化參數(shù)的在線字典學(xué)習(xí)SR算法，該算法利用在線字典學(xué)習(xí)方法，將兩個不同的正則化參數(shù)運用于字典學(xué)習(xí)階段以及圖像重建階段。該算法使字典訓(xùn)練精度有所提高，且字典學(xué)習(xí)階段稀疏系數(shù)以及圖像重建階段稀疏系數(shù)獨立可調(diào)。本文借鑒文獻[9]和文獻[10]的方法，提出了一種基于雙稀疏度的K-SVD字典學(xué)習(xí)SR重建算法。算法通過K-SVD學(xué)習(xí)LR字典及其稀疏系數(shù)，將得到的稀疏系數(shù)引入至HR字典學(xué)習(xí)中，實現(xiàn)對高分辨率字典的優(yōu)化更新。在LR、HR字典學(xué)習(xí)階段及SR重建階段，均采用正交匹配追蹤（Orthogonal Matching Pursuit，OMP）算法[11]進行稀疏編碼，在字典學(xué)習(xí)和稀疏重建過程中設(shè)置了不同的稀疏度，使兩者的稀疏系數(shù)獨立可調(diào)，提升了SR重建效果。通過真實遙感影像進行實驗，將本文算法與插值算法以及SSSR算法進行了比較，本文算法提高了字典學(xué)習(xí)效率，且重建影像質(zhì)量均優(yōu)于插值算法以及SSSR算法。

2 基于K-SVD字典學(xué)習(xí)的超分辨率重建

基于稀疏表示的SR重建是基于LR圖像局部區(qū)域低頻信號求一組基元來恢復(fù)對應(yīng)HR圖像高頻細節(jié)信息。對于某一圖像信號x∈RN，可由過完備字典D及向量α線性表示[12]為：

其中，D=[d1,d2,…,dM]∈RN×M(M＞N)，α=[α1,α2,…,αM]T∈RM，α為稀疏表示系數(shù)。SR重建關(guān)鍵在于：（1）采用何種字典學(xué)習(xí)方法得到最優(yōu)的過完備字典；（2）如何利用LR、HR字典重建HR圖像?；贙-SVD字典學(xué)習(xí)的SR重建主要包括訓(xùn)練樣本處理、字典學(xué)習(xí)和稀疏重建三部分。

2.1 訓(xùn)練樣本處理

字典學(xué)習(xí)階段的訓(xùn)練樣本包括HR和LR兩種圖像，其中LR圖像由HR圖像降采樣得到。字典學(xué)習(xí)的訓(xùn)練樣本為一系列遙感圖像，訓(xùn)練過程中將圖像劃分為3×3大小的塊，當(dāng)訓(xùn)練圖像越多時，圖像塊數(shù)量越多，由此學(xué)習(xí)的字典相對精確，但消耗時間較長。本文選取合適的圖像塊數(shù)來平衡SR重建的速度與質(zhì)量。為了在SR重建時精確得到HR圖像丟失的高頻信息，對于LR圖像的高頻部分，本文采用與SSSR算法中一樣的方法來獲取LR圖像特征塊，即利用一次梯度和拉普拉斯算子提取，具體提取算子為：

其中，T代表轉(zhuǎn)置。上述4個算子求出4個特征向量后組合成一個向量，將其作為LR圖像塊的表示向量。本文將LR圖像利用雙三次插值得到的圖像與HR圖像作差，將其差值圖像作為HR圖像的高頻信息[13]，然后提取圖像塊組成HR特征向量。

2.2 字典學(xué)習(xí)

目前，字典構(gòu)造主要是基于學(xué)習(xí)的方法，該方法基于機器學(xué)習(xí)思想，通過樣本學(xué)習(xí)構(gòu)造過完備字典對目標(biāo)信號進行稀疏表示[14]。對于一個訓(xùn)練樣本X，過完備字典D以及對應(yīng)的稀疏系數(shù)陣A，字典學(xué)習(xí)實質(zhì)上是下式的優(yōu)化求解：

其中，αi是A的第i列；T為稀疏度。通過已知的X求解D和A一般通過交替優(yōu)化求解，先給定字典，利用不同的優(yōu)化算法求解稀疏系數(shù)，本文利用OMP算法求解?；谇蠼獾南∈柘禂?shù)通過字典學(xué)習(xí)算法對字典原子更新，常用的字典學(xué)習(xí)算法有在線字典學(xué)習(xí)算法[15-16]、最優(yōu)方向算法[17]及K-SVD算法。考慮算法的快速性和有效性，本文采用K-SVD算法學(xué)習(xí)字典。該算法通過奇異值分解更新字典原子，且分解K次。設(shè)樣本圖像塊對P=[X,Y]，其中X=[x1,x2,…,xn]為LR圖像特征塊，Y=[y1,y2,…,yn]為HR圖像塊的高頻部分，n為樣本數(shù)。為加入先驗信息，本文采用耦合字典學(xué)習(xí)方法進行字典學(xué)習(xí)，主要分為兩個階段：第一階段為低分辨率字典學(xué)習(xí)；第二階段為高分辨率字典學(xué)習(xí)。字典學(xué)習(xí)過程中將第一階段學(xué)習(xí)的稀疏系數(shù)作為HR特征塊的稀疏系數(shù)，從而保證高低分辨率字典具有相同的稀疏系數(shù)。具體字典學(xué)習(xí)過程如下：

（1）低分辨率字典Dl的學(xué)習(xí)。數(shù)學(xué)目標(biāo)函數(shù)為：其中，A代表與Dl對應(yīng)的稀疏系數(shù)矩陣。本文采用KSVD算法學(xué)習(xí)Dl，詳細步驟見算法1。

算法1 K-SVD字典學(xué)習(xí)算法

1.初始字典D0∈Rn×m的隨機生成，且歸一化每個原子，迭代次數(shù)k初始為0。

2.迭代：將k遞增1。

3.利用OMP算法求解：

4.更新字典原子，求Dl。定義以下變量：樣本集Pj0，且，過完備字典原子dj0，基于誤差陣選擇Ej0與Pj0相同的列求，然后進行奇異值分解對原子dj0=u1和稀疏系數(shù)進行更新。

6.輸出字典Dl。

（2）高分辨率字典Dh的學(xué)習(xí)。高分辨率字典學(xué)習(xí)數(shù)學(xué)函數(shù)為：

本文在保證重建效果以及重建速度的基礎(chǔ)上，利用偽逆式簡化高分辨率字典學(xué)習(xí)，公式如下：

通過上述過程求出字典Dl和Dh。

2.3 稀疏重建

稀疏重建過程中，為得到較好的重建結(jié)果，需根據(jù)空間鄰域之間的相關(guān)性，通過稀疏先驗求解每個圖像塊局部的稀疏表示，然后通過重建約束求解高分辨率圖像。上述K-SVD字典學(xué)習(xí)分別得到Dl、Dh及A，根據(jù)式（1），在SR重建階段，目標(biāo)高分辨率圖像塊可由稀疏系數(shù)與高分辨率字典相乘得到，但前提是字典學(xué)習(xí)過程以及SR重建過程的稀疏度必須相同。通過實驗驗證，上述兩個過程的稀疏度可以不同，設(shè)置為：

其中，α、T1代表字典學(xué)習(xí)過程的稀疏系數(shù)和稀疏度；β、T2代表重建過程的稀疏系數(shù)和稀疏度。本文通過大量實驗靈活調(diào)整T1、T2的值，應(yīng)用到不同類型的遙感圖像，選取其中的最優(yōu)值。設(shè)置雙稀疏度的優(yōu)點在于，可靈活調(diào)整字典學(xué)習(xí)以及重建兩個過程的稀疏度，來重建出最佳的高分辨率圖像。圖像超分辨率重建詳細步驟如下。

步驟1輸入LR圖像xl以及高低分辨率字典，且對xl用Bicubic方法放大到目標(biāo)HR圖像大小，記為yl。

步驟2利用前述的一階梯度和拉普拉斯特征提取算子對yl進行特征提取，得特征圖像。

步驟3在保持相鄰塊之間有一定的像素重疊的前提下對特征圖像分塊，獲得數(shù)據(jù)集

步驟4利用OMP算法求解稀疏系數(shù)βk，目標(biāo)函數(shù)如下：

步驟5基于上述稀疏系數(shù)及高分辨率字典估計HR圖像塊高頻信息，求得

步驟6求解下式最小化問題得HR圖像yh：

其中，Rk為塊提取算子。式（10）閉合形式的最小二乘解為：

式（11）中，將高頻信息塊放在對應(yīng)位置，且對重疊區(qū)域求平均，最后將低頻信息疊加，獲得最終的HR圖像。

3 實驗結(jié)果及分析

本文通過兩組實驗來驗證本文算法的有效性。實驗采用影像為兩幅TM5影像、兩幅資源三號（ZY3）影像以及USC_SIPI圖像庫中的6幅遙感影像。為進行定量評價，將HR影像作為參考影像，需重建的LR影像由HR圖像通過相應(yīng)的倍數(shù)降采樣獲得。采用定量評價指標(biāo)峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural Similarity，SSIM）來比較本文算法、Bicubic方法以及SSSR方法重建效果。對于測試遙感影像，由于人們對影像的亮度變化更加敏感，實驗中只對影像的亮度部分進行SR重建。實驗過程中的相關(guān)參數(shù)設(shè)置如下：選取100幅HR訓(xùn)練樣本，通過2倍降采樣得對應(yīng)的LR訓(xùn)練樣本，然后隨機提取100000個3×3大小的影像塊對進行字典學(xué)習(xí)，像素重疊為2，字典大小為2048，字典學(xué)習(xí)過程中稀疏度為3，重建過程中稀疏度為16，迭代次數(shù)為40。實驗在CPU為四核2.5 GHz，內(nèi)存為4 GB的計算機上進行，軟件為MATLAB R2012b。

實驗1原始高分辨率影像不進行加噪處理時各算法重建效果對比。圖1和圖2分別為一幅市區(qū)影像和山區(qū)影像2倍重建結(jié)果圖。由圖1、圖2可得，Bicubic重建影像邊緣模糊，視覺效果較差。SSSR算法重建效果與Bicubic相比，恢復(fù)了部分高頻細節(jié)信息，視覺效果有一定提高，但在圖1中重建影像的建筑物和道路邊緣以及圖2中山脊線邊緣均較為模糊。與前兩種方法相比，本文算法重建效果較好，在影像邊緣銳化以及恢復(fù)高頻細節(jié)信息方面都取得了較好的結(jié)果，尤其是道路邊緣、山脊線邊緣恢復(fù)較明顯，整體重建效果較Bicubic和SSSR算法好。

圖1 影像2.1.02不同SR算法重建結(jié)果比較

圖2 影像TM5-1不同SR算法重建結(jié)果比較

圖3 影像2.1.05不同SR算法重建結(jié)果比較

圖4 影像ZY3-2不同SR算法重建結(jié)果比較

表1為Bicubic、SSSR以及本文算法重建的SSIM和PSNR定量評價結(jié)果。綜合表1中的10幅遙感影像求其平均值，對于PSNR指標(biāo)，本文算法比Bicubic算法高1.465，比SSSR算法高0.217；對于SSIM指標(biāo)，本文算法比Bicubic算法改善0.045，比SSSR算法改善0.003。綜合多幅影像的定量評價指標(biāo)值以及主觀評價，本文算法重建效果比Bicubic算法有較大幅度的提升，比SSSR算法有一定的改善，證明了本文算法的有效性。

實驗2原始高分辨率影像進行加噪處理時各算法重建效果以及時間對比。實驗采用均值為0，標(biāo)準(zhǔn)差為10的高斯噪聲。圖3是USC_SIPI圖像庫中2.1.05影像重建效果，圖4是ZY3-2影像重建效果。從圖3、圖4可得，對于加入噪聲的遙感影像，Bicubic算法重建影像存在較多的噪聲且輪廓不清晰，視覺效果較差。SSSR算法重建效果與Bicubic算法相比，噪聲有所減少，但重建影像邊界較模糊。與前兩種算法相比，本文算法重建效果較好，噪聲減少，影像地物紋理豐富，輪廓特征明顯。

表2列出了各種算法重建的平均時間，表3列出了各種算法重建圖像的SSIM和PSNR指標(biāo)。由表2可得，Bicubic重建時間為0.010 s，SSSR算法重建時間為24.652 s，本文算法重建時間為112.486 s，本文算法消耗時間最長。綜合表3中的10幅遙感影像求其平均值，對于PSNR指標(biāo)，本文算法比Bicubic算法高0.598，比SSSR算法高0.101；對于SSIM指標(biāo)，本文算法比Bicubic算法改善0.030，比SSSR算法改善0.005。本文算法雖然消耗最長的時間重建影像，但算法重建效果優(yōu)于Bicubic、SSSR算法。

表1 無噪影像不同SR算法重建結(jié)果

表2 不同SR算法重建時間

表3 加噪影像不同SR算法重建結(jié)果

4 結(jié)束語

本文提出了一種基于雙稀疏度K-SVD字典學(xué)習(xí)的遙感影像超分辨率重建算法。本文算法結(jié)合稀疏表示理論和K-SVD字典學(xué)習(xí)算法來重建影像，通過在字典學(xué)習(xí)及稀疏重建兩個過程設(shè)置了不同的稀疏度，能較好地恢復(fù)圖像高頻信息，重建出最佳的高分辨率圖像。為驗證本文算法的有效性，采用三種不同類型的遙感影像進行實驗驗證。實驗表明，不管是有噪聲還是無噪聲的測試影像，本文算法在視覺效果上均較Bicubic及SSSR算法清晰，紋理結(jié)構(gòu)更加顯著；在定量評價中，本文算法指標(biāo)值較其他兩種算法有一定提高，證明本文算法具有較好的遙感影像空間重建效果。