王　雪，隋立春，2，楊振胤，康軍梅

WANG Xue1,SUI Lichun1,2,YANG Zhenyin3,KANG Junmei1

1.長安大學(xué) 地質(zhì)工程與測(cè)繪學(xué)院，西安 710054

2.地理國情監(jiān)測(cè)國家測(cè)繪地理信息局 工程技術(shù)研究中心，西安 710054

3.中國電建集團(tuán) 西北勘測(cè)設(shè)計(jì)研究院有限公司，西安 710065

1.College of Geology Engineering and Geomatics,Chang’an University,Xi’an 710054,China

2.Engineering Research Center,Geographical Conditions Monitoring National Administration of Surveying,Mapping and Geoinformation,Xi’an 710054,China

3.Northwest Engineering Corporation Limited,POWERCHINA,Xi’an 710065,China

1　引言

近些年來，隨著計(jì)算機(jī)技術(shù)、空間技術(shù)和信息技術(shù)的進(jìn)步，遙感傳感器獲取技術(shù)呈現(xiàn)出多平臺(tái)、多傳感器、多角度的發(fā)展趨勢(shì)，高空間分辨率、高光譜分辨率和高時(shí)相分辨率的遙感影像日趨豐富[1]。遙感影像的空間分辨率越高，其識(shí)別地物的能力越強(qiáng)，因此可廣泛應(yīng)用于城市信息提取、精準(zhǔn)農(nóng)業(yè)以及軍事測(cè)繪等方面。然而，在傳感器獲取影像的過程中，不可避免地受到光學(xué)成像系統(tǒng)、隨機(jī)噪聲和大氣擾動(dòng)等影響。相比于改良硬件設(shè)施提高影像空間分辨率的方法，超分辨率重建技術(shù)成本較低，且耗費(fèi)周期短，提升空間大，因此，該技術(shù)已成為提高空間分辨率的一種切實(shí)有效的方法。超分辨率重建技術(shù)（Super-Resolution Reconstruction，SRR）是通過處理一幅或多幅具有互補(bǔ)信息的低分辨率（Low Resolution，LR）觀測(cè)圖像來重構(gòu)一幅高分辨率（High Resolution，HR）圖像，或者從多幅低分辨率觀測(cè)圖像獲得高分辨率圖像序列的一種技術(shù)[2-3]。目前，根據(jù)超分辨率重建方法的不同，主要分為：基于插值的方法、基于重建的方法和基于學(xué)習(xí)的方法。其中，基于重建的方法通過建立影像的幾何形變、模糊和下采樣模型，將多幅LR影像融合，生成HR影像。文獻(xiàn)[4]等針對(duì)超分辨率重建模型中圖像的保真項(xiàng)與正則化約束項(xiàng)，提出了一種使用分段函數(shù)自適應(yīng)地求解最優(yōu)范數(shù)解，在去噪和SRR中均取得較好的結(jié)果；鮮海瀅等[5]將單獨(dú)處理的圖像序列差異信息融入最大似然估計(jì)的HR影像中，取得較好的結(jié)果。此類基于重建的方法雖獲得較理想的結(jié)果，但針對(duì)遙感影像其同時(shí)刻、同地域的影像信息有限，不具有普適性，且當(dāng)放大倍數(shù)較大時(shí)，LR影像提供的高頻信息不足，故兩種方法均無法滿足實(shí)際應(yīng)用需求。為了充分利用HR影像本身的先驗(yàn)知識(shí)，一些學(xué)者提出了基于學(xué)習(xí)的超分辨率重建方法。其中，F(xiàn)reeman和Kim等[6-7]提出了利用機(jī)器學(xué)習(xí)的基于樣本的超分辨率重建方法。近年來，隨著壓縮感知理論與稀疏表示理論的成熟，其理論在超分辨率重建的應(yīng)用逐漸廣泛。Yang等[8-9]首次提出了基于稀疏編碼的圖像超分辨率重建方法（Super-resolution via Sparse Representation，ScSR），該方法通過聯(lián)合學(xué)習(xí)高、低分辨率字典，對(duì)預(yù)估計(jì)每個(gè)LR輸入圖像塊的高頻信息，在字典學(xué)習(xí)階段采用L1范數(shù)凸優(yōu)化算法求解稀疏系數(shù)，采用Lee等[10]提出的拉格朗日對(duì)偶方法更新字典基。此方法在自然圖像的超分辨率重建和人臉識(shí)別方面均取得了較好的效果，對(duì)于模糊噪聲具有較強(qiáng)的魯棒性，自適應(yīng)能力強(qiáng)。潘宗序等[11]針對(duì)全局字典無法稀疏表示所有圖像塊的問題，提出了一種自適應(yīng)多字典學(xué)習(xí)的單幅圖像超分辨率重建算法。

在遙感影像的重建過程中，HR影像作為待估計(jì)影像是未知的，因此，若采用Yang[9]提出的聯(lián)合字典超分辨率重建方法，將地物特征復(fù)雜、信息量大的遙感影像作為訓(xùn)練樣本學(xué)習(xí)字典，需耗費(fèi)大量時(shí)間，且由此得到的字典因所提供的高頻信息不充分，無法對(duì)LR輸入影像進(jìn)行較好的超分辨率重建。針對(duì)上述問題，本文將用于自然影像超分辨率重建的基于稀疏編碼方法引入到遙感影像的重建中，并進(jìn)行了改進(jìn)，提出了一種基于耦合字典對(duì)學(xué)習(xí)的遙感影像超分辨率重建方法。主要技術(shù)包括：（1）在數(shù)據(jù)預(yù)處理階段，實(shí)現(xiàn)了訓(xùn)練樣本數(shù)據(jù)的自動(dòng)選取，同時(shí)保證樣本庫豐富的地物類型，可以提高數(shù)據(jù)預(yù)處理效率；（2）在字典學(xué)習(xí)階段，將高、低分辨率兩個(gè)字典單獨(dú)進(jìn)行學(xué)習(xí)，首先對(duì)LR影像塊進(jìn)行字典學(xué)習(xí)，得到LR學(xué)習(xí)字典及稀疏系數(shù)，將其引入至HR字典學(xué)習(xí)中，對(duì)高分辨率字典進(jìn)行優(yōu)化更新；（3）在低分辨率字典學(xué)習(xí)過程中，為提高字典學(xué)習(xí)的效率，采用經(jīng)典的最優(yōu)方向（Method of Optimal Directions，MOD）字典學(xué)習(xí)方法。實(shí)驗(yàn)表明，本文提出的方法字典學(xué)習(xí)效率得到明顯提高，且重建質(zhì)量均好于其他兩種方法。

2　字典學(xué)習(xí)

2.1　單字典學(xué)習(xí)

由于圖像本身存在冗余和自關(guān)聯(lián)性，通常情況下，圖像可以被特定的字典稀疏表示，即對(duì)于圖像信號(hào)x∈RN，可以由字典 D=[d1,d2,…,dM]∈RN×M(M＞N)以及向量 α=[α1,α2,…,αM]T∈RM線性表示為：

其中，α為稀疏表示系數(shù)。

過完備字典的構(gòu)造方法包括分析型和學(xué)習(xí)型兩種。基于學(xué)習(xí)的字典主要采用機(jī)器學(xué)習(xí)的思想，通過對(duì)樣本的學(xué)習(xí)，構(gòu)造出學(xué)習(xí)字典使其能更加準(zhǔn)確地對(duì)目標(biāo)信號(hào)進(jìn)行稀疏表示[12]。本文采用基于學(xué)習(xí)的方法構(gòu)造過完備字典。式（1）可稀疏表示為：

其中，D 為學(xué)習(xí)字典，A=[α1,α2,…,αk]為稀疏系數(shù)陣，X為訓(xùn)練樣本集，T為稀疏度。

由式（2）可知，字典學(xué)習(xí)過程即為已知X求解D和A的過程。該過程通常采用交替優(yōu)化的方法分兩步求解：第一，給定一個(gè)初始的冗余字典，通過優(yōu)化算法求解稀疏系數(shù)，常用的優(yōu)化算法有匹配追蹤算法、基追蹤算法等。本文采用收斂性較好的正交匹配追蹤算法（Orthogonal Matching Pursuit，OMP）[13]。第二，采用字典更新算法對(duì)字典原子進(jìn)行更新。常用的字典更新算法包括最優(yōu)方向法（Method of Optimal Directions，MOD）[14]、主分量分析[15]、快速奇異值分解算法[16]及在線字典學(xué)習(xí)算法[17-18]等。考慮到算法的簡潔性與有效性，本文采用MOD算法，該算法是通過求解樣本圖像塊關(guān)于字典的表示和本身的誤差最小獲得字典，能夠經(jīng)過少量迭代而達(dá)到收斂，具有高效性。算法的具體過程如下所示。

2.2　改進(jìn)的字典學(xué)習(xí)模型

基于學(xué)習(xí)的超分辨率重建方法是通過學(xué)習(xí)得到高低分辨率圖像之間的關(guān)系，并用其估計(jì)得到高分辨率圖像。為此，需分別通過高低分辨率特征塊學(xué)習(xí)高低分辨率字典，并建立兩種字典的關(guān)系。針對(duì)自然圖像，Yang[9]提出了聯(lián)合字典對(duì)的學(xué)習(xí)方法。給定訓(xùn)練樣本圖像塊對(duì) P={Xh,Yl}，其中，Xh={x1,x2,…,xn}表示HR影像塊構(gòu)成的訓(xùn)練樣本，Yl={y1,y2,…,yn}表示由Xh下采樣后得到的LR影像訓(xùn)練樣本，其中，每個(gè)樣本對(duì)(xi,yi)均由高低分辨率遙感影像特征塊的列向量表示。為保證學(xué)習(xí)過程中高低分辨率字典具有相同的稀疏表示，定義其學(xué)習(xí)模型為：

其中，Dh和Dl分別表示高、低分辨率字典，它們具有相同的稀疏矩陣A，λ為正則化參數(shù)，用于平衡數(shù)據(jù)的保真性和解的稀疏性。將式（3）、（4）兩式合并，且保持兩者具有相同的稀疏系數(shù)，則有：

其中，N和M為HR圖像塊和LR圖像特征塊的向量維數(shù)。

然而，在上述聯(lián)合字典學(xué)習(xí)過程中，先賦予稀疏系數(shù)初始值，然后經(jīng)優(yōu)化學(xué)習(xí)得到最終的字典及稀疏系數(shù)，但缺少先驗(yàn)信息的加入。針對(duì)此問題，本文采用MOD耦合字典的學(xué)習(xí)方法，先學(xué)習(xí)低分辨率字典得到稀疏系數(shù)，再將其作為先驗(yàn)信息引入至高分辨率字典學(xué)習(xí)過程中，提高了學(xué)習(xí)字典的質(zhì)量。具體字典學(xué)習(xí)過程如下。

（1）MOD算法學(xué)習(xí)低分辨率字典Dl，目標(biāo)函數(shù)為：

其中，A為低分辨率特征塊關(guān)于Dl的稀疏系數(shù)陣。

（2）學(xué)習(xí)高分辨率字典Dh。將過程（1）獲得的A作為高分辨率特征塊的稀疏系數(shù)，從而保證高、低分辨率字典對(duì)具有相同的稀疏系數(shù)，則高分辨率字典學(xué)習(xí)的數(shù)學(xué)函數(shù)定義為：

然而，式（7）是一個(gè)局部模型，未考慮到高分辨率影像塊之間的重疊。因此，在考慮整個(gè)高分辨率影像塊的逼近誤差時(shí)，還需考慮相鄰塊之間的匹配問題，對(duì)上式進(jìn)行修改以獲得更好的高分辨率字典[3]。最終得到如下模型：

其中，F(xiàn)k為提取算子，X?h為估計(jì)的高分辨率影像。

3　稀疏重建

基于稀疏表示的重建過程具體可分為三步：第一，對(duì)輸入的LR遙感影像進(jìn)行預(yù)處理；第二，由高低分辨率字典對(duì)每個(gè)特征塊估計(jì)出初始的高分辨率影像塊；第三，利用梯度下降算法優(yōu)化初始高分辨率影像，得到最終的超分辨率重建影像。本文利用式（6）及式（8）的字典學(xué)習(xí)過程，分別得到高低分辨率字典Dh、Dl，重建詳細(xì)步驟如下。

4　實(shí)驗(yàn)及結(jié)果分析

本文分別將高分一號(hào)（GF-1）PMS數(shù)據(jù)與TM5數(shù)據(jù)作為原始數(shù)據(jù)，實(shí)驗(yàn)過程中，在保證訓(xùn)練樣本集地物類型豐富的基礎(chǔ)上，采用IDL編程實(shí)現(xiàn)訓(xùn)練樣本的自動(dòng)截取，其選取的訓(xùn)練樣本數(shù)量為100幅，通過本文提出的方法進(jìn)行樣本訓(xùn)練，得到學(xué)習(xí)字典。為了定量評(píng)價(jià)驗(yàn)證本文算法的有效性，待重建的低分辨率影像由高分辨率影像降采樣所得，其降采樣因子為3。同時(shí)以高分辨率影像作為參考影像，采用峰值信噪比PSNR、結(jié)構(gòu)相似性指標(biāo)SSIM及ERGAS（Erreur Relative Globale Adimensionnell de Synthèse）[19]作為定量評(píng)價(jià)指標(biāo)，將本文方法的重建結(jié)果與插值方法及Yang提出的ScSR方法進(jìn)行分析比較，以驗(yàn)證算法的有效性。其中，ERGAS反映影像的相對(duì)變化及絕對(duì)變化，與影像質(zhì)量成反比，其理論最優(yōu)值為0。

首先，將100幅高分辨率訓(xùn)練樣本圖像塊作3倍降采樣，得到與高分辨率影像對(duì)應(yīng)的100幅低分辨率影像塊，構(gòu)成高、低分辨率影像庫，再隨機(jī)提取100 000個(gè)5×5像素的影像塊對(duì)進(jìn)行字典學(xué)習(xí)，其余參數(shù)設(shè)置與ScSR中的一致：字典大小2 048，像素重疊為4，重建過程中最大迭代次數(shù)為40。MOD字典學(xué)習(xí)過程中，迭代次數(shù)設(shè)置為40次。算法均只對(duì)亮度通道Y進(jìn)行基于MOD耦合字典學(xué)習(xí)模型的超分辨率重建（以下簡稱MODSR算法），而對(duì)色度通道（Cb，Cr）僅作雙三次插值處理。

實(shí)驗(yàn)中分別隨機(jī)選取4幅不同位置、不同像素大小的GF-1影像和TM5影像作為測(cè)試數(shù)據(jù)。在字典學(xué)習(xí)過程中，本文方法較Yang的ScSR方法用時(shí)減少63 108 s，具有更快的字典學(xué)習(xí)速度，證明了本文算法的高效性。圖1、2分別演示了GF-1數(shù)據(jù)在城市區(qū)域和鄉(xiāng)村區(qū)域的重建結(jié)果圖，圖3給出了TM5數(shù)據(jù)在山區(qū)的重建結(jié)果圖。由圖1可看出，雙三次插值圖像中邊緣模糊，視覺顯示質(zhì)量較差。ScSR重建結(jié)果與雙三次插值方法相比，恢復(fù)了部分細(xì)節(jié)信息，具有較明顯的視覺提高，但在建筑物的邊緣，重建圖像仍然較為模糊。相比之下，本文提出的MODSR方法恢復(fù)了更多的細(xì)節(jié)信息，在建筑物邊緣上尤為明顯，整體視覺質(zhì)量高于雙三次插值方法和ScSR方法。圖2為鄉(xiāng)村區(qū)域的重建結(jié)果圖，由于鄉(xiāng)村區(qū)域地物結(jié)構(gòu)類型較簡單，在視覺方面3種方法均有較好的重建結(jié)果，在農(nóng)田的紋理方面，本文方法與ScSR方法優(yōu)于雙三次插值方法。圖3為TM5山區(qū)影像的重建結(jié)果，由于其分辨率較低，3倍重建的效果均低于GF-1影像，但相比于其他兩種方法，本文方法在視覺紋理上效果較好，例如左上方的山脊線。

對(duì)本文提出的重建方法進(jìn)行了定量評(píng)價(jià)，表1列出了測(cè)試影像采用3種算法重建結(jié)果的PSNR、SSIM及ERGAS指標(biāo)值，由表1可知，綜合4幅GF-1影像求平均值，在PSNR值上，本文算法比雙三次插值方法提高1.30，與Yang提出的ScSR方法相比提高0.92；在SSIM指標(biāo)上，本文算法比雙三次插值方法改善0.021，而與ScSR方法相比改善0.014 7；在ERGAS指標(biāo)上，本文算法相比于雙三次插值方法和ScSR方法均有明顯改善。綜合多幅圖像的PSNR、SSIM和ERGAS的評(píng)價(jià)值，以及主觀視覺評(píng)價(jià)發(fā)現(xiàn)，本文提出的方法均優(yōu)于其他兩種方法，證明了該方法的有效性。

圖1　GF-1-01不同算法重建效果比較

圖2　GF-1-04不同SR算法重建效果比較

圖3　TM5-04不同SR算法重建效果比較

表1　不同算法重建結(jié)果

5　結(jié)束語

本文對(duì)用于自然影像的基于聯(lián)合字典學(xué)習(xí)的超分辨率重建算法進(jìn)行了改進(jìn)和擴(kuò)展，提出了一種基于耦合字典對(duì)學(xué)習(xí)的遙感影像超分辨率重建方法。在字典學(xué)習(xí)階段，將高、低分辨率字典單獨(dú)進(jìn)行學(xué)習(xí)，首先采用速度更快的MOD字典算法進(jìn)行低分辨率字典學(xué)習(xí)和訓(xùn)練，保證了訓(xùn)練樣本在高、低分辨率字典中具有相同的稀疏表示；將LR影像樣本塊學(xué)習(xí)得到的稀疏系數(shù)作為先驗(yàn)信息引入至高分辨率字典學(xué)習(xí)中，對(duì)高分辨率字典進(jìn)行優(yōu)化更新。此外，針對(duì)遙感影像信息量大的問題，采用IDL語言編程，實(shí)現(xiàn)訓(xùn)練樣本圖像塊自動(dòng)選取，提高了數(shù)據(jù)預(yù)處理的效率。為了驗(yàn)證本文算法和模型的有效性，采用了兩種不同分辨率的遙感影像進(jìn)行了驗(yàn)證實(shí)驗(yàn)：一種是空間分辨率為2 m的高分一號(hào)影像；一種是空間分辨率為30 m的TM5影像。與傳統(tǒng)的雙三次插值方法及ScSR方法對(duì)比實(shí)驗(yàn)表明，本文算法在視覺效果上，其重建結(jié)果更加清晰，幾何紋理結(jié)構(gòu)更加明顯；在定量評(píng)價(jià)中，PSNR、SSIM及ERGAS指標(biāo)值均有改善，證明了本文算法有更高的空間分辨率提升能力。同時(shí)，本文算法在字典學(xué)習(xí)過程中所需時(shí)間遠(yuǎn)少于ScSR算法，證明了該算法的高效性。

參考文獻(xiàn)：

[1]李德仁.論21世紀(jì)遙感與GIS的發(fā)展[J].武漢大學(xué)學(xué)報(bào)：信息科學(xué)版，2003，28（2）：3-7.

[2]鐘九生.基于稀疏表示的光學(xué)遙感影像超分辨率重建算法研究[D].南京：南京師范大學(xué)，2013.

[3]沈煥鋒，李平湘，張良培，等.圖像超分辨率重建技術(shù)與方法綜述[J].光學(xué)技術(shù)，2009，35（2）：194-199.

[4]Shen H，Peng L，Yue L，et al.Adaptive norm selection for regularized image restoration and super-resolution[J].IEEE Transactions on Cybernetics，2016，46（6）：1388-1399.

[5]鮮海瀅，傅志中，萬群，等.基于非冗余信息的超分辨率算法[J].電波科學(xué)學(xué)報(bào)，2012（2）：10-15.

[6]Freeman W T，Jones T R，Pasztor E C.Example-based super-resolution[J].Computer Graphics and Applications，2002，22（2）：56-65.

[7]Kim K I，Kwon Y.Single-image super-resolution using sparse regression and natural image prior[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（6）：1127-1133.

[8]Yang J，Wright J，Huang T，et al.Imagesuper-resolution as sparse representation of raw image patches[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington DC，USA：IEEE Computer Society，2008：1-8.

[9]Yang J，Wright J，Huang T S，et al.Image super-resolution via sparse representation[J].IEEE Transactions on Image Processing，2010，19（11）：2861-2873.

[10]Lee H，Battle A，Raina R，et al.Efficient sparse coding algorithms[C]//Advances in Neural Information Processing Systems，2006：801-808.

[11]潘宗序，禹晶，肖創(chuàng)柏，等.基于自適應(yīng)多字典學(xué)習(xí)的單幅圖像超分辨率算法[J].電子學(xué)報(bào)，2015，43（2）：209-216.

[12]李珅.基于稀疏表示的圖像去噪和超分辨率重建研究[D].西安：中科院研究生院（西安光學(xué)精密機(jī)械研究所），2014.

[13]Tropp J A，Gilbert A C.Signal recovery from random measurements via orthogonal matching pursuit[J].IEEE Transactions on Information Theory，2007，53（12）：4655-4666.

[14]Engan K，Aase S O，Hakon Husoy J.Method of optimal directions for frame design[C]//Proceedings of IEEE International Conference on Acoustics，Speech，and Signal Processing，1999：2443-2446.

[15]Vidal R，Ma Y，Sastry S.Generalized Principal Component Analysis（GPCA）[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（12）：1945-1959.

[16]Aharon M，Elad M，Bruckstein A M.The K-SVD：An algorithm for designing of over-complete dictionaries for sparse representation[J].IEEE Transactions on Signal Processing，2006，54（11）：4311-4322.

[17]Mairal J，Bach F，Ponce J，et al.Online learning for matrix factorization and sparse coding[J].The Journal of Machine Learning Research，2010，11：19-60.

[18]Mairal J，Bach F，Ponce J.Task-driven dictionary learning[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（4）：791-804.

[19]江鋮.光學(xué)遙感影像空間分辨率提升的正則化方法研究[D].武漢：武漢大學(xué)，2015.