中北大學(xué) 信息與通信工程學(xué)院，山西 太原 030051

分辨率是遙感圖像的重要特征，高分辨率的遙感圖像對(duì)后續(xù)目標(biāo)識(shí)別的精度有重要影響。受到客觀條件和硬件設(shè)備的限制，實(shí)際獲取的遙感圖像分辨率受到一定的影響。圖像超分辨重建技術(shù)基于信號(hào)處理和模式識(shí)別理論，可以對(duì)低分辨率圖像進(jìn)行處理以獲取更高分辨率的圖像。

圖像超分辨重建方法按原理大致可分為3類：基于重建模型的方法、基于插值的方法和基于學(xué)習(xí)的方法。基于重建模型的方法[1?3]多用于多幀超分辨，多幀低分辨率圖像間的運(yùn)動(dòng)估計(jì)誤差會(huì)對(duì)超分辨效果產(chǎn)生較大影響?；诓逯档姆椒╗4?6]可以快速地對(duì)單幀圖像進(jìn)行超分辨，缺點(diǎn)是不易加入合適的先驗(yàn)信息。為克服以上缺點(diǎn)，機(jī)器學(xué)習(xí)理論廣泛引入到超分辨領(lǐng)域，使基于學(xué)習(xí)的超分辨方法取得了巨大的進(jìn)展。該類方法基于神經(jīng)網(wǎng)絡(luò)或者冗余字典進(jìn)行超分辨重建?；谏窠?jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法需要按照經(jīng)驗(yàn)設(shè)定較多參數(shù)，訓(xùn)練需要較大的運(yùn)算量，并且存在泛化能力問題[7?9]?；谌哂嘧值涞姆椒ㄒ韵∈璞硎竞蛪嚎s感知作為理論基礎(chǔ)，為求解圖像超分辨重建這類典型的欠定問題提供了新的思路和方法，并且取得了較好的超分辨效果。文獻(xiàn)[10?12]通過學(xué)習(xí)大量圖像建立冗余字典，然后稀疏求解得到超分辨重建圖像。由于建立的是單一字典，要求訓(xùn)練圖像與要超分辨的圖像具有一定的紋理相關(guān)性和算法的泛化能力。文獻(xiàn)[13?14]將訓(xùn)練圖像限定在要超分辨的圖像本身，雖然一定程度上克服了上述問題，但字典是一次性的，并且低分辨率圖像的紋理狀況會(huì)對(duì)超分辨效果有一定的影響，比如過度模糊圖像等。

由于圖像紋理的復(fù)雜多樣性，上述利用單一字典表示具有很大局限性?；诙嘧值鋵W(xué)習(xí)將會(huì)改進(jìn)超分辨的性能。文獻(xiàn)[15?16]對(duì)學(xué)習(xí)的字典對(duì)進(jìn)行聚類，分解成多個(gè)子字典，聚類的性能以及低分辨率塊搜索所屬類別的誤差都將影響超分辨的效果。文獻(xiàn)[17]按照?qǐng)D像塊梯度大小將圖像塊分類，每類分別建立對(duì)應(yīng)字典。該方法只根據(jù)圖像塊紋理復(fù)雜性進(jìn)行分類而沒有考慮圖像紋理的方向性。文獻(xiàn)[18]對(duì)每個(gè)圖像塊提取多個(gè)紋理，形成不同的子字典；超分辨重建階段對(duì)每個(gè)低分辨率圖像塊都進(jìn)行多次稀疏求解，提取紋理數(shù)目較多時(shí)計(jì)算量較大。由于小波變換可以將圖像分解為多個(gè)頻帶且具有多分辨特性。但圖像在小波域一般只能分解成4 個(gè)頻帶，具有一定的局限性和改進(jìn)空間[19]。Contourlet 變換是小波變換在二維圖像的推廣，相比小波具有更多良好的性能，在Contourlet 域可以根據(jù)紋理方向建立更多的字典，取得更好的超分辨效果。

本文利用Contourlet 變換將具有復(fù)雜多樣的紋理遙感圖像高頻部分分解為多個(gè)不同的頻帶，對(duì)應(yīng)建立多個(gè)殘余字典來表示。基于壓縮感知理論在不同頻帶分別進(jìn)行稀疏求解，獲得超分辨重建遙感圖像。

1 壓縮感知和Contourlet 變換理論基礎(chǔ)

1.1 壓縮感知

假定信號(hào)x∈RN，y=Φx為對(duì)該信號(hào)的一次測(cè)量，其中Φ∈RM×N為測(cè)量算子。令x=Ψa，其中Ψ∈RN×N為固定基或冗余字典。若‖a‖0=S＜N，則稱信號(hào)x相對(duì)于Ψ 是S稀疏的，并且 Φ與Ψ 具有一定的相干性。壓縮感知理論[17?19]認(rèn)為，在滿足一定條件下，可以通過較少的測(cè)量信號(hào)y完美重建原始信號(hào)x。完美重建所需的測(cè)量數(shù)目與 Φ和Ψ 的相干性、x的稀疏性密切相關(guān)。

1.2 Contourlet 變換

Contourlet 變換是小波變換在二維圖像空間中的擴(kuò)展，保持了小波變換的多尺度和時(shí)頻定位功能，同時(shí)具有捕捉圖像多方向紋理的能力，可以更好地表示圖像的二維幾何結(jié)構(gòu)[20]。Contourlet變換分2 個(gè)階段：子帶分解和方向分解。子帶分解利用Laplacian 金字塔分解成多級(jí)頻帶。方向分解則利用方向?yàn)V波器組(the directional filter bank,DFB)將二維圖像分解成整數(shù)次冪個(gè)鍥形的方向頻帶。這2 個(gè)分解階段是相互獨(dú)立的，因此，每個(gè)級(jí)別可根據(jù)需要分解成2 的任意整數(shù)次冪個(gè)方向頻帶。

2 多尺度壓縮感知超分辨重建

利用單字典表達(dá)復(fù)雜紋理圖像有很大的局限性，利用多字典表達(dá)圖像將會(huì)獲得更好的效果。Contourlet 變換可以將圖像分解成多個(gè)不同紋理方向的頻帶，并且具有多分辨特性。本文將利用多級(jí)Contourlet 變換建立多字典，基于壓縮感知理論求解面向遙感圖像的超分辨重建問題。

2.1 字典學(xué)習(xí)

字典學(xué)習(xí)即冗余字典的構(gòu)建。假設(shè)Xb表示第b個(gè) 高分辨率圖像塊矢量表示，則Xb可以利用冗余字典D稀疏表示，兩者關(guān)系為

Xb=Dαb

式中：D∈RN×K為冗余字典；αb∈RK為稀疏表示系數(shù)，且有‖αb‖0=r＜＜K。

核奇異值分解(kernel singular value decomposition,K-SVD)算法是一種有效的字典學(xué)習(xí)方法[21]。該方法借鑒K均值聚類的思想，通過求解式(1)所示的最優(yōu)化問題同時(shí)獲得冗余字典D∈RN×K和對(duì)應(yīng)的稀疏表示αb∈RK。

式中T0為稀疏限制的閾值。

在Contourlet 域，假定將圖像分解為M個(gè)頻帶，在各個(gè)頻帶分別求解式(1)，如式(2)所示：

式中：Xb,k表示第k頻帶第b塊；Dk表示第k頻帶對(duì)應(yīng)的冗余字典；αb,k表示對(duì)應(yīng)的稀疏表達(dá)，k=1,2,···,M。

考慮到超分辨主要恢復(fù)圖像的高頻成分，只對(duì)高頻成分進(jìn)行分解并學(xué)習(xí)。字典學(xué)習(xí)與超分辨重建如圖1 所示。

圖1 字典學(xué)習(xí)與超分辨重建示意

字典學(xué)習(xí)算法步驟如下：

輸入高分辨率圖像(high resolution image,HRI)IH。

輸出方向頻帶的字典Di(i=1,2,···,n)。

1)按照退化模型將輸入高分辨率圖像IH退化成低分辨率圖像(low resolution image,LRI)IL；

2)對(duì)IL執(zhí)行雙立方插值，得到插值圖像IBI；

3)將IH與IBI相減，得到輸入HRI 的高頻成分IHF；

4)對(duì)IHF進(jìn)行多級(jí)Contourlet 變換；

5)在Contourlet 域各方向頻帶利用K-SVD 算法分別進(jìn)行字典訓(xùn)練，獲得多個(gè)方向頻帶的字典Di(i=1,2,···,n)。

2.2 超分辨重建

利用在Contourlet 域建立的M個(gè)冗余字典，通過稀疏編碼即稀疏系數(shù)的求解可獲得超分辨重建結(jié)果。在Contourlet 域M個(gè)頻帶分別求解如式(3)所示的最優(yōu)化問題：

式中：Yb,k表示輸入低分辨率圖像雙立方插值的高頻分量第k頻帶第b塊，k=1,2,···,M；Dk表示第k頻帶對(duì)應(yīng)的冗余字典；αb,k表示對(duì)應(yīng)的稀疏表達(dá)。

在稀疏求解算法中，正交匹配追蹤(orthogonal matching pursuit, OMP)算法是對(duì)匹配追蹤(matching pursuits,MP)算法的改進(jìn)，在分解的每一步對(duì)所選擇的全部原子進(jìn)行正交化處理，收斂速度更快[22?23]。本文利用OMP 算法進(jìn)行求解。超分辨重建算法步驟如下：

輸入低分辨率圖像IL。

輸出超分辨重建圖像ISR。

1)對(duì)輸入低分辨率圖像IL進(jìn)行雙立方插值得到插值圖像IBI；

2)對(duì)插值圖像IBI進(jìn)行高通濾波，得到高頻分量IHF；

3)對(duì)高頻分量IHF執(zhí)行多級(jí)Contourlet 變換；

4)利用訓(xùn)練的多字典，對(duì)Contourlet 域各方向頻帶進(jìn)行稀疏編碼，求取稀疏解；

5)將步驟4)學(xué)習(xí)所得的各頻帶稀疏解執(zhí)行Contourlet 反變換，得到重建的高頻分量IHC；

6)將IHC與IBI相加，得到超分辨重建圖像ISR。

3 實(shí)驗(yàn)結(jié)果

3.1 冗余字典參數(shù)對(duì)超分辨重建的影響

冗余字典中的原子數(shù)目和原子的尺寸是2 個(gè)重要的參數(shù)，對(duì)超分辨重建的效果有一定的影響。采用實(shí)驗(yàn)的方法確定這2 個(gè)參數(shù)。首先選取10 幀1 024×1 024 的遙感圖像作為訓(xùn)練圖像，建立Contourlet 域冗余字典。單個(gè)字典的原子數(shù)目(字典尺寸)分別設(shè)置為8、16、32、64 和128，而單個(gè)原子的尺寸即圖像塊大小分別設(shè)置為3×3、5×5和7×7，共建立15 組字典。每組包含6 個(gè)子字典。選取另外20 幀256×256 的遙感圖像退化成低分辨率圖像，對(duì)退化圖像分別基于上述15 組字典執(zhí)行本文算法?；诿拷M冗余字典對(duì)算法結(jié)果圖像求PSNR 和SSIM 值，并對(duì)20 組參數(shù)求平均值。PSNR 和SSIM 的平均值如圖2 所示。

圖2 殘余字典參數(shù)對(duì)結(jié)果的影響

不考慮原子尺寸，PSNR 和SSIM 參數(shù)平均值都在字典尺寸為64 處達(dá)到最大值。在128 處反而有輕微的下降，這是由于字典尺寸過度冗余會(huì)導(dǎo)致過擬合以及測(cè)量矩陣和冗余字典的相干性增強(qiáng)，影響超分辨重建效果。因此，冗余字典的合適尺寸選取為64。另一方面，不考慮字典尺寸，PSNR和SSIM 參數(shù)平均值都在原子大小為5×5 處達(dá)到最大值。因此，圖像塊的合適尺寸應(yīng)選取為5×5。

3.2 與其他方法對(duì)比分析

為證明本文算法有效性，基于建立的原子大小為5×5，數(shù)目為64 的冗余字典進(jìn)行超分辨重建實(shí)驗(yàn)，與雙立方插值、文獻(xiàn)[10]的單字典算法和文獻(xiàn)[17]的多字典算法進(jìn)行比較。選取訓(xùn)練圖像之外的3 組高分辨率遙感圖像進(jìn)行實(shí)驗(yàn)。首先對(duì)高分辨率原始遙感圖像進(jìn)行高斯模糊和1/2 倍行列下采樣，得到低分辨率圖像；對(duì)低分辨率圖像分別執(zhí)行相應(yīng)算法，得到超分辨結(jié)果圖像。實(shí)驗(yàn)結(jié)果如圖3 所示，而圖4 給出了圖3 的局部紋理區(qū)域的放大結(jié)果。

圖3 不同超分辨方法實(shí)驗(yàn)結(jié)果比較

圖4 局部放大圖像對(duì)比

可以看出，雙立方插值圖像比較模糊，分辨率較低。文獻(xiàn)[10]單字典算法圖像分辨率有了明顯提高，而文獻(xiàn)[17]多字典算法圖像分辨率又高于單字典算法。本文算法結(jié)果圖像取得了更好的超分辨效果，圖像更加清晰，一些分辨不清的模糊紋理能夠清楚地分辨出來。進(jìn)一步進(jìn)行定量分析，分別計(jì)算了峰值信噪比PSNR 和結(jié)構(gòu)相似度SSIM 2 個(gè)評(píng)估參數(shù)，如表1、表2 所示。相比文獻(xiàn)[10]算法和文獻(xiàn)[17]算法，本文算法的PSNR平均值分別提高6 dB、3.4 dB，SSIM 平均值分別提高0.05、0.02。

表1 實(shí)驗(yàn)結(jié)果的PSNR 比較 dB

表2 實(shí)驗(yàn)結(jié)果的SSIM 比較

4 結(jié)論

1)針對(duì)傳統(tǒng)冗余字典表達(dá)能力有限問題，本文提出了一種基于Contourlet 變換和壓縮感知理論的多殘余字典遙感圖像超分辨重建方法。該方法將多尺度變換與壓縮感知相結(jié)合，并利用殘余字典代替冗余字典，在各高頻子帶建立對(duì)應(yīng)的多個(gè)殘余字典，圓滿解決了遙感圖像復(fù)雜紋理的訓(xùn)練和描述問題。

2)為獲得最好的超分辨效果，通過實(shí)驗(yàn)驗(yàn)證了子殘余字典和原子的最佳尺寸分別為64 和5×5。

3)實(shí)驗(yàn)結(jié)果表明，與其他相關(guān)超分辨方法相比，本文方法取得了良好的超分辨效果，視覺質(zhì)量明顯改善，PSNR 和SSIM 都有明顯提高。進(jìn)一步考慮圖像塊之間的相關(guān)性以及更深入的理論研究是下一步的研究方向。