首照宇，吳廣祥，張 彤

（1.桂林電子科技大學 信息與通信學院，廣西 桂林541004；2.桂林電子科技大學 機電工程學院，廣西 桂林541004）

0 引 言

目前超分辨率 （super－resolution，SR）重建［1］大體可分為3種，基于插值的方法［2，3］，基于重建的方法［4］以及基于學習的方法［5－8］。前兩種方法重建的圖像都存在不同程度上的模糊和鋸齒效應，重建效果都不太理想。第三類基于學習是通過對高、低分辨率訓練樣本庫的學習，建立一種高低分辨率的對應關系，此方法比前面的兩種方法都獲得了更好的重建效果，目前大部分學者的研究都針對于此類算法。

在基于學習的SR 算法中，Yang等［1，6］提出把稀疏示的思想引入SR 算法中，取得了巨大的成功；Zeyde等［7］利用插值法對Yang 等算法進行了改進，字典訓練時采用KSVD 的方法替代了Yang等的FSS （feature－sign search）算法，降低了計算復雜度的同時提高了重建質(zhì)量。雖然Yang等和Zeyde等的算法都取得令人矚目的成功，但都需要建立龐大的圖像塊庫以學習過完備字典，而通常高度冗余的過完備字典在稀疏分解中具有潛在的不穩(wěn)定性，易產(chǎn)生視覺偽影［8］，且缺乏代表圖像局部結(jié)構(gòu)的自適應性。針對該問題，Dong等［9］提出對高質(zhì)量的例子圖像塊進行聚類后，利用PCA 預先訓練學習得到多個簡單的子字典，使得結(jié)構(gòu)相似的圖像塊有相同的稀疏表示，增強了字典的自適應表達能力，并且在重建過程中引入自回歸模型和非局部相似性約束，取得了較好的重建效果，但子字典的預先學習和自回歸模型需要預先從一些訓練數(shù)據(jù)庫學習，特別是在增加了額外的正則項約束時的稀疏求解需要消耗較大的計算量和時間。

本文在基于稀疏表示的SR 基礎上，提出一種SR 算法。該算法采用PCA 訓練子字典用于編碼圖像塊，該子字典不需要預先學習和借助額外的數(shù)據(jù)庫，而是通過重建圖像時簡單的初始化之后，利用輸入LR 圖像和分類的圖像塊進行不斷的迭代處理生成。此外，采用適用性更強的非局部相似和迭代反投影的圖像后處理，替代兩個對額外的兩個正則項約束。實驗結(jié)果表明，該算法在重建圖像主觀視覺效果和客觀評價標準上都優(yōu)于同類的幾種SR 算法。

1 基于稀疏表示的SR 算法

假設觀測的LR 圖像Y 由原圖像X 通過噪聲污染、模糊和下采樣退化得到，其退化處理模型為

式中：S 和H——對圖像下采樣和模糊濾波操作，v——隨機噪聲。由于SR 是一個病態(tài)反問題，需要應用許多正則化約束技術(shù)解決該問題，而近年來基于稀疏表示的模型被證明是解決SR 問題的最有效的模型。該模型X 可由字典Φ的少數(shù)原子線性組合表示，為了從Y 重建得到X，首先Y可通過下式 （2）最小化編碼求得在Φ下的編碼系數(shù)

式中：λ——平衡稀疏度和近似誤差的參數(shù)。然后利用該系數(shù)結(jié)合字典Φ求得重建的HR 圖像＝Φα。

假設圖像塊xi是從X 提取的大小為的圖像塊即xi＝RiX，（i＝1，2，...，N），其中Ri表對圖像有重疊的從左上到右下塊提取的窗函數(shù)。圖像塊xi可以稀疏編碼為xi≈Φαi，圖像X 可由一系列稀疏編碼系數(shù) ｛αi｝表示。考慮圖像塊間允許重疊，可以得到更好的基于圖像塊的冗余表示

式 （3）通過對重疊的HR 圖像塊加權(quán)平均處理得到要估計的HR 圖像，因此式 （2）可以改進為

2 PCA子字典學習

字典的選擇是稀疏表示模型中的關鍵問題，分析型的字典比如DCT、小波、曲線波和輪廓波字典具有快速執(zhí)行的優(yōu)勢，而由FSS算法和K－SVD學習得到的通用過完備字典可以應用于表示任何圖像塊，但是這些字典缺乏代表圖像局部結(jié)構(gòu)的自適應性。此外，這些高度冗余的過完備字典的稀疏分解具有潛在的不穩(wěn)定性，易產(chǎn)生視覺偽影。Dong等提出了ASDS的流程用于稀疏表示，從高質(zhì)量的例子圖像塊中訓練得到緊湊子字典集，例子圖像塊被聚類成許多類，由于每個聚類包含具有相似模式的圖像塊，就可以為每一類訓練一個緊湊的子字典，為了簡便起見，其使用PCA 算法來訓練子字典，對于每一塊需要編碼的圖像塊，第一要務就是找到與該塊最相關的子字典。既然每個給定的塊都可以通過自適應選擇的子字典來表示，整個圖像就可以比一個通用字典情況下得到更準確地重建。但是Dong等需要利用數(shù)據(jù)庫預先學習PCA 子字典，需要消耗較大的計算量和時間。因此，本文依然采用PCA 來學習簡單子字典而不是過完備字典，但是在實際中，本文只需要經(jīng)過Bicubic插值和分類的圖像塊作為訓練樣本從而省略了額外的數(shù)據(jù)庫，以節(jié)約計算時間和計算量，字典也不是提前訓練或者存儲的，而是在簡單的初始化后通過迭代過程持續(xù)地更新得到。

用P ＝ ［p1，p2，...，pm］來表示用于訓練字典的m 個圖像塊的集合，通過高通濾波器獲得 Ph＝［，，...，］。運用K－均值聚類算法將Ph分為K 個聚類 ｛C1，C2，...，CK｝，該算法屬于硬聚類算法，以歐式距離作為相似性評價，以誤差平方和最小為優(yōu)化目標。剩下的問題就是對每一個聚類Ck（k＝1，2，...K ）學習一個子字典，設計字典的目標函數(shù)用公式表示為

其中，Λi是Ci相對字典Φi的表示系數(shù)矩陣，式 （5）是一個Φi和Λi聯(lián)合最優(yōu)化的問題，可以采用過FSS或K－SVD解決，然而考慮到Ck中的元素個數(shù)有限，且元素之間都是相似的，可利用PCA 學習緊湊的字典，PCA 是廣泛用于模式識別和統(tǒng)計信號處理的經(jīng)典信號去相關和降維的技術(shù)。計算Ci的協(xié)方差矩陣Ωi，對該矩陣可以用PCA 獲得正交變換矩陣Ti。根據(jù)PCA 的理論，可以推出下式

其中，Zi被當作表示系數(shù)，如果選擇Ti中的前r 個主要的特征向量來構(gòu)造字典Φr＝ ［t1，t2，...，tr］，則表示系數(shù)為Λr＝Ci。為了讓誤差度－ΦrΛr和系數(shù)的稀疏度得到較好的平衡，可求得個數(shù)r的最優(yōu)解

最后得到的聚類Ci的子字典Φr＝ ［t1，t2，...，tr0］，對所有K 個聚類都采取這樣的流程可以得到K 個子字典的集合Φ＝ ［Φ1，Φ2，...，ΦK］用于稀疏編碼的字典。在得到字典學習的同時，計算每個聚類Ck的質(zhì)心，即該聚類內(nèi)所有圖像塊的平均值。因此，可以得到k 對的｛｝（k＝1，2，...，K），利用它實現(xiàn)對給定的圖像塊自適應稀疏域的選擇。對于給定的圖像塊xi，為了尋找最合適的子字典，將圖像塊的高頻部分和質(zhì)心μk 進行比較，找到距離最小的

這樣選擇的ki，增加了字典的自適應選擇的魯棒性。

3 圖像后處理

為了進一步提高重建圖像的分辨率，文獻 ［11］提出了一種自回歸模型和非局部相似性約束重建圖像，但是自回歸模型需要預先從一些訓練數(shù)據(jù)庫學習，在增加了額外的正則項約束時的稀疏求解都需要消耗較大的計算量和時間。因此，為了簡單起見，本文采用實用性更強的非局部相似性和迭代反投影算法對重建結(jié)果進行后處理。

3.1 非局部相似性

圖像統(tǒng)計表明，自然圖像中包含許多重復的結(jié)構(gòu)和形狀，且這些非局部冗余信息具有增強圖像的稀疏分解穩(wěn)定性和提高重建圖像質(zhì)量的作用。因此，本文引入非局部相似性的后處理來進一步提高重建圖像的質(zhì)量。

對于每一塊圖像塊xi，在整幅圖像X 中搜索它的相似塊，篩選的準則如下式所示

之后通過迭代得到系數(shù)

其中，γ是一個控制權(quán)重的修正常數(shù)，明顯N 是一個對稱矩陣。以t次迭代為例，其迭代步驟如下：

（1）改變圖像大小Xt－1＝Xt－1（：）；

（2）利用非局部冗余來修復圖像：Xt＝Xt－1－N＊Xt－1。

3.2 迭代反投影

由式 （1）可知，重建圖像經(jīng)過降質(zhì)處理后得到的圖像與原始LR 圖像基本相同。本文利用迭代反投影法對重建結(jié)果進行后處理，能夠進一步減少重建誤差，使得重建圖像效果在整體上得到了提高。即解決如下問題

用迭代的方式求出誤差圖像并更新重建結(jié)果

4 基于非局部增強的PCA 子字典學習的超分辨率重建

在式 （4）中參數(shù)λ被預置為常數(shù)，但是對于不同的聚類圖像塊而言是行不通的，根據(jù)文獻 ［9］，相應地對聚類局部圖像塊設置式 （4）的參數(shù)λ

式中：λi——第i個聚類的參數(shù)，可由下式確定

式中：σi——由第i個聚類里的相似圖像塊估計的αi得到的標準差，τ——一個通過經(jīng)驗設置的參數(shù)，eps——一個較小的常數(shù)，以避免λi過大。

算法的主要步驟如下：

（1）初始化：

1）低分辨率圖像Y，通過Bicubic插值得到初步估計X0；

2）通過經(jīng)驗，設置初始的正則化參數(shù)λ。

（2）外循環(huán) （字典學習和參數(shù)估計）：在k＝1，2，...，K 時迭代。

1）通過K 均值聚類和PCA，來更新子字典 ｛Φi｝；

2）在標示參數(shù)flag ＝1時更新參數(shù) ｛λi｝；

3）內(nèi)循環(huán) （圖像重建）：在l＝1，2，...，L 時迭代。①分別計算稀疏系數(shù)＝，其中，X（l）i代表第l次估計的圖像Xl中第i個聚類集合內(nèi)的所有類似塊；②α＝soft（α（l＋1／2）i，λi），其中soft（）是軟閾值函數(shù)；③計算＝，所有重建塊重疊取平均得到完整的圖像。

5 實驗結(jié)果和分析

本實驗不需要圖像庫，只需迭代處理輸入圖像本身，在實驗中超分辨率的目的是將LR 圖像放大為3 倍大小的HR 圖像，并且僅在亮度空間處理。初始化參數(shù)設置為：τ＝0.6，λ預設為0.15。迭代循環(huán)參數(shù)設置為：外循環(huán)次數(shù)K＝4，內(nèi)循環(huán)次數(shù)L＝160。重建圖像后處理參數(shù)：γ ＝0.1，迭代次數(shù)t＝10；迭代反投影的迭代次數(shù)設置為20。

在本文實驗中，將Bicubic插值作為基準算法，比較文獻 ［6，7，9］算法以及本文提出的方法1 和方法2 的優(yōu)劣，其中本文方法1 是指未引入圖像后處理的重建結(jié)果，本文方法2指引入圖像后處理的重建結(jié)果。實驗中使用了人臉、辣椒等常用的測試圖片，重建的結(jié)果如圖1 和圖2所示，其中展示的圖片都是截取了關鍵部分放大對比，同時計算重建圖像相對于原高分辨率圖像的峰值性噪比（PSNR）和結(jié)構(gòu)相似度 （SSIM）［10，11］，結(jié)果見表1和表2。

考察圖1和圖2中的細節(jié)，如face臉頰和鼻子上的雀斑，Pepper的辣椒表皮紋理，從視覺直觀上來看，文獻［6］的方法并沒有恢復一些細致的圖像結(jié)構(gòu)，比如圖片Pepper的辣椒的表皮太平滑，而文獻 ［7］的方法重建的圖像邊緣也出現(xiàn)了明顯的偽像，為此，文獻 ［9］和本文方法均利用了圖像的非局部冗余信息對重建圖像進行約束，因此重建圖像視覺效果上產(chǎn)生了更好、更生動的效果，其中本文方法1更是利用圖像本身的局部自相似性迭代生成編碼效果更好的子字典用于重建，所以圖像的紋理信息更豐富細膩。特別是圖片face的鼻子上的斑點和Pepper的辣椒頂部部分最為明顯。經(jīng)過非局部相似和全局的迭代反投影的后處理后，如本文方法2所示，并進一步提高了圖像的分辨率。

圖1 圖片Pepper的6種方法重建的結(jié)果

表1 各種方法對10幅圖像重建結(jié)果的PSNR／dB

表2 各種方法重建圖像的SSIM

在客觀評價標準上，由表1、表2亦可以看出，本文方法1獲得的重建圖像比插值法、文獻 ［6，7］都有較高PSNR 和SSIM 值，與文獻 ［9］的數(shù)值比較上旗鼓相當，而本文方法2則優(yōu)于方法1和文獻 ［9］方法，因此，6種方法在圖像質(zhì)量的數(shù)學指標上，無論是單一數(shù)值上還是總體平均值上看，本文方法2都是最優(yōu)的。

6 結(jié)束語

本文在基于稀疏表示的SR 算法基礎上進行了改進，提出了一種PCA 子字典學習的圖像SR 重建算法，該算法中利用PCA 在線迭代訓練由K－均值聚類得到的圖像塊生成PCA 子字典來編碼圖像塊，提高了字典的自適應編碼能力；其次在無需任何圖像庫輔助的情況下，僅利用輸入圖像本身的迭代處理即可重建得到較好的圖像；最后引入非局部相似和迭代反投影的后處理重建圖像，進一步提高了重建效果。實驗結(jié)果表明，本文提出的算法從主客觀角度上都優(yōu)于Bicubic和文獻 ［6，7，9］的算法。

［1］Yang J，Wright J，Huang T，et al.Image super－resolution as sparse representation of raw image patches ［C］／／IEEE Conference on Computer Vision and Pattern Recognition.Anchorage，AK：IEEE，2008：1－8.

［2］Anbarjafari G，Demirel H.Image super resolution based on interpolation of wavelet domain high frequency subbands and the spatial domain input image ［J］.ETRI Journal，2010，32（3）：390－394.

［3］Zhou F，Yang W，Liao Q.Interpolation－based image super－resolution using multisurface fitting ［J］.IEEE Transactions on Image Processing，2012，21 （7）：3312－3318.

［4］Rasti P，Demirel H，Anbarjafari G.Image resolution enhancement by using interpolation followed by iterative back projection［C］／／Signal Processing and Communications Applications Conference.IEEE，2013：1－4.

［5］Freeman WT，Jones TR，Pasztor EC.Example－based superresolution ［J］.IEEE Computer Graphics and Applications，2002，22 （2）：56－65.

［6］Yang Jianchao，Wright J，Huang TS，et al.Image superresolution via sparse representation ［J］.IEEE Transactions on Image Processing，2010，19 （11）：2861－2873.

［7］Zeyde R，Elad M，Protter M.On single image scale－up using sparse－representations ［M］／／Curves and Surfaces.Berlin：Springer Berlin Heidelberg，2012：711－730.

［8］Elad，Michael，Irad Yavneh.A plurality of sparse representations is better than the sparsest one alone［J］.IEEE Transactions on Information Theory，2009，55 （10）：4701－4714.

［9］DONG Weisheng，ZHANG Lei，SHI Guangming，et al.Image deblurring and super－resolution by adaptive sparse domain selection and adaptive regularization ［J］.IEEE Transactions on Image Processing，2011，20 （7）：1838－1857.

［10］Zhang L，Zhang D，Mou X.FSIM：A feature similarity index for image quality assessment［J］.IEEE Transactions on Image Processing，2011，20 （8）：2378－2386.

［11］Wang Z，Li Q.Information content weighting for perceptual image quality assessment ［J］.IEEE Transactions on Image Processing，2011，20 （5）：1185－1198.