基于稀疏表示的超分辨率圖像重建

沈麗,韓彥芳

(上海理工大學 光電信息與計算機工程學院,上海200093)

摘要針對單幅低分辨率圖像的超分辨率重建,提出一種基于稀疏表示的改進算法。通過聯(lián)合輸入低分辨率圖像塊和對應生成的高分辨率圖像塊,求解其在高低分辨率字典對上的稀疏表示系數(shù),再將系數(shù)與高分辨率字典結(jié)合,修正輸出的高分辨率圖像塊。仿真實驗表明,文中提出的算法有效提升了重建圖像的質(zhì)量。

關(guān)鍵詞稀疏表示;超分辨率;圖像重建;聯(lián)合高低分辨圖像塊

收稿日期:2015-03-10

作者簡介:沈麗(1989—),女,碩士研究生。研究方向:超分辨率圖像重建。E-mali:shenli_v@sina.com。韓彥芳(1974—),女,博士。研究方向:圖像處理,模式識別。

doi:10.16180/j.cnki.issn1007-7820.2015.09.037

中圖分類號TP391.41

Image Super-resolution Reconstruction Based on Sparse Representation

SHEN Li,HAN Yanfang

(School of Optical-Electrical and Computer Engineering,University of Shanghai for

Science and Technology,Shanghai 200093,China)

AbstractA super-resolution reconstruction approach to single low-resolution image based on sparse representation is presented.We solve the sparse linear combination of the dictionary through jointing input low-resolution image and generated high-resolution image patches,and then use the coefficients to adjust the output high-resolution image patches.The results of simulation experiments show that the proposed algorithm is effective to improve the quality of the reconstruction of high-resolution image.

Keywordssparse representation;super-resolution;image reconstruction;jointing high and low resolution image patches

超分辨率圖像重建(Super-Resolution Reconstruction,SRR)是指通過融合多幅低分辨率(Low Resolution,LR)圖像信息,重建出高分辨率(High Resolution,HR)圖像的技術(shù)[1]。其克服了現(xiàn)有成像系統(tǒng)分辨率有限的問題,通過軟件處理的方法,提高圖像分辨率。目前,超分辨率圖像重建技術(shù)在衛(wèi)星遙感圖像、醫(yī)學成像等領(lǐng)域得到了廣泛應用。

上世紀60年代,Harris等首次提出超分辨率重建技術(shù)的概念,由于當時諸多因素限制,該算法未得到良好的發(fā)展。80年代,Tsai和Huang[2]采用超分辨率技術(shù)恢復出了單幅HR圖像。經(jīng)過幾十年的發(fā)展,超分辨率重建技術(shù)目前大致可分為3類:基于插值的方法,如雙線性插值(Bilinear)、雙三次插值(Bicubic)等;基于重構(gòu)的方法,如迭代反投影法,最大后驗概率法;基于學習的方法。近年,Yang[3]將壓縮感知的思想引入到超分辨率圖像重建中,利用HR和LR圖像在其對應的過完備字典下具有相同稀疏線性表示的特點,來重建高分辨率圖像。Yang的算法有效提高了重建HR圖像的質(zhì)量,但在重建過程中,Yang并未聯(lián)合約束HR和LR圖像塊,來求解稀疏系數(shù),針對這一問題,本文提出了算法改進,通過聯(lián)合求解輸入的LR圖像塊和重建的HR圖像在字典上的稀疏系數(shù),將稀疏系數(shù)和HR字典結(jié)合,得到HR圖像塊作為最終輸出的HR圖像塊。本文考慮單幅圖像的超分辨率重建,和Yang在文獻[4]中的方法相比,本文方法有效提升了重建HR圖像的主客觀質(zhì)量。

1稀疏表示模型

假設LR圖像Xl是由HR圖像Yh經(jīng)過模糊和降采樣得到的[5],二者關(guān)系可表示為

Xl=SHYh+n

(1)

式(1)中,S表示降采樣處理,H表示模糊處理,n是均值為零,標準差為σ的高斯白噪聲。

(2)

假設HR圖像Yh的圖像塊y,可由HR過完備字典Dh∈Rn×k(n?k)的列向量線性稀疏表示,即

(3)

(4)

式(4)可表示為

(5)

(6)

在實際操作中,完全稀疏難以得到,所以對式(5)需要近似處理,將其轉(zhuǎn)化為拉格朗日形式[6-7]

(7)

式(7)中,F是特征提取操作,在訓練低分辨率字典時,訓練樣本是LR圖像的特征提取。

由以上描述可知,HR和LR圖像塊的稀疏系數(shù)是根據(jù)過完備字典來求解的,所以聯(lián)合字典訓練是基于稀疏表示的超分辨率圖像重建的重要內(nèi)容。

2聯(lián)合字典訓練

本文采用Yang在文獻[4]中提出的HR和LR字典聯(lián)合生成的思路,對HR和LR樣本同時訓練,同時生成HR和LR字典。

(8)

其中,A表示稀疏矩陣,αi∈A。

LR字典訓練過程的具體形式為

(9)

根據(jù)文獻[4]的聯(lián)合訓練思想,HR和LR圖像塊具有共同的稀疏表示,所以將式(8)和式(9)結(jié)合為

(10)

式(10)等價為

(11)

式(11)中

(12)

其中,N和M分別為樣本中圖像塊向量形式的維度。

通過上述方法,聯(lián)合輸入的HR和LR圖像樣本集,采用稀疏編碼的方法[8]訓練字典,最終輸出高低分辨率字典Dh和Dl。

3重建算法改進

Yang在文獻[4]中認為,HR和LR圖像塊在其對應的過完備字典下具有相同稀疏線性表示,求解出LR圖像塊在字典Dl上的稀疏系數(shù),結(jié)合字典Dh,便可重建出HR圖像塊。其基本思路如下:

(13)

式(13)的拉格朗日形式為

(14)

yh=Dhα

(15)

(16)

式(16)改寫為

(17)

本文算法流程:

步驟3根據(jù)式(3)將稀疏系數(shù)α和HR字典Dh結(jié)合,得到HR圖像塊yh。

4實驗結(jié)果分析

通過對不同圖像實施本文算法進行仿真驗證,并分別與雙三次插值(Bicubic)和Yang在文獻[4]中算法的重建結(jié)果進行比較。采用峰值信噪比(PeakSignal-to-NoiseRatio,PSNR)和結(jié)構(gòu)相似度(StructuralSimilarity,SSIM)[10]評價重建的高分辨圖像質(zhì)量

式中,r為原HR圖像,s為重建的HR圖像

式中,ur為圖像r的均值,us為圖像s的均值;σr為圖像的方差,σs為圖像s的方差,σrs為圖像r和s的協(xié)方差;c1和c2為常數(shù)。SSIM值越大(最大為1),則重建圖像與原圖像越接近。實驗仿真計算在Matlab2012b環(huán)境下進行。

實驗使用了Girl、Flower等圖像,考察對圖像進行2倍放大的效果,式(7)中的λ=0.2,本文所使用的字典訓練庫和文獻[4]相同,字典尺寸為1 024。重建結(jié)果如圖1～圖4所示,同時計算重建圖像的PSNR和SSIM,結(jié)果如表1所示。

圖1　各種算法重建結(jié)果比較(Girl圖)

圖2　各種算法重建結(jié)果比較(Flower圖)

圖3　各種算法重建結(jié)果比較(Lena圖)

圖4　各種算法重建結(jié)果比較(Baboon圖)

圖像Bicubic插值PSNRSSIM文獻[4]的方法PSNRSSIM本文方法PSNRSSIMFlower38.95320.928039.26840.928639.52440.9296Girl34.02520.794334.12970.804034.57370.8107Lena32.79470.887233.23280.894534.50370.9035Baboon24.94550.688825.00970.701225.34500.7126

如圖1～圖4所示,采用Bicubic插值法重建得到的HR圖像較為平滑,整體效果差,文獻[4]的方法在視覺效果上有所提升,但在圖像邊緣細節(jié)方面恢復效果差,本文方法比文獻[4]得到了更為清晰的紋理。如表1所示,使用本文方法重建出的圖像,在PSNR和SSIM上均比Bicubic插值法和文獻[4]的方法更理想。

5結(jié)束語

本文主要是對文獻[4]的方法進行重建圖像的后續(xù)改進。根據(jù)字典聯(lián)合訓練的思想,通過聯(lián)合高低分辨率圖像塊,求解其在聯(lián)合字典上的稀疏系數(shù),來優(yōu)化生成的HR圖像塊,實驗結(jié)果表明,本文重建效果更佳。然而,基于稀疏表示的超分辨率圖像重建技術(shù),在圖像重建速度上還有許多可優(yōu)化之處。因此,在保證重建圖像質(zhì)量的前提下,降低重建時間的消耗,將是下一步研究的重點。

參考文獻

[1]張良培,沈煥鋒,張洪艷,等.圖像超分辨率重建[M].北京:科學出版社,2012.

[2]TsaiRY,HuangTS.Multi-frameimagerestorationandregistration[J].AdvancesinComputerVisionandImageProcessing,1984,1(2):317-339.

[3]YangJ,WrightJ,HuangT,etal.Imagesuper-resolutionassparserepresentationofrawimagepatches[C].Toronto:IEEEConferenceonComputerVisionandPatternRecognition,2008:1-8.

[4]YangJC,WrightJ,MaY.Imagesuper-resolutionviasparserepresentation[J].IEEETransactionsonImageProcessing,2010,19(11):2861-2873.

[5]葛廣重,楊敏.基于稀疏表示的單幅圖像超分辨率重建[J].計算機技術(shù)與發(fā)展,2013,23(9):103-106.

[6]DonohoDL.Formostlargeunderdeterminedsystemsoflinearequations,theminimall1-normsolutionisalsothesparsestsolution[J].CommunicationsonPureandAppliedMathematics,2006,59(6):797-829.

[7]DonohoDL.Formostlargeunderdeterminedsystemsoflinearequations,theminimall1-normnear-solutionapproximatesthesparsestnear-solution[J].CommunicationsonPureandAppliedMathematics,2006,59(7):907-934.

[8]LeeH,BattleA,RainaR,etal.Efficientsparsecodingalgorithms[C].Paris:AdvancesinNeuralInformationProcessingSystems,2006:801-808.

[9]PatiYC,RezaiifarR,KrishnaprasadPS.Orthogonalmatchingpursuit:recursivefunctionapproximationwithapplicationstowaveletdecomposition[C].Holand:The27thAsilomarConferenceonSignals,SystemsandComputers,1993:40-44.

[10]WangZ,BovikAC,SheikhHR,etal.Imagequalityassessment:fromerrorvisibilitytostructuralsimilarity[J].IEEETransactionsonImageProcessing,2004,13(4):600-612.