首照宇，廖敏璐，張 彤

（1.桂林電子科技大學(xué) 認(rèn)知無(wú)線電與信息處理省部共建教育部重點(diǎn)實(shí)驗(yàn)室，廣西 桂林541004；2.桂林電子科技大學(xué) 信息與通信學(xué)院，廣西 桂林541004；3.桂林電子科技大學(xué)機(jī)電工程學(xué)院，廣西 桂林541004）

0 引 言

圖像超分辨率（super－resolution，SR）重建技術(shù)是利用一幅或者一組低分辨率圖像基于一定的假設(shè)或者先驗(yàn)信息重建成一幅高分辨率圖像的反問(wèn)題［1］。圖像的降質(zhì)過(guò)程［2］通常可以表示為

式中：Y——觀測(cè)得到的降質(zhì)后的圖像，X——需要估計(jì)的未知圖像，S、H——模糊、下采樣操作符，v——加性噪聲。

SR 重建的概念和方法早在20 世紀(jì)60 年代就已經(jīng)提出，隨著計(jì)算機(jī)技術(shù)、數(shù)字信號(hào)處理技術(shù)以及一些優(yōu)化理論的發(fā)展，產(chǎn)生了許多種方法，其中插值法［3，4］和迭代反投影（iterative back projection，IBP）的方法［5］是比較常用的SR方法。而基于稀疏表示的SR 方法［6］在一經(jīng)提出后，成為近年來(lái)較為熱門的研究領(lǐng)域。本文擬利用IBP 改進(jìn)基于稀疏表示的SR 方法，并重點(diǎn)對(duì)比改進(jìn)后的方法、稀疏表示的方法、插值法和IBP的方法。

插值法是利用局部像素點(diǎn)的加權(quán)來(lái)估計(jì)內(nèi)插點(diǎn)的像素值，該方法計(jì)算復(fù)雜度低速度快，常用來(lái)作為其它方法的基礎(chǔ)，但是重建圖像往往過(guò)平滑且伴有振鈴和鋸齒效應(yīng)。傳統(tǒng)的插值法主要有最鄰近插值（nearest neighbor interpolation）、樣條插值（spline interpolation）、雙線性插值（bilinear interpolation）、雙立方插值（bicubic interpolation）等，其中Bicubic插值法由于效果最好較為常用。

IBP法歸屬于基于重建的SR 方法，即通過(guò)對(duì)降質(zhì)過(guò)程建模來(lái)對(duì)估計(jì)的高分辨率圖像進(jìn)行約束的一類方法［7］。此方法主要通過(guò)反復(fù)迭代和不斷更新來(lái)重建高分辨率圖像，首先利用簡(jiǎn)單的插值算法得到低分辨率圖像Y 的初始估計(jì)X0，假定t次迭代后得到的高分辨率圖像為Xt，那么下一次迭代后的Xt＋1可以通過(guò)梯度下降法求解下式得到

式中：↑d——d 倍上采樣，p——用來(lái)控制收斂速度的反投影核。IBP法直觀簡(jiǎn)單，但由于難以引入先驗(yàn)的約束導(dǎo)致重建結(jié)果不唯一，而且重建圖像的邊緣往往會(huì)產(chǎn)生較明顯的鋸齒效應(yīng)。

1 基于稀疏表示的圖像超分辨率重建

Yang et al在2008年提出了基于稀疏表示的SR 重建算法，又于2010 年在原算法的基礎(chǔ)上加入字典訓(xùn)練的過(guò)程［8］，相對(duì)于其它的主流方法，取得了引入矚目的成功。該算法的原理在于，對(duì)高分辨率圖像塊x 和其對(duì)應(yīng)的低分辨率圖像塊y 分別進(jìn)行稀疏表示得到其稀疏系數(shù)，如下所示

式中的λ用來(lái)平衡解的逼真度和稀疏度。

基于αx＝αy的假設(shè)，建立對(duì)應(yīng)的高低分辨率字典Dh＝Φ和Dl＝SHΦ后，如果通過(guò)y和Dl得到稀疏系數(shù)α，x 就可以通過(guò)Dh 結(jié)合α獲得，最終得到估計(jì)的高分辨率圖像。

在Yang et al的算法中，字典Dh 和Dl是利用若干圖片的圖像庫(kù)通過(guò)FSS（feature－sign search）算法交替迭代獲得［9］，為了減小計(jì)算量每塊高分辨率塊xi都要先減去其均值mi，然后利用高通濾波器提取高頻部分。

Zeyde et al也于2012年利用插值法改進(jìn)了基于稀疏表示的SR 算法［10］，其算法主要分成訓(xùn)練階段和重建階段。

訓(xùn)練階段主要是建立合適的圖像塊庫(kù)然后訓(xùn)練過(guò)完備字典對(duì)的過(guò)程，其步驟如下：

步驟1 收集得到若干高分辨率圖像｛Xj｝j，利用S和H 降質(zhì)得到低分辨率圖像｛Yj｝j，再利用Bicubic插值法得到，然后分別從＝Xj－和抽選得到對(duì)應(yīng)的訓(xùn)練圖像塊

步驟3運(yùn)用K－SVD（K－singular value decomposition）［11］對(duì)進(jìn)行稀疏表示的求解，得到低分辨率的字典Dl和稀疏系數(shù)ck；

步驟4 利用稀疏系數(shù)ck結(jié)合可以得到相對(duì)應(yīng)的高分辨率的字典Dh。

重建階段主要是利用字典對(duì)Dl和Dh 放大一張低分辨率圖像Y 的過(guò)程，其步驟如下：

步驟1 利用Bicubic插值法將Y 放大至期望倍數(shù)的Xb，有重疊地從左上到右下順序選取圖像塊，利用高通濾波器提取特征后降維得到；

步驟2 采用OMP（orthogonal matching pursuit）［12］的算法求解低分辨率字典Dl對(duì)的表示系數(shù)αk；

步驟3 利用稀疏系數(shù)αk結(jié)合高分辨率字典Dh 得到，將得到的拼接并在重疊部分取平均，然后加上插值法的結(jié)果Xb，得到最終估計(jì)的高分辨率圖像。

從訓(xùn)練階段和重建階段的步驟可以看出，Zeyde et al利用Bicubic插值法改進(jìn)SR 算法，減少了計(jì)算量，事實(shí)上也提高了圖像重建的效果。

2 本文提出的SR 算法

在字典訓(xùn)練和稀疏重建過(guò)程中，高分辨率圖像塊的計(jì)算量是較大的，在Yang et al的算法，為了減少計(jì)算量，高分辨率圖像塊都減去均值進(jìn)行處理，而Zeyde et al的算法則更進(jìn)了一步，該算法利用了插值法改進(jìn)SR 算法，即對(duì)高分辨率圖像塊減去了插值法后得到的誤差進(jìn)行稀疏求解，在兩者的算法計(jì)算量相當(dāng)?shù)那闆r下，取得了更好的重建效果。

實(shí)驗(yàn)表明IBP的方法相對(duì)插值法又降低了重建圖像的誤差，且計(jì)算量也不大，這為利用IBP 進(jìn)一步改進(jìn)基于稀疏表示的SR 方法提供了可能。而一系列研究表明圖像存在非局部相似性的特點(diǎn)［13］，通過(guò)建立模型來(lái)提取圖像的非局部冗余，將對(duì)提高重建效果有一定的幫助。

2.1 字典對(duì)的學(xué)習(xí)

字典訓(xùn)練過(guò)程Yang et al采用的是FSS的算法，相對(duì)于該算法，Zeyde et al采用的K－SVD 雖然效果略有不及，但字典訓(xùn)練的速度卻能夠明顯提升，特別是FSS需要花費(fèi)動(dòng)輒數(shù)小時(shí)的字典訓(xùn)練時(shí)間，所以本文的SR 算法仍然沿用K－SVD。

對(duì)圖像庫(kù)中降質(zhì)得到的低分辨率圖像｛Yj｝j采取IBP的重建方法得到，然后分別從和抽選得到對(duì)應(yīng)的訓(xùn)練圖像塊集，利用高通濾波器提取的特征并利用PCA 降維得到。高通濾波器F＝（f1，f2，f3，f4）可取為

此處的上標(biāo)T 代表轉(zhuǎn)置。

運(yùn)用K－SVD的算法，通過(guò)交替迭代求解下式

求得低分辨率字典Dl的同時(shí)也得到稀疏系數(shù)ck。KSVD的算法一般由兩個(gè)基本的步驟來(lái)組成迭代過(guò)程［14］：步驟一是在給定字典Dl的情況下求得的表示系數(shù)ck，一般利用OMP 算法來(lái)實(shí)現(xiàn)；步驟二是在給定稀疏系數(shù)ck的情況下更新字典Dl，每一步都是在其它原子固定時(shí)對(duì)單獨(dú)的一個(gè)原子求最優(yōu)解。

如果Qh和C分別將和｛ck｝k依次作為一列來(lái)構(gòu)造，那么高分辨率字典Dh可以通過(guò)下式求得

2.2 基于非局部（NL，Nonlocal）相似性的模型

文獻(xiàn)［15］提出了一種基于NL 的自適應(yīng)的模型，本文將借用這個(gè)模型構(gòu)建圖像重建的全局后處理階段。通過(guò)實(shí)驗(yàn)可以證明這種后處理的方式對(duì)常用方法均有效，比如插值法和IBP等。

對(duì)于每一塊圖像塊xi，在整幅圖像X 中搜索它的相似塊，篩選的準(zhǔn)則如下式所示

式中：t——預(yù)先設(shè)置的閾值，線性表示系數(shù)bli通過(guò)下式獲得

2.3 利用IBP改進(jìn)的基于稀疏表示的SR 算法

本文提出的SR 算法流程如下：

（1）Input：訓(xùn)練得到的高低分辨率字典Dh 和Dl，一張低分辨率圖片Y；

（2）利用Bicubic插值法將Y 放大3 倍得到Xb，同樣利用IBP法得到XI，對(duì)Xb從左上到右下并保證在每個(gè)方向有2個(gè)像素點(diǎn)重疊順序地選取圖像塊得到3×3的圖像塊，利用高通濾波器F提取的特征并降維得到｛qkl｝k；

（3）采用OMP的方法求解Ql＝，，…）對(duì)低分辨率字典Dl的稀疏表示系數(shù)α＊，即

OMP 屬于貪婪算法，其原理在于每一步都選擇與殘差最相關(guān)的原子，然后將信號(hào)正交地投影到已選擇原子的集里，該算法的詳細(xì)流程可參閱文獻(xiàn) ［14］。

（4）得到Qh＝Dhα＊后，將Qh中包含的圖像塊拼接并在重疊部分取平均得到Xh，稀疏重建得到的高分辨率圖像為X＊＝Xh＋XI；

（5）后處理階段提取X＊的NL冗余，令X0＝X＊作為初始項(xiàng)，求得迭代系數(shù)

式中的λ是控制NL項(xiàng)比重的常數(shù)。

第t次迭代過(guò)程中，首先進(jìn)行Xt－1＝Xt－1（：）和Xt＝Xt－1－N＊Xt－1兩步，然后將Xt恢復(fù)成原尺寸。

（6）Output：經(jīng)過(guò)后處理階段的SR 圖像X＊＊。

3 實(shí)驗(yàn)結(jié)果

在本文的實(shí)驗(yàn)中，低分辨率圖像被重建放大成3倍大小的高分辨率圖像，稀疏約束度L 和T 都設(shè)置為3，式（11）中的λ設(shè)為0.1，后處理階段迭代10次，本文所使用的字典訓(xùn)練庫(kù)與文獻(xiàn)［8］和文獻(xiàn)［10］相同，所選擇的測(cè)試圖片是任選的一些常用的測(cè)試圖片。圖1和圖2展示了Bicubic插值法、IBP、文獻(xiàn)［8］和文獻(xiàn)［10］中的方法以及本文提出的方法1和方法2對(duì)圖片face和flowers的重建結(jié)果，都是截取了關(guān)鍵部分放大對(duì)比，其中本文方法1代表未經(jīng)過(guò)步驟5后處理階段的重建結(jié)果，本文方法2代表經(jīng)過(guò)了后處理階段的重建結(jié)果；而表1和表2則對(duì)比了這5種方法對(duì)10幅圖片的重建結(jié)果的PSNR 和SSIM，計(jì)算公式如下

圖1 圖片face這6種方法重建的結(jié)果

圖2 圖片flowers這6種方法重建的結(jié)果以及原圖

表1 6種方法對(duì)10幅圖像重建結(jié)果的PSNR

表2 6種方法對(duì)10幅圖像重建結(jié)果的SSIM

從圖1和圖2可以看出，Bicubic插值法重建結(jié)果過(guò)于平滑，視覺(jué)體驗(yàn)最差；IBP 提高了重建圖像的清晰度，但在邊緣產(chǎn)生了鋸齒效應(yīng)，比如圖片face的鼻子輪廓和flo－wers的花瓣邊緣部分；文獻(xiàn)［8］中方法處理的結(jié)果在邊緣上相對(duì)光滑，但一些細(xì)微的圖像結(jié)構(gòu)沒(méi)有得到恢復(fù)，比如圖片face眼部就出現(xiàn)了格子效應(yīng)；文獻(xiàn)［10］和本文方法1重建結(jié)果類似，視覺(jué)體驗(yàn)最好，但相對(duì)來(lái)說(shuō)，本文方法1 比文獻(xiàn)［10］得到更為清晰的紋理，從圖片face中臉部的雀斑和flowers的花瓣的紋理可以體現(xiàn)。在經(jīng)過(guò)后處理階段后，圖像的清晰度得到進(jìn)一步提高，在放大倍數(shù)增大后效果將更加明顯。

從表1和表2可以看出，對(duì)任選的10幅圖片，使用本文方法1進(jìn)行超分辨率重建，相比于前人提出的方法，無(wú)論P(yáng)SNR 還是SSIM 都是最好的，而在經(jīng)過(guò)后處理階段后兩項(xiàng)指標(biāo)又得到明顯提升。

4 結(jié)束語(yǔ)

本文提出了一種利用IBP改進(jìn)的基于稀疏表示的SR 算法，其關(guān)鍵在于字典訓(xùn)練過(guò)程中將高分辨率圖像減去IBP的重建結(jié)果后的差值用于學(xué)習(xí)高分辨率字典，然后相應(yīng)地將稀疏求解得到的結(jié)果加上XI并經(jīng)過(guò)基于NL 的全局后處理過(guò)程得到最終估計(jì)的高分辨率圖像。實(shí)驗(yàn)結(jié)果表明，從主客觀角度看，本文提出的算法都要優(yōu)于Bicubic插值法、IBP以及文獻(xiàn)［8］和文獻(xiàn)［10］提出的兩種基于稀疏表示的SR 算法。

［1］Ha T，Tinnefeld P.Photophysics of fluorescent probes for single－molecule biophysics and super－resolution imaging ［J］.Annual Review of Physical Chemistry，2012，63：595－617.

［2］Cho TS，Zitnick CL，Joshi N，et al.Image restoration by matching gradient distributions ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34 （4）：683－694.

［3］Lee Chinfeng，Huang Yulin.An efficient image interpolation increasing payload in reversible data hiding ［J］.Expert Systems with Applications，2012，39 （8）：6712－6719.

［4］Cordero－Grande L，Vegas－Sanchez－Ferrero G，Casaseca－de－la－Higuera P，et al.A Markov random field approach for topology－preserving registration：Application to object－based tomographic image interpolation ［J］.IEEE Transactions on Image Processing，2012，21 （4）：2047－2061.

［5］Glasner D，Bagon S，Irani M.Super－resolution from a single image［C］／／IEEE 12th International Conference on Computer Vision，2009：349－356.

［6］Yang J，Wright J，Huang T，et al.Image super－resolution as sparse representation of raw image patches［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2008：1－8.

［7］Modgil D，Treeby BE，La Rivière PJ.Photoacoustic image reconstruction in an attenuating medium using singular－value decomposition ［J］.Journal of Biomedical Optics，2012，17（6）：0612041－0612048.

［8］Yang Jianchao，Wright J，Huang TS，et al.Image super－resolution via sparse representation ［J］.IEEE Transactions on Image Processing，2010，19 （11）：2861－2873.

［9］Lee H，Battle A，Raina R，et al.Efficient sparse coding algorithms［J］.Advances in Neural Information Processing Systems，2007，19：801－808.

［10］Zeyde R，Elad M，Protter M.On single image scale－up using sparse－representations ［G］.LNCS 6920：Curves and Surfaces.Berlin：Springer Berlin Heidelberg，2012：711－730.

［11］Smith LN，Olson CC，Judd KP，et al.Denoising infrared maritime imagery using tailored dictionaries via modified KSVD algorithm ［J］.Applied Optics，2012，51 （17）：3941－3949.

［12］Donoho DL，Tsaig Y，Drori I，et al.Sparse solution of underdetermined systems of linear equations by stage wise orthogonal matching pursuit［J］.IEEE Transactions on Information Theory，2012，58 （2）：1094－1121.

［13］Lee C，Lee C，Kim CS.An MMSE approach to nonlocal image denoising：Theory and practical implementation ［J］.Journal of Visual Communication and Image Representation，2012，23 （3）：476－490.

［14］Rubinstein R，Zibulevsky M，Elad M.Efficient implementation of the K－SVD algorithm using batch orthogonal matching pursuit［OL］.http：／／pdf.aminer.org／000／322／616／efficient＿computation＿for＿sequential＿forward＿observation＿selection＿in＿image＿reconstruction.pdf，2008.

［15］Dong Weisheng，Zhang Lei，Shi Guangming，et al.Image deblurring and super－resolution by adaptive sparse domain selection and adaptive regularization ［J］.IEEE Transactions on Image Processing，2011，20 （7）：1838－1857.