吳玉蓮，張文娟

（1．西安醫(yī)學(xué)院 衛(wèi)生管理系，西安710021；2．西安工業(yè)大學(xué) 理學(xué)院，西安710021）

圖像超分辨重構(gòu)是通過從同一場景獲取的一幅或幾幅低分辨圖像產(chǎn)生一幅高分辨率圖像的過程．高分辨率圖像在很多實(shí)際問題中經(jīng)常用到，由于圖像攝取設(shè)備和環(huán)境的局限性，很難直接獲取到高分辨率圖像，因此超分辨重構(gòu)是當(dāng)前計(jì)算技術(shù)研究的一個(gè)熱點(diǎn)［1-3］．

超分辨重構(gòu)方法之一是基于插值的方法，其基本思想是通過基函數(shù)或插值核來估計(jì)所需的高分辨率像素．在圖像的光滑地區(qū)這種方法能達(dá)到比較滿意的效果，在圖像的紋理地區(qū)經(jīng)常會產(chǎn)生可見的偽吉布斯震蕩現(xiàn)象．超分辨重構(gòu)的另一種方法是基于例子學(xué)習(xí)的方法［1-2］，此方法假設(shè)低分辨圖像中失去的高分辨率細(xì)節(jié)可通過一些低分辨圖像和相應(yīng)的高分辨率圖像學(xué)習(xí)獲取．然而通過不適合的訓(xùn)練抽樣產(chǎn)生的高分辨率圖像邊界地區(qū)經(jīng)常產(chǎn)生一些虛假現(xiàn)象．超分辯重構(gòu)的第三種方法是基于某種經(jīng)驗(yàn)的重構(gòu)的方法．此問題需要一些正則化先驗(yàn)假設(shè)來完成高分辨率重構(gòu)．一些不同的先驗(yàn)已經(jīng)被用到此方法中，比如用于保邊的基于梯度的先驗(yàn)［3］，基于非局部的正則化先驗(yàn)［4］用來保邊和壓制虛假現(xiàn)象．自然圖像的一個(gè)特性是局部光滑性，它的局部結(jié)構(gòu)是相當(dāng)穩(wěn)定的．因此可以用比如標(biāo)準(zhǔn)化卷積，雙邊濾波，引導(dǎo)核回歸［5-6］等局部方法描述一個(gè)像素，即其可以表示為局部鄰域的加權(quán)平均．其中引導(dǎo)核回歸這種局部方法由于自適應(yīng)于圖像的局部結(jié)構(gòu)的魯棒性而呈現(xiàn)很好的恢復(fù)效果．自然圖像的另一個(gè)特性是局部圖像塊的非局部相似性，代表性的工作是傳統(tǒng)的非局部均值濾波［4］及基于Foveated相似性的非局部濾波［7］．文獻(xiàn)［7］的去噪實(shí)驗(yàn)結(jié)果表明比起傳統(tǒng)的加窗非局部均值濾波，基于Foveated相似性的非局部濾波取得了更好的去噪質(zhì)量和視覺效果，原因在于基于Foveated自相似性比傳統(tǒng)的基于加窗的自相似性能更加合理的刻畫圖像的非局部特性．Foveated非局部相似性考慮局部圖像塊的冗余性和人類視覺的基本原理，圖像的局部結(jié)構(gòu)正則性使重構(gòu)的高分辨率圖像愈發(fā)穩(wěn)定．為此，文中利用自然圖像的Foveated非局部相似性和局部結(jié)構(gòu)正則性以得到高分辨圖像，聯(lián)合運(yùn)用自然圖像的這兩個(gè)互為補(bǔ)充的正則化先驗(yàn)進(jìn)行高分辨率重構(gòu)，以期獲得高質(zhì)量的高分辨率重構(gòu)圖像．

1 Foveated非局部均值及引導(dǎo)核回歸

對于Foveated非局部均值，不同圖像塊之間的相似性用Foveated距離代替?zhèn)鹘y(tǒng)的加窗距離．具體而言，計(jì)算Foveated距離的圖像塊首先被逐漸增加的標(biāo)準(zhǔn)差（隨著遠(yuǎn)離塊中心像素點(diǎn)）點(diǎn)擴(kuò)散函數(shù)模糊．假設(shè)圖像恢復(fù)的一般模型為

式中：X∈Z2為圖像域；y為觀測圖像；z為未知的干凈圖像；n為高斯白噪聲．?dāng)?shù)學(xué)上，F(xiàn)oveated非局部均值定義為

式中：h為全局光滑性參數(shù)．Foveated距離定義為

式中：F為Foveation算子．給定圖像y和像素點(diǎn)x，F(xiàn)oveated塊yfov：U→R，U 是中心在圓點(diǎn)的一個(gè)鄰域，則

算子F是標(biāo)準(zhǔn)差逐漸增加的空域模糊算子．Foveation算子F的詳細(xì)設(shè)計(jì)參見文獻(xiàn)［7］．

引導(dǎo)核回歸［5］是圖像恢復(fù)中最受關(guān)注的方法之一，基本思想是目標(biāo)像素表示來自其附近一組像素的回歸權(quán)的加權(quán)平均．被估計(jì)圖像z中點(diǎn)xi處的估計(jì)值為

式中：矩陣Ci為xi點(diǎn)處水平方向和垂直方向的對稱梯度協(xié)方差；hk為控制引導(dǎo)核支撐范圍的光滑參數(shù)；上標(biāo)T為轉(zhuǎn)置算子．

2 基于Foveated非局部均值濾波和引導(dǎo)核回歸的超分辨

從單幅低分辨率圖像獲取高分辨圖像模型為

式中：Y為初始低分辨圖像；X為未知的高分辨圖像；H和D分別為模糊和下采樣算子；σ為零均值的高斯白噪聲．超分辨重構(gòu)圖像獲取目的就是用低分辨圖像Y得到高分辨的圖像X．

由于模糊和下采樣算子的影響，一幅低分辨圖像可能對應(yīng)著很多不同的高分辨圖像，所以超分辨重構(gòu)圖像獲取本質(zhì)上是偏態(tài)的．為使其變?yōu)榱紤B(tài)的，必須施加一些先驗(yàn)正則化條件，假設(shè)正則項(xiàng)為Ri（X），那么高分辨目標(biāo)圖像X的MAP估計(jì)為

其中λi為正則性參數(shù)，用來平衡不同正則項(xiàng)與重構(gòu)誤差項(xiàng)．

文中將Foveated非局部均值濾波正則項(xiàng)代替?zhèn)鹘y(tǒng)非局部均值濾波項(xiàng)，亦期待更好的超分辨圖像重構(gòu)結(jié)果［6］．對于Foveated非局部均值正則項(xiàng)，文中采納Foveated非局部均值濾波來反映圖像中的非局部相似性．每個(gè)目標(biāo)像素都可再現(xiàn)為與之相似鄰域像素的加權(quán)平均，即

其中Pi為以i為中心的鄰域像素指標(biāo)形成的列向量．根據(jù)自然圖像的這種Foveated非局部相似性，其加權(quán)均值和所求高分辨圖像X的誤差要盡可能小，因此Foveated非局部正則項(xiàng)為

其中M為X中像素的個(gè)數(shù)．可以簡化為

對于引導(dǎo)核回歸相似正則項(xiàng)，按照與式 （12）相似的原理，可以寫為

式中：Qi為引導(dǎo)核回歸濾波中以i為中心的鄰域像素指標(biāo)形成的列向量；Wskr為由Wskri定義的引導(dǎo)核回歸權(quán)矩陣．

組合正則項(xiàng)式（13）和式（14），文中的超分辨率模型為

根據(jù)梯度下降迭代算法，式（16）寫為

其中β為梯度下降迭代參數(shù)．在進(jìn)行迭代算法之前，先對低分辨圖像進(jìn)行雙三次插值預(yù)處理，然后迭代式（17）直到滿足給定的條件．

3 數(shù)值實(shí)驗(yàn)及分析

為了驗(yàn)證文中算法的有效性，分析取自分割圖像庫BSDS300［8］的10幅不同的自然圖像，并與雙三次插值方法和文獻(xiàn)［6］方法進(jìn)行了比較．文中用峰值 信 噪 比 （The Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似性指標(biāo)（Structural Similarity，SSIM）來估計(jì)最后重構(gòu)的超分辨圖的質(zhì)量．實(shí)驗(yàn)中將原有高分辨圖像放大3倍后采樣并經(jīng)高斯核模糊模擬得到要處理的低分辨圖像，超分辨重構(gòu)僅處理彩色圖像的亮度部分．上述三種方法處理10幅實(shí)驗(yàn)圖像得到的PSNR和SSIM見表1，其中第一行和第二行分別為每幅圖像的PSNR和SSIM值．雙三次插值直接調(diào)用Matlab插值函數(shù)．從表1看出，雙三次插值重構(gòu)效果量值遠(yuǎn)低于后兩種方法，文獻(xiàn)［6］方法和文中方法都取得了比雙三次插值更好的重構(gòu)效果量值．文中方法的平均PSNR比文獻(xiàn)［6］方法高0．18dB，SSIM 比文獻(xiàn)［6］方法高0．004．在上述三種方法中，文中方法的重構(gòu)效果量值最優(yōu)．

為了比較不同方法高分辨重構(gòu)圖像的視覺效果，Butterfly，Bike和Plants三幅圖像重構(gòu)結(jié)果如圖1所示，圖1中從左向右第一列為低分辨圖像，第二列為雙三次插值放大圖像，第三列為文獻(xiàn)［6］方法的放大圖像，最后一列為文中方法的放大圖像．圖2為圖1的局部放大圖．從圖1可以看出，雙三次插值得到的圖像比較模糊，文中方法重構(gòu)的圖像比文獻(xiàn)［6］方法產(chǎn)生更少的額偽邊界效應(yīng)，保持了更多的紋理細(xì)節(jié)和更好的邊界，這些都能從圖2中觀察到．圖2中從左向右第一列為理想局部放大圖像，第二列為雙三次插值的局部放大圖像，第三列為文獻(xiàn)［6］方法的局部放大圖像，最后一列為文中方法的局部放大圖像．對比圖2的Butterfly和Plants局部放大圖像，文中方法得到的圖像邊界更接近理想的高分辨率圖像，Bike圖像的字母經(jīng)文中方法重構(gòu)后圖像較其他兩種方法清晰．

表1 不同方法處理放大3倍后的實(shí)驗(yàn)圖像得到的PSNR和SSIMTab．1 Composition of PSNR （dB）and SSIM results obtained by different methods for 3×magnification

圖1 雙三次插值、文獻(xiàn)［7］方法和文中新方法對三幅圖像的重構(gòu)比較Fig．1 Comparison befween the three test images obtained by the Bicubic method，the method from ［7］and the proposed method

圖2 不同的局部放大圖像的比較Fig．2 Comparison with the three different local magnifications for three test images

4 結(jié) 論

由于全局重構(gòu)限制，F(xiàn)oveated非局部塊相似性及局部核回歸給出一致的迭代極小化超分辨模型，通過梯度下降法求解該模型，結(jié)合自然圖像的實(shí)驗(yàn)結(jié)果從峰值信噪比、結(jié)構(gòu)相似性指標(biāo)及視覺效果上均驗(yàn)證了一致的迭代極小化超分辨模型的有效性．該超分辨模型實(shí)現(xiàn)了將Foveated非局部塊相似性冗余擴(kuò)展到多尺度的非局部相似性塊冗余．對Foveated非局部相似性仍需在今后進(jìn)一步深入研究，以將其推廣到更廣泛的應(yīng)用中．

［1］ FREEMAN W T，JONES T R，PASZTOR E C．Example Based Super Resolution ［J］．IEEE Computer Graphics and Applications，2002，22（2）：56．

［2］ ELAD M，DATSENKO D．Example-based Regularization Deployed to Super-resolution Reconstruction of A Single Image［J］．Computer Journal，2009，52（1）：15．

［3］ SUN J，XU Z B，SHUM H Y．Gradient Profile Prior and Its Applications in Image Super-Resolution and Enhancement［J］．IEEE Transactions on Image Processing，2011，20（6）：1529．

［4］ BUADES A，COLL B，MOREL J M．A Review of Image Denoising Algorithms with a New One［J］．Multiscale Modeling ＆Simulation，2005，4（2）：490．

［5］ TAKEDA H，F(xiàn)ARSIU S，MILANFAR P．Kernel Regression for Image Processing and Reconstruction［J］．IEEE Transactions Image Processing，2007，16（2）：349．

［6］ ZHANG K B，GAO X B．Single Image Super-Resolution with Non-Local Means and Steering Kernel Regression ［J］．IEEE Transactions on Image Processing，2012，21（11）：4544．

［7］ ALESSANDRO F，GIACOMO B．Foveated Self-similarity in Nonlocal Image Filtering［C］／／Processing SPIE Electronic Imaging 2012．Burlingame：Human Vision and Electronic Imaging XVII，2012：829110．

［8］ MARTIN D，F(xiàn)OWLKES C，TAL D．A Database of Human Segmented Natural Images and Its Application to Evaluating Segmentation Algorithms and Measuring Ecological Statistics［C］／／Processing International Conference Computation Vision．Vancouver：IEEE，2001：416．