夏荷艷,曹飛龍

(中國計量大學(xué) 理學(xué)院,浙江 杭州 310018)

現(xiàn)實生活中的大多數(shù)圖像是由各種帶有傳感器的照相設(shè)備獲取的,但是由于傳感器本身的性能限制、環(huán)境影響以及拍攝手法等原因,圖像獲取過程中通常會產(chǎn)生信息損失,導(dǎo)致實際所獲的圖像的分辨率低于原始場景.也就是說,我們用硬件設(shè)備往往是從高分辨率(High-Resolution,HR)場景中獲取低分辨率(Low-Resolution,LR)圖像.并且由于HR圖像相對于LR圖像能夠提供更豐富的細節(jié),故許多領(lǐng)域?qū)D像的分辨率都有一定要求.于是,如何從LR圖像盡可能還原出HR圖像就是一個值得研究的課題.20世紀六十年代,首次出現(xiàn)了圖像超分辨率重建的概念[1],經(jīng)過幾十年的發(fā)展,圖像超分辨率重建技術(shù)已取得了豐碩的成果,并在醫(yī)學(xué)成像、衛(wèi)星成像、機器視覺等領(lǐng)域有著廣泛的應(yīng)用.目前,圖像超分辨率重建從算法上一般可以分為基于插值[2-4]、基于重建[5-9]和基于學(xué)習(xí)[10-19]等三個類別,其中21世紀初出現(xiàn)的基于學(xué)習(xí)的方法使圖像超分辨率重建技術(shù)有了里程碑式的突破.該類方法的核心思想是從外部圖像樣本庫中學(xué)習(xí)LR圖像和HR圖像之間的對應(yīng)關(guān)系,再利用所學(xué)的對應(yīng)關(guān)系估計當(dāng)前LR圖像的HR版本.馬爾可夫網(wǎng)絡(luò)(Markov Network)[10]和近鄰嵌入(Neighbor Embedding)[11]是其中有效的學(xué)習(xí)方式.前者利用馬爾可夫網(wǎng)絡(luò)學(xué)習(xí)對應(yīng)關(guān)系,缺點是計算成本大；后者利用LR圖像與圖像樣本庫中的k個近鄰的關(guān)系,用這些近鄰的HR版本構(gòu)造所求的HR圖像，該方法雖然降低了計算成本,卻在近鄰個數(shù)的選取上存在爭議.

信號稀疏表示理論已引起巨大關(guān)注.文獻[16]將稀疏表示的思想引入到圖像超分辨率重建中,取得了較好的效果,從而進一步推動了超分辨率重建的發(fā)展.然而,該方法模型中的參數(shù)是人為設(shè)定的,并不能根據(jù)圖像本身性質(zhì)自適應(yīng)地設(shè)置參數(shù).雖然作者提出了在噪聲環(huán)境下可以根據(jù)稀疏系數(shù)的分布先驗和噪聲水平計算參數(shù),但在實際應(yīng)用中噪聲水平是未知的,所以這并不是一種完全自適應(yīng)且實際可行的方法.圖像超分辨率重建通常采用局部重建的方式,將輸入的LR圖像分成數(shù)萬個補丁分別重建,再將重建后的補丁整合成最終的HR圖像,這些補丁在重建模型中的最佳參數(shù)都不盡相同.因此,雖然模型中體現(xiàn)的只是一個參數(shù)的選擇,實際上相當(dāng)于上萬個參數(shù)的選擇,而人為設(shè)定這些參數(shù)導(dǎo)致上萬個參數(shù)都使用相同的值.所以,如果可以根據(jù)每個補丁的情況自適應(yīng)地確定參數(shù),必然會提升圖像重建效果.本文針對基于稀疏表示的超分辨率模型提出一種參數(shù)自適應(yīng)方法,實驗表明我們的方法是有效的,并且在噪聲環(huán)境下仍具有魯棒性.

本文內(nèi)容組織如下.在第一節(jié)中,我們會介紹基于稀疏表示的圖像超分辨率重建算法模型.第二節(jié)中給出我們的參數(shù)自適應(yīng)的方法.在第三節(jié)中,我們用實驗來驗證所提方法的有效性.最后,在第四節(jié)中,我們會對本文做簡要的總結(jié).

1 預(yù)備知識

在這一節(jié)中,我們介紹基于稀疏表示的圖像超分辨率重建的算法思想和經(jīng)典模型以及我們需要解決的問題.

1.1 圖像超分辨率重建問題

通常,我們認為LR圖像是HR圖像經(jīng)下采樣和模糊作用后產(chǎn)生的,即

Y=SHX+n.

(1)

式(1)中X是HR圖像,S和H分別是下采樣算子和模糊算子,Y是低分辨率圖像,n是環(huán)境噪聲.超分辨率重建的任務(wù)就是解決已知Y求X的問題.現(xiàn)在最常用的方式是找到HR圖像和LR圖像之間普遍存在的對應(yīng)關(guān)系來達到重建目的.由于方程(1)是一個病態(tài)問題,并沒有精確解,所以,我們通常用重構(gòu)所得圖像與原始HR圖像之間的相似性來評判重建效果的優(yōu)劣.

1.2 基于稀疏表示的超分辨率重建

信號稀疏理論和實驗表明,高分辨率信號之間的線性關(guān)系可以從它們的低維投影中精確地恢復(fù).受此啟發(fā),在文獻[16]中,Yang等突破性地構(gòu)建了基于稀疏表示的超分辨率重建模型.

Yang等的思想是:構(gòu)造一個超完備字典D∈Rl×k,其中k遠大于l,則圖像f可以由該字典中的有限個原子線性組合表示,即所謂的稀疏表示：

f=Dα0.

(2)

式(2)中表示系數(shù)向量α0是稀疏的.進一步,如果通過學(xué)習(xí),使LR圖像和HR圖像在其各自字典下的稀疏系數(shù)向量是相同的,那么LR圖像和HR圖像之間的對應(yīng)關(guān)系也就由此建立.換句話說,只要求出LR圖像在其字典下的的系數(shù),HR圖像自然就可以通過這個系數(shù)求得.

LR圖像補丁在其字典下的系數(shù)求解模型是

i=1,2,…,m.

(3)

式(3)中Dl是低分辨率字典,yi是LR圖像Y中第i個補丁的向量形式,補丁總數(shù)是m,λ是正則化參數(shù).

由于求解(3)式是NP-hard問題,所以,文獻[20]指出,只要系數(shù)αi足夠稀疏,(3)式中的l0范數(shù)可以用l1范數(shù)代替.因此,(3)式等價于:

i=1,2，…,m.

(4)

(5)

其中Dh是高分辨率字典。

高分辨率字典Dh和低分辨率字典Dl的是利用一個具有數(shù)萬張自然圖像補丁的樣本庫訓(xùn)練而成的，文獻[16]和[21]已對字典的聯(lián)合訓(xùn)練做了詳細的說明.

將所有m個HR圖像補丁重建完畢后,將這些補丁按位置順序疊加再對重疊部分的像素值做平均處理后,就可以得到目標(biāo)HR圖像X0.文獻[16]又用全局約束進一步提高重建效果：

2 參數(shù)自適應(yīng)方法

在這一節(jié)中,我們先給出正則化參數(shù)λ自適應(yīng)的算法,然后對超分辨率重建的算法步驟做進一步說明.

2.1 參數(shù)自適應(yīng)算法

由上一節(jié)可知,稀疏系數(shù)向量α的值是圖像重建過程中的關(guān)鍵,它可由(4)式求得.然而,式中稀疏正則項參數(shù)λ是根據(jù)經(jīng)驗人為取定的,對于每一個補丁yi的重建,λ都是相同的值.雖然人為確定的只是一個參數(shù)的值,但是實際影響的是每個補丁的重建,所以我們根據(jù)每個補丁的自身性質(zhì)，自適應(yīng)地計算每個補丁的λ值.

文獻[22]根據(jù)圖像復(fù)原中原始圖像x本身及其退化過程中的性質(zhì),給出了一種正則化參數(shù)的計算方法,我們將這種方法與稀疏表示模型相聯(lián)系,給出稀疏正則項的參數(shù)自適應(yīng)方法.

根據(jù)文獻[22],正則化參數(shù)λ可以由上一步迭代結(jié)果中的目標(biāo)圖像xt確定,受此啟發(fā),我們將(4)式改寫為:

i=1,2,…,m.

(7)

i=1,2,…,m.

(8)

或

i=1,2,…,m.

(9)

(4)式及(7)～(9)式通常被稱為Lasso問題,有很多方法可以求解,我們采用的是文獻[23]所提的特征符號搜索算法.

為了敘述方便,我們將(9)式重記為

i=1,2,…,m.

(10)

與文獻[22]相似,我們設(shè)λ(αi)是關(guān)于J(λ(αi),αi)的線性函數(shù)：

λ(αi)=γJ(λ(αi),αi).

(11)

根據(jù)文獻[22]的建議,我們選擇γ的值為

由(10)式和(11)式可得：

(12)

2.2 字典選取

字典的選取是圖像超分辨率重建中的重要步驟,對重建效果有很重要的影響.由于我們的創(chuàng)新點并不在于字典訓(xùn)練,所以實驗過程中采用的是與文獻[16]相同的訓(xùn)練方式,即從包含近百張自然圖像的數(shù)據(jù)庫中獲得十萬張高分辨圖像補丁及相同數(shù)量相同內(nèi)容的低分辨率圖像補丁,再用文獻[21]提出的字典聯(lián)合訓(xùn)練方法得到具有1 024個原子的高分辨率字典Dh和低分辨率字典Dl.

2.3 圖像超分辨率重建算法

我們將參數(shù)自適應(yīng)的算法納入基于稀疏表示的圖像超分辨率重建的經(jīng)典算法框架中,實現(xiàn)參數(shù)自適應(yīng)的圖像超分辨率重建,下面給出算法流程:

步驟1: 輸入訓(xùn)練好的高分辨率字典Dh與低分辨率字典Dl,輸入LR圖像Y并將它分成m個補丁并將補丁向量化;

步驟2: 對于每個補丁,求解(4)式得到初始化系數(shù)α0;

步驟3: 通過(12)式計算自適應(yīng)參數(shù)λ;

步驟4: 求解(9)式得到稀疏系數(shù)向量α*;

步驟5: 通過(5)式得到HR圖像補丁;

步驟6: 將向量形式的補丁恢復(fù)成矩陣，并按原位置組合成HR圖像X0;

步驟7: 用(6)式作全局優(yōu)化,得到X*;

步驟8: 輸出HR圖像X*.

3 實驗結(jié)果與分析

為了檢驗所提出的參數(shù)自適應(yīng)方法的有效性,我們選取一些圖像超分辨率重建研究領(lǐng)域常用的圖片,在不同尺寸擴大因子和噪聲環(huán)境下進行了測試，并將結(jié)果與雙三次線性插值(Bicubic)[2]、近鄰嵌入(NE)[11]以及參數(shù)λ分別為0.1,0.15和0.2時的稀疏表示(ScSr)[16]進行對比.

3.1 實驗實施細節(jié)

實驗中所用的低分辨率圖像是尺寸均為128×128的彩色圖像,所取的補丁尺寸為5×5,相互之間重疊4個像素.我們將圖像從RGB空間轉(zhuǎn)到Y(jié)CbCr空間進行重建實驗.由于人眼對光照比較敏感,所以,我們的算法只用于Y通道,Cb和Cr通道均直接用雙三次線性插值進行重建.為了突顯圖像特征,我們將LR圖像補丁向量化后減去均值,再用與文獻[16]相同的方式提取梯度特征,重建后再加上均值.所有實驗均在Intel(R) Core(TM) i3-4150 CPU@3.50GHz環(huán)境下使用MATLAB2010b進行.

我們用三個圖像超分辨率重建領(lǐng)域內(nèi)常用的指標(biāo)來評價實驗效果，這三個指標(biāo)分別是均方根誤差、峰值信噪比和結(jié)構(gòu)相似度,對于兩張圖像x和y,它們的三項評價指標(biāo)計算方式如下：

均方根誤差

(13)

峰值信噪比

PSNR(x,y)=20lg(P/RMSE).

(14)

結(jié)構(gòu)相似度

(15)

其中h和w分別是圖像橫向和縱向像素個數(shù),P是像素的最大取值,我們所用的是8位彩色圖像,P=255.ux和uy是圖像窗口的亮度估計,σx和σy是對比度估計.k1和k2小于1的常數(shù).

對于均方根誤差,其值越小表示重建效果越好,而峰值信噪比和結(jié)構(gòu)相似度都是值越大表示重建圖像與原始圖像越接近.

3.2 實驗結(jié)果

為了形象化參數(shù)的自適應(yīng)選擇,我們在圖1中顯示了圖像Butterfly中隨機50個補丁的正則化參數(shù)在人工選擇和自適應(yīng)情況下數(shù)值的對比.由圖1可見,不同于人工選擇使所有補丁使用單一且非最佳參數(shù)值的情況,參數(shù)自適應(yīng)算法使每個補丁都根據(jù)自身性質(zhì)有了最適合自己的值.

圖1 參數(shù)值的可視化Figure 1 The visualization of parameters

我們用8張測試圖像在不同算法下進行了擴大因子為2時的重建實驗,圖2顯示的是圖像Butterfly和Lenna在不同方法下的重建效果對比.

由圖2可見,我們的方法在部分細節(jié)顯示上更為清晰.表1為8張圖像在不同方法下的數(shù)值結(jié)果對比,ScSr1,ScSr2,ScSr3分別表示正則化參數(shù)λ分別為0.1，0.15和0.2時的稀疏表示方法.三項評價指標(biāo)均表明,我們的方法在所有測試圖像上的重建效果均優(yōu)于其它方法.

同時,我們也進行了將圖像尺寸擴大三倍的實驗,表2顯示的是尺寸擴大因子為3時Flower和Raccoon兩張圖像在各種方法下的重建數(shù)值結(jié)果對比.三項指標(biāo)表明,在擴大三倍的情況下,我們的方法仍然優(yōu)于其它方法.我們還在不同噪聲環(huán)境下進行了對比實驗,表3展示的是在均方差分別為0,2,4時的高斯噪聲環(huán)境下的實驗對比結(jié)果,表4展示的是密度分別為0,0.001和0.002時椒鹽噪聲下的實驗對比結(jié)果.實驗所用圖片均是Yellow flower.由表中實驗數(shù)據(jù)可知,我們的方法在不同種類不同水平噪聲環(huán)境下仍然適用.

圖2 擴大因子為2時的重建效果對比Figure 2 The comparison of reconstruction when the magnification factor is 2

方法評價指標(biāo)LennaBikeParrotHatPlantButterflyLeavePepperBicubicRMSE5.845317.58859.74118.50867.297216.013317.56929.8488PNSR32.794023.226228.358629.533730.867724.041223.235728.2632SSIM0.89150.72790.88390.82770.86550.82690.82010.8768NERMSE12.108321.070012.12839.81648.624618.991921.598111.6908PNSR26.469121.657526.454828.291829.416022.559421.442526.7739SSIM0.71800.591850.80970.75590.75360.73780.71540.7564ScSr1RMSE4.517515.75748.89117.65526.735614.231715.89629.2102PNSR35.032924.181129.151730.451631.563325.075924.105028.8454SSIM0.91570.78580.89700.85460.87110.86880.86030.8865ScSr2RMSE4.514815.75228.88587.64996.735514.215015.90279.2136PNSR35.038024.184029.156930.457731.563425.075924.101428.8423SSIM0.91580.78590.89710.85470.87110.86890.86030.8863ScSr3RMSE4.515415.74688.88327.64876.736514.206715.90509.2155PNSR35.036824.186929.159430.459131.562125.080924.100128.8404SSIM0.91590.78580.89710.85470.87110.86890.86030.8862本文RMSE4.508415.73228.87557.64556.733214.196815.89339.2068PNSR35.050424.195029.167030.462731.566325.087024.106528.8486SSIM0.91600.78590.89730.85470.87140.86900.86040.8869

表2 擴大因子為3時重建數(shù)值對比

表3 不同水平高斯噪聲環(huán)境下重建效果對比

表4 不同水平椒鹽噪聲環(huán)境下的重建效果對比

此外,我們還對人工設(shè)定參數(shù)的方法和本文提出的參數(shù)自適應(yīng)方法在運行時間上進行了比較,由表5可見,我們的方法在時間上也具優(yōu)越性.

表5 運行時間對比

4 總結(jié)與展望

圖像超分辨率重加在許多領(lǐng)域均有重要的應(yīng)用.本文對基于稀疏表示的圖像超分辨率算法進行了改進,提出了正則化參數(shù)自適應(yīng)的算法,使其模型中的參數(shù)可以自適應(yīng)地確定.實驗結(jié)果表明，我們的方法在不同擴大因子以及不同噪聲環(huán)境下均顯示出了相對于人為選擇參數(shù)的優(yōu)越性,重構(gòu)出的圖像在細節(jié)上更加清晰.在未來的研究中,期望能進一步完善參數(shù)的自適應(yīng)計算.

[1] HARRIS J L. Diffraction and resolving power[J].JournaloftheOpticalSocietyofAmerica, 1964, 54:931-933.

[2] HOU H, ANDREWS H. Cubic splines for image interpolation and digital filtering[J].IEEETransactionsonAcousticsSpeech&SignalProcessing, 1979, 26(6):508-517.

[3] ALLEBACH J, WONG P W. Edge-directed interpolation[C]//ProceedingsofIEEEInternationalConferenceonImageProcessing.Lausanne: IEEE, 1996:707-710.

[4] UNSER M, ALDROUBI A, EDEN M. Fast spline transforms for continuous image represen tation and interpolation[J].IEEETransactionsonPatternAnalysis&MachineIn-telligence, 1991, 13(3):277-285.

[5] TAI Y W, LIU S C, BROWN M S, et al. Super resolution using edge prior and single image detail synthesis[C]//ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition. San Francisco: IEEE, 2010:2400-2407.

[6] SUN J, SUN J, XU Z B, et al. Image super-resolution using gradient profile prior[C] //ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition. Anchorage: IEEE, 2008:1-8.

[7] MARQUINA A, OSHER S J. Image super-resolution by TV-regularization and bregman iteration[J].JournalofScientificComputing, 2008, 37(3):367-382.

[8] LANE R O. Non-parametric bayesian super-resolution[J].IETRadarSonarNavigation，2010，4(4):639-648.

[9] FARSIU S, ROBINSON M D, ELAD M, et al. Fast and robust multiframe super resolution[J].IEEETransactionsonImageProcessing, 2004, 13(10):1327-1344.

[10] FREEMAN W T, JONES T R, PASZTOR E C. Example-based super-resolution[J].IEEEComputerGraphics&Applications, 2002, 22(2):56-65.

[11] CHANG H, YEUNG D Y, XIONG Y M. Super-resolution through neighbor embedding[C]//ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition. Washington, D.C.: IEEE, 2004: 275-282.

[12] BAKER S, KANADE T. Limits on super-resolution and how to break them[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2002, 24(9):1167-1183.

[13] TIMOFTE R, SMET V D, GOOL L V. A+: adjusted anchored neighborhood regression for fast super-resolution[C]//ProceedingsofAsianConferenceonComputerVision. Singapore: Springer, 2014:111-126.

[14] HUANG J B, SINGH A, AHUJA N. Single image super-resolution from transformed self-exemplars[C]//ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition. Boston: IEEE, 2015:5197-5206.

[15] ZEYDE R, ELAD M, PROTTER M. On single image scale-up using sparse representations[C]//Proceedingsofthe7thInternationalConferenceonCurvesandSurfaces. Avignon: ACM, 2010:711-730.

[16] YANG J C, WRIGHT J, HUANG T S, et al. Image super-resolution via sparse representation[J].IEEETransactionsonImageProcessing, 2010, 19(11):2861-2873.

[17] DONG W S, ZHANG L, SHI G M, et al. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization[J].IEEETransactiononImageProcessing, 2011, 20(7):1838-1857.

[18] ZHANG K B, TAO D C, GAO X B, et al. Learning multiple linear mappings for efficient single image super-resolution[J].IEEETransactionsonImageProcessing, 2015, 24(3):846-861.

[19] DONG C, CHEN C L, HE K M, et al. Image super-resolution using deep convolutional networks[J].IEEETransactionsonPatternAnalysis&MachineIntelligence, 2016, 38(2):295-307.

[20] DONOHO D L. For most large underdetermined systems of linear equations the minimal L(1)norm solution is also the sparsest solution[J].CommunicationsonPure&A-ppliedMathematics, 2006, 59(6):797-829.

[21] YANG J C, WANG Z W, LIN Z, et al. Coupled dictionary training for image super-resolution[J].IEEETransactionsonImageProcessing, 2012, 21(8):3467-3478.

[22] KANG M G, KATSAGGELO A K. General choice of the regularization functional in regularized image restoration[J].IEEETransactionsonImageProcessing, 1995, 4(5): 594-602.

[23] HONGLAK L, ALEXIS B, RAJAT R, et al. Efficient sparse coding algorithms[C]//Proceedingsofthe19thInternationalConferenceonNeuralInformationProcessingSystems. Canada: NIPS, 2006:801-808.