范九倫, 史香曄, 徐　健, 張小丹

(西安郵電大學(xué) 通信與信息工程學(xué)院, 陜西 西安 710121)

多級字典學(xué)習(xí)的圖像超分辨率算法

范九倫, 史香曄, 徐健, 張小丹

(西安郵電大學(xué) 通信與信息工程學(xué)院, 陜西 西安 710121)

摘要:改進(jìn)單級字典學(xué)習(xí)的圖像超分辨率算法，給出一種多級字典學(xué)習(xí)的圖像超分辨率算法。通過多對字典的訓(xùn)練，記錄不同層級退化圖像和原始高分辨率圖像之間的關(guān)系，由多對字典預(yù)測給定低分辨率圖像不同層級丟失的高頻信息，將預(yù)測出的高頻信息與給定的低分辨率圖像相加，得到逐級增強(qiáng)的高分辨率圖像。在訓(xùn)練圖像集相同的條件下，對于無噪聲且沒有壓縮的低分辨率圖像，改進(jìn)算法相比單級字典學(xué)習(xí)的圖像超分辨率算法，恢復(fù)出的高分辨率圖像的峰值信噪比可平均提高約0.6 dB。

關(guān)鍵詞:圖像超分辨率；稀疏表示；字典訓(xùn)練

利用圖像超分辨率(Super-resolution，SR)算法，可將一個或多個低分辨率(Low-resolution，LR)圖像重建出高分辨率(High-resolution，HR)圖像[1-3]。SR算法分為基于差值、基于重構(gòu)和基于學(xué)習(xí)的方法。

基于插值的方法[4]包括雙線性插值法和雙三次插值法[5]。這類方法雖然簡單高效，但是重建的HR圖像非常模糊，而且邊緣處有振鈴和鋸齒的人工痕跡，故不適合重建具有豐富紋理的圖像；利用方向插值算法[6-7]重建HR圖像，可以豐富放大后圖像的紋理信息，但其恢復(fù)能力有限?；谥貥?gòu)的方法通過降質(zhì)模型重建HR圖像，降質(zhì)模型選擇不佳可能會使圖像質(zhì)量受損。

基于學(xué)習(xí)的方法假設(shè)LR圖像中缺少的細(xì)節(jié)可從對訓(xùn)練樣本的學(xué)習(xí)中獲得，不受模型選擇所限，根據(jù)它可能涉及的稀疏局部模型[8-11]假設(shè)，圖像塊都能用字典中少量原子的線性組合表示[12]，不過，采用單級字典重建的HR圖像會在圖像邊緣部分引入人工痕跡。

為了減少基于稀疏表示的圖像放大(SingleImageScale-UpUsingSparse-Representations,SR_SISU)算法[12]帶來的人工痕跡，本文擬給出一種基于多級字典學(xué)習(xí)的圖像超分辨率(Multi-dictionariesLearningBasedImageSuperResolution,ML_SR)算法，借助記錄著不同層級退化圖像和原始HR圖像之間關(guān)系的多對字典，預(yù)測給定的LR圖像不同層級丟失的高頻信息，實現(xiàn)對LR圖像的增強(qiáng)。

1ML_SR算法

SR_SISU算法將LR/HR圖像映射到同一子空間，利用其在子空間稀疏表示系數(shù)相同的關(guān)系，重建LR圖像對應(yīng)的HR圖像,即

‖ai‖0≤T (i=1,2,…,P)。其中Dh為HR字典，Dl為LR字典，ai為稀疏表示系數(shù)。

相對于SR_SISU算法，ML_SR算法利用α對LR/HR字典，逐級增強(qiáng)重建圖像的質(zhì)量(α=3)。ML_SR算法分為訓(xùn)練和測試兩個階段。

訓(xùn)練階段包括特征提取和字典學(xué)習(xí)兩個部分。特征提取是用β個濾波器從水平和垂直兩個方向提取圖像特征，從而得到β個特征圖像。如此既可減少算法執(zhí)行時間，又能在后續(xù)字典學(xué)習(xí)時，根據(jù)不同特征對字典分類，重建出質(zhì)量更好的HR圖像。字典學(xué)習(xí)是利用提取的低頻特征和計算的高頻分量，借助K均值奇異值分解方法訓(xùn)練字典，以得出α對HR/LR字典。

測試階段是利用提取特征后的LR圖像和α對HR/LR字典，重建出逐級增強(qiáng)的高分辨率圖像。

1.1特征提取

1.1.1第一類特征提取算法

1.1.2第二類特征提取算法

1.2降維

(1)

1.3字典學(xué)習(xí)

‖qs,k‖0≤L。

(2)

其中矩陣

Q=[qs,1, qs,2, …, qs,N]。

為了得到公式(2)的解，可將HR字典Dh表示為

1.4測試過程

具體測試步驟描述如下。

1.5多級字典訓(xùn)練算法和重建算法

采用多級字典訓(xùn)練算法訓(xùn)練字典，得到3對HR/LR字典,并用所得字典來重建HR測試圖像。

(1) 多級字典訓(xùn)練算法

輸入HR測試圖像集{Hs}。

步驟1將HR測試圖像集{Hs}隨機(jī)分為3組，即{H1，s}、{H2，s}和{H3，s}。

(2) 多級重建算法

輸入LR圖像Lt。

2實驗結(jié)果與分析

為得到質(zhì)量更佳的HR圖像，用4個濾波器即

提取LR圖像水平和垂直方向的一階和二階特征。設(shè)置圖像的放大倍數(shù)為3，字典對數(shù)α=3，塊大小n=81，降維至nl=30，字典原子m=1000，字典原子中元素的個數(shù)L=3。因人類視覺系統(tǒng)對亮度變化更敏感，故只對亮度成分使用ML_SR算法。

為證明ML_SR算法的有效性，分別與SR_ISR[14]和SR_SISU[12]兩處單級字典學(xué)習(xí)的SR算法，在視覺和峰值信噪比兩個準(zhǔn)則上作對比。

實驗所用測試圖像如圖1所示。3種對比算法的峰值信噪比如表1所示，其中ML_SR-2和ML_SR-3分別表示2級字典學(xué)習(xí)算法和3級字典學(xué)習(xí)算法。對3幅測試圖像Foreman、Pepper和Zebra，通過不同算法放大3倍的視覺效果分別如圖2、圖3和圖4所示。

圖1　測試圖像

算法ForemanZebraPepperFlowersMonarchPpt3BridgeSR_ISR32.038627.953133.325028.248730.713324.977724.8240SR_SISU33.139128.458734.003528.402231.049525.130525.0175ML_SR-234.361228.726434.382628.605531.440125.617425.1382ML_SR-335.237728.748134.416628.649231.521425.718225.1611

圖2　圖像Foreman放大3倍的效果

圖4 圖像Pepper放大3倍的效果

由表1可見：對于圖像Foreman，ML_SR算法要比SR_ISR算法高約3.2dB，比SR_SISU算法高約2.1dB；對于圖像Zebra，ML_SR算法比SR_ISR算法高約0.8dB，比SR_SISU算法高約0.3dB;對于圖像Pepper，ML_SR算法比SR_ISR算法高約1.1dB，比SR_SISU算法高約0.4dB;對于圖像Flowers、Monarch、Ppt3和Bridge，ML_SR算法比SR_ISR算法分別高約0.4dB、0.8dB、0.8dB和0.3dB， 比SR_SISU算法分別高約0.2dB、0.5dB、0.6dB和0.1dB?？傮w來說，ML_SR算法比SR_ISR算法平均高約1.1dB，比SR_SISU算法平均高約0.6dB,因此，ML_SR算法優(yōu)于SR_ISR算法和SR_SISU算法。

從圖2可見：SR_ISR算法恢復(fù)了圖像的大部分高頻細(xì)節(jié)，但重建后的圖像看起來比較模糊；SR_SISU算法雖然提高了圖像的分辨率，但引入了大量的人工痕跡；ML_SR算法在墻的縫隙處人工痕跡明顯減少，而且整幅圖像紋理清晰，細(xì)節(jié)豐富。從圖3可見:SR_ISR算法恢復(fù)的辣椒瓣比較光滑;SR_SISU算法恢復(fù)出的辣椒瓣比SR_ISR算法的恢復(fù)效果細(xì)節(jié)更豐富，但有點(diǎn)模糊；ML_SR恢復(fù)出的辣椒瓣清晰且細(xì)節(jié)豐富。從圖4可見：SR_ISR算法恢復(fù)出斑馬腹部上的大部分細(xì)節(jié)；SR_SISU算法恢復(fù)出的斑馬腹部過于尖銳；ML_SR恢復(fù)的斑馬腹部與原圖像接近，都較平坦。

通過以上圖表可知，ML_SR算法確實能夠有效地重建出質(zhì)量更好、細(xì)節(jié)更豐富和紋理更清晰的HR圖像。

3結(jié)語

給出一種多級字典學(xué)習(xí)的圖像超分辨率算法,使用多對HR/LR字典對測試圖像進(jìn)行多級增強(qiáng)。實驗結(jié)果表明，隨著增強(qiáng)級別的提高，HR圖像的清晰度更高、細(xì)節(jié)更豐富，且人工痕跡更少。與單級字典學(xué)習(xí)的SR算法相比，所給ML_SR算法優(yōu)勢明顯。多級字典學(xué)習(xí)的算法能有效提高輸出圖像質(zhì)量，可用于低照度圖像增強(qiáng)和去圖像模糊。另外，稀疏表示模型能有效描述兩個不同空間信號之間的關(guān)系，可應(yīng)用于研究兩個不同空間信號間的轉(zhuǎn)換。

參考文獻(xiàn)

[1]范九倫, 王彥梓, 徐健，等. 基于核典型相關(guān)分析的圖像放大算法[J/OL]. 西安郵電大學(xué)學(xué)報,2015, 20(2):52-57[2015-10-11].http://www.cnki.net/kcms/doi/10.13682/j.issn.2095-6533.2015.02.011.html.

[2]XUJ,CHANGZG,FANJL,et.al.NoisyImageMagnificationwithTotalVariationRegularizationandOrder-changedDictionaryLearning[J/OL].JournalofElectronicImaging, 2015,24(1):13039-1-29[2015-10-11].http://asp.eurasipjournals.springeropen.com/articles/10.1186/s13634-015-0225-y.

[3]ROMANOY,PROTTERM,ELADM.SingleImageInterpolationviaAdaptiveNon-LocalSparsity-BasedModeling[J/OL].IEEETransactionsonImageProcessing, 2014, 20(2):3085-3098[2015-10-11].http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6819019.DOI:10.1109/TIP.2014.2325774.

[4]SEKARK,DURAISAMYV,REMIMOLAM.AnapproachofimagescalingusingDWTandbicubicinterpolation[C/OL]//InternationalConferenceonGreenComputingCommunicationandElectricalEngineering.Coimbatore:IEEE, 2014: 1-5[2015-10-11].http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6922406.DOI:10.1109/ICGCCEE.2014.6922406.

[5]CHENSL,HUANGHY,LUOCH.ALow-CostHigh-QualityAdaptiveScalarforReal-TimeMultimediaApplications[J/OL].IEEETransactionsonCircuitsandSystemsforVideoTechnology, 2011, 21(11) :1600-1611[2015-10-11].http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=5734808.DOI:10.1109/TCSVT.2011.2129790.

[6]SHIHJ,WARDR.Cannyedgebasedimageexpansion[C/OL]//IEEEInternationalSymposiumonCircuitsandSystems.USAAZPhoenix-Scottsdale:IEEE,2002:I-785-788[2015-10-11].http://ieeexplore.ieee.org/xpls/icp.jsp?arnumber=1009958.DOI:10.1109/ISCAS.2002.1009958.

[7]WANGQ,WARDRK.ANewOrientation-AdaptiveInterpolationMethod[J/OL].IEEETransactionsonImageProcessing, 2007,16(4):889-900[2015-10-11].http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=4130438.DOI:10.1109/TIP.2007.891794.

[8]ELADM,AHARONM.ImageDenoisingviaLearnedDictionariesandSparseRepresentation[C/OL]//2006IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition(Volume1).USAWashingtonDC:IEEE, 2006 : 895-900[2015-10-11].http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=1640847.DOI:10.1109/CVPR.2006.142.

[9]ELADM,AHARONM.ImageDenoisingViaSparseandRedundantRepresentationsOverLearnedDictionaries[J/OL〗.IEEETransactionsonImageProcessing, 2006, 15(12):3736-3745[2015-10-11].http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=4011956.DOI:10.1109/TIP.2006.881969.

[10]BRUCKSTEINAM,DONOHODL,ELADM.FromSparseSolutionsofSystemsofEquationstoSparseModelingofSignalsandImages[J/OL].SocietyforIndustrialandAppliedMathematicsReview, 2009, 51(1):34-81[2015-10-11].http://epubs.siam.org/doi/abs/10.1137/060657704.DOI:10.1137/060657704.

[11]ELADM.SparseandRedundantRepresentations:FromTheorytoApplicationsinSignalandImageProcessing[M/OL].NewYork:Springer, 2010: 172-181[2015-10-11].http://link.springer.com/book/10.1007/978-1-4419-7011-4.

[12]ZEYDER,ELADM,PROTTERM.Onsingleimagescale-upusingsparse-representation[C/OL]//CurvesandSurfaces:7thInternationalConference,Avignon,France,June24-30, 2010,RevisedSelectedPapers.Berlin:SpringerBerlinHeidelberg, 2012: 711-730[2015-10-11].http://link.springer.com/chapter/10.1007/978-3-642-27413-8_47.

[13]SUNH,NIL.Compressedsensingdatareconstructionusingadaptivegeneralizedorthogonalmatchingpursuitalgorithm[C/OL]//2013 3rdInternationalConferenceonComputerScienceandNetworkTechnology(ICCSNT).Dalian:IEEE,2013:1102-1106[2015-10-11].http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6967295.DOI:10.1109/ICCSNT.2013.6967295.

[14]YANGJC,WRIGHTJ,HUANGTS,et.al.Imagesuper-resolutionviasparserepresentation[J/OL].IEEETransactiononImageProcessing, 2010, 19(11) : 2861-2873[2015-10-11].http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5466111.DOI:10.1109/TIP.2010.2050625

[責(zé)任編輯:瑞金]

Imagesuper-resolutionalgorithmbasedonmulti-leveldictionarieslearning

FANJiulun,SHIXiangye,XUJian,ZHANGXiaodan

(SchoolofCommunicationandInformationEngineering,Xi’anUniversityofPostsandTelecommunications,Xi’an710121,China)

Abstract:The image super-resolution algorithm based on sigle-stage dictionaries learning is improved and an image super-resolution algorithm based on multi-level dictionaries is proposed. The relationship between different levels of the degraded image and the original high resolution images is recorded by training the multiple dictionaries. The multiple training dictionaries are used to predict the different levels high-frequency information lost in the given low resolution image. Add the predict high-frequency information to the given low resolution image and acquire the high resolution image with quality enhanced progressively. In conditions with the same training image set, for the noiseless and uncompressed low resolution images, the revised algorithm can recover high resolution images that the peak signal to noise ratio improves 0.6 dB in average, compared to the image super-resolution algorithm based on single-stage dictionaries.

Keywords:image super-resolution, sparse representation, dictionary training

doi:10.13682/j.issn.2095-6533.2016.03.004

收稿日期：2015-10-14

基金項目：國家自然科學(xué)基金資助項目(61340040,61202183,61102095)

作者簡介：范九倫(1964-)，男，博士，教授，從事圖像處理與模式識別研究。E-mail:jiulunf@xiyou.edu.cn 史香曄(1991-)，女，碩士研究生，研究方向為通信與信息系統(tǒng)。E-mail:shi_xiangye@163.com

中圖分類號：TN911.73

文獻(xiàn)標(biāo)識碼：A

文章編號：2095-6533(2016)03-0032-06