劉翠響，張鳳林，李敏

（河北工業(yè)大學(xué)電子信息工程學(xué)院，天津300401）

基于極限學(xué)習(xí)機(jī)的圖像超分辨率算法

劉翠響，張鳳林，李敏

（河北工業(yè)大學(xué)電子信息工程學(xué)院，天津300401）

為了進(jìn)一步提高基于學(xué)習(xí)的超分辨率圖像重建質(zhì)量，考慮到極限學(xué)習(xí)機(jī)（ELM）具有學(xué)習(xí)速度快和良好數(shù)據(jù)預(yù)測(cè)與分析能力，提出了1種基于極限學(xué)習(xí)機(jī)的圖像超分辨率重建方法.在圖像稀疏思想下，將高分辨率圖像中的高頻細(xì)節(jié)信息作為原子構(gòu)建冗余字典.具體是提取訓(xùn)練圖像的高頻信息，采用改進(jìn)的K-SVD算法對(duì)高低分辨率圖像進(jìn)行字典學(xué)習(xí)，構(gòu)建對(duì)應(yīng)的特征字典作為極限學(xué)習(xí)機(jī)的輸入訓(xùn)練網(wǎng)絡(luò)參數(shù)，建立超分辨率重建模型.最后仿真實(shí)驗(yàn)結(jié)果表明，所提算法能取得比對(duì)比算法更好的實(shí)驗(yàn)數(shù)據(jù).

極限學(xué)習(xí)機(jī)；字典學(xué)習(xí)；超分辨率；高頻信息

0 引言

由于硬件設(shè)備的限制和不可抗拒的自然因素等影響，現(xiàn)實(shí)中獲得的圖像分辨率往往不能滿(mǎn)足人類(lèi)的實(shí)際需求.為了節(jié)約成本，獲得更高的經(jīng)濟(jì)效益，通過(guò)軟件編程的方法獲得高分辨率（High resolution，HR）圖像的技術(shù)應(yīng)運(yùn)而生，即超分辨率重建（Super resolution，SR）.SR技術(shù)是利用低分辨率（Low resolution，LR）圖像或圖像庫(kù)信息，通過(guò)信號(hào)處理方法重建成像系統(tǒng)截止頻率之外的相關(guān)信息，使重建圖像獲得更多細(xì)節(jié)信息.

圖像超分辨率重建技術(shù)目前主要分為基于插值算法、基于重建算法和基于學(xué)習(xí)算法三大類(lèi).傳統(tǒng)的插值算法[1]雖然實(shí)現(xiàn)方法簡(jiǎn)單直觀(guān)，但是無(wú)法引進(jìn)先驗(yàn)信息導(dǎo)致重建圖像不理想.基于重建的方法，例如：凸集投影POCS算法[2]、IBP算法[3]以及最大后驗(yàn)概率MAP算法[4]等，是在數(shù)學(xué)模型基礎(chǔ)上，對(duì)圖像進(jìn)行配準(zhǔn)重建，其亞像素估計(jì)精度對(duì)圖像重建結(jié)果有非常重要的影響，除此之外IBP算法在圖像重建邊緣有很強(qiáng)的振鈴效應(yīng)，嚴(yán)重影響圖像質(zhì)量.

近來(lái)，隨著機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的深入發(fā)展，基于學(xué)習(xí)的SR重建算法成為研究的主流方向.Yang等[5-6]提出了利用圖像塊的稀疏性重建超分辨率圖像.算法通過(guò)Lee等[7]提出的FFS算法訓(xùn)練聯(lián)合字典使得高低分辨率圖像對(duì)具有相同的稀疏表示系數(shù)，用低分辨率字典下的稀疏表示乘以高分辨率字典得到相應(yīng)的高分辨率圖像塊.稀疏表示對(duì)噪聲有一定的魯棒性，進(jìn)而重建出的圖像具有較好的視覺(jué)效果.雖然圖像庫(kù)包含有豐富細(xì)節(jié)的高分辨率圖像，但無(wú)法保證所獲取的先驗(yàn)信息的準(zhǔn)確性與可靠性，使得重建圖像存在較大的均方誤差[8]，算法中樣本選取與字典訓(xùn)練方法也較為復(fù)雜.Engan等[9]提出的最優(yōu)方向（method of optimal directions，MOD）算法可以代替Lee提出的FFS算法進(jìn)行字典學(xué)習(xí)，保證圖像重建質(zhì)量前提下提高字典訓(xùn)練速度.Elad提出奇異值分解算法[10]用于訓(xùn)練字典，先是用于圖像去噪取得了不錯(cuò)的效果[11]，隨后又提出改進(jìn)的K-SVD算法[12]，達(dá)到了減小字典構(gòu)建誤差并加快稀疏字典的構(gòu)建，在超分辨率圖像重建研究領(lǐng)域被廣泛應(yīng)用.

另外，機(jī)器學(xué)習(xí)方法中的支持向量機(jī)SVR對(duì)輸入數(shù)據(jù)具有良好預(yù)測(cè)能力[13-14]而被應(yīng)用于圖像處理領(lǐng)域.將圖像超分辨率重建看成一個(gè)回歸問(wèn)題，則具有非線(xiàn)性映射能力的支持向量機(jī)可以很好的解決這一問(wèn)題.本文受SVR思想的啟發(fā)，在稀疏思想的基礎(chǔ)上，提出用極限學(xué)習(xí)機(jī)訓(xùn)練超分辨率重建模型，ELM與SVR相比，訓(xùn)練速度快且泛化能力強(qiáng)，最后取得較好的實(shí)驗(yàn)數(shù)據(jù).

1 稀疏性理論與改進(jìn)字典學(xué)習(xí)

圖像的稀疏表示是將高分辨率圖像中的高頻細(xì)節(jié)信息作為原子構(gòu)建冗余字典，并利用該字典對(duì)低分辨率圖像進(jìn)行稀疏表示，進(jìn)一步超分辨率重建.而在本文算法中的思想是利用稀疏編碼理論學(xué)習(xí)構(gòu)建冗余字典，提取字典中的每個(gè)原子構(gòu)成特征集作為極限學(xué)習(xí)機(jī)的輸入特征，訓(xùn)練出超分辨率重建模型.

由于稀疏矩陣最優(yōu)解的封閉性，可以考慮矩陣每列的非零元素而使零元素項(xiàng)保持完整性，現(xiàn)只需求解稀疏矩陣的每一列即可，設(shè)是D對(duì)應(yīng)于稀疏矩陣的非零支集的子矩陣，則（3）式轉(zhuǎn)化為如下求解：

改進(jìn)KSVD算法中使用正交匹配追蹤算法OMP求解稀疏編碼過(guò)程，對(duì)稀疏矩陣的每一列處理后得到更新后的稀疏系數(shù)矩陣，而后利用更新后的稀疏矩陣對(duì)字典原子進(jìn)行更新.下面給出公式（2）的補(bǔ)償項(xiàng)：

2 ELM算法描述

2004年，Huang等[15]提出了具有快速構(gòu)建和學(xué)習(xí)能力的單隱層前饋神經(jīng)網(wǎng)絡(luò)，該算法在執(zhí)行過(guò)程中只需要設(shè)置網(wǎng)絡(luò)隱層節(jié)點(diǎn)的個(gè)數(shù)，不用調(diào)整網(wǎng)絡(luò)的輸入權(quán)值以及隱層單元的偏置，能產(chǎn)生唯一最優(yōu)解，因其學(xué)習(xí)速度快稱(chēng)之為極限學(xué)習(xí)機(jī)（Extreme Learning Machine，ELM），如圖1所示給出ELM算法的網(wǎng)絡(luò)結(jié)構(gòu)圖.隨著深度學(xué)習(xí)在機(jī)器學(xué)習(xí)領(lǐng)域的發(fā)展，大量的研究證明，ELM相比于機(jī)器學(xué)習(xí)領(lǐng)域重要的工具支持向量機(jī)具有更方便的參數(shù)調(diào)整和更好的泛化能力，這使得ELM在圖像處理、特征選取、數(shù)據(jù)序列預(yù)測(cè)等方面被廣泛的應(yīng)用.

圖1 極限學(xué)習(xí)機(jī)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Extreme learning machine network structure

進(jìn)一步可以簡(jiǎn)化為矩陣表達(dá)式為：

其中，H被稱(chēng)作神經(jīng)網(wǎng)絡(luò)的隱含層輸出矩陣.在極限學(xué)習(xí)機(jī)算法中，只需要求出輸入權(quán)值的最小二乘解就能完成網(wǎng)絡(luò)的訓(xùn)練，輸出權(quán)值矩陣可由得到，其中H+表示神經(jīng)網(wǎng)絡(luò)隱含層輸出矩陣的Moore-penrose廣義逆.

3 本文算法描述

極限學(xué)習(xí)機(jī)重建超分辨率圖像包括訓(xùn)練和預(yù)測(cè)兩個(gè)階段.總的算法流程如下圖2所示.基于人眼對(duì)亮度信息最為敏感，所以對(duì)于彩色圖，只處理亮度通道，其它兩通道采用雙三次插值算法進(jìn)行處理.

圖2 算法流程Fig.2 Algorithm process

在訓(xùn)練階段，首先獲得有用的細(xì)節(jié)信息作為ELM算法的輸入.HR圖像經(jīng)過(guò)高斯模糊和下采樣k倍，然后用插值方法放大k倍，則高分辨率圖像的高頻信息將通過(guò)式（9）獲得

圖像的稀疏表示是將高分辨率圖像中的高頻細(xì)節(jié)信息作為原子構(gòu)建冗余字典，假設(shè)低分辨率圖像與樣本中訓(xùn)練的高分辨率圖像具有相似的特征，則通過(guò)機(jī)器學(xué)習(xí)可以得到對(duì)應(yīng)的高分辨率圖像.所以，作為ELM算法輸入的高頻信息作為先驗(yàn)知識(shí)可以通過(guò)稀疏表示構(gòu)建冗余特征字典.

在測(cè)試階段，低分辨率圖像經(jīng)過(guò)相同的插值方法獲得初始高分辨率圖像，然后通過(guò)字典學(xué)習(xí)構(gòu)建相對(duì)原始圖像訓(xùn)練字典來(lái)說(shuō)的低分辨率特征字典.最后通過(guò)ELM訓(xùn)練出來(lái)的高分辨率模型預(yù)測(cè)高分辨率信息.

本文利用極限學(xué)習(xí)機(jī)進(jìn)行圖像超分辨率重建，利用現(xiàn)有改進(jìn)的字典算法對(duì)訓(xùn)練樣本圖像進(jìn)行稀疏表示，構(gòu)造特征字典.我們知道圖像重建過(guò)程是病態(tài)的逆問(wèn)題，這必然導(dǎo)致ELM算法輸出矩陣存在不適定問(wèn)題，即存在較大輸出權(quán)值和過(guò)擬合現(xiàn)象.為了提高ELM算法的學(xué)習(xí)效率和預(yù)測(cè)能力，文中引入l1范數(shù)正則化方法對(duì)ELM算法進(jìn)行優(yōu)化.l1范數(shù)正則化方法又稱(chēng)為L(zhǎng)ASSO算法.由（8）式得目標(biāo)優(yōu)化函數(shù)為：

由式（10）求得輸出矩陣，其中λ為正則項(xiàng)系數(shù)，控制誤差與正則項(xiàng)的相對(duì)重要程度.確定輸出矩陣后ELM算法訓(xùn)練階段完成，在測(cè)試階段將相同方法得到的特征作為機(jī)器的輸入，根據(jù)訓(xùn)練模型可以預(yù)測(cè)需要的信息.

用改進(jìn)ELM算法訓(xùn)練重建模型進(jìn)行超分辨率重建的具體步驟如下：

1）創(chuàng)建訓(xùn)練樣本和測(cè)試樣本；

2）采集高分辨率圖像的高頻信息HF；

3）采用改進(jìn)字典構(gòu)建高分辨率圖像和低分辨率圖像的字典；

4）訓(xùn)練階段，將HF和高分辨率字典以及低分辨率圖像塊送入改進(jìn)的極限學(xué)習(xí)機(jī)訓(xùn)練高分辨率模型；

5）預(yù)測(cè)階段，低分辨率特征字典和低分辨率圖像塊預(yù)測(cè)測(cè)試圖像的高頻信息IHF；

4 實(shí)驗(yàn)結(jié)果與分析

為了測(cè)試基于改進(jìn)極限學(xué)習(xí)機(jī)算法重建超分辨率圖像的效果，現(xiàn)選擇USB-SIPI（網(wǎng)址：http：//sipi. usc.edu/database）標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)的圖像進(jìn)行仿真實(shí)驗(yàn).在實(shí)驗(yàn)中，設(shè)置隱層節(jié)點(diǎn)數(shù)為20，sigmoid為激勵(lì)函數(shù).為了方便視覺(jué)上對(duì)重建圖像質(zhì)量進(jìn)行評(píng)定，現(xiàn)將測(cè)試的原始圖像作為高分辨率標(biāo)準(zhǔn)圖像，降采樣以及高斯模糊原始圖像作為低分辨率圖像.客觀(guān)上，采用峰值信噪比PSNR和結(jié)構(gòu)相似度SSIM對(duì)重建圖像質(zhì)量進(jìn)行定量分析.為了使實(shí)驗(yàn)數(shù)據(jù)具有說(shuō)服力，提出用傳統(tǒng)的基于雙三次插值算法以及基于支持向量機(jī)算法[13]的圖像超分辨率重建結(jié)果進(jìn)行對(duì)比，對(duì)比標(biāo)準(zhǔn)是峰值信噪比PSNR和結(jié)構(gòu)相似度SSIM越大，說(shuō)明重建效果越好.另外，為了要求統(tǒng)一，本文用于超分辨率重建模型的訓(xùn)練樣本選用和支持向量機(jī)算法一樣的訓(xùn)練圖像.

圖3為3幅圖像在縮放因子k=2的重建結(jié)果，比較同1幅圖像在不同算法下的重建效果，以及局部放大效果以低分辨率圖像作為參考.從圖中可以看出雙三次插值重建圖像邊緣模糊，視覺(jué)質(zhì)量差.SVR算法恢復(fù)了部分細(xì)節(jié)，但是重建圖像仍需要進(jìn)一步提高.與以上2種方法相比本文算法能有效的獲取訓(xùn)練圖像的額外信息，恢復(fù)了更多的細(xì)節(jié)部分，重建圖像更加清晰從局部放大部分更能體現(xiàn)出本文算法的優(yōu)越性.同時(shí)表1列出的不同算法重建不同圖像的相應(yīng)峰值信噪比PSNR和結(jié)構(gòu)相似度SSIM也說(shuō)明了本文算法具有較好的重建效果.在放大倍數(shù)k分別為2和4兩種情況下，網(wǎng)絡(luò)的訓(xùn)練階段：表2數(shù)據(jù)表明本文算法的訓(xùn)練速度對(duì)比支持向量機(jī)算法耗時(shí)較少、訓(xùn)練速度較快.

圖4為選擇的1幅標(biāo)準(zhǔn)圖像放大4倍即k=4的重建結(jié)果.隨著降采樣因子的增大，所有算法恢復(fù)圖像的效果都有所下降，但相對(duì)來(lái)說(shuō)，無(wú)論是從圖像的紋理細(xì)節(jié)上，還是人臉的面部表情上都可以看出本文算法的重建結(jié)果更佳.如表3所示，仍然具有最好的峰值信噪比PSNR和結(jié)構(gòu)相似度SSIM.

表1 k=2時(shí)不同算法的SR重建PSNR和SSIM數(shù)據(jù)對(duì)比（PSNR/SSIM）Tab.1 k=2 different algorithms of SR reconstruction PSNR and SSIM data contrast（PSNR and SSIM）

圖3 k=2重建結(jié)果對(duì)比Fig.3 k=2 Reconstruction results

圖4 k=4重建結(jié)果對(duì)比Fig.4 k=4 reconstruction results

表2 兩種算法訓(xùn)練網(wǎng)絡(luò)的耗時(shí)比較Tab.2 Training time comparison of the two algorithms

表3 k=4時(shí)不同算法的SR重建PSNR和SSIM數(shù)據(jù)對(duì)比（PSNR/SSIM）Tab.3 k=4 different algorithms of SR reconstruction PSNR and SSIM data contrast(PSNR and SSIM)

5 總結(jié)

文中基于機(jī)器學(xué)習(xí)的思想，提出了一種極限學(xué)習(xí)機(jī)的超分辨率圖像重建方法.針對(duì)易出現(xiàn)過(guò)擬合現(xiàn)象采用正則化方法求解輸出矩陣.在訓(xùn)練階段，將訓(xùn)練圖像和高分辨率特征字典作為ELM算法的輸入訓(xùn)練網(wǎng)絡(luò)參數(shù)，建立超分辨率重建模型.最后進(jìn)行仿真實(shí)驗(yàn)表明，本文算法能很好保持圖像有用信息，有效改善低分辨率圖像質(zhì)量.下一步研究重點(diǎn)是如何有效尋找更多的先驗(yàn)信息，使得預(yù)測(cè)高頻信息更接近真實(shí)圖像丟失的信息.

[1]Liu X，Zhao D，Zhou J，et al.Image interpolation via graph-based bayesian label propagation[J].IEEE Transactions on Image Processing，2014，23（3）：1084-1096.

[2]Huang H，F(xiàn)an X，Qi C，et al.A learning-based POCS algorithm for face image super-resolution reconstruction[C]//2005 International Conference on Machine Learning and Cybernetics.IEEE，2005，8：5071-5076.

[3]Nayak R，Harshavardhan S，Patra D.Morphology based iterative back-projection for super-resolution reconstruction of image[C]//Emerging Technology Trends in Electronics，Communication and Networking（ET2ECN），2014 2nd International Conference on.IEEE，2014：1-6.

[4]李展，陳清亮，彭青玉，等.基于MAP的單幀字符圖像超分辨率重建[J].電子學(xué)報(bào)，2015，43（1）：191-197.

[5]Yang J，Wright J，Huang T，et al.Image super-resolution as sparse representation of raw image patches[C]//Computer Vision and Pattern Recognition，2008.CVPR 2008.IEEE Conference on.IEEE，2008：1-8.

[6]Yang J，Wright J，Huang T S，et al.Image super-resolution via sparse representation[J].IEEE transactions on image processing，2010，19（11）：2861-2873.

[7]Lee H，Battle A，Raina R，et al.Efficient sparse coding algorithms[C]//Advances in neural information processing systems.2006：801-808.

[8]潘宗序，禹晶，肖創(chuàng)柏，等.基于自適應(yīng)多字典學(xué)習(xí)的單幅圖像超分辨率算法[J].電子學(xué)報(bào)，2015，43（2）：209-216.

[9]Engan K，Aase S O，Husoy J H.Method of optimal directions for frame design[C]//Acoustics，Speech，and Signal Processing，1999.Proceedings.，1999 IEEE International Conference on.IEEE，1999，5：2443-2446.

[10]Aharon M，Elad M，Bruckstein A.K-SVD：An algorithm for designing overcomplete dictionaries for sparse representation[J].IEEE Transactions on Signal Processing，2006，54（11）：4311-4322.

[11]Elad M，Aharon M.Image denoising via sparse and redundant representations over learned dictionaries[J].IEEE Transactions on Image processing，2006，15（12）：3736-3745.

[12]Smith L N，Elad M.Improving dictionary learning：Multiple dictionary updates and coefficient reuse[J].IEEE Signal Processing Letters，2013，20（1）：79-82.

[13]Yang M C，Chu C T，Wang Y C F.Learning sparse image representation with support vector regression for single-image super-resolution[C]//2010 IEEE International Conference on Image Processing.IEEE，2010：1973-1976.

[14]Yang M C，Wang Y C F.A self-learning approach to single image super-resolution[J].IEEE Transactions on Multimedia，2013，15（3）：498-508.

[15]Huang G B，Zhu Q Y，Siew C K.Extreme learning machine：a new learning scheme of feedforward neural networks[C]//Neural Networks，2004.Proceedings.2004 IEEE International Joint Conference on.IEEE，2004，2：985-990.

[責(zé)任編輯 代俊秋]

Image super-resolution based on extreme learning machine

LIU Cuixiang,ZHANG Fenglin,LI Min
（School of Electronic and Information Engineering,Hebei University of Technology,Tianjin 300401,China）

In order to further improve the quality of the learning-based super-resolution image reconstruction,considering the extreme learning machine(ELM)with fast learning speed and good data prediction and analysis,this paper proposes image super resolution reconstruction based on the extreme learning machine.Under the idea of image sparse,high-frequency details is used as atomic to construct redundant dictionary.Specifically,high frequency information of the training image is extracted.The improved K-SVD algorithm is used to carry out dictionary learning on high and low resolution images.The corresponding feature dictionary is constructed as the input to train network parameter.Super-resolution reconstruction model is established.Finally the simulation results show that the proposed algorithm can obtain better experimental data than the comparative algorithm.

extreme learning machine;dictionary learning;super resolution;high frequency information

TP391

A

1007-2373（2017）02-0011-06

10.14081/j.cnki.hgdxb.2017.02.003

2016-12-05

天津市自然科學(xué)基金（14JCZDJC32600）

劉翠響（1973-），女，副教授，博士，liucuix@126.com.