黃 鳳，王曉明,2

(1.西華大學(xué) 計(jì)算機(jī)與軟件工程學(xué)院，成都 610039； 2. 西華大學(xué)機(jī)器人研究中心，成都 610039)(*通信作者電子郵箱wxmwm@aliyun.com)

增強(qiáng)的單幅圖像自學(xué)習(xí)超分辨方法

黃 鳳1，王曉明1,2*

(1.西華大學(xué) 計(jì)算機(jī)與軟件工程學(xué)院，成都 610039； 2. 西華大學(xué)機(jī)器人研究中心，成都 610039)(*通信作者電子郵箱wxmwm@aliyun.com)

針對(duì)圖像超分辨率方法構(gòu)建圖像塊的稀疏表示(SR)系數(shù)存在的主要問題，利用加權(quán)思想提出一種增強(qiáng)的單幅圖像自學(xué)習(xí)超分辨方法。首先，通過自學(xué)習(xí)建立高低分辨率圖像金字塔；然后，分別提取低分辨率圖像的圖像塊特征和對(duì)應(yīng)高分辨率圖像塊的中心像素，并給圖像塊中不同像素點(diǎn)賦予不同的權(quán)重，強(qiáng)調(diào)中心像素點(diǎn)在構(gòu)建圖像塊稀疏系數(shù)時(shí)的作用；最后，結(jié)合SR理論和支持向量回歸(SVR)技術(shù)建立超分辨率圖像重建模型。實(shí)驗(yàn)結(jié)果表明，與單幅圖像自學(xué)習(xí)超分辨率方法(SLSR)相比，所提方法的峰值信噪比(PSNR)平均提高了0.39 dB，無參考圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)(BRISQUE)分?jǐn)?shù)平均降低了9.7。從主觀視角和客觀數(shù)值證明了所提超分辨率方法更有效。

數(shù)字圖像處理；單幅圖像超分辨率；稀疏表達(dá)；支持向量回歸；權(quán)重系數(shù)

0 引言

近年來，數(shù)字圖像的超分辨率重建問題在圖像科學(xué)和工程應(yīng)用等領(lǐng)域得到了廣泛的研究和發(fā)展。圖像超分辨率是指從一幅低分辨率(Low Resolution, LR)圖像或多幅LR圖像中恢復(fù)出高分辨率(High Resolution, HR)圖像[1]2-9，可分為單幀圖像超分辨率和多幀圖像超分辨率。單幀圖像超分辨率是指只用一幅LR圖像恢復(fù)HR圖像；多幀圖像超分辨率是指利用一系列帶有亞像素位移的單幀LR圖像恢復(fù)HR圖像。本文研究的是單幀圖像超分辨率。

總體上，單幀圖像超分辨率的方法可分為基于插值、基于重建和基于學(xué)習(xí)的方法。圖像插值的實(shí)質(zhì)是通過結(jié)合基函數(shù)的加權(quán)和平移的離散和來表達(dá)一個(gè)連續(xù)的函數(shù)[2]。通常，基于插值的圖像超分辨率方法具有結(jié)構(gòu)簡單、計(jì)算復(fù)雜度低等優(yōu)點(diǎn)，但是，該類方法最容易模糊細(xì)節(jié)及其邊緣，產(chǎn)生具有振鈴和鋸齒狀的偽像。其中雙三次插值(Bicubic Interpolation, BI)是插值法中最常見的方法。基于重建的方法主要包括頻域法和空域法。頻域法主要是基于傅里葉變換的平移和混疊特性生成HR圖像，算法原理簡單，但無法利用圖像的先驗(yàn)信息，從而導(dǎo)致運(yùn)動(dòng)模糊和噪聲對(duì)重建結(jié)果的影響較大?？沼蚍▌t主要對(duì)圖像的空間域進(jìn)行處理，適用于包含運(yùn)動(dòng)、模糊和噪聲的復(fù)雜觀察模型。該方法在重建過程中利用圖像的一些先驗(yàn)知識(shí)來約束重建模型，具有很強(qiáng)的空域先驗(yàn)約束能力，然而原理復(fù)雜，計(jì)算量大。

基于學(xué)習(xí)的超分辨率方法是近年超分辨率算法研究中的熱點(diǎn)。與基于插值和重建方法不同，基于學(xué)習(xí)的方法借助機(jī)器學(xué)習(xí)，通過學(xué)習(xí)LR圖像與HR圖像之間的映射關(guān)系來預(yù)測(cè)LR圖像中丟失的高頻細(xì)節(jié)信息，從而實(shí)現(xiàn)HR圖像的重建過程。該類方法的基本思想是：首先收集大量的HR圖像及對(duì)應(yīng)的LR圖像，構(gòu)造學(xué)習(xí)庫，生成高低分辨率(HR/LR)圖像學(xué)習(xí)模型，然后引入由學(xué)習(xí)模型獲得的先驗(yàn)知識(shí)對(duì)待恢復(fù)的LR圖像進(jìn)行處理，得到圖像的高頻細(xì)節(jié)，最后獲得超分辨率圖像。大多數(shù)基于學(xué)習(xí)的超分辨率研究都是通過學(xué)習(xí)HR/LR圖像之間的支持向量回歸(Support Vector Regression, SVR)模型建立的HR圖像[3-5]，這些文獻(xiàn)整體布局分為訓(xùn)練和預(yù)測(cè)兩大模塊。在訓(xùn)練過程中，用SVR方法建立HR/LR圖像間的非線性降質(zhì)關(guān)系；在預(yù)測(cè)過程中，利用該關(guān)系得到LR圖像丟失的高頻信息，合成HR圖像?；赟VR的超分辨率是圖像超分辨率重建中一種典型的代表性算法。

近些年，隨著壓縮感知理論的發(fā)展，研究者們開始利用稀疏表示(Sparse Representation, SR)理論重建圖像。稀疏表示模型開始被廣泛應(yīng)用于圖像超分辨率中，如文獻(xiàn)[6-13]。其基本思想：首先用稀疏表示模型訓(xùn)練HR/LR圖像的字典，然后通過字典中很少量元素的線性組合描述LR圖像，最后利用某種關(guān)系描述超分辨率圖像。

2013年，Yang等[7]結(jié)合SVR和SR，提出了單幅圖像自學(xué)習(xí)超分辨率方法(Self-Learning Super-Resolution approach for single image, SLSR)。該方法與大多數(shù)基于學(xué)習(xí)的方法不同，其不需要提前從外部圖像庫收集訓(xùn)練的HR/LR圖像集。而是以輸入圖像為原型建立自學(xué)習(xí)的HR/LR圖像金字塔；然后用SR理論建立圖像塊的稀疏系數(shù)，最后建立SVR模型實(shí)現(xiàn)圖像的超分辨率。實(shí)驗(yàn)證明該方法具有很好的超分辨率效果。但是，該方法在圖像塊進(jìn)行SR時(shí)，未考慮像素點(diǎn)之間的差異性和圖像的連續(xù)性，認(rèn)為LR圖像塊中每個(gè)像素點(diǎn)與相應(yīng)HR圖像塊的中心像素點(diǎn)具有相同的映射關(guān)系，并且在自學(xué)習(xí)過程中，該方法未充分利用圖像塊大小構(gòu)建盡可能多的不同尺度SVR模型。

針對(duì)上述超分辨率SR問題，本文提出一種增強(qiáng)的單幅圖像自學(xué)習(xí)超分辨率方法。首先，通過圖像退化模型對(duì)輸入圖像根據(jù)提取的圖像塊大小盡可能建立多尺度的自學(xué)習(xí)HR/LR圖像金字塔；然后，提取圖像特征，用權(quán)重思想對(duì)提取的圖像塊進(jìn)行加權(quán)，不同的權(quán)重系數(shù)解釋圖像塊中除中心點(diǎn)外其他點(diǎn)對(duì)中心點(diǎn)的貢獻(xiàn)值大??；最后，結(jié)合SR理論、SVR原理，實(shí)現(xiàn)單幅圖像的超分辨率重建。

1 相關(guān)工作

傳統(tǒng)基于學(xué)習(xí)的超分辨率圖像重建需要提前收集圖像訓(xùn)練庫，在很大程度上限制了超分辨率方法的應(yīng)用，故本文采用自學(xué)習(xí)的超分辨方法。

自學(xué)習(xí)超分辨率方法的前提是以給定的HR圖像為原型，通過退化模型建立超分辨率學(xué)習(xí)的HR/LR圖像金字塔。通常圖像的退化模型為：

Ilow=SBIhigh+n

(1)

其中:Ilow是LR圖像，Ihigh是HR圖像，S代表下采樣過程，B代表模糊過程(高斯模糊、運(yùn)動(dòng)模糊等)，n代表噪聲(高斯噪聲、椒鹽噪聲等)。

1.1 稀疏表示理論

稀疏表示起源于信號(hào)研究，1993年Mallat[14]在基于小波分析中提出信號(hào)可以用一個(gè)超完備字典(Over-complete Dictionary,D)進(jìn)行表示，隨后稀疏表示理論被提出。稀疏表示是將原始信號(hào)x表達(dá)為字典元素的一個(gè)線性組合x=Dα，D是訓(xùn)練得到的字典，α為原始數(shù)據(jù)x在字典D上的表達(dá)，即稀疏系數(shù)。

設(shè)訓(xùn)練集{x1,x2,…,xm}，xi∈Rd，超完備字典D∈Rd×k，則{x1,x2,…,xm}的稀疏系數(shù)α∈Rk，解決問題：

(2)

1.2 支持向量回歸原理

20世紀(jì)90年代中期，基于統(tǒng)計(jì)學(xué)習(xí)理論，Vapnik首次提出了支持向量機(jī)(Support Vector Machine, SVM)模型。其中SVR是支持向量在函數(shù)回歸領(lǐng)域中的一個(gè)重要應(yīng)用。

SVR[15]所尋求的是最優(yōu)回歸函數(shù)y=〈ω,x〉+b，ω∈Rd，b∈R，〈·,·〉表示在空間Rd的內(nèi)積。最優(yōu)回歸函數(shù)對(duì)應(yīng)于空間Rd×R上的一個(gè)超平面。設(shè)訓(xùn)練集{(x1,y1),(x2,y2),…,(xm,ym)}?Rd×R，為尋找非線性回歸模型，首先將原始空間數(shù)據(jù)通過Φ映射到高維特征空間，其映射關(guān)系Φ:x|→Φ(x)；然后在高維特征空間中作近似線性回歸，更新訓(xùn)練集{(Φ(x1),y1),(Φ(x2),y2),…,(Φ(xm),ym)}。

令K(xi,xj)=〈Φ(xi),Φ(xj)〉，則對(duì)應(yīng)的原始優(yōu)化問題為：

(3)

為解決上述優(yōu)化問題，引進(jìn)拉格朗日算子β、β*，采用Lagrange法把原始問題轉(zhuǎn)化為如下的對(duì)偶優(yōu)化問題求解：

(4)

最后得到SVR函數(shù):

(5)

1.3 單幅圖像自學(xué)習(xí)超分辨率方法

Yang等[7]提出的SLSR方法，首先對(duì)輸入圖像I通過退化模型建立三個(gè)不同尺度的HR/LR圖像金字塔；然后對(duì)HR/LR圖像分塊、分類，學(xué)習(xí)不同圖像塊的字典，及稀疏表示系數(shù)。假設(shè)LR圖像塊中每一像素點(diǎn)對(duì)相應(yīng)HR圖像塊的中心像素點(diǎn)具有相同影響值，及不同尺度的HR/LR圖像之間具有相似的映射關(guān)系，最后借助SVR原理學(xué)習(xí)不同尺度的HR/LR圖像的映射關(guān)系，由貝葉斯決策理論選取最優(yōu)尺度的SVR模型，實(shí)現(xiàn)圖像的超分辨率重建。文獻(xiàn)[7]超分辨率方法原理的大致流程如圖1所示。

圖1 單幅圖像自學(xué)習(xí)超分辨率方法

2 增強(qiáng)的單幅圖像自學(xué)習(xí)超分辨率方法

傳統(tǒng)基于SVR的超分辨率方法是構(gòu)建LR圖像塊和HR圖像塊中心點(diǎn)的回歸模型，其屬于塊對(duì)點(diǎn)的回歸函數(shù)。該函數(shù)認(rèn)為自變量LR圖像塊中每一點(diǎn)對(duì)因變量HR圖像塊中心點(diǎn)的影響作用一致。實(shí)質(zhì)上，LR圖像和HR圖像為同一幅圖像。本文鑒于回歸函數(shù)的塊對(duì)點(diǎn)的形式，和圖像的連續(xù)性，在SVR建模時(shí)著重考慮以自變量LR圖像塊的中心為主導(dǎo)的某一小范圍像素點(diǎn)對(duì)因變量HR圖像塊的中心像素點(diǎn)的影響，提出一種基于高斯核加權(quán)的SVR超分辨率方法。即在用SVR方法構(gòu)建超分辨率學(xué)習(xí)模型時(shí)，對(duì)LR圖像特征塊進(jìn)行加權(quán)，用權(quán)重系數(shù)解釋圖像塊中每點(diǎn)對(duì)中心點(diǎn)的像素灰度值影響程度，最后用加權(quán)后的特征塊和HR圖像塊中心像素點(diǎn)進(jìn)行SVR建模。圖2描述了利用SVR重建圖像的傳統(tǒng)超分辨率方法和本文方法的主要區(qū)別。

本文提出的方法：首先，對(duì)輸入圖像I建立LR圖像和HR圖像金字塔(HR/LR)；然后，學(xué)習(xí)LR圖像的Sobel算子，對(duì)LR雙三次插值放大的圖像B及相應(yīng)的HR圖像分塊、分類、特征提取，并對(duì)提取的特征塊進(jìn)行高斯核加權(quán)，得到加權(quán)后的圖像特征數(shù)據(jù)集；最后，對(duì)特征數(shù)據(jù)集稀疏表示，用稀疏系數(shù)及HR圖像塊的中心像素灰度值建立非線性的SVR模型，選取誤差最小的SVR模型預(yù)測(cè)HR圖像塊的中心像素，重建LR的超分辨率圖像。

圖2 傳統(tǒng)超分辨率和本文超分辨率預(yù)測(cè)的主要區(qū)別

2.1 建立高低分辨率圖像金字塔

大多數(shù)基于學(xué)習(xí)的超分辨率圖像處理都是利用外部圖像數(shù)據(jù)庫，提前收集LR和HR圖像，從而建立學(xué)習(xí)訓(xùn)練模型，恢復(fù)HR圖像，如文獻(xiàn)[3，5-6，13]；然而，基于外部圖像庫建立的超分辨率方法嚴(yán)格限制了其在生活中的實(shí)際應(yīng)用。對(duì)此，本文提出一種增強(qiáng)的單幅圖像自學(xué)習(xí)超分辨率方法。

設(shè)原始圖像為I，I通過退化模型(1)建立多尺度不具有高頻信息的降質(zhì)圖像集{LR-1,LR-2,LR-3,…}，同時(shí)對(duì)輸入圖像I用BI方法建立相對(duì)應(yīng)帶有高頻信息的HR圖像集{HR-1,HR-2,HR-3,…}，得到原始圖像I的高低分辨率圖像金字塔HR/LR。如圖3底層所示。

圖3 加權(quán)自學(xué)習(xí)SVR超分辨率主要框架

HR-i可以看成是訓(xùn)練圖像LR-(i+1)的超分辨率圖像。其中B序列圖像是LR序列圖像進(jìn)行雙三次插值上采樣得到的，其大小和HR序列圖像對(duì)應(yīng)位置的相同。B序列圖像中的方塊表示建模選擇的圖像塊，HR序列圖像中的圓是方塊對(duì)應(yīng)HR圖像塊的中心像素點(diǎn)。

2.2 圖像稀疏表示

2.2.1 特征提取

為提高超分辨率的效果，本文不直接對(duì){LR-1,LR-2,LR-3,…}和{HR-1,HR-2,HR-3,…}提取圖像特征，而是用Sobel算子對(duì){LR-1,LR-2,LR-3,…}進(jìn)行邊緣檢測(cè)，依次分類提取圖像集{B-2,B-3,B-4,…}的特征塊。

分類標(biāo)準(zhǔn)：若二值圖像中點(diǎn)(u,v)的像素灰度值為0，則以點(diǎn)(u,v)為中心分割對(duì)應(yīng)圖像B-i得圖像塊矢量Xh和提取圖像HR-i，點(diǎn)(u,v)處像素灰度值HR(u,v)。設(shè)h=HR(u,v)，得到具有高空間頻率的訓(xùn)練集H={(Xh1,h1),(Xh2,h2),…}。若點(diǎn)(u,v)像素灰度值為255，分割圖像B-i和HR-i，則得到具有低空間頻率的圖像塊矢量Xl和塊中心點(diǎn)灰度值HR(u,v)，構(gòu)成低空間頻率的訓(xùn)練集L={(Xl1,l1),(Xl2,l2),…}。

2.2.2 特征塊高斯核加權(quán)及稀疏表示

設(shè)圖像塊大小為p×p，根據(jù)高斯核加權(quán)思想，對(duì)每一個(gè)圖像塊Xhi、Xlj進(jìn)行高斯核加權(quán)：

(6)

其中:Xs,t是圖像塊在點(diǎn)(s,t)(s,t=1,2,…,p)的灰度值，r=(s,t)，rc=(p/2,p/2)或rc=((p+1)/2,(p+1)/2)(p∈N*)。參數(shù)σ是高斯濾波器寬度，控制加權(quán)的徑向作用范圍。通過調(diào)節(jié)σ，可在圖像特征過分模糊與平滑圖像中由于噪聲和細(xì)紋理所引起的過多的欠平滑之間取得折中。

將加權(quán)后的圖像塊像素以行向量的形式表達(dá)，更新訓(xùn)練集H、L，如圖4所示。則Xhi∈R1×p2、Xlj∈R1×p2，hi∈R、lj∈R。加權(quán)后的圖像塊的像素信息更多集中于圖像塊的中心區(qū)域，即HR圖像塊的中心附近。

圖4 特征提取及加權(quán)

將Mairal 等[16-17]提出的矩陣分解和稀疏編碼在線學(xué)習(xí)作為圖像塊的字典學(xué)習(xí)方法。通過字典學(xué)習(xí)得到稀疏系數(shù)，并進(jìn)行計(jì)算，減少圖像重建誤差和提高運(yùn)算速度。同時(shí)，考慮圖像的紋理信息，本文對(duì)H、L中每個(gè)灰度值減去對(duì)應(yīng)圖像塊的平均灰度值，然后用字典表示圖像紋理信息，更新訓(xùn)練集H、L，對(duì)新的{Xhi}、{Xlj}特征塊集合稀疏表示。

(7)

分別計(jì)算圖像塊{Xhi}、{Xlj}的稀疏系數(shù){αhi}、{αlj}，λ為字典編碼中稀疏約束參數(shù)。

2.3 基于SVR建立超分辨率模型

Δyhnorm=(Δh-Δhmin)/(Δhmax-Δhmin)

(8)

Δylnorm=(Δl-Δlmin)/(Δlmax-Δlmin)

(9)

圖5 本文超分辨主要流程

由于在圖像特征塊加權(quán)時(shí)本文采用高斯核加權(quán)函數(shù)，其函數(shù)在除中心點(diǎn)一直為1外，其他點(diǎn)隨σ不斷增大，均不斷增加到1，如圖6所示。當(dāng)σ足夠大時(shí)，各加權(quán)系數(shù)均為1，此時(shí)本文提出的方法將接近SLSR方法[7]，亦可證明本文提出的方法有效性。同時(shí)，本文的方法可以看作是SLSR方法的一個(gè)推廣。

圖6 高斯核函數(shù)隨σ的變化

3 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

本文的實(shí)驗(yàn)圖像全部來源于南加州大學(xué)(University of Southern California, USC)圖像數(shù)據(jù)庫[19]。實(shí)驗(yàn)平臺(tái)為處理器Intel Core i3- 4130 CPU @3.40 GHz的64位Windows 7旗艦版，Matlab R2015a。

3.1 圖像評(píng)價(jià)標(biāo)準(zhǔn)及參數(shù)設(shè)計(jì)

為驗(yàn)證本文方法的有效性，本文在重建圖像的質(zhì)量評(píng)價(jià)上，首先用全參考(Full-Reference, FR)評(píng)價(jià)算法的峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)和結(jié)構(gòu)相似性指數(shù)(Structural SIMilarity index, SSIM)作為評(píng)價(jià)指標(biāo)，定義[1]93為：

(10)

(11)

其次考慮不依賴于原始真實(shí)圖像的無參考(No-Reference, NR)圖像質(zhì)量評(píng)價(jià)算法。基于測(cè)試圖像的普遍性和算法的建立方式，本文選擇基于小波域兩級(jí)框架的無參考圖像質(zhì)量評(píng)價(jià)模型(Blind Image Quality Index, BIQI)[20]和基于空域特征的無參考質(zhì)量評(píng)價(jià)方法(Blind/Referenceless Image Spatial Quality Evaluator, BRISQUE)[21]作為超分辨率圖像的質(zhì)量評(píng)價(jià)指標(biāo)。二者取值范圍[0,100]，0表示圖像質(zhì)量最好，100表示圖像質(zhì)量最差。

在實(shí)驗(yàn)中，為模擬真實(shí)的退化圖像過程，本文在實(shí)驗(yàn)的LR圖像中均人為添加噪聲。首先，對(duì)原始圖像通過模型(1)高斯模糊；然后，以2的指數(shù)倍率進(jìn)行下采樣；最后，添加高斯白噪聲得到含噪的測(cè)試LR圖像。如此反復(fù)，建立HR/LR圖像金字塔。

借鑒文獻(xiàn)[7]稀疏表達(dá)參數(shù)、圖像塊大小的設(shè)置方式和實(shí)驗(yàn)圖像大小，本文的參數(shù)設(shè)置如下：金字塔層數(shù)N1=5(所有測(cè)試圖像大小為256×256)；多尺度模型N2=N1-1，圖像塊的大小p=5。訓(xùn)練集和測(cè)試集中數(shù)據(jù)的稀疏表示調(diào)用Mairal的SPAMS[22]工具箱，設(shè)置參數(shù)λ=0.025，字典原子數(shù)目k=100。SVR用LIBSVM[23]，其中核函數(shù)用徑向基函數(shù)(Radial Basis Function, RBF)，參數(shù)gamma=1。數(shù)據(jù)集H的SVR參數(shù)c=4、ε=0.015 625；數(shù)據(jù)集L的參數(shù)c=2、ε=0.003 906 25，歸一化誤差△yhnorm、△ylnorm的SVR參數(shù)均設(shè)置為c=32、ε=0.007 812 5。這些SVR參數(shù)均由LIBSVM[23]工具箱的gridregression.py函數(shù)通過訓(xùn)練由本文方法處理后的Lena圖(圖7(h))數(shù)據(jù)集而得到。對(duì)于高斯核加權(quán)參數(shù)σ設(shè)計(jì)，將在實(shí)驗(yàn)結(jié)果中給出討論和分析。

3.2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)過程中，首先從圖像庫[19]中選取8幅不同類型、不同紋理的實(shí)驗(yàn)圖像。若圖像為彩色圖像，則作相應(yīng)灰度化處理；若圖像大小不統(tǒng)一，則統(tǒng)一經(jīng)過預(yù)處理得到256×256大小，得到測(cè)試圖像(Girl、House、Tree、Jelly beans、Aerial、Clock、Resolution chart、Lena，如圖7所示)。為檢驗(yàn)本文方法的有效性，本文將提出的方法與雙三次插值方法BI、稀疏表達(dá)的超分辨率方法SCSR[6]、基于稀疏編碼網(wǎng)絡(luò)的超分辨率方法SCN[13]、基于單幅圖像自學(xué)習(xí)超分辨率方法SLSR[7](N2=3)(其中SCSR、SCN、SLSR相關(guān)代碼均可在作者主頁下載)、以及由文獻(xiàn)[7]延伸出的單尺度SVR方法(N2=1)作比較，得到不同測(cè)試圖像在多種超分辨率方法下的超分辨率重建結(jié)果。

由于本文的重點(diǎn)在圖像塊的加權(quán)上，故接下來討論加權(quán)參數(shù)大小對(duì)圖像超分辨率結(jié)果的影響。

圖7 測(cè)試圖像

3.2.1 權(quán)重系數(shù)對(duì)超分辨率重建的影響

表1 不同加權(quán)參數(shù)產(chǎn)生的超分辨率圖像PSNR dB

從表1可以看出，同一幅圖像在不同加權(quán)參數(shù)下，其超分辨率圖像有不同的PSNR值，且PSNR值波動(dòng)不大。觀察表1，還可以發(fā)現(xiàn)，在實(shí)驗(yàn)的5種加權(quán)參數(shù)下，8幅測(cè)試圖像雖然有不同的PSNR值，但大部分圖像的最優(yōu)PSNR值落在σ=3,5下。綜合對(duì)比測(cè)試圖像在不同加權(quán)參數(shù)下的平均PSNR值，選擇實(shí)驗(yàn)的最優(yōu)加權(quán)參數(shù)σ=5。故本文認(rèn)為最優(yōu)加權(quán)參數(shù)σ=p(p為提取圖像塊的大小)。

3.2.2 實(shí)驗(yàn)結(jié)果與分析

根據(jù)前面部分參數(shù)的設(shè)置及加權(quán)參數(shù)的討論，本文設(shè)σ=5進(jìn)行圖像的超分辨率重建，并對(duì)多種方法重建后的超分辨率圖像計(jì)算PSNR、SSIM得到表2，計(jì)算BIQI、BRISQUE得到表3。圖8顯示了部分圖像的超分辨率結(jié)果的部分放大圖像。

圖8 各種方法實(shí)現(xiàn)超分辨率重建的部分放大圖

為測(cè)試本文方法在視覺上的有效性，選擇House、Aerial、Lena的超分辨率重建圖像進(jìn)行視覺上的對(duì)比。由表2知，本文方法對(duì)這3幅圖像超分辨率重建的PSNR值與其他方法相比，明顯最優(yōu)。圖8分別列出了House、Aerial、Lena原始HR圖像及由BI、SCSR[6]、SCN[13]、單尺度SVR、SLSR[7]和本文方法產(chǎn)生的超分辨率圖像的部分放大圖像。通過觀察局部放大圖像可以看出，由BI方法重建的圖像非常模糊，借助外部圖像數(shù)據(jù)庫訓(xùn)練模型建立超分辨率圖像的SCSR[6]和SCN[13]方法的圖像視覺效果最差，二者產(chǎn)生部分鋸齒狀斑塊。分別觀察圖8(e)(f)(g)，雖然三者圖像整體效果差不多，但是House圖(g)房檐輪廓及房頂凸出部分相比其他二幅圖像更清晰；Aerial圖(g)街道梯子輪廓比其他圖像輪廓清晰；Lena圖(g)重建圖像的眼睛、鼻子和嘴巴更接近原始HR圖像，且相比其他三幅圖像局部更清晰。最后，圖9給出了其他5幅圖像實(shí)驗(yàn)結(jié)果，觀察圖像同樣可以得出本文提出的方法更有效。

比較觀察表2中各個(gè)方法重建超分辨率圖像的FR評(píng)價(jià)指標(biāo)值，除Resolution chart圖像外，通過本文方法重建的其他超分辨率圖像的PSNR都比另外5種方法高；SSIM指標(biāo)對(duì)比顯示，雖然本文方法沒有表現(xiàn)出全部最優(yōu)，但大部分圖像的SSIM都比另外5種方法高。其他5種方法中，由于SLSR[7]方法通過待測(cè)圖像自身建立多尺度HR/LR圖像金字塔，并用稀疏表達(dá)分塊提取的圖像塊像素特征，所以，其重建的超分辨率圖像FR評(píng)價(jià)指標(biāo)更接近本文方法，單尺度SVR方法次之，BI方法緊隨其后。相反，依賴于外部圖像庫提前訓(xùn)練數(shù)據(jù)集的SCSR[6]方法和SCN[13]方法的FR評(píng)價(jià)指標(biāo)表現(xiàn)相對(duì)最差。分析其原因，主要本文測(cè)試圖像大部分為人物，而SCSR[6]方法訓(xùn)練的外部圖像庫主要為植物類型圖像，且訓(xùn)練樣本太少，僅有69幅；SCN[13]方法訓(xùn)練樣本僅有91幅。比較SSIM值，由本文方法重建的Aerial和Resolution chart圖像均不是最高。Aerial通過SLSR[7]方法重建的超分辨率圖像SSIM雖然最高，但其值和本文方法僅相差0.002 7。相反，Resolution chart通過BI方法重建的超分辨率圖像SSIM比其他3種方法高得比較多，在結(jié)構(gòu)相似性上更接近原始HR圖像。分析其原因，主要是在多層金字塔建立過程中，由于數(shù)字圖表類圖像局部具有特征連續(xù)性，在多次下采樣過程中丟失局部有效信息最多，其特征被忽略、模糊和邊緣化，所以導(dǎo)致本文方法的重建效果差。

相比FR圖像質(zhì)量評(píng)價(jià)指標(biāo)，比較觀察表3，顯然依賴于外部圖像集的超分辨率方法在NR圖像質(zhì)量評(píng)價(jià)指標(biāo)上占主導(dǎo)優(yōu)勢(shì)，而本文提出的方法無論是在BIQI指標(biāo)還是BRISQUE指標(biāo)上，其質(zhì)量評(píng)價(jià)分?jǐn)?shù)都相對(duì)高些，圖像質(zhì)量在小波域和空域特征上表現(xiàn)相對(duì)較差。但是，本文方法相對(duì)于另外3種方法表現(xiàn)較好。

表2 多種方法重建超分辨率圖像的全參考指標(biāo)PSNR和SSIM

表3 多種方法重建超分辨率圖像的無參考指標(biāo)BIQI和BRIQUE

表4給出了本文方法及對(duì)比方法重建超分辨率圖像的平均時(shí)間。由于本文在對(duì)比SCN方法時(shí)，直接用的Wang等[13]訓(xùn)練好的級(jí)聯(lián)網(wǎng)絡(luò)模型，故本文僅給出了SCN方法的測(cè)試時(shí)間。比較每個(gè)方法的重建時(shí)間，考慮借用外部圖像數(shù)據(jù)庫訓(xùn)練模型的實(shí)際應(yīng)用限制、對(duì)比FR圖像質(zhì)量評(píng)價(jià)指標(biāo)值及NR圖像質(zhì)量評(píng)價(jià)指標(biāo)值，得出：本文方法相對(duì)于其他5種超分辨率方法在實(shí)現(xiàn)上更方便，重建的圖像質(zhì)量更好。

表4 不同方法重建超分辨率圖像的平均訓(xùn)練和測(cè)試時(shí)間對(duì)比

4 結(jié)語

本文針對(duì)單幅退化的LR圖像，借鑒多尺度自學(xué)習(xí)模型和圖像稀疏表示，考慮圖像塊的中心受其鄰域灰度值的影響關(guān)系，對(duì)高維的圖像數(shù)據(jù)建立了誤差最小的SVR預(yù)測(cè)擬合模型，重點(diǎn)構(gòu)建了影響稀疏字典和系數(shù)的加權(quán)特征塊。因?yàn)閳D像的連續(xù)性，越靠近的像素點(diǎn)，關(guān)系越密切；越遠(yuǎn)離的像素點(diǎn)，關(guān)系越疏遠(yuǎn)，所以該方法最大的優(yōu)勢(shì)在于：對(duì)每個(gè)圖像塊的像素灰度值進(jìn)行高斯核加權(quán)，用加權(quán)后的響應(yīng)值代替原來圖像塊的像素值，進(jìn)而與HR圖像塊中心像素點(diǎn)建立更有效的SVR模型。實(shí)驗(yàn)結(jié)果表明，本文設(shè)計(jì)的方法與其他基于學(xué)習(xí)的SVR和SR的超分辨率方法相比，其超分辨率重建圖像視覺效果更好，同時(shí)表現(xiàn)出更好的超分辨率FR圖像評(píng)價(jià)指標(biāo)，特別是對(duì)人物圖像。由于在圖像退化過程中人為添加有噪聲，故本文提出的方法也適用于圖像去噪過程。而對(duì)于數(shù)字圖表類圖像，仍需提出更好的算法實(shí)現(xiàn)該類圖像的超分辨率重建。未來將考慮改進(jìn)特征的提取方式來提高對(duì)數(shù)字圖表類圖像的超分辨率重建，及降低重建圖像的NR圖像評(píng)價(jià)指標(biāo)值。

圖9 各種方法重建的超分辨率圖像

References)

[1] 楊欣.圖像超分辨率技術(shù)原理及應(yīng)用[M].北京：國防工業(yè)出版社,2013:2-9,93.(YANG X. Image Super Resolution Technology Principle and Application [M]. Beijing: National Defense Industry Press, 2013: 2-9,93.)

[2] 趙偉.基于多幅低分辨率圖像的超分辨率圖像重建[D].南京: 東南大學(xué),2011：12-17. (ZHAO W. Super-resolution image reconstruction based on multiple low resolution images [D]. Nanjing: Southeast University, 2011: 12-17.)

[3] 王宇,吳煒,嚴(yán)斌宇,等.基于SVR的人臉圖像超分辨率復(fù)原算法[J].四川大學(xué)學(xué)報(bào)(自然科學(xué)版),2013,50(4):728-736.(WANG Y, WU W, YAN B Y, et al. Face hallucination based on SVR [J].Journal of Sichuan University (Natural Science Edition), 2013, 50(4): 728-736.)

[4] XU J, DENG C, GAO X, et al. Image super-resolution using multi-layer support vector regression [C]// Proceedings of the 2014 IEEE International Conference on Acoustics, Speech and Signal Processing. Piscataway, NJ: IEEE, 2014: 5799-5803.

[5] AN L, BHANU B. Improved image super-resolution by support vector regression [C]// Proceedings of the 2011 International Joint Conference on Neural Networks. Piscataway, NJ: IEEE, 2011: 696-700.

[6] YANG J, WRIGHT J, HUANG T S, et al. Image super-resolution via sparse representation [J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

[7] YANG M C, WANG Y C F. A self-learning approach to single image super-resolution [J]. IEEE Transactions on Multimedia, 2013, 15(3):498-508.

[8] YANG M C, CHU C T, WANG Y C F. Learning sparse image representation with support vector regression for single-image super-resolution [C]// Proceedings of the 2010 17th IEEE International Conference on Image Processing. Piscataway, NJ: IEEE, 2010: 1973-1976.

[9] 范九倫,史香曄,徐健,等.多級(jí)字典學(xué)習(xí)的圖像超分辨率算法[J].西安郵電大學(xué)學(xué)報(bào),2016,21(3):32-37.(FAN J L, SHI X Y, XU J, et al. Image super-resolution algorithm based on multi-level dictionaries learning [J]. Journal of Xi’an University of Posts and Telecommunications, 2016, 21(3): 32-37.)

[10] 邱大偉,劉彥隆.改進(jìn)的稀疏表示圖像超分辨率復(fù)原算法[J].電視技術(shù)，2016,40(1):135-140. (QIU D W, LIU Y L. Improved image super-resolution via sparse representation [J]. Video Engineering, 2016, 40(1): 135-140.)

[11] 李欣,崔子冠,孫林慧,等.基于局部回歸模型的圖像超分辨率重建[J].計(jì)算機(jī)應(yīng)用,2016,36(6):1654-1658. (LI X, CUI Z G, SUN L H, et al. Image super-resolution reconstruction based on local regression model [J]. Journal of Computer Applications, 2016, 36(6): 1654-1658.)

[12] 王宏,盧芳芳,李建武.結(jié)合支持向量回歸和圖像自相似的單幅圖像超分辨率算法[J].中國圖象圖形學(xué)報(bào),2016,21(8):986-992.(WANG H, LU F F, LI J W. Single image super-resolution via support vector regression and image self-similarity [J]. Journal of Image and Graphics, 2016, 21(8): 986-992.)[13] WANG Z, LIU D, YANG J, et al. Deep networks for image super-resolution with sparse prior [EB/OL]. [2016- 12- 07]. http://pdfs.semanticscholar.org/27fc/88ebb3e325a062a6ff48a7a76611af1ecd5a.pdf.

[14] MALLAT S. A wavelet tour of signal processing: the sparse way [EB/OL]. [2016- 12- 07]. http://www.gbv.de/dms/ilmenau/toc/579284751.PDF.

[15] BASAK D, PAL S, PATRANABIS D C. Support vector regression [J]. Neural Information Processing Letters and Reviews, 2007, 11(10): 203-224.

[16] MAIRAL J, BACH F, PONCE J, et al. Online learning for matrix factorization and sparse coding [J]. Journal of Machine Learning Research, 2010, 11(1): 19-60.

[17] MAIRAL J, BACH F, PONCE J, et al. Online dictionary learning for sparse coding [C]// Proceedings of the 26th Annual International Conference on Machine Learning. New York: ACM, 2009: 689-696.

[18] EFRON B, HASTIE T, JOHNSTONE I, et al. Least angle regression (with discussion) [EB/OL]. [2017- 01- 06]. https://web.stanford.edu/～hastie/Papers/LARS/LeastAngle_2002.pdf.

[19] University of Southern California. The USC-SIPI image database [DB/OL]. [2016- 08- 20]. http://sipi.usc.edu/database/.

[20] MOORTHY A K, BOVIK A C. A two-step framework for constructing blind image quality indices [J]. IEEE Signal Processing Letters, 2010, 17(5): 513-516.

[21] MITTAL A, MOORTHY A K, BOVIK A C. No-reference image quality assessment in the spatial domain [J]. IEEE Transactions on Image Processing, 2012, 21(12): 4695-4708.

[22] MAIRAL J. SPAMS: a sparse modeling software, v2.5 [EB/OL]. [2016- 10- 23]. http://spams-devel.gforge.inria.fr/downloads.html.

[23] CHANG C, LIN C J. LIBSVM: a library for support vector machines [EB/OL]. [2016- 10- 18]. http://www.csie.ntu.edu.tw/～cjlin/libsvm.

Enhancedself-learningsuper-resolutionapproachforsingleimage

HUANG Feng1, WANG Xiaoming1,2*

(1.SchoolofComputerandSoftwareEngineering,XihuaUniversity,ChengduSichuan610039,China;2.RoboticsResearchCenterofXihuaUniversity,ChengduSichuan610039,China)

Aiming at the main problem of the Sparse Representation (SR) coefficients of the image blocks in image super-resolution method, an enhanced self-learning super-resolution approach for single image was proposed by using the weighting idea. Firstly, the pyramid of high and low resolution images was established by self-learning. Then, the image block feature of low-resolution images and the central pixels of the corresponding high-resolution image blocks were extracted respectively. The role of the center pixel in constructing the image block sparse coefficient was emphasized by giving different weights of different pixels in the image blocks. Finally, the combination of SR theory and Support Vector Regression (SVR) technique was used to build the super-resolution image reconstruction model. The experimental results show that compared with the Self-Learning Super-Resolution method for single image (SLSR), the Peak Signal-to-Noise Ratio (PSNR) of the proposed method is increased by an average of 0.39 dB, the BRISQUE (Blind/Reference-less Image Spatial Quality Evaluator) score of no-reference image quality evaluation criteria is reduced by an average of 9.7. From the subjective perspective and objective values, it is proved that the proposed super resolution method is more effective.

digital image processing; single image super-resolution; Sparse Representation (SR); Support Vector Regression (SVR); weight coefficient

2017- 03- 30;

2017- 06- 07。

國家自然科學(xué)基金資助項(xiàng)目(61532009)；教育部春暉計(jì)劃項(xiàng)目(Z2015102)；四川省教育廳自然科學(xué)重點(diǎn)項(xiàng)目(11ZA004)。

黃鳳(1993—)，女，四川南部人，碩士研究生，主要研究方向：圖像超分辨率重建； 王曉明(1977—)，男，四川簡陽人，副教授，博士，主要研究方向：模式識(shí)別、機(jī)器學(xué)習(xí)、圖像處理、計(jì)算機(jī)視覺。

1001- 9081(2017)09- 2636- 07

10.11772/j.issn.1001- 9081.2017.09.2636

TP391.41

A

This work is partially supported by the National Natural Science Foundation of China (61532009), the Chunhui Program of Ministry of Education (Z2015102), the Key Scientific Research Project of Sichuan Provincial Department of Education (11ZA004).

HUANGFeng, born in 1993, M. S. candidate. Her research interests include image super-resolution reconstruction.

WANGXiaoming, born in 1977, Ph. D., associate professor. His research interests include pattern recognition, machine learning, image processing, computer vision.