趙　麗，齊興斌，李雪梅

(1.山西大學(xué) 計(jì)算機(jī)工程系，太原　030013；2.北京航空航天大學(xué) 計(jì)算機(jī)學(xué)院，北京　100191)

?

基于回歸函數(shù)結(jié)合局部自相似的單幀圖像超分辨率算法

趙麗1,2，齊興斌1，李雪梅1

(1.山西大學(xué) 計(jì)算機(jī)工程系，太原030013；2.北京航空航天大學(xué) 計(jì)算機(jī)學(xué)院，北京100191)

啟發(fā)于過(guò)完備字典中稀疏線性組合的高分辨率圖像的塊與其對(duì)應(yīng)的低分辨率局部塊能很好地匹配，提出一種回歸函數(shù)結(jié)合局部自相似的單幀圖像超分辨率算法;該算法結(jié)合了實(shí)例圖像塊的學(xué)習(xí)和局部自相似圖像塊的學(xué)習(xí)，實(shí)例圖像塊的局部回歸避免了從低分辨率到高分辨率圖像塊映射的病態(tài)性問(wèn)題;通過(guò)局部自相似實(shí)例圖像塊學(xué)習(xí)獲得非線性映射函數(shù)的一階近似，從而獲得低分辨率圖像塊相對(duì)應(yīng)的高分辨率圖像塊，克服了實(shí)例圖像塊算法不足的問(wèn)題；實(shí)驗(yàn)采用峰值信噪比(Peak Signal to Noise Ratio,PSNR)和均方誤差(Root-mean-square error,RMSE)比較各算法效果;從實(shí)驗(yàn)結(jié)果數(shù)據(jù)可以看出，大多數(shù)情況下，提出的算法具有最高的峰值信噪比和最低的均方根誤差，從實(shí)驗(yàn)結(jié)果圖可以看出，提出的算法的紋理保留的最好，圖像自然性最好，且運(yùn)行時(shí)間也少于其他幾種較新的算法，表明提出的算法更適合用于解決實(shí)際問(wèn)題。

完備字典；稀疏線性組合；超分辨率；單幀；局部自相似；局部回歸

0　引言

超分辨率(super-resolution,SR)[1]在實(shí)際應(yīng)用中十分廣泛和活躍，例如軍事超視距設(shè)備不僅裝備了非常好的高清攝像頭，還有較好的SR嵌入式算法[2]；SR在地球衛(wèi)星上的應(yīng)用也比較早[3]；SR在醫(yī)學(xué)上的微成像[4]也相當(dāng)重要。從硬件設(shè)備上提高分辨率已經(jīng)基本到了極限，從軟件算法上獲得高分辨率(high resolution,HR)圖像是代價(jià)低，實(shí)用性好的途徑。

SR的目標(biāo)是從一個(gè)或多個(gè)低分辨率(low resolution,LR)圖像產(chǎn)生一個(gè) 或多個(gè)HR圖像的過(guò)程。SR算法一般分為3大類：基于插值的算法[5]、基于重建的算法[6-7]和基于學(xué)習(xí)的算法[8-10]。

本文給出一種新的單幀圖像SR算法，不同于之前的先驗(yàn)單幀SR，本文使用基于字典的局部回歸和局部自相似相結(jié)合方法。使用局部自相似[10]從LR圖像重建訓(xùn)練一個(gè)字典；然后使用得到的字典學(xué)習(xí)從LR圖像塊到HR圖像塊的非線性映射的一階近似，有效避免了從LR到HR圖像塊映射的病態(tài)性問(wèn)題。

1　數(shù)學(xué)模型

一般情況下，超分辨率問(wèn)題采用前向的數(shù)據(jù)模型來(lái)表達(dá)。其表達(dá)方式有多種，比較受歡迎的有文獻(xiàn)[11]的形式。其修改后的模型表達(dá)式為：

Yk=DkHkFkX+nk,k=1,...,N

(1)

式中，F(xiàn)k是X與第k幀Yk的幾何運(yùn)動(dòng)算子，大小r2M2×r2M2。r是分辨率變化因子。X可以寫成向量形式，大小r2M2×r2M2。Yk大小是M2×1。點(diǎn)擴(kuò)散函數(shù)用模糊矩陣Hk表示，大小為r2M2×r2M2。Dk代表抽樣算子，大小為M2×r2M2。nk是系統(tǒng)加性噪聲，大小為M2×1。N是可用于處理的LR圖像幀數(shù)。在式(1)中，nk和Hk分別代表噪聲和模糊矩陣，這兩項(xiàng)都是已經(jīng)假設(shè)好的，例如nk大多用高斯白噪聲代表，Hk大多以勻速直線運(yùn)動(dòng)模糊為研究對(duì)象，或者直接不研究將其置為單位矩陣。另外當(dāng)k>1時(shí)，模型就是多幀超分辨率問(wèn)題，當(dāng)k=1時(shí)，模型是單幀超分辨率問(wèn)題。

數(shù)學(xué)模型建立好之后，要解決的問(wèn)題就是如何獲得潛在的高質(zhì)量圖像X，實(shí)質(zhì)上這就是一個(gè)估計(jì)問(wèn)題。一個(gè)未知的HR估計(jì)并不僅僅取決于LR圖像的質(zhì)量。它同時(shí)也取決于很多假設(shè)，例如噪聲和運(yùn)動(dòng)模型。這些模型并不一定都正確，只是一些常用的經(jīng)驗(yàn)知識(shí)，不過(guò)可以做近似處理。

本文研究的是單幀超分辨率問(wèn)題，即k=1，沒(méi)有運(yùn)動(dòng)模糊和復(fù)雜的幾何運(yùn)動(dòng)，即Hk和Fk為單位矩陣，因?yàn)楸疚挠懻摰氖墙Y(jié)合字典的學(xué)習(xí)方法，研究分辨率因子增強(qiáng)后的圖像紋理和自然性的變化，因此式(1)可以簡(jiǎn)化為：

Y=DX+n

(2)

定義LR圖像X0∈RK1×K2是Y0∈RK1×K2通過(guò)高斯濾波后的低頻圖像。使用立方插值，采樣因子為r，對(duì)X0上采樣得到Y(jié)∈RrK1×rK2。Y是未知HR圖像X∈RrK1×rK2的低頻圖像的近似圖像。本文的目標(biāo)是從X0,Y0,Y中的已知信息估計(jì)X。

圖1　本文單幀SR問(wèn)題描述

2　提出的算法

2.1局部回歸

基于圖像塊的單幀SR問(wèn)題可以看做是一個(gè)回歸問(wèn)題，例如尋找從LR圖像塊空間到HR圖像塊空間的非線性映射關(guān)系。由于反問(wèn)題的病態(tài)性[12]，學(xué)習(xí)這種非線性映射函數(shù)需要很好的圖像先驗(yàn)知識(shí)和適當(dāng)?shù)恼齽t化。自相似圖像塊是推理HR圖像中y的非常好的先驗(yàn)知識(shí)[13]。假設(shè)映射函數(shù)f是連續(xù)可導(dǎo)的，則有下列的泰勒表達(dá)式：

x=f(y)=f(y0+y-y0)=

x0+▽fT(y0)(y-y0).

(3)

等式(3)是映射函數(shù)f的一階近似。這樣做的好處顯而易見(jiàn)，因?yàn)橹苯訉W(xué)習(xí)函數(shù)f本身比較麻煩，而學(xué)習(xí)映射函數(shù)f的梯度▽f將使問(wèn)題變得簡(jiǎn)單直接。

(4)

2.2字典學(xué)習(xí)

映射梯度▽f的字典方法是由文獻(xiàn)[15]提出，目的是保證細(xì)節(jié)增強(qiáng)。 這種方法使用高分辨率圖像建立一個(gè)完備字典Dh∈Rn×K，即一個(gè)n×K的矩陣，其中K列代表一個(gè)尺寸為K的“原子”，一個(gè)“原子”就是一個(gè)稀疏系數(shù)向量。在HR圖像X中的圖像塊x∈Rn可以被重新表示為以下字典Dh的原子的稀疏線性組合形式：

(5)

在觀測(cè)LR圖像中，圖像塊y可以使用相應(yīng)的LR字典Dl和相同的稀疏系數(shù)向量α組合表示。這是由于HR圖像塊的字典Dh和對(duì)應(yīng)的LR圖像塊的字典Dl聯(lián)合訓(xùn)練的結(jié)果。

對(duì)于給定的輸入LR圖像塊y，可以定義稀疏解決向量為：

(6)

式(6)中，G是特征提取算子用于增強(qiáng)高頻成分，式(7)是本文使用的一維濾波器：

g1=[-1,0,1];g2=[-1,0,1]T;

g3=[1,0,-2,0,1];g4=[1,0,-2,0,1]T

(7)

G作為上述一維圖像濾波器的串聯(lián)響應(yīng)。解向量α*的稀疏性由λ控制。為了在抑制噪聲和其他鋸齒同時(shí)，增強(qiáng)紋理細(xì)節(jié)，需要求解解向量α*的非零系數(shù)的數(shù)目，因?yàn)樵黾臃橇阆禂?shù)的數(shù)目提高了紋理信息，而且也提高了噪聲的抵抗性。本文使用圖像塊的標(biāo)準(zhǔn)偏差(σ)來(lái)表征局部紋理，λ的經(jīng)驗(yàn)值表示如下：

(8)

這些σ的范圍劃分適用于8比特灰度圖像，RGB彩色圖像與之類似，只不過(guò)多了兩個(gè)通道。對(duì)于給定y0映射梯度▽f表示為▽f(y0)=Dhα*.

(9)

式中，N和M是LR和HR圖像塊的向量形式的元素個(gè)數(shù)。優(yōu)化字典可以被計(jì)算如下:

(10)

訓(xùn)練的方式采用迭代方法，使用文獻(xiàn)[14]的技術(shù)交替優(yōu)化Z和Dc。

3　實(shí)驗(yàn)與分析

仿真實(shí)驗(yàn)在配置為Windows XP操作系統(tǒng)、intel酷睿II處理器、 2.53 GHz主頻、4 GB RAM的筆記本計(jì)算機(jī)進(jìn)行。使用MATLAB 7.0平臺(tái)。

3.1算法參數(shù)設(shè)置及評(píng)價(jià)函數(shù)

本文選擇的圖像塊尺寸為a= 3，迭代縮放因子為r= 2。輸入的LR圖像X0雙3次插值生成目標(biāo)HR圖像X，濾波標(biāo)準(zhǔn)差為0.4，輸入的LR圖像X0的低頻分量的低頻分量Y0。對(duì)于干凈的圖像，本文使用最近鄰圖像塊一階回歸，而在噪聲圖像的情況下，使用所有9個(gè)鄰域圖像塊回歸的穩(wěn)健估計(jì)，其中σ是用于計(jì)算權(quán)重wi,且唯一需要調(diào)整變量，如式(4)中所示。原子數(shù)K取512，用來(lái)訓(xùn)練和構(gòu)建字典Dh和Dl。

本文使用圖像的峰值信噪比(peak signal to noise ratio,PSNR)和均方差表征估計(jì)得到HR圖像的好壞，PSNR定義如下：

(11)

(12)

式中,g(i，j)代表原始圖像每個(gè)元素灰度值，處理后，(i,j)位置對(duì)應(yīng)的像素灰度值為G(i，j)，處理前后圖像大小不變，(原始圖像進(jìn)行下采樣，再上采樣，處理前后尺寸大小不變)寬高分別為W，H。

本文所用均方差RMSE形式如下：

(13)

式中，bins(i)代表亮度為i的直方圖條塊的高度，圖像亮度分量均值表達(dá)形式為：

(14)

3.2定量結(jié)果比較

實(shí)驗(yàn)所用圖像大多采自文獻(xiàn)[11,15]和Matlab平臺(tái)常用圖像，比較的算法是文獻(xiàn)[7]提出的IPER算法，文獻(xiàn)[8]提出的MSS算法和文獻(xiàn)[10]提出SIS算法。

為了獲得客觀的測(cè)量結(jié)果，首先使用均方誤差RMSE表征結(jié)果，如表1所示。從表1可以看出立方插值的結(jié)果最差，因?yàn)榱⒎讲逯导僭O(shè)圖像是平滑先驗(yàn)的。IPER的效果明顯好于立方插值，RMSE明顯低于立方插值的RMSE值。SIS和MSS的效果差不多，RMSE的值相差不大，由于這兩種算法都采用了局部自相似塊從LR圖像學(xué)習(xí)HR圖像塊。本文算法大多數(shù)情況下RMSE值最低，這是由于該方法組合了局部實(shí)例圖像塊和對(duì)應(yīng)的局部相似性，用于學(xué)習(xí)字典，獲得更好的結(jié)果。

表1　分辨率增強(qiáng)因子為2時(shí)各算法RMSE結(jié)果

表2是PSNR的值測(cè)量結(jié)果，PSNR值越高表示圖像的高頻成分越多，從表2可以看出本文算法除了一幅圖像外PSNR值略低于IPER算法重建的效果，其他重建圖像的PSNR值均最高，與原始圖像的PSNR值相差最少，丟失的高頻紋理信息最少，效果最好。

表2　分辨率增強(qiáng)因子為2時(shí)各算結(jié)果的PSNR值　dB

3.3定性結(jié)果比較

圖2、圖3和圖4分別顯示了不同算法在“Starfish”，“Bike”和“Parrots”的結(jié)果，可以看出，從“Starfish”圖像上，MSS和SIS的算法給出了過(guò)多的尖銳圖像，造成了視覺(jué)的不舒服，IPER算法造成有些模糊的感覺(jué)，同樣的效果出現(xiàn)在“Bike”圖像中，立方插值的效果最差。IPER同樣在“Bike”圖像上的細(xì)節(jié)有些模糊。從對(duì)比可以看出，本文算法沒(méi)有犧牲圖像的自然性就能恢復(fù)局部紋理細(xì)節(jié)。

圖2　第一層左起原始圖像，立方插值圖像，MSS，第二層左起SIS，IPER和本文算法的效果(縮放因子為3)

圖3　第一層左起原始圖像，立方插值圖像，MSS，第二層左起SIS，IPER和本文算法的效果(縮放因子為4)

圖4　第一層左起原始圖像，立方插值圖像，MSS，第二層左起SIS，IPER和本文算法的效果(縮放因子為2)

3.4算法處理速度比較

一個(gè)好的SR算法應(yīng)該滿足以下3大方面：圖像紋理、圖像自然性和算法處理的速度。本文算法的時(shí)間主要集中在字典Dl和Dh的建立上，由于映射函數(shù)f的學(xué)習(xí)用其梯度函數(shù)▽f學(xué)習(xí)取代，變得較為簡(jiǎn)單。從表3是50幅圖像重建的平均時(shí)間比較?？梢钥闯觯逯邓惴ㄒ廊蛔羁?，因?yàn)樗惴ū容^簡(jiǎn)單。對(duì)于256×256的圖像“Boy”，“Parthenon”和“Cameraman”，在Matlab7.0平臺(tái)上，運(yùn)行時(shí)間比IPER的快。這是因?yàn)楸疚木植孔韵嗨茖?shí)例圖像塊學(xué)習(xí)獲得的非線性映射函數(shù)的一階近似來(lái)獲得低分辨率圖像塊相對(duì)應(yīng)的高分辨率圖像塊。SIS與MSS算法有不少時(shí)間用在各個(gè)尺度上的圖像塊匹配。

表3　各算法的平均運(yùn)行時(shí)間比較　s

4　結(jié)論與展望

本文提出一種魯棒的基于一階回歸模型的單幀圖像SR算法，巧妙地結(jié)合了自相似性。其優(yōu)勢(shì)是在同一個(gè)圖像中結(jié)合了從實(shí)例圖像塊的學(xué)習(xí)和局部自相似圖像塊的學(xué)習(xí)，實(shí)例圖像塊的局部回歸避免了從LR到HR圖像塊映射的病態(tài)性問(wèn)題。另一個(gè)方面，通過(guò)局部自相似圖像塊的學(xué)習(xí)，回歸模型可以克服實(shí)例圖像不足的問(wèn)題。仿真實(shí)驗(yàn)表明本文算法結(jié)果更接近真實(shí)結(jié)果，紋理更加清晰，圖像更加自然，而且運(yùn)行時(shí)間也略快于其他先進(jìn)算法。

未來(lái)將重點(diǎn)研究基于視頻流的，將該方法擴(kuò)展到多幀情況下，其中主要解決多幀下的字典建立問(wèn)題和映射函數(shù)的學(xué)習(xí)。

[1] 蘇衡,周杰,張志浩. 超分辨率圖像重建方法綜述[J]. 自動(dòng)化學(xué)報(bào),2013,39(8): 1202-1213.

[2] 楊文波. 航空?qǐng)D像超分辨率重構(gòu)技術(shù)研究[D]. 中國(guó)科學(xué)院研究生院(長(zhǎng)春光學(xué)精密機(jī)械與物理研究所),2014.

[3] 許宗敏. 基于冗余字典和稀疏表示的衛(wèi)星圖像超分辨率重建[D]. 北京：北京交通大學(xué),2013.

[4] Peng J,Xu Q F,Feng Y Q,et al.自適應(yīng)正則化超分辨率磁共振圖像重建[J]. 南方醫(yī)科大學(xué)學(xué)報(bào),2011,31(10): 1705-1708.

[5] Mallat S,Yu G. Super-resolution with sparse mixing estimators[J]. IEEE Transactions on Image Processing,2010,19(7):2889 - 2900.

[6] Freedman G,Fattal R. Image and video upscaling from local self-examples[J]. ACM Transactions on Graphics,2011,30(2):474-484.

[7] Yang J,Lin Z,Cohen S. Fast image super-resolution based on in-place example regression[A]. IEEE Conference on Computer Vision & Pattern Recognition[C].2013,9(4):1059-1066.

[8] 潘宗序,禹晶,胡少興,等. 基于多尺度結(jié)構(gòu)自相似性的單幅圖像超分辨率算法[J]. 自動(dòng)化學(xué)報(bào),2014,40(4):594-603.

[9] 吳煒,鄭成林,張瑩瑩,等. 廣義非局部均值和自相似性的超分辨率算法[J]. 西安電子科技大學(xué)學(xué)報(bào),2014,27(4):100-107.

[10] Yang C,Huang J,Yang M. Exploiting self-similarities for single frame super-resolution[J]. Lecture Notes in Computer Science,2011,29(15):497-510.

[11] Milanfar S F D R M E P. Fast and robust multi-frame super-resolution[J]. IEEE Transactions on Image Processing,2003,13(10): 1327-1344.

[12] 王樂(lè)洋,于冬冬. 病態(tài)總體最小二乘問(wèn)題的虛擬觀測(cè)解法[J]. 測(cè)繪學(xué)報(bào),2014,43(6): 575-581.

[13] 李俊山,朱英宏,朱藝娟,等. 紅外與可見(jiàn)光圖像自相似性特征的描述與匹配[J]. 激光與紅外,2013,43(3): 339-343.

[14] 蘭誠(chéng)棟,陳亮,盧濤. 利用位置權(quán)重稀疏表示的人臉超分辨率算法[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版),2013,38(1):27-30.

[15] Yang J,Member S,Wright J,et al. 1 Image Super-Resolution via Sparse Representation[J].IEEE Transactions on Image Processing,2010,19(11): 2861-2873.

A Single Frame Super Resolution Algorithm Based on Fusion of Regression Function and Local Self-similarity

Zhao Li1,2,Qi Xingbin1,Li Xuemei1

(1.School of Computer,Shanxi University,Taiyuan030013,China; 2.School of Computer,Beijing University of Aeronautics and Astronautics,Beijing100191,China)

Inspired by that high resolution patches,which is the sparse linear combining of the over complete dictionary,can well match the low resolution patches. A new super resolution algorithm based on regression function and local self-similarity is proposed. Compared with the general single-frame super resolution algorithm,the advantage of the proposed algorithm combines the learning of example patches and local self-similarity. Local regression of example patches can avoid the ill-posed problem of LR patches to HR patches. Another aspect,the first-order approximation of the nonlinear mapping function obtained by local self-similar example patches can get the pair of the LR patches corresponding to the HR patches. That overcomes the shortcomings of examples patch algorithms. In this paper,Peak Signal to Noise Ratio (PSNR) and Root-mean-square error (RMSE) is used to compare the results of the algorithms. The data results show that the proposed algorithm has the highest PSNR value and the lowest MSE value in most cases. The experimental graph results show that the image’s texture can be reserved best,the nature of the images is very good. And the execution time of proposed algorithm is less than several other algorithms,which indicates the proposed algorithm is more suitable for applying to settle practical issue.

over complete dictionary; sparse linear combining; super resolution; single frame; local self-similarity; local regression

1671-4598(2016)04-0181-04DOI：10.16526/j.cnki.11-4762/tp.2016.04.053

TP391

A

2015-10-16；

2015-12-04。

山西省基礎(chǔ)研究項(xiàng)目計(jì)劃—青年科技研究基金(2014021039-6)。

趙麗(1980-)，女，碩士，副教授，主要從事算法設(shè)計(jì)、圖像處理等方向的研究。

李雪梅(1962-)，女，教授，主要從事算法設(shè)計(jì)、圖像處理等方向的研究。