鄒建成， 張文婷

（北方工業(yè)大學圖像處理與模式識別研究所，北京 100144）

一種基于MOD字典學習的圖像超分辨率重建新算法

鄒建成， 張文婷

（北方工業(yè)大學圖像處理與模式識別研究所，北京 100144）

將低分辨率圖像重建成高分辨率圖像是圖像處理領(lǐng)域中的一個重要課題。Yang提出一種基于聯(lián)合字典學習的圖像超分辨率重建算法，其算法樣本選取與字典訓(xùn)練方法較為復(fù)雜。提出一種基于MOD字典學習的圖像超分辨率重建新算法，首先采用少量的訓(xùn)練樣本代替Yang的大量訓(xùn)練樣本，然后使用MOD字典學習算法代替Yang的FFS字典學習算法，最后利用字典對圖像進行稀疏表示與重建。實驗結(jié)果表明，所提出的算法速度較快，并且重建圖像的質(zhì)量較高。

圖像處理；圖像重建；聯(lián)合字典；超分辨率重建；MOD

隨著科技的發(fā)展，圖像在人類傳遞信息中越來越重要。由于受成像系統(tǒng)中自然條件與硬件設(shè)備的限制，人們往往無法輕易獲取清晰的高分辨率圖像。圖像超分辨率重建算法可以把低分辨率圖像重建為高分辨率圖像，該算法無需改進硬件設(shè)備且使用成本較低。因此在醫(yī)學圖像、安全監(jiān)控、衛(wèi)星圖像等領(lǐng)域有非常重要的應(yīng)用價值。

最早的重建方法是插值法[1]，這種方法簡單快速，其缺點是沒有足夠的先驗知識，重構(gòu)出來的圖像質(zhì)量較差。蔡念等[2]對插值算法進行改進，并應(yīng)用在圖像超分辨率重建技術(shù)中。Irani和 Peleg[3]在1991年提出迭代反投影法(iterative back-projection, IBP)，該算法的優(yōu)點是運算量小，缺點是結(jié)果不唯一，因此在實際應(yīng)用中價值較小。此后出現(xiàn)的還有凸集投影法、正則化法[4-5]、圖像金字塔法[6]等。

Dong等[7]提出一種基于自適應(yīng)稀疏域選擇的重建方法，對訓(xùn)練圖像塊進行分類，訓(xùn)練多對字典進行選擇并重建，重建速度相對較快，但在重建細節(jié)豐富的圖像時效果不夠理想。Yang等[8]利用圖像具有稀疏性，提出了一種圖像超分辨率重建算法，該算法約束高低分辨率圖像在對應(yīng)的高低分辨率字典下有相同的稀疏表示，其重建效果相對較好，并且聯(lián)合字典的思想對圖像超分辨率重建研究具有很好的指導(dǎo)意義，其缺點是須從較多的圖像中提取大量的圖像塊，因此字典訓(xùn)練花費的時間較長，并且在圖像邊緣會出現(xiàn)重建噪聲。

本文在聯(lián)合字典思想的基礎(chǔ)上提出一種基于MOD字典學習的圖像超分辨率重建新算法，首先從低分辨率圖像中提取少量圖像塊，并對圖像塊進行字典學習獲得一對高低分辨率字典，這里采用的字典學習算法是 Engan等[9]的最優(yōu)方向(method of optimal directions, MOD)算法，它代替Yang算法中使用的 Lee等[10]提出的 FFS(feature-sign search)算法，然后利用字典對低分辨率圖像塊進行稀疏表示與重建，最后對重建結(jié)果做進一步優(yōu)化，以達到更好的重建效果。實驗結(jié)果表明，本文算法選取訓(xùn)練樣本較少，字典訓(xùn)練與重建的速度較快，且重建后圖像具有更高的質(zhì)量。

1 圖像的稀疏表示

假設(shè)D=［d1,d2,…,dm］∈Rn×m（n＜m）是一個過完備字典，其中 dm為D的基元。y∈Rn為一個列向量表示的圖像塊，y可以用D中的基元線性表示，表達式如下：

其中，x=［x1,x2,…,xm］T∈Rm為圖像塊y的稀疏表示，x僅含有限個非零元素，其余均為0。式(1)沒有唯一解x，現(xiàn)在的目的是求圖像塊y的稀疏表示x，表達式如下：

式(2)意為找到包含非零元素個數(shù)最小的x并且滿足Dxy=，其中非零元素個數(shù)可以用稀疏度表示。但是求解0范數(shù)的問題已被證明是一個NP難問題[11]，計算復(fù)雜，不易求出。1999年，Chen等[12]研究發(fā)現(xiàn)，在信號足夠稀疏的條件下，0l范數(shù)可以轉(zhuǎn)化為1l范數(shù)進行稀疏求解，把式(2)從非凸轉(zhuǎn)化為凸優(yōu)化求解，即：

實際應(yīng)用中，圖像會有噪聲存在，因此結(jié)果會有稀疏表示誤差，式(3)可以轉(zhuǎn)化為：

其中，ε表示稀疏誤差或噪聲強度。

2 MOD算法

其中，k0表示圖像塊的稀疏度，即稀疏表示系數(shù) xi中的非零元素個數(shù)。

MOD算法：

步驟2. 主要迭代過程：從k=1開始迭代。

由式(6)獲得一個稀疏系數(shù)矩陣X(k)。

字典更新階段：根據(jù)樣本 Y與稀疏系數(shù)矩陣X(k)更新字典D。足夠小，則停止。否則，進行下一次迭代。

步驟3. 輸出結(jié)果D(k)。

停止條件：如果

3 一種基于MOD字典學習的圖像超分辨率重建新算法

本文算法的過程大體可以分為3步：①訓(xùn)練樣本提取；②聯(lián)合字典學習；③圖像的稀疏表示與重建。首先，對低分辨率圖像提取少量的圖像塊作為訓(xùn)練樣本；然后，在聯(lián)合字典思想的基礎(chǔ)上對圖像樣本采用MOD算法進行字典學習，獲得一對高低分辨率字典；最后利用獲得的低分辨率字典對低分辨率圖像進行稀疏表示，結(jié)合高分辨率字典與稀疏系數(shù)得到清晰的高分辨率圖像。

3.1 訓(xùn)練樣本提取

為了得到良好稀疏表示能力的字典，訓(xùn)練樣本的獲取十分重要。本文在樣本提取過程中把輸入圖像X看作高分辨率HR圖像，對圖像X進行下采樣與插值操作，得到與X大小相同的圖像Y，表達式如下：

其中，H表示插值操作，S為下采樣操作，把圖像Y看作樣本提取的低分辨率LR圖像。

由于圖像的結(jié)構(gòu)特征主要表現(xiàn)在高頻部分，所以獲得LR圖像的高頻特征十分重要。本文使用的特征提取算子為一階和二階梯度算子[13]：

通過算子對圖像Y進行特征提取，獲得四幅低分辨率特征圖像｛Y11,Y12,Y21,Y22｝。從圖像X的位置k處提取一個大小的圖像塊，表達式如下：

3.2 聯(lián)合字典學習

本節(jié)目的是利用MOD算法學習一對高低分辨率字典，其約束高分辨率樣本hX與低分辨率樣本Yl具有相同的稀疏表示α。通常情況下，單獨訓(xùn)練一個高分辨率字典Dh和低分辨率字典Dl的表達式如下：

其中， k0表示稀疏度。為了保證樣本Xh和Yl具有相同的稀疏表示α，本文根據(jù)聯(lián)合字典生成的思想，把式(11)、(12)合并為：

由上式可以看出，聯(lián)合字典的學習方法與單個字典的學習方法相似。本文采用MOD字典學習算法求解表達式(13)，由結(jié)果Dc分解得到需要的高分辨率字典Dh和低分辨率字典Dl，其中Dl用來求解輸入圖像的稀疏系數(shù)，Dh用來與稀疏系數(shù)重建高分辨率圖像。

3.3 圖像的稀疏表示與重建

根據(jù)上一節(jié)獲得的字典對輸入圖像進行稀疏表示與重建，在圖像稀疏表示部分借鑒 Lee等[10]提出的 FSS算法，利用低分辨率字典Dl對輸入圖像求解稀疏系數(shù)α，利用高分辨率字典Dh與稀疏系數(shù)α進行重建。

算法流程：

(1) 輸入：低分辨率圖像X，字典Dh，Dl。

(2) 對圖像X進行雙三次插值放大得到圖像X1。

(3) 循環(huán)過程：從圖像X1左上角依次取出大小為55×的圖像塊x。同樣，從圖像X1的四幅特征圖像的相同位置分別取大小為55×的圖像塊，合并成列向量。

步驟1. 計算圖像塊x的平均值m。

其中，λ表示正則化參數(shù)，用于平衡重建誤差逼近項與稀疏約束正則項，根據(jù)經(jīng)驗通常取值在0到1之間。

(4) 輸出：高分辨率圖像Z0。

為了進一步提高重建圖像Z0的分辨率，本文使用迭代反投影算法[14]對重建結(jié)果進行優(yōu)化處理，即求解優(yōu)化問題：

對式(15)采用迭代的方法求出誤差圖像并更新重構(gòu)圖像：

其中，Z0k表示由高分辨率圖像Z0第k次迭代的結(jié)果，X表示輸入圖像，L表示降質(zhì)因子，↑s表示放大s倍，p表示反投影濾波器，實驗中采用的是拉普拉斯濾波器。

4 實驗結(jié)果與分析

實驗在CPU為雙核2.0 GHz，內(nèi)存為2.0 GB的計算機上運行。實驗中對RGB彩色圖像進行測試，處理圖像時將其轉(zhuǎn)化為YUV圖像，由于人眼對亮度信息更加的敏感，因此只對亮度分量進行稀疏重建，圖像放大倍數(shù)為2，其他分量采用雙三次插值算法放大。實驗中選擇把大小為128×128的低分辨率圖像重建成大小為 256×256的高分辨率圖像，測試圖像如圖1所示。字典學習過程對低分辨率圖像不重疊的提取大小為5×5的圖像塊作為訓(xùn)練樣本，初始字典選取高斯隨機矩陣，大小為512，迭代次數(shù)10次，稀疏度k0=4。圖像重建過程中，為了保持重建后的圖像塊之間的緊密性，相鄰圖像塊之間有4個像素的重疊，稀疏正則項48.0=λ。迭代反投影算法的迭代次數(shù)為20。實驗中的Yang算法與Dong算法均從其相應(yīng)的網(wǎng)站下載[15-16]。

圖1 大小為128×128的低分辨率測試圖像

表1為插值算法、Dong算法[7]、Yang算法[8]與本文算法分別對每幅低分辨率圖像重建的效果。定義峰值信噪比(peak signal to noise ratio, PSNR)為性能指標。由表1可知，插值算法的PSNR值最低，依次為Dong和 Yang的算法，本文算法比其他 3種算法具有更高的PSNR值。

表2為Dong算法與本文算法對不同圖像重建分別所需要的時間，這里的本文重建時間包括字典訓(xùn)練的時間，而Dong算法重建時間不包括字典學習時間，Dong算法中字典學習過程是單獨進行的，其實驗需要47 min。Dong算法重建過程迭代900次，本文算法字典訓(xùn)練過程僅提取676個相關(guān)圖像塊，迭代10次，本文算法相對簡單。由表2可知，明顯本文算法速度比較快。

表1 4種不同算法對不同圖像的重建效果

表2 對不同圖像超分辨率重建的時間(s)

圖2 4種算法對Butterfly圖像超分辨率重建結(jié)果

圖3 4種算法對Bike圖像超分辨率重建結(jié)果

圖4 4種算法對Plants圖像超分辨率重建結(jié)果

如圖2～4所示，其分別對圖1中大小為128×128的Butterfly、Bike、Plants三幅低分辨率圖像使用4種不同算法重建成大小為 256×256的高分辨率圖像。插值算法由于沒有足夠的先驗知識，重構(gòu)出來的圖像效果較差，整體較為模糊；Dong算法與Yang算法都可以更好地恢復(fù)一定的細節(jié)，但是圖像邊緣仍會出現(xiàn)一些鋸齒效應(yīng)；而本文算法是提取少量相關(guān)的圖像塊來進行字典學習，有足夠的先驗知識，因此保證了在重建速度較快的基礎(chǔ)上圖像質(zhì)量有所提高，重建圖像的邊緣比其他方法相對的平滑清晰，細節(jié)更加豐富。

5 結(jié) 論

本文提出一種基于MOD字典學習的圖像超分辨率重建新算法，對一幅圖像提取少量樣本采用MOD算法進行字典學習，利用對應(yīng)字典對輸入圖像進行稀疏表示與重建。該算法有效地降低了Yang字典訓(xùn)練中的時間消耗，并且提高了重建圖像的質(zhì)量。本文是針對一幅圖像單獨進行字典學習與重建，如何根據(jù)一幅圖像訓(xùn)練的字典重建另一幅不相關(guān)的圖像將是以后研究的重點。

[1] Nguyen N, Milanfar P. A wavelet-based interpolationrestoration method for super-resolution [J]. Circuits Systems and Signal Processing, 2000, 19(4): 321-338.

[2] 蔡 念, 張海員, 張 楠, 等. 基于小波的改進加權(quán)拋物線插值的圖像超分辨率算法[J]. 圖學學報, 2012, 33(1): 50-55.

[3] Irani M, Peleg S. Improving resolution by image registration [J]. CVGIP: Graphical Models and Image Processing, 1991, 53(3): 231-239.

[4] Nhat N, Milanfar P, Golub G. A computationally efficient super resolution image reconstruction algorithm [J]. IEEE Transactions on Image Processing, 2001, 10(4): 573-583.

[5] Hardie R C, Barnard K J, Armstrong E E. Joint MAP registration and high- resolution image estimation using a sequence of under-sampled images [J]. IEEE Transactions on Image Processing, 1997, 6(12): 1621-1633.

[6] Yang C, Huang J, Yang M. Exploiting self-similarities for single frame super-resolution [C]//Lecture Notes in Computer Science, Springer Berlin Heidelberg, 2011: 497-510.

[7] Dong Weisheng, Zhang Lei, Shi Huangming, et al. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization [J]. IEEE Transactions on Image Processing, 2011, 20(7): 1838-1857.

[8] Yang Jianchao, Wright J, Huang T S, et al. Image super-resolution via sparse representation [J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

[9] Engan K, Aase S O, Husoy J H. Method of optimal directions for frame design [C]//Proceedings of IEEE International Conference on Acoustic, Speech, and Signal Processing, Phoenix, AZ, USA, 1999: 2443-2446.

[10] Lee H, Battle A, Raina R, et al. Efficient sparse coding algorithms [J]. Advances in Neural Information Processing Systems, 2007, 19: 801.

[11] Davis G, Mallat S, Avellaneda M. Adaptive greedy approximation [J]. Constructive Approximation, 1997, 13(1): 57-98.

[12] Chen S S, Donoho D L, Saunders M A. Atomic decomposition by basispursuits [J]. SIAM Journal on Scientific Computing, 1999, 20: 33-61.

[13] Zeyde R, Elad M, Protter M. On single image scale-up using sparse representation [C]//Proceedings of the 7thInternational Conference on Curves and Surfaces, Avignon, France, 2012: 711-730.

[14] Tibshirani R. Regression shrinkage and selection via the lasso [J]. Journal of the Royal Statistical Society, 1996, 58(1): 267-288.

[15] Yang Jianchao. Image super-resolution via sparse representation [EB/OL]. (2010-11-01) [2014-09-26]. http://www.ifp.illinois.edu/～jyang29/codes/.

[16] Dong Weisheng. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization [EB/OL]. (2011-07-28) [2014-09-26] http://www4. comp.polyu.edu.hk/～cslzhang/ASDS_AReg.htm/.

A New Algorithm of Image Super-Resolution Reconstruction Based on MOD Dictionary-Learning

Zou Jiancheng, Zhang Wenting

(Institute of Image Processing and Pattern Recognition, North China University of Technology, Beijing 100144, China)

It is an important topic to reconstruct a high resolution image from a low resolution image. Yang proposed an image super-resolution reconstruction algorithm based on the joint dictionary-learning, which needs large samples, and dictionary training methods are complicated. In this paper, a new algorithm of image super-resolution reconstruction based on MOD dictionary-learning is proposed, a small amount of training samples is firstly used to replace large numbers of training samples of Yang′s, then the MOD dictionary-learning algorithm is used instead of Yang′s FFS dictionary-learning algorithm, at last, the resulted dictionary is applied to the image sparse representation and super-resolution reconstruction. The experimental results show that the image reconstruction speed is improved greatly with better reconstruction quality.

image processing; image reconstruction; joint dictionary; super-resolution reconstruction; MOD

TP 319

A

2095-302X(2015)03-0402-05

2014-10-08；定稿日期：2014-10-24

國家自然科學基金資助項目(61170327)，國家科技重大專項支持資助項目(2014ZX02502)

鄒建成(1966-)，男，貴州遵義人，教授，博士，博士生導(dǎo)師。主要研究方向為圖像處理、模式識別。E-mail：zjc@ncut.edu.cn

張文婷(1990-)，女，安徽亳州人，碩士。主要研究方向為圖像超分辨率重建。E-mail：1007897269@qq.com