徐川　端木春江

摘 要：針對Yang等人提出的基于稀疏表示的圖像超分辨率的重建效果不夠理想問題，提出了一種將圖像卡通紋理分解和稀疏表示相結(jié)合的方法用以實現(xiàn)單幅低分辨率圖像的超分辨率重建。本文提出的算法涉及到卡通字典和紋理字典的學(xué)習(xí)，圖像重建過程分為兩步。首先重建觀測低分辨率圖像的卡通高分辨率圖像和紋理高分辨率圖像，最后將重建的卡通和紋理高分辨率圖像線性加權(quán)疊加，實現(xiàn)低分辨率觀測圖像的超分辨率重建。實驗結(jié)果表明，本文提出的方法在主觀視覺和客觀指標(biāo)峰值信噪比（PSNR）上都有明顯的提升。

關(guān)鍵詞：超分辨率；稀疏表示；字典學(xué)習(xí)；卡通紋理

中圖分類號：TP391 文獻標(biāo)識碼：A

Abstract：Due to the unsatisfactory result of image super-resolution reconstruction based on sparse representation method proposed by Yang et al，this paper proposes a new method，which combines image cartoon-texture decomposition and sparse representation，to achieve super-resolution reconstruction of low-resolution single images.The algorithm proposed in this paper involves two types of dictionaries：the cartoon dictionary and the texture dictionary.The image reconstruction process is divided into 2 steps：firstly，it reconstructs a high-resolution cartoon image and a high-resolution texture image from a low-resolution image，then，it overlays the newly reconstructed high-resolution cartoon image and the high-resolution texture image through linear weighting.As the experiment result shows，the method proposed in this paper brings significant improvement in both subjective visual quality and objective PSNR （Peak Signal to Noise Ratio）.

Keywords：super resolution；sparse representation；dictionary learning；cartoon-texture

1 引言（Introduction）

提高圖像的分辨率一直都是圖像處理領(lǐng)域一個重要的課題，由于成像系統(tǒng)及工藝的限制，從硬件方面提高圖像分辨率難度大且成本高，所以通過軟件算法的方法能夠?qū)崿F(xiàn)圖像的超分辨率重建具有重要意義[1]。此外，這種利用算法來實現(xiàn)圖像增強的方法廣泛應(yīng)用于軍事遙感、衛(wèi)星成像、視頻監(jiān)控和醫(yī)學(xué)圖像等領(lǐng)域，可見它的理論研究極具價值。超分辨率重建，直白地講，就是通過同一場景下一幅或者多幅低分辨率圖像重建一幅清晰的高分辨率圖像。目前，圖像的超分辨率重建算法主要有三種。第一種是基于插值的超分辨率重建算法，即利用周圍像素或者鄰近像素點間的關(guān)系對高分辨率圖像中未知像素進行估計，這類方法簡單、運算速度快，缺點是重建的高分辨率圖像會存在塊效應(yīng)且圖像邊緣伴隨鋸齒效應(yīng)；第二種是基于重建約束的超分辨率重建算法，假設(shè)合理的圖像退化模型，根據(jù)圖像退化模型來重建高分辨率圖像；第三種是基于學(xué)習(xí)的超分辨率重建算法，通過對訓(xùn)練圖像特征塊的學(xué)習(xí)，建立兩種之間的關(guān)系，根據(jù)它們之間的這種關(guān)系重建出高分辨率圖像，這類方法是近來研究的熱點方向[2]。

2 基于稀疏表示的超分辨率圖像重建（Super- resolution image reconstruct-ion based on sparse representation）

2.1 信號的稀疏表示

任何維空間域的一個維信號都可以由N個維度的基向量的線性組合來表示，即，其中表示對應(yīng)的系數(shù)。寫成矩陣的形式，即為?？梢詫⒖闯傻幕仃?；是由構(gòu)成的維的列向量組成的系數(shù)向量，對于這個系數(shù)向量可看成是信號的等價表示，或者是信號在線性組合下的表征。若系數(shù)向量中元素不為零的數(shù)目遠遠小于，就稱該信號具有稀疏性。

2.2 稀疏編碼實現(xiàn)圖像超分辨率重建

壓縮感知的理論研究表明自然圖像具有稀疏性，這使得利用稀疏理論來研究圖像處理成為可能[3]。設(shè)圖像信號為，對于具有稀疏性的圖像信號，尋求一個類似于一維信號稀疏分解中的基矩陣，使得圖像信號在上得到最稀疏化的表示。圖像稀疏表示的問題，即圖像信號

將稱作字典，為原子，叫做系數(shù)矩陣，表示精度允許的誤差。在經(jīng)典的稀疏表示的圖像超分辨率重建模型中，涉及到兩個字典高分辨率字典和低分辨率字典。本文采用文獻[4]中聯(lián)合字典訓(xùn)練的方式，將高、低分辨率訓(xùn)練樣本統(tǒng)一進行稀疏關(guān)聯(lián)學(xué)習(xí)，為了保證高、低分辨率圖像能有相同的稀疏表示系數(shù)。對于輸入的待重建的低分辨率圖像塊，求解在下的稀疏表示。此時，則高分辨率圖像塊，最后將得到高分辨率圖像塊和低分辨率圖像塊雙三次插值得到的圖像合成求得重建的高分辨率圖像塊。

3 快速卡通紋理分解模型（Fast cartoon texture decomposition model）

圖像卡通-紋理分解，又可以稱為結(jié)構(gòu)-紋理分解，一個灰度級圖像可以表示為分解成；其中表示圖像的結(jié)構(gòu)分量，包含圖像的大部分低頻和部分中高頻，是圖像的主要特征結(jié)構(gòu)部分，是圖像的簡化逼近，也稱為卡通（cartoon）；表示圖像的紋理部分（texture），包含圖像的大部分高頻和部分中頻部分，由紋理和噪聲組成的振蕩成分[5]。對于圖像卡通紋理分解的算法，若是采用線性的分解算法的話，類似于數(shù)字信號中的濾波過程，給定一個恰當(dāng)?shù)念l率點，高于該頻率點就被屏蔽掉；即從一個圖像中分解出卡通部分時必然包括小部分的高頻成分，同樣分解出紋理部分時肯定會帶有少部分低頻成分模糊圖像的邊緣。后來Meyer提出了通過解決變分問題的方法來解決卡通紋理分解的問題。即當(dāng)卡通部分具有最小的總變分（TV），紋理部分在BV的對偶空間中具有最小的范數(shù)，那么就能夠得到較好的卡通紋理分解；不懲罰振蕩準(zhǔn)則，即當(dāng)紋理分量的頻率越高，相對應(yīng)的范數(shù)就越小。本文圖像卡通紋理分解算法采用文獻[5]中提到的快速卡通紋理分解算法。

4 本文算法的步驟（The steps of the algorithm）

本文大體的框架分為兩個步驟。第一步，對于稀疏字典的學(xué)習(xí)，即從已知的樣本庫中訓(xùn)練得到高低分辨率字典；第二步，超分辨率圖像的重建過程。根據(jù)低分辨率觀測圖像塊和訓(xùn)練得到的低分辨率字典得到對應(yīng)的稀疏表示系數(shù)，然后再利用高分辨率字典和的乘積來估計高分辨率圖像塊。然而本文加入了圖像卡通-紋理分解的概念，首先對樣本進行卡通紋理分解，分為卡通的樣本和紋理的樣本，依據(jù)不同的兩類樣本庫分別訓(xùn)練得到兩對字典，即卡通的高低分辨率字典、和紋理的高低分辨率字典、。對于輸入的待重建低分辨率圖像，將其進行卡通紋理分解為卡通圖像和紋理圖像。運用稀疏表示的方法估計的高分辨率卡通圖像，同樣也可估計出高分辨率紋理圖像，然后將和加權(quán)線性疊加，最后全局優(yōu)化得到目標(biāo)圖像。具體的圖像重建步驟如下：

步驟1：輸入卡通字典和紋理字典，低分辨率觀測圖像，卡通紋理分解為。

步驟2：從的左上角開始逐個取3×3圖像塊，保留1個像素寬的重疊區(qū)域，計算對應(yīng)于卡通的低分辨率字典的稀疏表示系數(shù)，然后利用2.2節(jié)提到的稀疏表示的方法估計出卡通圖像的高分辨率圖像。

步驟3：將估計得到的卡通圖像的高分辨率圖像和的雙三次插值放大的圖像疊加得到卡通圖像超分辨率重建的初始估計；同樣可以得到，紋理圖像的初始估計；根據(jù)線性權(quán)重疊加得到初始的超分辨率圖像最優(yōu)估計。

步驟4：最后對圖像全局優(yōu)化，根據(jù)，

計算最終估計的高分辨圖像。

5 實驗與分析（Experiment and analysis）

本文使用的軟硬件實驗環(huán)境為Core（TM）2 Quad CPU Q9400 2.66GHz，2GB內(nèi)存和Matlab 7.8.0（R2009a）實驗平臺。選取和文獻[4]中一樣的69張具有相似統(tǒng)計特性的圖像作為樣本庫，首先對其進行卡通紋理分解，分為卡通圖像樣本庫和紋理圖像樣本庫，分別稀疏編碼學(xué)習(xí)，求解卡通字典和紋理字典，再分別進行卡通和紋理高分辨率圖像的重建，最后線性疊加合成。這里線性疊加的權(quán)重比例，經(jīng)實驗比較選擇了為最佳。對于彩色圖像，因為人類視覺系統(tǒng)對亮度信號更為敏感，本實驗中只取相應(yīng)的亮度通道進行處理。如圖2所示，運用本文提出的算法對128×128像素的Lena圖像進行超分辨率圖像重建。圖像塊大小選取3×3像素，并保留一個像素寬的重疊區(qū)域。放大的倍數(shù)為2，則相對應(yīng)的高分辨率圖像塊大小為6×6，保留兩個像素的重疊。最后，將本文實驗的結(jié)果與雙三次插值法、Yang等人的算法在視覺效果和峰值信噪比（PSNR）評價標(biāo)準(zhǔn)方面進行對比。

如圖1所示，（a）低分辨率Lena圖像。（b）雙三次插值法（Bi-cubic）重建的圖像。（c）Yang算法重建的Lena圖像。（d）原始高分辨率Lena圖像。（e）本文算法重建的高分辨率卡通圖像。（f）本文算法重建的高分辨率紋理圖像。（g）本文算法重建的高分辨率Lena圖像。從實驗結(jié)果可以看出雙三次插值法重建的圖像有均勻的顆粒感，而且細節(jié)部分模糊。Yang算法和本文提出的算法重建的高分辨率圖像則表現(xiàn)不明顯，且畫面細膩，細節(jié)部分清晰。

下面的表1給出了三種超分辨率算法的峰值信噪比（PSNR）和實驗所消耗時間的比較，從表1中可以看到，PSNR方面，本文算法較前兩種方法重建的圖像有所提高，不過耗時方面相比前兩種方法還有待提高，如何縮短計算時間復(fù)雜度也是接下來要研究的課題。

6 結(jié)論（Conclusion）

本文是在經(jīng)典的稀疏表示的超分辨率圖像重建基礎(chǔ)之上，提出將卡通紋理分解的方法與稀疏表示結(jié)合來實現(xiàn)圖像超分辨重建。從實驗結(jié)果來看，首先，在同等條件下，本文算法重建的圖像質(zhì)量在視覺上比雙三次插值法和Yang等人提出的算法要好；再者，峰值信噪比（PSNR）方面也比后兩種方法高。這表明本文提出的方法具有一定優(yōu)越性。不過，文中涉及兩個字典的學(xué)習(xí)即卡通和紋理字典的學(xué)習(xí)，必將提高了實驗的時間復(fù)雜度。接下來，可考慮在加快稀疏編碼學(xué)習(xí)的速度上做研究，提高計算效率，得到更加有效、緊湊的字典。

參考文獻（References）

[1] Lu Ziwei，Wu Chengdong，Chen Dongyue，et al.Overview on Image Super R-esolution Reconstruction.26th Chinese Control and Decision Conference，CCDC，2014：2009-2014.

[2] Yao Zhao，et al. A novel infrared image super-resolution method based on sparse representation[J].Infrared Physics&Technology， 2015（71）：506-513.

[3] Zhang Shunli.Compressed Sensing Method Application in Image Denois-ing[J].International Journal of Signal Processing，Image Processing and Pattern Recognition，2015，8（1）：203-212.

[4] Yang Jianchao，et al.Image Super-Resolution Via Sparse Representation[J].IEEE Transaction on Image Processing，2010，19（11）：2861-2873.

[5] Antoni Buades，et al.Fast Cartoon Texture Image Filters[J].IEEE Transaction On Image Processing，2010，19（8）：1978-1986.

作者簡介：

徐 川（1990-），男，碩士生.研究領(lǐng)域：圖像處理.

端木春江（1974-），男，副教授.研究領(lǐng)域：視頻通信，圖像處理.