王建新，吳宏林，張建明，殷萇茗

1.長沙理工大學 綜合交通運輸大數(shù)據(jù)智能處理湖南省重點實驗室，長沙 410114

2.長沙理工大學 計算機與通信工程學院，長沙 410114

1 引言

圖像超分辨率（super-resolution，SR）重建是由輸入的一個或者多個低分辨率（low-resolution，LR）圖像恢復得到高分辨率（high-resolution，HR）圖像[1]。由于輸入的低分辨率圖像提供的信息有限，圖像超分辨率重建是一個典型的病態(tài)逆問題，需要相關(guān)的先驗信息[2]?，F(xiàn)有超分辨率方法大致可分為3類：基于插值的方法[3]、基于重建的方法[4]及基于學習的方法[5]。基于插值的方法用多項式充分近似表示，方法簡單易行、速度快，但是圖像模糊、質(zhì)量差；基于重建的方法通過對未知的高分辨率像素值施加一組線性約束，能有效保持邊界尖銳和抑制偽影，但是當放大因子較大時重建效果較差；基于學習的方法通過學習訓練圖像，充分利用圖像固有的先驗知識恢復的圖像效果較好，是目前較為常用的方法[6]。

近年來，隨著壓縮感知和機器學習研究的進一步深入，針對基于學習的超分辨率方法，已有許多學者展開研究并取得了一系列成果。Yang等人[5]將壓縮感知理論與稀疏編碼相結(jié)合，提出基于稀疏表示的圖像超分辨率算法，該算法利用外部訓練圖像集學習得到一對LRHR字典，求解出低分辨率圖像塊在LR字典中的稀疏系數(shù)，再利用稀疏系數(shù)與HR字典結(jié)合重建高分辨率圖像。在后續(xù)研究中，Yang等人[7]提出了基于稀疏編碼和聯(lián)合字典學習的超分辨率（image super-resolution via sparse representation，ScSR）算法，進一步提升了圖像超分辨率的重建質(zhì)量和速度。Glasner等人[8]提出了一種基于圖像自相似性的單幅圖像超分辨率算法，通過對輸入圖像進行不同尺度的插值來產(chǎn)生樣本庫，但是自適應(yīng)能力差，重構(gòu)的圖像偽影嚴重。Marco等人[9]鑒于超分辨率重建恢復的是圖像的高頻信息，提出了基于反投影殘差圖的相鄰嵌入超分辨率算法，通過構(gòu)造一對新型字典重構(gòu)出高分辨率圖像。Zhu等人[10]對字典進行了進一步改進，提出基于自學習和稀疏表示的快速單圖像超分辨率（fast single super-resolution via selfexample learning and sparse representation，CS-SR）算法。該算法使用K次奇異值分解（Ksingular value decomposition，KSVD）算法由圖像自相似塊來構(gòu)建學習字典，在重構(gòu)階段使用簡單的正交匹配追蹤（orthogonal matching pursuit，OMP）算法對圖像進行稀疏編碼，在重建質(zhì)量和速度上都有所提升。

在上述常見的基于學習的超分辨率重建算法[5,7,9-10]中，字典學習起著關(guān)鍵作用?；趯W習方法的字典對通常由訓練圖像集中具有相似統(tǒng)計特征的圖像隨機取樣生成，從其來源可分為兩大類：內(nèi)部字典和外部字典[11-12]。一般圖像通常具有大量的自相似性，內(nèi)部字典則由輸入圖像本身的自相似冗余塊構(gòu)建，基于內(nèi)部字典的超分辨方法由于圖像本身提供的信息有限，在超分辨率重建中內(nèi)部圖像塊之間不匹配，從而導致過多的偽影[13]。外部字典則是通過對外部訓練圖像集隨機采樣生成的，它包含的特征信息豐富，能很好地重構(gòu)出高分辨率圖像，與內(nèi)部字典每次在線生成不同的是，外部字典是預先建立的，可極大減少重建過程的計算量和時間[12]。

針對基于自學習和稀疏表示的快速單圖像超分辨率[10]重建圖像偽影明顯、執(zhí)行效率低的問題，本文提出了殘差字典學習的快速圖像超分辨率算法，在學習字典前先對外部訓練圖像集中的HR圖像進行預處理，提取其高頻殘差圖，再利用Yang等人[7]的字典訓練方法學習得到一個高頻殘差字典，使字典學習不再局限于單一的重建模型，降低了計算量，并提高了字典訓練的精度。用基于Cholesky分解的正交匹配追蹤算法求解稀疏系數(shù)，將求得的稀疏系數(shù)與高頻殘差字典結(jié)合應(yīng)用于重建階段，不僅有效降低了運算時間，還提高了重建質(zhì)量。再用迭代反投影（iterative back projection，IBP）法[9]對重建的圖像進行迭代計算，在一定程度上減少了重建誤差。實驗結(jié)果表明，本文算法不僅有效降低了字典訓練時間和圖像重建時間，同時還進一步提升了重建圖像的質(zhì)量。

本文組織結(jié)構(gòu)如下：第2章介紹了相關(guān)工作；第3章對殘差字典學習的快速圖像超分辨率算法進行詳細闡述；第4章為實驗與分析；最后是結(jié)束語。

2 相關(guān)工作

傳統(tǒng)的圖像超分辨率重建算法，對圖像的處理可以看成是傳統(tǒng)圖像處理算法的逆過程，是一個典型的病態(tài)逆問題。由于LR圖像Y可以看作是由HR圖像X通過模糊化B、下采樣D以及添加噪聲v得到，Y=BDX+v，因此為了得到更為合理的解，可以通過添加先驗約束條件來解決該問題[6]。目前深度學習技術(shù)已成功地應(yīng)用于計算機視覺的許多領(lǐng)域，包括低級別的圖像恢復問題。最近提出的幾種基于深度神經(jīng)網(wǎng)絡(luò)的圖像超分辨率重建模型[6,14-16]，取得的卓越性能超越了以往的機器學習模型，但傳統(tǒng)的稀疏表示方法仍是有價值的，本文方法就是基于稀疏表示的超分辨率重建模型。

2.1 基于稀疏表示的超分辨率重建算法

自然圖像的局部結(jié)構(gòu)信息可以近似地由樣本特征庫中的一組圖像塊線性表示出來，不同的結(jié)構(gòu)信息其線性組合也不同。基于稀疏表示的圖像超分辨率重建算法[7]，利用輸入的低分辨率圖像分割成的圖像塊求解出一組線性原子，從而恢復出目標高分辨率圖像。將一幅圖像Y分割成若干圖像塊后，每個圖像塊作為一組輸入樣本向量y，存在包含K(K＞n)個原子的過完備稀疏字典DL∈Rn×K，使得輸入的每個圖像塊y都可以在字典DL中線性表示出來：

其中，||·||1用于保證稀疏性；||·||2表示重構(gòu)誤差；λ表示正則化系數(shù)。算法假設(shè)低分辨率圖像塊y和高分辨率圖像塊x在過完備字典DLDH中能用同一個稀疏系數(shù)α線性表示出來，因此對任意輸入的低分辨率圖像塊y，其對應(yīng)的目標高分辨率圖像塊x都可以表示為：

在圖像重建階段，由于存在噪聲，直接組合重建的高分辨率圖像可能不會滿足重建約束和稀疏先驗約束。為了獲得質(zhì)量更好的重構(gòu)圖像，還會引入局部先驗約束和全局約束[7]。

基于稀疏表示的超分辨率算法中需要解決的關(guān)鍵問題主要有兩點：（1）通過訓練，采用何種學習方法獲得低分辨率圖像與高分辨率圖像之間的對應(yīng)關(guān)系；（2）稀疏字典對的生成。

2.2 聯(lián)合字典對訓練

聯(lián)合字典訓練階段的主要目的就是為了獲得過完備的低分辨率字典DL和高分辨率字典DH，使得LR圖像塊和HR圖像塊的稀疏編碼系數(shù)是相同的。由于超分辨率重建的病態(tài)性，使得聯(lián)合字典的生成是一個復雜問題[17]。對于給定的外部HR圖像訓練集XH={x1,x2,…,xn}，對其每幅圖像進行模糊化和下采樣操作得到對應(yīng)的LR圖像集YL={y1,y2,…,yn}。為了提高圖像的重建精度，通常會提取外部LR圖像塊的不同特征信息，Yang等人[7]利用LR圖像塊的第一和第二階導數(shù)來提取其特征信息，用于提取特征信息的4個濾波器分別為：

其中，T表示轉(zhuǎn)置，將4個濾波器直接作用于外部訓練集中的每個LR圖像得4個梯度圖像，再在每個梯度圖像的相同位置提取特征圖像塊，將產(chǎn)生的4個圖像塊串聯(lián)起來作為特征向量。因此每個LR圖像塊的特征向量都包含了其鄰近的編碼信息，這有利于促進最終輸出HR圖像的內(nèi)部相鄰塊之間的兼容性。其中單一字典訓練的公式為：

Yang等人[7]結(jié)合這些目標，對外部HRLR圖像同時進行訓練，將兩個特征空間的求解問題轉(zhuǎn)換為一個標準的單特征空間的字典訓練問題，求解得到的HR字典和LR字典共享稀疏系數(shù)：

其中，N和M分別表示HR字典和LR字典矢量形式的維度；||·||1用于增強稀疏性；||·||2用于約束字典的列和除去縮放誤差。該算法只需訓練一次就可以得到兩個字典。

2.3 迭代反投影法

本文在超分辨率重建之后增加了一步迭代反投影操作。迭代反投影（IBP）法使輸出的高分辨率圖和輸入的低分辨率圖保持一致性，且能修正SR過程中產(chǎn)生的誤差[9,12]，該操作使輸出的高分辨率圖像沿著正確的方向發(fā)展。在SR算法執(zhí)行之后，將生成高分辨率圖像XH和最初輸入的低分辨率圖YL同時作為迭代反投影算法的輸入項，經(jīng)迭代后得到的最終高分辨率圖像?H與最初的輸入圖像YL在結(jié)構(gòu)上保持一致性。XH通過計算輸入的LR圖像YL與HR圖像YL=(XH?b)↓m的反投影誤差，在迭代過程中不斷得到修正[9]。這種迭代反投影法的更新方程為：

第t次迭代時的LR圖是由與之相關(guān)的HR圖反投影得到的，p是一個局部傳播差分誤差的反投影濾波器，m為縮放因子，↓是下采樣符號。本文經(jīng)過多次實驗驗證，最高迭代次數(shù)t=10時重建的圖像質(zhì)量效果最好。

3 殘差字典學習的快速圖像超分辨率算法

本文充分利用外部圖像集的附加高頻信息和稀疏表示重建的優(yōu)勢，提出了殘差字典學習的快速圖像超分辨率算法。算法分為兩個階段：字典訓練階段，首先對外部訓練HR圖像集XH={x1,x2,…,xn}進行插值縮小，得到對應(yīng)的LR圖像集YL={y1,y2,…,yn}，再用雙三次插值和迭代反投影法獲得外部HR圖像的高頻殘差圖，最后用Yang等人[7]的字典學習算法構(gòu)建高頻殘差字典和低分辨率字典。重建階段，先將低分辨率圖像用雙三次插值放大得到偽高分辨率圖像，對于圖像中的光滑區(qū)域，雙三次插值方法可以產(chǎn)生較好的效果，但是卻無法恢復出圖像的高頻信息，因此偽高分辨率圖像還是低分辨率圖像。再用基于Cholesky分解的正交匹配追蹤算法快速求解出稀疏系數(shù)，將求得的稀疏系數(shù)與高頻殘差字典相結(jié)合重建出高頻圖像，融合高頻圖像和偽高分辨率圖像得到高分辨率圖像，最后用迭代反投影法對融合圖像進一步修正，輸出目標高分辨率圖像。

3.1 殘差字典的生成

在字典訓練過程中，對于外部HR訓練圖像集XH={x1,x2,…,xn}，Yang等人[7]的方法是通過預處理對其中的每幅圖像進行模糊化B和下采樣D操作，得到對應(yīng)的LR圖像集YL={y1,y2,…,yn}。然后再對HR圖像進行隨機取塊得到HR字典，對LR圖像先插值放大再隨機取塊得到對應(yīng)的LR字典，其流程如圖1所示。相對于光滑平坦的區(qū)域，自然圖像中的邊緣、紋理等特征區(qū)域結(jié)構(gòu)變化較為明顯，而人的視覺系統(tǒng)對高頻區(qū)域變化比較敏感，因此圖像高頻特征區(qū)域的結(jié)構(gòu)信息對于超分辨率重建非常重要。在圖像超分辨率重建過程中實質(zhì)上恢復的是圖像的高頻信息，使用和合并圖像的高頻信息能給輸入LR圖像提供更真實的高頻信息[18]。

Fig.1 General dictionary training model圖1 常規(guī)的字典訓練模型

基于外部HR圖像集的字典學習，當訓練樣本數(shù)比較龐大時，傳統(tǒng)的字典訓練模型需要同時學習外部HR圖像的高頻信息和低頻信息，導致KSVD算法的計算復雜度很高。通常高分辨率圖像可以分解成兩部分：低頻信息部分（即輸入的低分辨率圖）和高頻信息部分（對應(yīng)殘差圖）。其中高頻部分包含了圖像的高頻細節(jié)和紋理特征等結(jié)構(gòu)信息[19]。本文根據(jù)超分辨率重建過程中需要恢復的是圖像的高頻細節(jié)部分，利用高頻殘差圖的思想[9]將殘差字典引入基于稀疏表示的圖像超分辨率重建過程，通過對外部訓練HR圖像進行預處理，單獨提取出高頻部分進行取塊訓練，以減少字典學習過程中的計算量，降低字典訓練的時間復雜度。在字典學習過程中的外部圖像預處理階段，外部HR圖像集中的任一圖像XH先經(jīng)模糊化B和下采樣D處理后得到對應(yīng)的LR圖像YL,對圖像YL進行插值放大和迭代反投影處理得到相應(yīng)的插值增強圖像F(YL)，最后通過求HR圖像XH與插值增強圖像F(YL)的差值(XH-F(YL))，得到HR圖像的高頻殘差圖。這一步操作類似于通過一個高通濾波器，得到的高頻殘差圖包含了圖像的結(jié)構(gòu)信息和高頻細節(jié)信息。通過對高頻殘差圖的取塊得到對應(yīng)的高頻殘差字典，與傳統(tǒng)字典學習方法對比，高頻殘差字典在訓練階段將低頻部分過濾掉，僅對圖像的高頻部分進行訓練，既減少了字典訓練的計算復雜度，又提升了字典的重構(gòu)能力。高頻殘差字典的訓練流程如圖2所示。

Fig.2 Training model of residual dictionary圖2 殘差字典的訓練模型

3.2 基于Cholesky分解方法改進的正交匹配追蹤算法

正交匹配追蹤算法[20]是稀疏表示的一種經(jīng)典的也是最簡單的算法之一，它的目的是為了求得式（1）中α的最逼近解。該算法通過貪婪迭代的方法選取壓縮感知矩陣中與信號相關(guān)性最大的列向量，這里壓縮感知矩陣可以理解為原子庫，而列向量則為原子庫中的原子。OMP算法需要兩個輸入，測量矩陣DL和測量向量y，最后得到稀疏度為K的原信號估計α。殘差在OMP算法中是一個重要的度量量，對于殘差信號r的控制體現(xiàn)了匹配追蹤算法的核心思想。在每次迭代過程中，選出測量矩陣DL和殘差r最匹配的原子，然后通過消除該原子的貢獻來計算新的殘差，并得到一個新的估計，經(jīng)過t次迭代逐步實現(xiàn)對原信號的逼近，由此完成重建過程?；谡黄ヅ渥粉櫵惴ǖ闹亟ú襟E如下：

輸入：測量矩陣DL，測量信息y，稀疏度K。

輸出：稀疏表示α。

初始化：殘差r=y，稀疏度K=size(DL,1)/4，索引集P0=?，迭代次數(shù)t=1。

（1）求得索引jk：計算殘差與感知矩陣的每一列的內(nèi)積，并選擇最大的幅值對應(yīng)的索引，即滿足

（2）更新索引集和原子集：

（3）利用最小二乘法計算近似解：

（5）判斷迭代次數(shù)是否滿足t＜K，如果滿足則迭代終止，α=αPk，r=rk，否則重復第（1）步。

（6）利用Cholesky方法快速計算近似值：

Cholesky分解方法[21]的基本原理：假設(shè)初始訓練數(shù)據(jù)N0，如果n階方陣A的順序主子式均不為0，則N0=N有唯一的分解，即A=MN。其中M是單位下三角陣，N是上三角陣。若A是n階的對稱正定矩陣，那么A也滿足MN分解，并且可以分解為下三角矩陣M和轉(zhuǎn)置矩陣MT的乘積，即：

那么上式即為對稱正定矩陣A的Cholesky分解。其中A為對稱正定矩陣，矩陣M不一定是單位下三角矩陣。

第一步：由式（9）計算可得矩陣M的第一列所有元素：

第二步：再比較式（9）兩邊第二列對應(yīng)的元素得到：

第N步：同理由式（9）以此類推：

上式分別計算的是矩陣M第j列主對角元素和第j列第i行的所有元素，由此可以確定矩陣的所有元素，這就是Cholesky算法。

3.3 本文算法步驟

本文設(shè)計的殘差字典學習的快速圖像超分辨率算法步驟如下：

步驟1對訓練HR圖像用雙三次插值和迭代反投影法進行處理，得到對應(yīng)的LR圖像集，并提取外部訓練HR圖像的高頻殘差圖，用Yang等人[7]的字典學習方法訓練得到殘差字典和低分辨率字典。

步驟2對需要超分辨率重構(gòu)的LR圖像YL用雙三次插值放大，得到偽高分辨率圖像YH。

步驟3提取偽高分辨率圖像YH的特征塊y。

步驟4利用基于Cholesky分解的OMP算法求得的稀疏系數(shù)α=OMP(DL,y)，算法中迭代終止的條件為迭代的次數(shù)小于或等于size(DL,1)/4。

步驟5聯(lián)合殘差字典DH和稀疏系數(shù)α求得目標HR圖像的高頻特征圖為x=DHα。

步驟6融合偽高分辨率圖YH和高頻特征圖x得高分辨率圖像HR=YH+x。

步驟7對融合圖像用迭代反投影法處理完成超分辨率重建。

4 實驗與分析

在本文實驗中，使用與文獻[22]相同的數(shù)據(jù)和協(xié)議進行對比，這些數(shù)據(jù)和協(xié)議都是目前圖像超分辨率算法中常用的[7,9]。外部高分辨率圖像通過雙三次插值縮小的方式，生成用于訓練和實驗評估的低分辨率圖像。訓練圖像集的擴增通過圖像的轉(zhuǎn)換、旋轉(zhuǎn)和比例縮放等實現(xiàn)。本文采取峰值信噪比（peak signal to noise ratio，PSNR）對重建圖像質(zhì)量進行評估，PSNR越大，重構(gòu)圖像質(zhì)量越好。本實驗程序在4.0 GHz CPU及16 GB內(nèi)存，Win 7操作系統(tǒng)，PC環(huán)境上采用Matlab R2015b軟件進行圖像超分辨率處理。

為了豐富實驗的數(shù)據(jù)，本文在視覺效果和運行時間兩方面進行對比，實驗中以雙三次插值算法作為基準對比算法，并選取最近的5種SR算法進行對比實驗：ScSR重建算法[7]、CS-SR算法[10]、基于卷積稀疏編碼的超分辨率（convolutional sparse coding for image super-resolution，CSC）算法[23]、基于深度學習的超分辨重建（image super-resolution using deep convolutional networks，SRCNN）算法[14]和基于錨定鄰域回歸的快速超分辨率（anchored neighborhood regression for fast example-based super-resolution，ANR）算法[22]。對比內(nèi)容包括峰值信噪比（PSNR，dB）和重建時間（s）。任選測試圖像集set5和set14中的6張不同圖像進行2倍超分辨率重建對比。為了公平對比，從這些作者的個人主頁上下載Matlab源代碼，用原作者提供的參數(shù)設(shè)置進行實驗。由于人類視覺系統(tǒng)對亮度變化比較敏感，將彩色圖像由RGB顏色空間轉(zhuǎn)換到Y(jié)Cb-Cr顏色空間，對Y通道即亮度通道用不同超分辨率方法處理，Cb、Cr彩色通道用Bicubic方法處理。在實驗過程中，先對256×256像素的真實HR圖像進行插值縮小得到輸入的測試LR圖像128×128，再對其進行圖像超分辨率重建。圖3和圖4是本文的SR算法和其他SR算法的效果對比圖。

由圖3、圖4可以看出，7種算法在光滑區(qū)域重建效果基本相同。在邊緣和不規(guī)則結(jié)構(gòu)區(qū)域，ScSR算法[7]較雙三次插值算法細節(jié)部分清晰，但是邊緣區(qū)域偽影明顯，且圖像的紋理細節(jié)產(chǎn)生了輕微的扭曲；CS-SR算法[10]圖像部分高頻信息丟失，導致生成的圖像偽影明顯，有鋸齒效應(yīng)；CSC算法[23]的邊緣部分出現(xiàn)平滑和偽影效果，細節(jié)部分也不夠清晰；SRCNN算法[14]在邊緣和不規(guī)則結(jié)構(gòu)區(qū)域細節(jié)模糊，鋸齒效應(yīng)明顯；ANR算法[22]在邊緣區(qū)域過于模糊，偽影明顯；本文算法在消除偽影的同時，不僅能保持圖像邊緣的銳度，還能較好地恢復出圖像的紋理細節(jié)。

Fig.3 Super-resolution reconstruction results of“mlena”with scale factor 2圖3 mlena圖像2倍時的超分辨率重建結(jié)果

本文的參數(shù)設(shè)置和文獻[10]相同，從樣本中隨機抽取10 000個圖像塊以構(gòu)成訓練集，圖像塊大小為8×8，字典大小為64×64，稀疏平衡因子為0.15，保留1個像素的重疊。與文獻[7]抽取100 000個圖像塊，字典大小為25×512和圖像塊大小5×5相比，本文算法字典的訓練時間更短，計算復雜度更小。表1是6幅測試圖像在各種SR算法中，放大倍數(shù)為2時的重建時間。

Fig.4 Super-resolution reconstruction results of“butterfly”with scale factor 2圖4 butterfly圖像2倍時的超分辨率重建結(jié)果

Table 1 Reconstruction time of different SR algorithms表1 不同SR算法重建的時間 s

在重建時間上，不考慮字典訓練時間，僅僅對各種SR方法的圖像重建時間進行比較。本文使用基于Cholesky分解的正交匹配追蹤算法簡化了迭代過程中矩陣求逆計算來快速求得稀疏表示系數(shù)，在稀疏編碼階段比正交匹配追蹤算法[10]的稀疏編碼迭代時間提升了11.37倍，與最新的基于深度學習的SR算法[14]的重建時間相比提升了17.8倍，大大增強了算法的實時性，同時兼顧了重建質(zhì)量，具有一定的實際應(yīng)用意義。在各種SR算法中，放大倍數(shù)為2時得到的PSNR值見表2。

Table 2 Comparison of PSNR indexes of different SR algorithms reconstruction results表2 不同SR算法重建結(jié)果的PSNR值對比 dB

5 結(jié)束語

基于自學習和稀疏表示的快速單圖像超分辨率算法重建的目標圖像紋理細節(jié)較好，但同時會伴隨一些比較明顯的偽影，算法時間復雜度較高，且在線學習的字典僅適用于特定的單幅圖像。為克服這些問題，一方面利用Yang等人的字典學習算法和高頻殘差圖的思想，通過外部HR訓練圖像集生成高頻殘差字典和低分辨率字典，不僅降低了字典的計算復雜度，更精確地生成超完備字典，且能適用于任意圖像；另一方面在圖像重建階段用基于Cholesky分解的正交匹配追蹤算法求解稀疏系數(shù)，極大地降低了算法復雜度，重建出的目標圖像不僅保持了很好的紋理細節(jié)，還較好地恢復出尖銳的邊緣結(jié)構(gòu)信息。實驗結(jié)果表明，本文算法具有極高的實時性能，且具有與現(xiàn)有經(jīng)典超分辨率重建方法相匹配的峰值信噪比。下一步工作是在現(xiàn)有研究的基礎(chǔ)上，對字典學習算法和特征提取算法進行改進，以獲得更好的重構(gòu)質(zhì)量。