李麗敏，冉 峰，郭愛英，郁懷波，沈華明

(1.上海大學 微電子研究與開發(fā)中心，上海 200444； 2.上海大學 新型顯示技術及應用集成教育部重點實驗室，上海 200444； 3.上海大學 機電工程與自動化學院，上海 200444)

高分辨率圖像(High Resolution, HR)在生活中的諸多領域具有舉足輕重的作用，但是由于現有成像系統器件等物理條件的限制，HR圖像的獲取有一定的難度，其成本也高.圖像超分辨率重建(Super-Resolution, SR)技術[1-2]可以很好地解決這個棘手的問題，即用計算機技術通過重構算法來對低分辨率圖像(Low Resolution, LR)進行處理，獲得相對應的高分辨率圖像.SR技術在安全監(jiān)控、衛(wèi)星遙感、軍事偵查、醫(yī)學成像和高清視頻等領域得到了廣泛的應用.

由于應用的需求，LR圖像重建出HR圖像的方法相繼被提出.首先為最簡單的基于插值的方法，例如最鄰近點插值和雙線性插值等，雖然此法計算量小且運算簡單，但存在重構圖像不夠清晰、邊緣模糊的問題，從而無法滿足實際應用中的質量要求.其次為基于重建的方法通過多幀LR圖像反向投影出HR圖像,通用的方法有迭代反投影法(Iterative Back Projection, IBP)[3]和最大后驗概率估計法(Maximum A Posteriori, MAP)[4]等，其能夠重建出較好的圖像質量,但這類方法的參數很難估計，所以提高圖像分辨率的能力有限，且易產生過度光滑現象.更加有效的方法為基于學習的方法，對大數量的高低分辨率圖像樣本集進行學習訓練，得到HR、LR圖像的關系作為先驗知識來指導重構[5].機器學習(Machine Learning, ML)[6-7]技術的目的是對低分辨率特征塊和高分辨率圖像塊進行訓練而得到兩者的關系，效果比較理想，然而其所需要的樣本訓練圖像數量達到了百萬量級，工作量之大使復雜度增高.在基于學習的重構算法中，Yang等[8-9]開創(chuàng)的超分辨率重建算法是稀疏表示方法的領導者，通過自然高分辨率圖像集訓練一個相對應于高低分辨率圖像的字典對，隨之根據稀疏系數相同重建出LR圖像相對應的HR圖像.該算法的重建圖像具有較好的視覺效果，但是其缺乏一定的正則性.在此算法的基礎上多位學者又進行了研究.首先為正則化提供理論基礎的是Tikhonov等，在其文獻[10]中利用正則化理論求解信號的病態(tài)逆問題.正則化已經成功應用于圖像壓縮和插值[11].Wu等[12]指出AR模型是從圖形的局部計算而來，在邊緣重構方面取得了好的效果，但是從初始圖像估算到的模型常會產生偽影.

基于上述討論，本文針對稀疏系數和圖像重建質量問題，提出稀疏編碼結合空間自適應正則化算法.利用K-SVD方法構造相對應于高低分辨率圖像的字典，根據稀疏系數相同的特點在字典的作用下完成高分辨率圖像塊的重建，同時通過自適應正則化項對稀疏系數求解進行進一步的約束，然后在全局約束下對重建圖像進行整體優(yōu)化.本文算法整體分為3個部分： (1) 超分重建部分主要介紹了稀疏原理和稀疏表示的局部和全局約束；(2) 字典的建立介紹了字典訓練算法和特征提取算子；(3) 正則項的建立對稀疏系數函數進行約束.實驗結果表明，本文算法的重建圖像PSNR指標與稀疏編碼等方法比有了一定的提升且圖像重建效果也有所提高，其中，圖像的平均重建PSNR為34.58dB，比Bicubic的平均值高2.58dB；比NE方法的平均值高1.01dB；比稀疏編碼的平均值高0.13dB.

1 相關理論

設X為HR圖像，其相對應的LR圖像為Y，則Y為X經過下采樣和模糊而得到的，其退化模型為：

Y=EHX，

(1)

其中：E為向下采樣濾波器；H為模糊算子.求解SR的過程為病態(tài)的逆問題，對于給定的LR圖像Y，有無限多的HR圖像X滿足上面約束，這里用X的圖像塊x的稀疏先驗來解決這個問題.

若取任意信號x∈RN,則x可由矩陣D中有限個列向量通過線性組合來近似表示.用式表示如下：

(2)

關于稀疏系數α的求解，也可以近似的寫為下式：

(3)

利用稀疏先驗知識，首先用局部約束來恢復局部圖像塊的高頻細節(jié)，其次利用全局優(yōu)化對整個圖像進行約束，使得目標圖像更加的一致和自然.

1.1 稀疏表示的局部約束

設x為HR圖像X的圖像塊，y為相應的LR圖像Y的特征塊，則由稀疏理論可知，x=Dhα，其中Dh∈RN×L為HR圖像訓練所得的字典，α為稀疏系數.對于低分辨率特征塊，由于會在測量中引入噪聲，所以對于y，有y=Dlα+n,其中Dl∈RN×L為低分辨率圖像訓練所得的字典.假設n為高斯白噪聲,則低分辨率圖像的稀疏優(yōu)化問題可以寫為下式的形式：

(4)

其中：ε為大于0的實數，表示噪聲強度或稀疏表示誤差.由于式(4)的計算量非常大，所以將l0范數轉換為l1范數的凸優(yōu)化問題,同時考慮到低分辨率圖像中的特征提取，則式(4)可以改為以下形式：

(5)

其中：F為特征提取算子，用來提供一個具有感知意義的約束.此條件約束了在字典Dl作用下的低分辨率特征塊和輸入低分辨率特征塊的匹配度.

對于圖像塊的掃描是從左到右、從上到下而不是隨機選取的，所以要考慮到在重建過程中每一個圖像塊和其周圍塊的兼容性，即對圖像塊y的超分辨率重建Dhα進行約束,可以進一步得到下式[9]：

(6)

其中： 矩陣P的作用是提取當前圖像塊和之前重構得到的HR圖像塊的交叉區(qū)域；ω是之前在交叉區(qū)域重建的HR圖像.此條件約束了HR、LR圖像塊之間的兼容性.

式(6)可以采用Lagrange Multipliers進一步進行改進得到下式：

(7)

1.2 整體優(yōu)化

對掃描選取的輸入LR圖像的特征塊進行處理，得到其相對應的HR圖像的估計值X0，由于重構的結果不完全相等及噪聲的影響，我們將X0投影到Y=EHX的解空間中來消除誤差，定義目標函數

(8)

上述優(yōu)化問題可以采用反向投影算法,重建約束下的全局模型會去除局部約束可能產生的偽影.上式的計算結果就是超分辨率重建的目標HR圖像的估計值.

2 字典的建立

2.1 高低分辨率的字典訓練

高分辨率圖像塊Xh直接由高分辨率圖像得到，低分辨率圖像塊Yl是Y插值放大后取特征而得到的.我們將Xh和Yl合在一起成為一個訓練樣本.用此樣本來學習得到高、低分辨率字典.

為了對HR圖像塊和LR特征塊統一進行稀疏關聯學習,將采樣后的訓練樣本對定義為M={Xh,Yl},其中,xi(1≤i≤n)∈Xh表示HR圖像塊，yi(1≤i≤n)∈Yl為相應LR圖像特征塊.為了便于圖像的重建，HR圖像的圖像塊和LR圖像的特征塊應具有相同的稀疏表達系數.字典可分別通過下式求得[13]：

(9)

(10)

其中A為稀疏表達系數矩陣.由于要使HR、LR圖像具有相同的稀疏表示系數，式(9)和(10)可以聯合優(yōu)化求解為：

(11)

其中N和M分別為高低分辨率圖像塊的維數.將(1)式進一步簡化為：

(12)

因此，可以使用相同的學習方法來聯合構造兩個字典.值得注意的是，Dh和Dl不能進行簡單的線性連接，而是要進行歸一化處理，否則，訓練過程僅會因高分辨率圖像塊而變動.

字典D在超分辨率重建中占有很重要的作用,字典質量會影響最終的重建結果.本文采用稀疏K-SVD字典方法進行構造.首先進行稀疏表示，設D已知，用該字典對給定數據進行稀疏表達.其次進行字典更新，初始字典下的稀疏系數和原數據有較大差別.在滿足稀疏的前提下，將字典逐列進行優(yōu)化，減小整體誤差且逼近估計字典.利用式(12)求解HR和LR圖像相對應的字典Dh和Dl.

2.2 特征提取

為了更好地獲得圖像信息，超分辨率重建在訓練樣本和圖像重構階段都會有特征提取，目的是提取出圖像的特征紋理來確保計算系數擬合低分辨率信號的最相關部分.本文向上采樣借鑒文獻[13]中的方法用局部自適應插值將原始LR圖像采樣，減少SR預處理過程中的誤差,從而提高重構圖像的質量.

最能代表圖像信息的為圖像中高頻分量且高頻信號對預測HR圖像至關重要，故重建通常會選擇高頻信號作為特征.由于微分梯度的簡潔有效性，本文使用微分來提取LR圖像的特征塊并加入邊緣提取算子來突出圖像特點，本文對Yang等的特征算子進行改進，4個改進的一維濾波算子如下：

其中： T為轉置符號；f1為一階梯度濾波算子水平分量；f2為垂直分量；f3為二階水平分量；f4為二階垂直分量.將4個一維濾波器應用到每個圖像塊可以得到相對應的4個特征向量，將其連接成一個特征向量作為此圖像塊的特征表示即特征塊.實際上，濾波器直接應用到整幅圖像上，生成4幅梯度圖，將4幅圖的同一位置的圖像塊取出并將4個小塊連接在一起，就形成了圖像的特征向量.增加的邊緣提取算子用來提取圖像的邊緣信息，其為：

fe=[1,0,2,0,1].

3 基于稀疏表示與自回歸正則化的超分辨率重建

3.1 自適應正則化

當下采樣矩陣和噪聲產生小幅度擺動時，重構結果將受到外界的干擾從而產生比較大的變化，且一幅圖的局部可視為平穩(wěn)過程可以進行建模，因此本文方法采用空間自適應正則化項進一步對求解方程進行約束，使得稀疏系數解更加的穩(wěn)定.通過建模加入自適應正則化(Auto-Regressive，AR)模型來約束求解公式，實現圖像重構的自適應控制.從集群高質量訓練圖像塊中學習一組AR模型，并自適應地選擇一個正則化模型以使輸入圖像塊正則化.對于正則化項的構造，可分模型的訓練和自適應選擇兩步.

1) 模型的訓練 從集群HR圖像集中訓練多組AR模型，然后自選擇其中的一個來約束輸入圖像塊.對于整個訓練數據集，本文將其分為k個子訓練數據集Si(1≤i≤k)，對于每一個Si，用其所擁有的全部樣本塊來學習出一個AR模型.本文用來訓練模型的高清圖像塊為方形，訓練此模型的最終目的是利用相鄰的像素大小來預測圖像塊的中心像素.考慮到模型的階數對于建模至關重要且階數越高越可能會導致數據過度擬合，故本文實驗中的圖像塊設為3×3像素大小即階數為8.設ai為第i個子訓練數據集Si的模型向量，則ai可由下式簡單求得：

(13)

其中：sj是子訓練數據集Si中圖像塊Sj的中心像素值；qj是由sj周圍像素組成的模型參數向量，這些都由AR模型支持.對于每個子圖像訓練集都用上述計算過程訓練，則可以得到一系列的正則化模型{a1,a2,…,ai,…,ak},這些模型會被應用于SR重建的局部自適應.

(14)

(15)

其中：η為折中參數，用于調節(jié)模型的影響.為了表達的方便，我們將最后一個約束項進行簡化，則式(15)可寫為

(16)

其中：E為單位矩陣；A(i,j)的取值如下：

3.2 超分辨率重建流程

超分辨率重建流程見圖1.超分辨率重建算法主要分為4部分，分別為訓練樣本提取階段、高低分辨率字典訓練階段、AR模型建立和圖像重構階段.其中圖像重構階段為紫色框流程.

本文算法的整體流程如下：

輸入： 測試圖像Y0，字典訓練圖像M，AR模型樣本圖像R.

1) 對圖像進行訓練得高分辨率字典Dh和低分辨率字典Dl.

2) 從樣本圖像R中訓練得到AR模型，將正則項加入到目標函數中.

3) 初始化： 提取Y0對應的LR特征圖像Y.

4) 對Y進行分塊得到圖像塊y，由式(16)來計算最優(yōu)稀疏系數估計值α*.

5) 根據x=Dhα*得到高分辨率塊x，進而得到高分辨率圖像初始值X0.

6) 由式(8)得到最終高分辨率圖像的最優(yōu)估計值X*，滿足全局重建約束.

輸出： 高分辨率圖像X*.

圖1 超分辨率重建流程Fig.1 Super-resolution reconstruction process

4 實驗與分析

本文采用MATLAB2013a作為仿真實驗平臺，計算機的配置如下，CPU： Inter(R) Core(TM) i5-3210 M CPU @ 2.50GHz；主頻為2.50GHz；內存4GB；系統類型： 64位操作系統.

實驗選擇了標準測試集自然圖像庫Set5和Set14[14-15].選用文獻[9]中的91幅高分辨率圖像作為字典訓練的圖像集.實驗中對比了本文算法、基于鄰域嵌入(Neighbor Embedding,NE)[16]和稀疏編碼重建(Sparse Coding Reconstruction, SCR)等算法.實驗結果采用主觀和客觀兩種評價方法來進行評價，其中后者采用峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)指標來進行評測，若其值越高，則重建質量效果越好.PSNR值優(yōu)于其他的評價指標[17]的一點是它可以更好地表達出人的視覺和感知效果.

4.1 字典的選擇

圖2 字典大小對PSNR值的影響Fig.2 Influence on the PSNR value of size of dictionary

訓練樣本的個數為100000個，字典大小分別設置為256,512,1024和2048，對自然圖像Butterfly采用多種方法進行處理，其放大倍數為2倍.由于雙三次插值與字典訓練無關故不計入對比結果.峰值信噪比的對比結果如圖2所示.訓練時，大小為256字典訓練時間為3h左右，大小為512為4.3h左右，大小為1024達到了5.5h，而大小為2048時間將近8h且可能導致代碼中的矩陣接近奇異值.理論來說，圖像塊數量越多字典越大，重建效果越好，但是隨之而來的計算量也越大.由曲線圖可以看出隨著字典的增大，PSNR值在增大，但1024后增大的幅度較小，為了對質量和效率有一個折衷，本文字典的大小選擇為1024.

4.2 重建效果對比

選擇樣本塊數量為100000個，字典大小為1024進行實驗對比.考慮到文章篇幅有限，這里僅僅展示了兩幅自然圖像通過不同算法分別進行2倍、3倍尺度的圖像重構.圖3是對放大2倍的Pepper圖像的重建結果，其像素大小為512×512，圖4是對放大3倍的Girl圖像的重建結果，其像素大小為255×258.通過比較圖3和圖4中同一區(qū)域的細節(jié)大圖可以看出圖x(c)Bicubic方法重構圖像產生了平滑現象仍然模糊.圖x(d)的NE算法產生平滑效果，邊緣處有鋸齒效應.圖x(e)稀疏編碼算法在邊緣和紋理上效果增強.圖x(f)表明本文算法不僅邊緣銳化效果好，而且圖像更加清晰，特征細節(jié)和振鈴現象都處理的較好.基于正則項改進的原理在仿真中具有好的效果.由此可見本文算法在主觀視覺效果上有了一定地提升.

圖3 Pepper測試圖像放大2倍的不同方法超分辨率結果對比Fig.3 Comparison of pepper images with upscaling factor of 2 for different methods

圖4 Girl測試圖像放大3倍的不同方法超分辨率結果對比Fig.4 Comparison of girl images with upscaling fator of 3 for different methods

表1為不同算法在測試集自然圖像中放大2倍時的峰值信噪比.表1數據表明，本文算法在評價指標下要優(yōu)于雙三次插值、鄰域嵌入和稀疏編碼等方法.其中，圖像的平均重建PSNR為34.58dB，比Bicubic方法的平均值高2.58dB；比NE方法的平均值高1.01dB；比稀疏編碼方法的平均值高0.13dB.

表1 本文方法與其他超分辨率重建方法效果對比

5 結 語

本文針對超分辨率重建圖像質量的提高，將稀疏編碼和正則化項有效結合，提出了一種空間自適應正則化超分辨率重建算法.該算法在稀疏表示的基礎上利用自回歸模型來對圖像的局部進行自適應的調整，有效的提高了稀疏表示系數的精確度.實驗結果表明，本文方法與多種圖像超分辨率重構算法相比具有有效性，而且無論是在視覺上還是圖像質量上都能得到較好的重建效果.