黃全亮，劉水清，孫金海，陳 柯

融合學習算法的單幀圖像超分辨率復原

黃全亮1，劉水清1，孫金海2，陳 柯1

1.華中科技大學 電子與信息工程系，武漢 430074

2.電磁散射重點實驗室，北京 100854

1 引言

圖像超分辨率復原的目標是通過軟件方法突破系統(tǒng)的成像極限，對低分辨率的降質(zhì)圖像進行復原處理，將它重建成趨向于理想的圖像。該技術最初即是以單張影像復原的概念提出的[1]。之后多幀融合技術被引入該領域，也相繼提出了多種算法。常見的超分辨率復原方法可分為頻域法和空域法兩種[2]，后者因為能夠方便地引入先驗知識成為當前研究的主流。經(jīng)典空域法[2-3]又可按其原理分為集合論方法（如凸集投影法）與概率方法（如極大似然、最大后驗概率法）等。

對于一些實時性較高的運用（如遙感成像、目標探測等）仍要對單幀圖像進行復原處理，又由于成像原理和設備條件的限制，所得圖像的降質(zhì)程度很高，這對算法的要求更加苛刻，相應的空域復原方法對于觀測模型的要求也更為嚴格。

在這一應用背景下，首先面臨的是嚴重的病態(tài)問題，解決該問題的思想稱為正則化思想。1973年，Hunt將正則化方法應用于解決圖像復原的問題。文獻[4]提出加權空間復原算法，文獻[5-6]提出非線性正則迭代法以及正則迭代圖像復原法，這些方法均通過解非線性優(yōu)化問題來減少圖像的邊緣模糊并保護重要細節(jié)信息。選取何種正則化方法，并利用圖像的局部特征，加入動態(tài)自適應處理，是問題的關鍵。此外，在一些運用中可以預先得到與待處理圖像相關的高分辨率基準圖像作為參考，相應的學習和訓練算法常被引入處理流程中作為補充。早期的學習算法從圖像類推技術[7]中演化而來，并很自然地引入了金字塔多分辨率模型[8]。此類方法適合處理單幀圖像，但普遍存在對訓練集相關性要求高，和搜索速度慢等問題。Freeman等人提出了一種基于例子的超分辨率方法[9]，一定程度上解決了上述問題，使學習算法趨于成熟，并開始常見于實際應用中。針對具體的復原問題，還需要對算法性能進行優(yōu)化。綜合上述分析，可整合出一個有針對性的單幀圖像超分辨率復原流程。

2 算法分析

2.1 圖像觀測模型

考慮單幀圖像，若圖像的退化過程是線性移不變的，高分辨率（HR）圖像和低分辨率（LR）圖像之間的正向模型的矩陣形式可表示為：

其中 y為退化圖像，x為待復原高分辨率圖像，n為加性噪聲的行排矢量。

H為圖像的退化矩陣，描述圖像的降質(zhì)原因和退化過程，可以看作幾個模糊算子和欠采樣算子的相乘，其對應的系統(tǒng)函數(shù)h稱為退化函數(shù)或降質(zhì)函數(shù)。對于二維圖像來說，退化函數(shù)h可以看作對圖中每個像素點的擴散行為的描述，因此也被稱作點擴散函數(shù)（PSF）。估計出準確的PSF是圖像復原的前提。不同復原問題中的PSF是具有多樣性的，但在一般情況下，它的類型卻又是有限的。構成退化函數(shù)的常見模糊算子包括高斯模糊、均勻散焦模糊、運動模糊等。對于實際的成像系統(tǒng)，還可以采用對一系列標準測試圖像進行成像實驗的方法，得到其退化函數(shù)。

2.2 自適應正則化方法

從觀測模型可見，圖像復原作為一個逆過程是一個病態(tài)（不適定）問題。使病態(tài)反問題的求逆過程穩(wěn)定而采用的方法稱為正則化方法。單幀圖像復原的病態(tài)問題尤為嚴重，因而正則化處理是必要的。

正則化方法的基本思想是利用關于解的先驗知識，構造附加約束把不適定問題轉(zhuǎn)化為適定問題。通常需要求解如下表達形式的目標泛函的極小值：

其中，d(x)=‖y-Hx‖2為數(shù)據(jù)擬合項，p(x)為附加的正則項，α為正則化參數(shù)，起平衡前二者的作用。正則項一般用來衡量信號的某種奇異性，對未知圖像 x形成一個約束。通常：

其中R是約束算子，它根據(jù)圖像的先驗知識對解進行約束。這種思想體現(xiàn)出圖像重建問題的本質(zhì)就是在充分擬合觀測數(shù)據(jù)的前提下，使某種奇異性度量最小，從而尋找理想的解x。因此如何選取約束算子正是區(qū)分不同正則化方法的標志。

當R為常數(shù)時，式（2）為簡單的Tikhonov正則化。為了確保問題的連續(xù)和解唯一性，需要用到相對復雜的基于一階微分或二階微分的高通濾波算子。因此，本文采用階數(shù)為2的Phillips正則化，它能更好地抑制近似解中的高頻振蕩噪聲。其對應的泛函如式（4）。

通過與二階差分算子C（也就是Laplace算子）卷積來計算圖像x的二階差分，代替x的二階導數(shù)，即約束算子R=C。計算過程中，采用空間域迭代下降算法求解復原圖像。迭代形式和正則化參數(shù)動態(tài)更新形式分別如式（5）（6）：

為保證目標函數(shù)的凸性和收斂性，須有0＜α＜1。式（6）定義的正則化參數(shù)能最小化噪聲能量，步長修正因子取經(jīng)驗值15。迭代終止條件如式（7），當兩次迭代結果的能量差值相對于迭代結果足夠小時，認為已穩(wěn)定收斂，取迭代結果 f。

當正則化方法針對全局進行相同的約束處理時，稱該方法為全局性方法，它的不足在于圖像的復原結果不能在保持邊緣和平滑噪聲之間做到平衡。因此需要提出一種自適應正則化方法，根據(jù)圖像的局部紋理變化對復原和平滑加以自適應性控制[10-11]，自適應算法的實現(xiàn)仍用到迭代計算，迭代形式（5）變?yōu)槭剑?）：

其中，矩陣W 的元素為圖像對應局部正則化參數(shù)的權系數(shù)，稱為權系數(shù)矩陣。它的取值由所對應的圖像局部特性決定，并隨著迭代過程按式（9）動態(tài)更新。

2.3 學習搜索算法

基于學習的超分辨率方法是相對于傳統(tǒng)的基于重構的方法提出的，它彌補了后者過多依賴于精確模型的不足，也不似傳統(tǒng)復原方法在理論上存在分辨率提升的上限[8，12]。這類方法通過一系列已有的高分辨率基準圖像形成訓練集合作為外部信息源，以某種搜索和匹配機制將其中的信息添加到待復原的圖像中，從而實現(xiàn)分辨率的提高。最常用的信息匹配映射方式是將圖像分塊處理，再依照某個距離判據(jù)為每個觀測圖像塊搜索最接近的訓練圖像塊，最后從對應的基準圖像塊中提取細節(jié)作為補充。

學習算法由于有外部經(jīng)驗數(shù)據(jù)的支持，通過學習添加的圖像細節(jié)可作為額外的補充和修復，且有時更接近真實?；鶞蕡D的相關性和搜索的效率是制約這一算法的主要問題，在下文的分析中還可以看到，學習過程中類似于空域法中病態(tài)現(xiàn)象的出現(xiàn)，還需針對這些問題引入相應的優(yōu)化方法。

首先是建立精簡有效的訓練集，盡量通過預處理減少搜索過程的復雜度，提高訓練集的適用性。本文從訓練圖像庫中產(chǎn)生成對的帶通圖像和高通圖像對作為訓練和學習的依據(jù)。對訓練圖像庫中的每一幀高分辨率圖像進行降質(zhì)處理，降質(zhì)的類型與復原處理中想要去除的相一致，然后進行降采樣處理生成低分辨率圖像。再對其進行三次樣條插值，生成一幅具有所需像素數(shù)但缺乏高分辨率細節(jié)的圖像。在訓練過程中，有價值的信息為插值圖像和原始高分辨率圖像間的差值，即后者獨有的高頻信息，以及差值信息與低分辨率插值圖像的對應關系，其他信息可以丟棄。然后對低分辨率圖像和高頻信息圖像進行分塊，大小分別為5×5和7×7，并按照其對應關系進行存儲，至此訓練集建立完成。

然后是搜索過程的優(yōu)化，本文采用最先最優(yōu)（best first）原則在訓練集中進行最速下降搜索，以式（10）所示歐氏距離函數(shù)評判最佳匹配。

當基準圖相關性不強時，在搜索過程中還會出現(xiàn)一種情況：對于某一給定的低分辨率輸入圖像塊進行匹配搜索，如果從訓練集合中取多個最近似的樣本圖像塊，則其中每一個都和輸入塊非常相似，但它們所對應的高分辨率塊卻又是截然不同的。

這一現(xiàn)象與上文中描述的反問題的病態(tài)性十分相似，它說明僅憑局部塊自身并不足以預估可能的高分辨率細節(jié)信息，由此想到考慮圖像塊的空間鄰域關系，對搜索過程加以約束。

在圖像分塊時，如圖1所示，使低分辨塊的邊緣與其鄰域像素形成重疊（重疊1個像素，對應的高分辨率塊重疊2個像素），在進行搜索時，預測原則如下：對每個低頻輸入圖像塊，首先在訓練集中尋找與其最相似的多個低頻圖像塊；然后，要求高頻預測圖像塊在重疊部分與其鄰域盡量保持一致，即保證高頻預測塊與相鄰塊（鄰域數(shù)據(jù)）具有局部兼容性和平滑性。

圖1 圖像塊之間的重疊關系

因此，搜索向量由兩部分拼接而成：低頻圖像塊內(nèi)的像素與實時預測階段中高頻圖像塊鄰域重疊區(qū)域內(nèi)的像素。前一步預測的高頻數(shù)據(jù)（作為左、上邊框）用來輔助選擇最佳匹配對。對訓練數(shù)據(jù)庫要做相同處理，與搜索向量形式相匹配。

引入?yún)?shù)γ控制低分辨率圖像塊的數(shù)據(jù)匹配和高分辨率圖像塊重疊部分的鄰域兼容之間的平衡關系（M與N為圖像塊尺寸，分別取為7、5），其中系數(shù)0.25為經(jīng)驗取值：

總結上述內(nèi)容，算法的學習過程如圖2所示，因為分塊之間有重疊，每得到一個輸入圖像塊，都在之前已恢復的高頻信息中提取左上邊框，合成搜索向量，再與經(jīng)過相同處理的訓練集進行匹配，得到當前輸入圖像塊的最優(yōu)高頻信息輸出。

圖2 學習算法中的學習過程示意圖

2.4 算法整合

綜合上述算法，提出如圖3所示超分辨率方法流程。圖中第一行描述2.1節(jié)所述的降質(zhì)過程，余下部分為復原的處理過程。

圖3 降質(zhì)過程及復原算法流程圖

根據(jù)觀測模型的線性移不變性假設，超分辨率復原處理在去模糊和升采樣上的順序可以是任意的，只是模糊算子應根據(jù)采樣算子進行相應的調(diào)整。由于復原問題所需要的放大系數(shù)是確定的，而且學習算法擬合高頻信息的效果也依賴于觀測圖像的質(zhì)量，因此，對降質(zhì)的低分辨率圖像先采用自適應正則化方法去模糊，再利用學習算法插值放大，這樣的算法流程更為合理。

自適應正則化算法與學習算法的流程如2.2節(jié)與2.3節(jié)所述?？赏ㄟ^仿真實驗對已知原始高分辨率圖像的降質(zhì)圖像進行重建，以檢驗該流程的復原效果。

3 實驗結果

3.1 自適應正則化仿真

如圖4所示，對一幅原始場景光學圖像進行強度與半徑均為3的高斯模糊，及半徑為2的散焦模糊，得到降質(zhì)圖像，再對降質(zhì)圖像用正則化方法和自適應正則化方法進行復原。通過峰值信噪比（PSNR）來量化復原效果，其中N為像素點數(shù)：

圖4 正則化方法仿真結果

由仿真結果可見，通過全局Phillips正則化復原的圖像質(zhì)量在視覺品質(zhì)和PSNR上均有所提升，但是由于算法不能有效區(qū)分圖像邊緣和細節(jié)，復原結果中的局部細節(jié)恢復較差，且在邊緣處有輕微振鈴效應?？紤]圖像的局部特征，采用自適應正則化方法復原的圖像質(zhì)量明顯提升，局部細節(jié)得到很好的恢復，但是復原結果中由于迭代中的卷積過程，仍然出現(xiàn)了一些寄生波紋失真。因此，為進一步改善超分辨率效果，在下一步插值放大步驟中引入學習算法修復更多圖像細節(jié)。

3.2 學習算法仿真

按照2.3節(jié)所述，對選用的高分辨率基準圖像進行濾波和分塊存儲處理，分別建立人臉圖像訓練集（包含7 889個圖像塊）和建筑圖像訓練集（包含28 046個圖像塊）。

首先為驗證改進的學習算法的有效性，本文選用具有代表性的小波特征金字塔局部最優(yōu)匹配（OLM）算法[3]作為對照，由于該算法對基準圖相關性要求較高，搜索速度較慢，因此通過對算法要求較低的人臉圖像超分辨率仿真進行分析，觀察超分辨率算法能否合理地從訓練集中選取合適的修正信息對低分辨率觀測圖像進行復原。

實驗過程中先將一高分辨率圖像模糊縮放處理作為觀測圖像，然后經(jīng)由學習算法還原到原始分辨率。

由仿真結果可見，基于OLM算法對圖像補充的信息較多，但補充信息的正確性卻嚴重依賴于訓練集與觀測圖像的相關性，否則復原圖中修復的細節(jié)將產(chǎn)生過擬合現(xiàn)象，甚至出現(xiàn)類似脈沖噪聲的偽像點。而改進的學習方法對圖像補充的信息相對較少，但是對于基準圖相關性的要求很低，同時又能通過適當?shù)乃阉鞣椒ㄅc預測原則得到接近原圖的正確修正效果，在圖像模糊程度不高時，過擬合現(xiàn)象不明顯，使得算法更為穩(wěn)健。

3.3 綜合實驗分析

將上述兩步整合到2.4所述流程中后，在降質(zhì)嚴重的情況下，對單幀低分辨率觀測圖像進行復原處理，并與經(jīng)典方法的處理結果對比。

如圖6所示，對一幀高度降質(zhì)（降采樣因子0.5，高斯模糊半徑為3，強度為3，均勻散焦模糊半徑為3）的低分辨率建筑圖像，用本文方法進行超分辨率處理，并與典型的凸集投影（POCS）算法[13]和極大似然（ML）算法（Lucy-Richardson濾波[14]）進行比較。其中PSNR根據(jù)降質(zhì)前的原始高分辨率圖像計算得到。從結果可見，自適應正則化方法對圖像質(zhì)量有較大提高，而寄生波紋和細節(jié)缺失在學習算法中得到一定的修復，同時，本文方法在單幀觀測圖像嚴重降質(zhì)的情況下，與其他常用算法相比仍保持穩(wěn)健有效。

4 結束語

圖5 單幀人臉圖像學習算法超分辨率結果

圖6 單幀建筑圖像超分辨率復原結果對比

在去模糊復原過程中，根據(jù)觀測圖像的局部特征，對Phillips正則化過程進行自適應控制，有效保障了迭代復原的效果；在插值放大過程中，利用學習算法從訓練集中提取信息修復圖像的高頻細節(jié)，并從建立訓練集和預測搜索過程等方面，使算法的基準圖相關性需求和搜索效率得到了優(yōu)化，學習的細節(jié)信息更為準確。實驗結果表明，該超分辨率復原流程中，兩個步驟的復原效果都得到了提升。正則化方法避免了高度模糊的圖像在學習過程中的過擬合現(xiàn)象，同時，算法修復的高頻信息結合了先驗知識和外部參考的優(yōu)勢，在處理單幀高度降質(zhì)的圖像時依然保持了理想的復原效果。如何在算法效率和計算成本之間做到平衡，還需進一步研究。

[1]Harris J L.Diffraction resolving power[J].Journal of the Opt Soc of America，1964，54（7）：931-936.

[2]Park S C，Park M K，Kang M G.Super-resolution image reconstruction：a technical overview[J].IEEE Signal Processing Magazine，2003，20（3）：21-36.

[3]張艷.空間域超分辨率圖像重建技術研究[D].鄭州：解放軍信息工程大學，2007.

[4]Lagendijk R L，Biemond J.Regularized iterative image restoration with ringing reduction[J].IEEE Transactions on Acoustics，Speech and Signal Processing，1988，36（12）：1874-1888.

[5]Kang M G，Katsaggelos A K.General choice of the regularization functionalin fegularized image restoration[J].IEEE Transactions on Image Processing，1995，4（5）：594-602.

[6]Kang M G，Katsaggelos A K，Ronald W S.A regularized iterative image restoration algorithm[J].IEEE Transactions on Signal Processing，1991，39（4）：914-929.

[7]古元亭，吳恩華.基于圖像類推的超分辨技術[J].軟件學報，2008，19（4）：851-856.

[8]Baker S，Kanade T.Limits on super-resolution and how to break them[J].Computer Vision and Patten Recognition，2000，9（2）：372-379.

[9]Freeman W T，Jones T R，Pasztor E C.Example-based superresolution[J].IEEE Computer Graphics and Applications，2002，22（2）：56-65.

[10]王艷，胡章芳.圖像復原中正則化參數(shù)的自適應選擇方法[J].重慶郵電大學學報：自然科學版，2007，19（6）：745-747.

[11]王晶，彭國華.空域中基于正則化的自適應超分辨率圖像復原[J].計算機工程與設計，2008，29（12）：3194-3196.

[12]吳艷，陳凡勝，陳桂林.圖像復原與超分辨率重構基本適用條件及提高空間分辨率上限的研究[J].紅外與毫米波學報，2010，29（5）：351-356.

[13]胡飛，張瑞.一種改善被動毫米波重建圖像質(zhì)量的方[J].信號處理，2009，25（12）：1962-1966.

[14]孔祥龍，李玉同，遠曉輝，等.Lucy-Richardson算法用于針孔圖像的恢復[J].物理學報，2006，55（5）：2365-2370.

HUANG Quanliang1,LIU Shuiqing1,SUN Jinhai2,CHEN Ke1

1.Department of Electronics and Information Engineering,Huazhong University of Science and Technology,Wuhan 430074,China
2.Science and Technology on Electromagnetic Scattering Laboratory,Beijing 100854,China

In order to reconstruct a high-resolution image from single highly blurred image,a super-resolution reconstruction method combined with adaptive regularization and learning algorithm is proposed.Based on local characteristics,the dynamic adaptive control progress of reconstruction method is achieved.Train set,prediction principle and searching progress of learning algorithm is optimized to depress the relativity of example image and improve the searching efficiency.Experimental results demonstrate the availability of the method by steps,and the improvement of reconstruction result.

image reconstruction;super-resolution;regularization;learning algorithm

為從高度降質(zhì)的單幀圖像中重建出高分辨率圖像，提出了一個結合自適應正則化與學習算法的超分辨率復原方法。該方法基于圖像的局部特征，實現(xiàn)了正則化方法動態(tài)自適應控制過程，優(yōu)化了學習算法中的訓練集、預測原則和搜索過程，以降低基準圖相關性要求、提高搜索效率。仿真實驗分步論證了該方法的有效性，以及對復原效果的提升。

圖像復原；超分辨率；正則化；學習算法

A

TP391

10.3778/j.issn.1002-8331.1208-0107

HUANG Quanliang,LIU Shuiqing,SUN Jinhai,et al.Single image super-resolution combined with learning algorithm. Computer Engineering and Applications,2013,49（23）：186-190.

國家自然科學基金（No.60705018）。

黃全亮（1973—），男，博士后，副教授，研究領域為微波遙感、圖像處理、信息融合；劉水清（1987—），男，碩士研究生；孫金海（1974—），男，博士，高級工程師；陳柯（1977—），男，博士，副教授。E-mail：lsq_21@126.com

2012-08-09

2012-11-08

1002-8331（2013）23-0186-05

CNKI出版日期：2012-11-28 http://www.cnki.net/kcms/detail/11.2127.TP.20121128.1453.014.html