程倩倩 范新南 李慶武

(河海大學(xué)計算機與信息學(xué)院 常州 213022)

1 引言

圖像在獲取、傳輸過程中，由于成像條件和天氣條件的影響，使得實際圖像分辨率低，質(zhì)量較差。傳統(tǒng)的插值法作用于單幅圖像，由于無法利用額外信息，導(dǎo)致重建圖像的輪廓模糊，高頻信息受損。為了解決該問題，人們研究了多種自適應(yīng)圖像插值方法，圖像質(zhì)量有一定程度的提高，但邊緣模糊現(xiàn)象仍然存在，為此人們又提出了邊緣保持的自適應(yīng)圖像插值方法，但該方法需要消耗大量時間和存儲空間，并且在干擾嚴(yán)重的情況下會錯判邊緣[1]。

圖像超分辨率重建(Super-resolution Reconstruction,SR)技術(shù)[2-17]突破傳統(tǒng)方法的束縛，利用一幅或者多幅具有互補信息的低分辨率圖像來重構(gòu)一幅高分辨率圖像，該技術(shù)已被廣泛應(yīng)用于圖像壓縮、安全監(jiān)控和遙感等領(lǐng)域。目前，超分辨率重建技術(shù)主要分為基于重構(gòu)的[2-11]和基于學(xué)習(xí)的[12-17]兩大類。基于重構(gòu)的SR方法又分為頻域法和空域法。相比于頻域法，空域法具有更大的靈活性，最常用的有凸集投影法[8,9]和最大后驗概率估計法[10,11]?；谥貥?gòu)的方法通常需要輸入多幅圖像，由于只能從輸入的多幅圖像中獲得所需要的信息，而需要增加的信息本質(zhì)上是無法預(yù)測的，故對于大的放大倍數(shù)，通常不能很好地重構(gòu)圖像的高頻信息。2001年紐約大學(xué)的Herzmann等人[13]提出了基于學(xué)習(xí)的圖像類推算法，并可以通過圖像類推來實現(xiàn)超分辨率重建。文獻[13]為了獲得更準(zhǔn)確的細(xì)節(jié)信息，采用的訓(xùn)練集合中的樣本數(shù)量往往較大，導(dǎo)致算法運行速度較慢；同時由于圖像的灰度值變化范圍比較大，導(dǎo)致類推過程產(chǎn)生較大的誤差。文獻[14,15]提出采用自類推的方法來提高圖像的清晰程度，該方法比一般的圖像類推算法的速度快，并能夠產(chǎn)生較為合理的細(xì)節(jié)，但是由于學(xué)習(xí)樣本只有自身，超分辨率重建的圖像會產(chǎn)生一定的人工痕跡，圖像的邊緣視覺過硬。文獻[16]提出一種將圖像類推技術(shù)與立方插值相結(jié)合的方法，該方法直接對高分辨率圖像的高頻細(xì)節(jié)信息進行學(xué)習(xí)，圖像變清晰的同時人工痕跡也有一定程度的減少，但該算法運行速度較慢，需要合適的訓(xùn)練集合，可是在很多實際應(yīng)用中很難獲得適當(dāng)?shù)膱D像訓(xùn)練集。

NSCT[18-20]在線和超平面的奇異性表示上具有各向異性特點，不僅能將圖像各頻帶區(qū)分開，且多向和平移不變性可以增強細(xì)節(jié)的保護能力?？紤]到NSCT可以解決插值法存在的邊緣輪廓模糊的問題，自類推可以解決一般圖像類推算法對訓(xùn)練集合的依賴和速度較慢的問題，本文融合圖像自類推技術(shù)[14,15,17]和NSCT[18-20]的優(yōu)點，提出一種基于自類推的NSCT域單幅圖像超分辨率重建方法。對標(biāo)準(zhǔn)Lena圖像進行實驗，并與文獻[15,16]提出的方法進行比較，實驗表明本文方法可以獨立進行，具有較強的邊緣細(xì)節(jié)保持能力，圖像更逼真。

2 NSCT

由于Contourlet變換在拉普拉斯金字塔和方向濾波器中都存在下采樣操作，造成Contourlet變換不具有平移不變性，不可避免地會引起偽吉布斯現(xiàn)象。為了消除Contourlet變換[21,22]的頻譜混疊現(xiàn)象，增強方向選擇性和平移不變性，Cunha等人[19]利用非下采樣塔式分解和非下采樣濾波器組構(gòu)造出了NSCT。NSCT[18-20]不但具有多尺度，多方向，平移不變性和良好的空域、頻域局部特性，而且各子帶圖像之間的尺度大小相等。NSCT由非下采樣塔式分解和非下采樣濾波器組兩部分構(gòu)成，圖1給出了NSCT的分解示意圖，首先通過非下采樣塔式濾波器(NSP)將圖像分解為低頻部分和高頻部分，然后由非下采樣方向濾波器組(NSDFB)將高頻部分分解為2的任意次冪個方向。

圖1 非下采樣Contourlet變換

3 圖像類推

圖像類推的基本思想來源于多分辨紋理合成技術(shù)，它將關(guān)鍵的風(fēng)格映射定義為一個近似最近搜索問題，從而把風(fēng)格的生成換成紋理合成[14]。

3.1 圖像類推問題描述

已知一組圖像A,A'和B，其中A為未經(jīng)濾波的源圖像，A'為源圖像A濾波后的圖像，B為一幅未經(jīng)濾波的圖像，通過學(xué)習(xí)A和A'的映射關(guān)系f，利用關(guān)系f作用在目標(biāo)圖像B上，從而類推出一幅濾波后的目標(biāo)圖像B'，記作：A：A'B：B'(f(B))，如圖2所示，從視覺上看B到B'的轉(zhuǎn)變類似于A到A'的轉(zhuǎn)變。

圖2 圖像類推示意圖

3.2 圖像類推算法

為了達到最佳匹配搜索的目的，Hertzmann等人[13]采用鄰域最佳匹配來衡量目標(biāo)像素點q與源像素點p之間的差距，并且采用相似最近鄰域搜索算法來加速像素的搜索匹配。為了避免在合成過程中目標(biāo)圖像的結(jié)構(gòu)發(fā)生變化，采用高斯金字塔[16]來保持目標(biāo)圖像的結(jié)構(gòu)。

圖像類推算法流程可用以下步驟來描述：

步驟1 對源圖像A，源圖像A濾波后的圖像A'和目標(biāo)圖像B進行預(yù)處理，計算像素的特征向量；

步驟2 創(chuàng)建A,A'和B的高斯金字塔，在B的基礎(chǔ)上構(gòu)建f(B)的高斯金字塔；

步驟3 初始化搜索算法的數(shù)據(jù)結(jié)構(gòu)；

步驟4 按照金字塔的結(jié)構(gòu)，從頂層到最底層，逐層逐像素點合成目標(biāo)圖像f(B)中的每個像素點，搜索過程中運用相鄰域搜索算法進行加速，像素之間根據(jù)鄰域最佳匹配原則進行匹配，最后保存目標(biāo)圖像f(B)。

3.3 圖像自類推算法

圖像類推必須依賴訓(xùn)練集合，但是在很多實際應(yīng)用中很難獲得適當(dāng)?shù)膱D像訓(xùn)練集。圖像自類推[14,15]算法的優(yōu)點就是不需要訓(xùn)練集合，完全可以獨立進行。設(shè)輸入圖像為I，退化算子為φ，則理想的超分辨率算子為φ-1，根據(jù)圖像局部結(jié)構(gòu)的自相似性和可傳遞性[17]，可認(rèn)為φ-1在相鄰的尺度上是一個不變算子。通過退化模型[12]產(chǎn)生退化算子φ，則I與φ(I)構(gòu)成了一對具有超分辨率關(guān)系的圖像對，即I=φ-1(φ(I))。通過學(xué)習(xí)它們之間的關(guān)系，并將之傳遞給I，即可實現(xiàn)對I的超分辨率重建。圖像超分辨率問題被轉(zhuǎn)化成一個特殊的圖像類推問題，其中φ(I)和I分別相當(dāng)于類推問題訓(xùn)練集合中的A和A',φ-1是學(xué)習(xí)的風(fēng)格，I同時又是待處理對象B，目標(biāo)是B'=φ-1(I)。

4 NSCT域的自類推算法

4.1 低通子帶系數(shù)非線性增強

對于低對比度的光學(xué)圖像，其分解后的低通子帶系數(shù)的模值相差較小，為了實現(xiàn)增強效果，需要進行灰度值的拉伸。低通子帶系數(shù)關(guān)系到圖像的整體對比度，包含了圖像的基本信息，噪聲較少。本文對低通子帶系數(shù)采用歸一化的非完全 Beta函數(shù)來提高整體對比度，通過調(diào)整參數(shù)z和w使圖像的整體灰度過渡較為平緩。Tubbs提出的歸一化非完全Beta函數(shù)[23]可以實現(xiàn)典型灰度變換曲線的自動擬合。歸一化的非完全Beta函數(shù)定義為

4.2 算法原理框圖

圖3給出了基于自類推的NSCT域單幅圖像超分辨率重建算法的原理框圖。首先對源圖像和退化圖像進行多尺度、多方向的NSCT分解，得到用于學(xué)習(xí)的低通子帶對和各帶通方向子帶對，接著通過圖像自類推技術(shù)學(xué)習(xí)低通子帶對與帶通方向子帶對之間的非線性映射關(guān)系，并將該映射關(guān)系作用于低分辨率的低通子帶和各帶通方向子帶，得到高分辨率的低通子帶和各帶通方向子帶，接著對高分辨率的低通子帶進行非線性增強，最后經(jīng)過NSCT重構(gòu)得到超分辨率重建圖像。

4.3 算法步驟

步驟1 設(shè)輸入的源圖像為I，退化算子為φ，本文φ是一個高斯模糊過程，則退化圖像記作φ(I)，對I進行J級NSCT變換，得到各帶通方向子帶Cj,k(I)和低通子帶C0(I)，接著對φ(I)也進行J級NSCT變換，得到各帶通方向子帶Cj,k(φ(I))和低通子帶C0(φ(I))，其中1≤j≤J,1≤k≤2lj,j表示尺度，k表示帶通子帶方向，2lj表示尺度j上分解的方向數(shù)；

步驟2 將C0(I)和C0(φ(I))組成一對具有超分辨率關(guān)系的圖像對，再將Cj,k(I)和對應(yīng)的Cj,k(φ(I))構(gòu)成一對具有超分辨率關(guān)系的細(xì)節(jié)圖像對；

步驟3 通過自類推學(xué)習(xí)C0(I)和C0(φ(I))的映射關(guān)系f0，學(xué)習(xí)Cj,k(I)與對應(yīng)Cj,k(φ(I))的映射關(guān)系fj,k；

步驟4 將映射關(guān)系f0和fj,k依次作用于C0(I)和Cj,k(I)，生成高分辨率的低通子帶和高分辨率的各帶通方向子帶；

步驟5 對高分辨率的低通子帶采用式(1)和式(2)進行非線性增強：

圖3 NSCT域的自類推算法原理框圖

其中C和分別是增強前和增強后的低通子帶系

0數(shù)，M0是增強前的低通子帶系數(shù)的最大值，k為常數(shù)(k＞1),z=7,w=10；

步驟6 對高分辨率的低通子帶和高分辨率的各帶通方向子帶進行NSCT重構(gòu)，得到超分辨率重建圖像。

主要模塊可用下面的偽語言進行更詳細(xì)地描述：

函數(shù)：自類推(C0(φ(I)),Cj,k(φ(I),C0(I),Cj,k(I))

令A(yù)=(C0(φ(I)),Cj,k(φ(I))),A'=(C0(I),Cj,k(I)),B=(C0(I),Cj,k(I))，完成訓(xùn)練集合構(gòu)建；

S(V)=函數(shù)基于方塊的圖像類推(A,A',B)；

初始化最佳能量E=MAX_E；

初始化最佳解G=NULL；

循環(huán)：從第一塊至最后一塊，遍歷ni

循環(huán)：從最佳匹配至第k佳匹配，遍歷k計算當(dāng)前解G'的能量E(G')；

如果E(G')＜E

E=E(G'),G←G'

B←G

函數(shù)：基于方塊的圖像類推(φ(W),W,W)

對W進行分塊，使W={bi}，并初始化圖G，使

計算bi的中心位置pi對應(yīng)的在φ(W)上的位置φ(pi)；

循環(huán)：從左上角像素至右下角像素，遍歷φ(pi)的相鄰搜索域；

前k個與bi距離最近的方塊φ()←函數(shù)ANN(Almost Nearest Neighbour)搜索(k,bi)；

將φ()對應(yīng)的W的圖像塊φ-1(φ())作為圖案；

ni=∪;

S(V)=∏ni

5 實驗結(jié)果與分析

為了驗證本文方法的有效性，將本文方法與立方插值，文獻[14,15]提出的自類推算法和文獻[16]提出的改進的圖像類推算法進行對比實驗。實驗中選擇的圖像是常用的標(biāo)準(zhǔn)測試圖像Lena，圖像大小為512×512。由于頁面空間有限，同時為了避免丟失圖像信息，只截取顯示了整幅圖像的四分之一，大小為256×256，如圖4(a)所示。對圖4(a)進行2倍下采樣和高斯模糊(Hsize取為3,Sigma取為0.849)后得到本實驗的源圖像圖4(b)；圖4(c)是對圖4(b)進行立方插值放大后的圖像；圖4(d)是對圖4(b)采用文獻[15]提出的基于自類推算法重建的圖像；圖4(e)是對圖4(b)采用文獻[16]提出的改進的圖像類推算法重建的圖像；圖4(f)是對圖4(b)采用本文方法重建的圖像，其中NSCT分解層數(shù)為2，從低分辨率層到高分辨率層，方向分解數(shù)依次取為4和8，尺度分解采用‘9-7’濾波器，方向分解采用‘dmaxflat’濾波器。

圖4 Lena圖像的超分辨率重建結(jié)果圖

從圖4中可以明顯看出，圖4(c)的視覺效果最差，邊緣模糊；圖4(d)的邊緣比圖4(c)清晰，生成的細(xì)節(jié)較為合理，缺點是局部區(qū)域有塊狀現(xiàn)象，邊緣視覺過硬，有明顯的人工痕跡；圖4(e)的人工痕跡比圖4(d)有一定程度的減少，克服了局部塊狀現(xiàn)象，缺點是人工痕跡依然存在，邊緣呈現(xiàn)輕微的鋸齒狀，同時視覺較硬；圖4(f)的邊緣比圖4(e)更清晰，紋理更豐富，產(chǎn)生的細(xì)節(jié)更合理，人工痕跡很弱，視覺效果最佳，圖像更逼真。

圖5(b)是源圖像的某帶通方向子帶(圖5(b))，圖5(a)是對應(yīng)的退化圖像的帶通方向子帶，圖5(c)是采用本文方法重建的高分辨率帶通方向子帶。

為了更清晰地說明重建效果，對超分辨率重建圖像的局部區(qū)域進行了放大比較，如圖6所示。圖6(a)和圖6(b)的邊緣最模糊，紋理最弱；圖6(e)和圖6(f)的邊緣比圖6(c)和圖6(d)的邊緣清晰，同時區(qū)域過渡自然，人工痕跡很弱，紋理信息更豐富，更逼真。如圖6(d)的人臉輪廓不連續(xù)，局部區(qū)域呈現(xiàn)鋸齒狀，紋理較粗糙；圖6(f)的人臉輪廓較清晰，局部紋理光滑細(xì)致，圖像更逼真，分辨率更高。

圖5 某帶通方向子帶的超分辨重建結(jié)果圖

圖6 超分辨重建圖像的局部對比

由于目前圖像超分辨率重建領(lǐng)域尚無統(tǒng)一的定量評價標(biāo)準(zhǔn)，定量評價結(jié)果只能在一定程度上說明算法的有效性。本文選用標(biāo)準(zhǔn)偏差、平均梯度和信息熵作為超分辨率重建效果的測度指標(biāo)，如表1所示。通常，標(biāo)準(zhǔn)偏差越大，圖像的灰度級分布越均勻，目視效果越好；平均梯度越大，圖像的細(xì)節(jié)反差越大，紋理特征更為突出，清晰度較高；信息熵越大，圖像的信息量越豐富。本文方法具有最高的標(biāo)準(zhǔn)偏差值和信息熵值，表明采用本文方法重建的圖像灰度分布更均勻，信息量更多，目視效果更好。需要注意的是，明顯的人工痕跡和過硬的邊緣導(dǎo)致采用文獻[15,16]所提算法超分辨率重建圖像的梯度值較大，然而過硬的邊緣與明顯的人工痕跡也降低了重建圖像的質(zhì)量，影響了圖像的逼真度。表1的定量分析與前面的主觀視覺效果相一致，說明本文方法的有效性。

表1 超分辨率重建圖像的質(zhì)量參數(shù)

6 總結(jié)

針對單幅圖像超分辨率重建中存在的問題，本文提出一種基于自類推的NSCT域單幅圖像超分辨率重建方法。首先對源圖像和退化圖像進行NSCT分解，得到用于學(xué)習(xí)的低通子帶對和各帶通方向子帶對，再通過尺度自類推生成高分辨率的低通子帶和各帶通方向子帶，最后進行NSCT重構(gòu)得到超分辨率重建圖像。實驗結(jié)果表明，該方法可以獨立進行，具有較強的邊緣細(xì)節(jié)保持能力，人工痕跡弱，圖像更逼真。

[1]孫春鳳,袁峰,丁振良.一種新的邊緣保持局部自適應(yīng)圖像插值算法[J].儀器儀表學(xué)報,2010,31(10)：2279-2284.Sun Chun-feng,Yuan Feng,and Ding Zhen-liang.New locally adaptive image interpolation algorithm based on edge preserving[J].Chinese Journal of Scientific Instrument,2010,31(10)：2279-2284.

[2]Van Ouwerkerk J D.Image super-resolution survey[J].Image and Vision Computing,2006,24(10)：1039-1052.

[3]Tian Jing and Ma Kai-kuang.A survey on super-resolution imaging[J].Signal,Image and Video Processing,2011,5(3)：329-342.

[4]Park Sung-cheol,Park Min-kyu,and Kang Moon-gi.Superresolution image reconstruction：a technical overview[J].IEEE Signal Processing Magazine,2003,20(3)：21-36.

[5]沈煥鋒,李平湘,張良培,等.圖像超分辨率重建技術(shù)與方法綜述[J].光學(xué)技術(shù),2009,35(2)：194-199.Shen Huan-feng,Li Ping-xiang,Zhang Liang-pei,et al..Overview on super resolution image reconstruction[J].Optical Technique,2009,35(2)：194-199.

[6]浦劍,張軍平,黃華.超分辨率算法研究綜述[J].山東大學(xué)學(xué)報(工學(xué)版),2009,39(1)：27-32.Pu Jian,Zhang Jun-ping,and Huang Hua.A survey of super resolution algorithms[J].Journal of Shandong University(Engineering Science),2009,39(1)：27-32.

[7]韓玉兵,吳樂南,張冬青.基于正則化處理的超分辨率重建[J].電子與信息學(xué)報,2007,29(7)：1713-1716.Han Yu-bing,Wu Le-nan,and Zhang Dong-qing.Superresolution reconstruction based on regularization[J].Journalof Electronics＆Information Technology,2007,29(7)：1713-1716.

[8]Patti A J,Sezan M I,and Tekalp A M.Superresolution video reconstruction with arbitrary sampling lattices and onzero aperture time[J].IEEE Transactions on Image Processing,1997,6(8)：1064-1076.

[9]Patti A J and Altunbasak Y.Artifact reduction for set theoretic superresolution image reconstruction with edge adaptive constraints and higher-order interpolants[J].IEEE Transactions on Image Processing,2001,10(1)：179-186.

[10]張磊,楊建峰,薛彬,等.改進的最大后驗概率估計法實現(xiàn)單幅圖像超分辨率重建[J].激光與光電子學(xué)進展,2011,48(1)：78-85.Zhang Lei,Yang Jian-feng,Xue Bin,et al..Modified MAP algorithm for single frame super-resolution reconstruction[J].Laser＆Optoelectronics Progress,2011,48(1)：78-85.

[11]彭旭俊,張桂林.基于 Gibbs模型的提高圖像分辨率方法[J].紅外與激光工程,2003,32(6)：613-616.Peng Xu-jun and Zhang Gui-lin.Restoration of high resolution image based on Gibbs model[J].Infrared and Laser Engineering,2003,32(6)：613-616.

[12]喬建蘋,劉琚,閆華,等.基于Log-WT的人臉圖像超分辨率重建[J].電子與信息學(xué)報,2008,30(6)：1276-1280.Qiao Jian-ping,Liu Ju,Yan Hua,et al..A log-WT based super-resolution algorithm[J].Journal of Electronics＆Information Technology,2008,30(6)：1276-1280.

[13]Hertzmann A,Jacobs C E,Oliver N,et al..Image analogies[C].Proceedings of Computer Vision and Pattern Recognition,San Juan,Puerto Rico,1997：554-560.

[14]古元亭,吳恩華.基于非線性卷積的可控圖像類推和自類推技術(shù)[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2008,20(3)：332-336.Gu Yuan-ting and Wu En-hua.Non-linear convolution based controllable image analogies and self analogies[J].Journal of Computer-Aided Design＆Computer Graphics,2008,20(3)：332-336.

[15]古元亭,吳恩華.基于圖像類推的超分辨技術(shù)[J].軟件學(xué)報,2008,19(4)：851-860.Gu Yuan-ting and Wu En-hua.Image-analogies based super resolution[J].Journal of Software,2008,19(4)：851-860.

[16]喻繼業(yè),吳煒,滕奇志,等.基于圖像類推的遙感圖像超分辨率技術(shù)[J].計算機應(yīng)用,2010,30(1)：61-67.Yu Ji-ye,Wu Wei,Teng Qi-zhiet al..Image-analogies based super resolution for remote sensing images[J].Journal of Computer Applications,2010,30(1)：61-67.

[17]韓華,王洪劍,彭思龍.基于局部結(jié)構(gòu)相似性的單幅圖像超分辨率算法[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2005,17(5)：941-947.Han Hua,Wang Hong-jian,and Peng Si-long.A new superresolution algorithm for a single image based on local structure similarity[J].Journal of Computer-Aided Design＆Computer Graphics,2005,17(5)：941-947.

[18]吳煒,楊曉敏,陳默,等.基于改進的非下采樣 Contourlet變換的超分辨率復(fù)原算法[J].光學(xué)學(xué)報,2009,29(6)：1493-1501.Wu Wei,Yang Xiao-min,Chen Mo,et al..Super-resolution restoration algorithms based on improved nonsubsampled Contourlet transform[J].Acta Optica Sinica,2009,29(6)：1493-1501.

[19]Cunha A L,Zhou J,and Do M N.The nonsubsampled Contourlet transform：theory,design,and applications[J].IEEE Transactions on Image Processing,2006,15(10)：3089-3101.

[20]沙宇恒,劉芳,焦李成.基于非下采樣Contourlet變換的SAR圖像增強[J].電子與信息學(xué)報,2009,31(7)：1716-1721.Sha Yu-heng,Liu Fang,Jiao Li-cheng.SAR image enhancement based on nonsubsampled Contourlet transform[J].Journal of Electronics＆Information Technology,2009,31(7)：1716-1721.

[21]婁帥,丁振良,袁峰.基于Contourlet變換的迭代圖像復(fù)原算法[J].光學(xué)學(xué)報,2009,29(10)：2768-2773.Lou Shuai,Ding Zhen-liang,and Yuan Feng.Iterative image restoration algorithm based on Contourlet transform[J].Acta Optica Sinica,2009,29(10)：2768-2773.

[22]Do M N and Vetterli M.The Contourlet transform：an efficient directional multiresolution image representation[J].IEEE Transactions on Image Processing,2005,14(12)：2091-2106.

[23]Tubbs J D.A note on parametric image enhancement[J].Pattern Recognition,1987,20(6)：617-621.