徐燕華，李榮，王華君，徐平平

基于ANNF和結(jié)構(gòu)相似性的單幀超分辨率圖像重建算法

徐燕華，李榮，王華君，徐平平

針對(duì)相似最近鄰算法ANNF較差的穩(wěn)定性，提出了一種字典學(xué)習(xí)和簡(jiǎn)單正則化相結(jié)合的算法，在ANNF處理之后，運(yùn)用結(jié)構(gòu)相似性對(duì)其進(jìn)行簡(jiǎn)單正則化操作。首先解決單一圖像的SR字典學(xué)習(xí)問(wèn)題；然后利用k-d樹(shù)對(duì)輸入的圖像特征匹配進(jìn)行運(yùn)算，得到ANNF映射；最后將ANNF結(jié)果進(jìn)行相似性正則化處理，只需要幾次迭代就能完成后續(xù)處理，得到最終的高分辨率圖像。采用峰值信噪比PSNR和均方誤差RMSE比較各算法效果。從實(shí)驗(yàn)結(jié)果數(shù)據(jù)可以看出，算法具有最高的PSNR值和最低的均方誤差，從實(shí)驗(yàn)結(jié)果圖像可以看出，其算法的紋理保留的最好，效果最自然，另外從對(duì)高斯模糊的魯棒性分析來(lái)看，算法魯棒性完全優(yōu)于其他算法。

相似最近鄰；正則化；k-d樹(shù)；結(jié)構(gòu)相似性；魯棒性

0 引言

超分辨率（super-resolution，SR）[1]是通過(guò)軟件算法的方法來(lái)提高圖像的分辨率，從而給用戶更多的圖像細(xì)節(jié)，SR也是機(jī)器視覺(jué)領(lǐng)域非常熱門(mén)的研究課題。在軍事、地球衛(wèi)星、醫(yī)學(xué)圖像領(lǐng)域都有涉及[2,3]。由于硬件設(shè)備上提高分辨率已經(jīng)基本到了極限，從軟件上獲得高分辨率（High Resolution，HR）圖像比較實(shí)際可行[4]，然而，至今商業(yè)用途的SR非常少，主要是由于獲得實(shí)際需要的低分辨率（low resolution，LR）圖像比較難，用于學(xué)習(xí)的數(shù)據(jù)庫(kù)并不完善。

一般SR算法一般分為三大類(lèi)：基于插值的算法，基于學(xué)習(xí)的算法和基于正則化重建的算法?；诓逯邓惴ǖ闹饕獌?yōu)點(diǎn)是簡(jiǎn)單直接，但插值結(jié)果可能會(huì)模糊一些尖銳的紋理細(xì)節(jié)，如文獻(xiàn)[5]提出了一種改進(jìn)的插值算法，添加了更多的先驗(yàn)知識(shí)，如平滑先驗(yàn)和噪聲先驗(yàn)，但結(jié)果依然有振鈴和模糊等效果。

基于正則化重建的SR算法經(jīng)常需要多幀信息以提供更多的額外信息，用正則化對(duì)這些信息進(jìn)行約束。如文獻(xiàn)[6]提出了一種利用自身實(shí)例圖像的SR問(wèn)題，用高斯先驗(yàn)和L2正則化進(jìn)行魯棒估計(jì)，然而，對(duì)異常點(diǎn)（outlier）處理依然比較乏力。文獻(xiàn)[7]提出了基于實(shí)例圖像回歸的快速SR算法，即In-Place Example Regression，簡(jiǎn)稱(chēng)IPER，所使用的圖像塊數(shù)據(jù)庫(kù)不需要大量的實(shí)例學(xué)習(xí)，擁有比較快的運(yùn)行速度，效果不錯(cuò)，然而，該算法對(duì)先驗(yàn)知識(shí)的依賴(lài)性比較強(qiáng)，而且輸入圖像不能有任何其他模糊，如運(yùn)動(dòng)模糊。

基于學(xué)習(xí)的SR算法近幾年才興起，主要是基于稀疏表達(dá)，將信號(hào)的稀疏表達(dá)運(yùn)用到HR圖像的線性表示，在壓縮傳感中應(yīng)用較多。文獻(xiàn)[8]提出了基于多尺度結(jié)構(gòu)自相似性的單幅圖像超分辨率算法，充分利用結(jié)構(gòu)自相似性在多尺度上的應(yīng)用，該算法不需要較大的數(shù)據(jù)庫(kù)，然而，在字典數(shù)據(jù)的構(gòu)建上并不完善。

文獻(xiàn)[9]提出了廣義相似最近鄰域（Approximate Nearest Neighbor Field, ANNF），即源圖像塊與目標(biāo)圖像塊周?chē)鷧^(qū)域也匹配，并將其運(yùn)用到SR算法中，其優(yōu)勢(shì)是速度快，但表現(xiàn)得并不穩(wěn)定，因?yàn)樽匀粓D像的復(fù)雜性并不總是滿足ANNF。

本文給出一種新的單幀圖像SR算法，在文獻(xiàn)[9]的基礎(chǔ)上，使用相似最近鄰算法ANNF結(jié)合結(jié)構(gòu)相似性進(jìn)行單幀超分辨率，其中ANNF用于單幀SR的字典學(xué)習(xí)和初步重建，結(jié)構(gòu)相似性正則化提供自然圖像結(jié)構(gòu)相似的先驗(yàn)知識(shí)和穩(wěn)定的估計(jì)，實(shí)驗(yàn)結(jié)果表明本文算法具有更好的穩(wěn)定性和效果，是ANNF的有效改進(jìn)。

1 學(xué)習(xí)階段

為了求解目標(biāo)圖像與源圖像的ANNF映射關(guān)系，令每個(gè)p×p的圖像塊的特征匹配（Feature Match, FM）計(jì)算如下：

平均顏色值；

x，y方向的梯度平均值；

圖像塊的最大值。

選用以上這些特征，作為k-d樹(shù)[10]的輸入，F(xiàn)M計(jì)算目標(biāo)圖像到源圖像最近鄰的每個(gè)圖像塊。根據(jù)初步ANNF的映射，F(xiàn)M利用圖像間“相關(guān)性”屬性來(lái)提高ANNF映射。圖像之間的“相關(guān)性”體現(xiàn)在區(qū)域的相關(guān)性[11]。即如果目標(biāo)圖像在(xtar,ytar)處圖像塊與源圖像塊在(xorg,yorg)處的圖像塊匹配，則它們各自的鄰域也能相互匹配。

為了重建最終的HR圖像，需要使用一般源圖像的高分辨率形式SHR，即如果(x,y)=ANNFmap(i,j)，使用SHR的p×p的圖像塊去重建最終輸出的高分辨率圖像OHR。由于采樣的密集性，對(duì)DHR的每個(gè)位置(i,j)中p×p個(gè)值與輸出圖像(i,j)處的值相關(guān)聯(lián)，這些重疊圖像塊的均值可用于去除異常值，獲輸出圖像OHR在該處的像素值。例如，為了獲得像素值OHR(i,j)，需要獲取所有映射到該點(diǎn)處的圖像塊，經(jīng)驗(yàn)上去除最大和最小的異常值，其他值取平均。學(xué)習(xí)階段的算法如算法1所示：

?

值，其他值取平均。End

2 超分辨率重建

雖然ANNF計(jì)算起來(lái)比較簡(jiǎn)單，效果也可以接受，但穩(wěn)定性并不好，為此，利用一些先驗(yàn)知識(shí)對(duì)其進(jìn)行簡(jiǎn)單正則化增強(qiáng)其穩(wěn)定性。眾所周知自然圖像都擁有大量的自相似小圖像塊，這是局部圖像結(jié)構(gòu)在不同尺度下的重現(xiàn)[8-12]，例如在某個(gè)自然圖像上取一個(gè)8×8的小圖像塊，一定能在這幅圖像上找到和這一圖像塊最匹配的圖像塊。引入圖像塊相似性作為圖像重建的新的先驗(yàn)知識(shí)，其能量函數(shù)如式（1）：

式（2）中，h是歸一化因子，t是控制相似度的標(biāo)量。式（2）可以簡(jiǎn)化為式（3）：

式（3）中，I是單位矩陣，A是N×N的矩陣，N是原始超分辨率圖像維數(shù)。矩陣A中元素滿足[14]式（4）：

這里迭代可以采用簡(jiǎn)單的最速下降法，迭代公式如式（5）：

式（5）中，med為中值函數(shù)，中值函數(shù)在SR數(shù)值運(yùn)算中具有非常好的魯棒性和穩(wěn)定性[15]。迭代直至滿足前一次迭代值和當(dāng)前值的絕對(duì)值差在給定閾值內(nèi)，公式表示如式（6）：

式（6）中，α值為預(yù)設(shè)的閾值。

提出的重建算法可以簡(jiǎn)要描述為算法2。

算法2：輸入：初始低分辨率圖像S L R，縮放因子s，閾值α，t，T，β，μ，變換算子F；輸出: 輸入圖像的S R形式，O H R；

SHR是一般源圖像的高分辨率形式；DLR=upscale（downscale（SHR，s），s）；IPbic=upscale（IPbic，s）；upscale和downscale是采用立方插值的放大和縮小的函數(shù)k-d樹(shù)計(jì)算；ANNFmap=；W，H分別是IPbic的寬高。For 0＜ i ＜W, 0 ＜ j ＜H For i-p/2 ＜ k＜ i+p/2, j-p/2 ＜ l ＜ j+p/2FM{DLR} IPbic,x=ANNFmap(k);y=ANNF ,lmap(k);,l v=SHR[x+i -,y+j-]; kl End去除v的異常值，即在p×p的圖像塊范圍內(nèi)去除最大最小值，其他值取平均。End設(shè)置迭代次數(shù)loopnum = 4；If 迭代次數(shù)未達(dá)到loopnum且不滿足式（6）的條件將OHR作為X?代入式（5），n X?1FsignX-X)) =?-Xβ(med(T～n+n(F?n+(I u-)I-)X) A(TA?nOtherwise End loop

4 實(shí)驗(yàn)結(jié)果與分析

仿真實(shí)驗(yàn)在配置為Windows XP操作系統(tǒng)、intel酷睿II雙核處理器、1.86 GHz主頻、4 GB RAM的筆記本計(jì)算機(jī)進(jìn)行。實(shí)驗(yàn)平臺(tái)是MATLAB 7.0。

4.1 參數(shù)設(shè)置及評(píng)價(jià)標(biāo)準(zhǔn)

選擇的圖像塊尺寸為a= 5，迭代縮放因子為r= 2。輸入的LR圖像X0立方插值生成目標(biāo)HR圖像X，閾值α取0.6，μ取1，β取1，代表相似度的閾值T取4，控制相似度的標(biāo)量t取8。

使用圖像的峰值信噪比（Peak Signal to Noise Ratio, PSNR）和均方根誤差（root-mean-square error, RSME）表征估計(jì)得到HR圖像的好壞。

4.2 實(shí)驗(yàn)結(jié)果比較

實(shí)驗(yàn)所用圖像大多采自文獻(xiàn)[6][7]，用于比較測(cè)量的圖像如圖1所示：

圖1 用于SR效果比較的圖像

用于對(duì)比的算法是文獻(xiàn)[9]提出的ANNF算法，文獻(xiàn)[8]提出的IPER算法和文獻(xiàn)[6]提出基于局部實(shí)例圖像上采樣算法，ULSE。

為了獲得客觀的評(píng)估結(jié)果，首先使用均方誤差RMSE和峰值信噪比PSNR評(píng)估結(jié)果，如表1所示：

表1 分辨率增強(qiáng)因子為2時(shí)各算法RMSE結(jié)果

從表1可以看出立方插值的結(jié)果最差，因?yàn)榱⒎讲逯导僭O(shè)圖像是平滑先驗(yàn)的。IPER的效果明顯好于立方插值，RMSE明顯低于立方插值的RMSE值。ANNF和MSS的結(jié)果差不多，RMSE的值相差不大。本文算法擁有最低的RMSE，這是由于本文算法在ANNF之后，對(duì)其進(jìn)行簡(jiǎn)單的結(jié)構(gòu)相似性正則化的結(jié)果。

表2是PSNR的值測(cè)量結(jié)果，PSNR值越高表示圖像的高頻成分丟失得越少，從表2可以看出本文算法的PSNR值最高，與原始圖像的PSNR值相差不多，丟失的高頻紋理信息最少。

表2 分辨率增強(qiáng)因子為3時(shí)各算結(jié)果的PSNR值（/dB）

4.3 輸出圖像比較

不同算法在Parthenon上的結(jié)果如圖2所示：

圖2 第一層左起原始圖像、立方插值圖像、ULSE，第二層左起ANNF、IPER和提出的算法（4倍）

從圖中可以看出，ULSE和IPER算法獲得了很多尖銳效果，會(huì)引起視覺(jué)上的不舒服，在眼睛周?chē)泄碛昂驼疋徯?yīng)，提出的算法獲得的重建效果更佳自然，體現(xiàn)了ANNF算法結(jié)合結(jié)構(gòu)相似性正則化后的優(yōu)勢(shì)。

4.4 對(duì)高斯模糊的魯棒性

討論前提是輸入圖像沒(méi)有模糊，若有較大的運(yùn)動(dòng)模糊，字典匹配將無(wú)法進(jìn)行。因此本文這里討論常見(jiàn)的高斯模糊，用3×3或者5×5等高斯核卷積模擬高斯模糊，然后進(jìn)行SR操作。

高斯卷積核的大小與PSNR的關(guān)系如圖3所示：

圖3 高斯核尺寸與PSNR關(guān)系

可以看出隨著卷積核的逐漸變大，提出算法的PSNR值下降最慢，高斯卷積核大小與RMSE關(guān)系圖如圖4所示：

圖4 高斯核尺寸與RMSE關(guān)系

可以看出本文算法的RMSE值上升最慢。所以本文算法對(duì)于高斯模糊是具有一定魯棒性的，優(yōu)于其他算法對(duì)高斯模糊的魯棒性。也可以看出，在ANNF算法后應(yīng)用結(jié)構(gòu)相似性正則化的必要性，可以很好提高其穩(wěn)定性。

5 總結(jié)

在ANNF算法的基礎(chǔ)上，將結(jié)構(gòu)相似性巧妙結(jié)合在一起，ANNF算法結(jié)束后進(jìn)行相似性正則化，充分運(yùn)用了自然圖像的相似性屬性，使ANNF算法更加穩(wěn)定有效。仿真實(shí)驗(yàn)表明本文算法結(jié)果更接近真實(shí)HR圖像，紋理更加清晰自然，而且對(duì)一些高斯模糊具有一定魯棒性。

未來(lái)將重點(diǎn)研究帶有模糊的字典學(xué)習(xí)方法用于處理低分辨率同時(shí)有一定運(yùn)動(dòng)模糊SR問(wèn)題，擴(kuò)大算法適用性，而不僅僅是壓縮傳感層面的。

[1] 蘇衡, 周杰, 張志浩. 超分辨率圖像重建方法綜述[J].自動(dòng)化學(xué)報(bào), 2013, 39(8): 1202-1213.

[2] 楊文波. 航空?qǐng)D像超分辨率重構(gòu)技術(shù)研究[D]. 長(zhǎng)春:中國(guó)科學(xué)院研究生院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所, 2014.

[3] 曾蕾. 圖像稀疏表示及圖像超分辨應(yīng)用研究[D]. 電子科技大學(xué), 2014.

[4] 江毅, 黃俊斌. 基于波分復(fù)用器的光纖光柵振動(dòng)傳感器陣列[J]. 中國(guó)激光, 2005, 32(11):1525-1528.

[5] S Mallat. and G.Yu, Super-resolution with sparse mixing Estimators[J]. IEEE Trans on Image Processing, 2009, 19(11):2889 - 2900.

[6] Freedman G, Fattal R. Image and video upscaling from local self-examples.[J]. ACM Transactions on Graphics, 2011, 30(2):474-484.

[7] Yang J, Lin Z, Cohen S. Fast image super-resolution based on in-place example regression[J]. ieee conference on Computer Vision & Pattern Recognition, 2013, 9(4):1059-1066.

[8] 潘宗序, 禹晶, 胡少興,等. 基于多尺度結(jié)構(gòu)自相似性的單幅圖像超分辨率算法[J]. 自動(dòng)化學(xué)報(bào), 2014, 40(4): 594-603.

[9] Ramakanth S A, Babu R V. Featurey match: A general ANNF estimation technique and its applications.[J]. IEEE Transactions on Image Processing, 2014, 23(5):2193-220 5.

[10] 錢(qián)銀玲, 梁曉, 張嚴(yán)辭. 基于Bin的高質(zhì)量k-D樹(shù)構(gòu)建算法[C]// 第九屆中國(guó)計(jì)算機(jī)圖形學(xué)大會(huì). 2012, 24(7): 984-989.

[11] 浦劍, 張軍平. 基于詞典學(xué)習(xí)和稀疏表示的超分辨率方法[J]. 模式識(shí)別與人工智能, 2010, 23(3): 335-340.

[12] 吳煒, 鄭成林, 張瑩瑩等. 廣義非局部均值和自相似性的超分辨率算法[J]. 西安電子科技大學(xué)學(xué)報(bào), 2014, 27(4):100-107.

[13] 張曼, 沈旭昆. 一種基于尺度空間的三維點(diǎn)云數(shù)據(jù)配準(zhǔn)算法[J]. 系統(tǒng)仿真學(xué)報(bào), 2009, 24(9):131-135.

[14] 蘭誠(chéng)棟, 陳亮, 盧濤. 利用位置權(quán)重稀疏表示的人臉超分辨率算法[J]. 武漢大學(xué)學(xué)報(bào)：信息科學(xué)版, 2013, 38(1):27-30.

[15] Farsiu S, Robinson D, Elad M, et al. Fast and robust multi-frame super-resolution[J]. IEEE Transactions on Image Processing, 2003, 13(10): 1327-1344.

A Single Frame Super Resolution Algorithm Based on ANNF and Structural Similarity

Xu Yanhua1, Li Rong1, Wang Huajun1, Xu Pingping2
(1. Taihu University of Wuxi, Wuxi 214064, China; 2. School of Information Science and Engineering, Southeast University, Nanjing 211189, China)

For the issue of the poor stability of the algorithm of approximate nearest neighbor field ANNF, a new algorithm based on dictionary learning and simple regularization is proposed. After ANNF process, simple structural similarity regularization operation is applied. Firstly, single image dictionary learning must be solved. Then k-dimensional tree is used to deal with the input feature matching, giving ANNF mapping. Finally results from ANNF are regularized by similarity process. The process only needs a few iterations with following up a final high resolution image. In this paper, PSNR and MSE are used to compare the results of the algorithms. The data results show that the proposed algorithm has the highest PSNR value, and the lowest RMSE value. The experimental image results show that the image’s texture can be reserved best, the nature of the images is best. In addition, from the robustness analysis of gauss blur, the robustness of the proposed algorithm is much better than other algorithms.

Approximate nearest neighbor field; Regularization; k-dimensional tree; Structural similarity; Robustness

TP391

A

1007-757X(2016)10-0026-04

2016.01.05）

江蘇省高校自然科學(xué)研究項(xiàng)目（No.14KJD460004）

徐燕華（1979-），女，無(wú)錫人，無(wú)錫太湖學(xué)院，講師，碩士，研究方向：圖像處理、智能算法等，無(wú)錫 214064

李 榮（1978-），女，淮安人，無(wú)錫太湖學(xué)院，講師，碩士，研究領(lǐng)域：目標(biāo)跟蹤、圖像處理等，無(wú)錫 214064

王華君（1979-），男，宜興人，無(wú)錫太湖學(xué)院，講師，碩士，研究領(lǐng)域：圖像處理、圖像重建等，無(wú)錫 214064

徐平平（1957-），女，南京人，東南大學(xué)，信息科學(xué)與工程學(xué)院，教授，博導(dǎo)，博士，研究領(lǐng)域：圖像處理、目標(biāo)跟蹤等，南京 211189