李　強(qiáng)，劉　哲，南炳炳，顧淑音

(西北工業(yè)大學(xué) 理學(xué)院，西安 710129)

改進(jìn)的基于鄰域嵌入的圖像超分辨率重構(gòu)

李強(qiáng)，劉哲*，南炳炳，顧淑音

(西北工業(yè)大學(xué) 理學(xué)院，西安 710129)

摘要：為了提高傳統(tǒng)的基于鄰域嵌入的圖像超分辨率重構(gòu)算法的時(shí)間效率，采用了一種利用圖像塊方向信息進(jìn)行鄰域選擇和訓(xùn)練集分類(lèi)的新方法。該方法首先利用圖像塊方向的不同對(duì)訓(xùn)練集進(jìn)行分類(lèi)，然后在分類(lèi)后的子訓(xùn)練集中選擇與待重構(gòu)圖像塊的方向相似的圖像塊作為鄰域進(jìn)行重構(gòu)，并對(duì)重構(gòu)結(jié)果進(jìn)行迭代反投影全局后處理，進(jìn)一步提高重構(gòu)質(zhì)量，最后對(duì)改進(jìn)方法進(jìn)行數(shù)值實(shí)驗(yàn)驗(yàn)證。結(jié)果表明，該方法不僅把超分辨率重構(gòu)的時(shí)間效率提高了10倍以上，而且重構(gòu)質(zhì)量也得到了改善，具有較好的實(shí)際應(yīng)用價(jià)值。

關(guān)鍵詞：圖像處理；超分辨率重構(gòu)；鄰域嵌入；方向；迭代反投影

*通訊聯(lián)系人。E-mail: liuzhe@nwpu.edu.cn

引言

在信息技術(shù)空前發(fā)展的今天，人們對(duì)高分辨率圖像的需求越來(lái)越大，通過(guò)硬件技術(shù)提升分辨率的方法難以突破物理瓶頸，因此，利用圖像超分辨率重構(gòu)算法來(lái)提高分辨率成為解決這個(gè)問(wèn)題的突破口。

CHANG等人[1]首次把流形學(xué)習(xí)[2]的思想引入超分辨率重構(gòu)中，在假設(shè)低分辨率(low-resolution,LR)圖像塊和對(duì)應(yīng)的高分辨率(high-resolution,HR)圖像塊在特征空間上具有相似局部幾何結(jié)構(gòu)的流形的前提下，提出了基于鄰域嵌入(neighbor embedding,NE)的超分辨率方法。FAN等人[3]提出了基于NE的圖像幻構(gòu)方法，采用了新的圖像塊特征，發(fā)展了此類(lèi)方法。CHAN等人[4]利用相位一致性[5]邊緣檢測(cè)方法將圖像塊分為邊緣塊和非邊緣塊，兩種圖像塊區(qū)別處理;同時(shí)，他們聯(lián)合能更好地保持鄰域關(guān)系的標(biāo)準(zhǔn)亮度信息[6]和包含高頻信息的1階梯度信息作為圖像塊特征進(jìn)行重構(gòu)，提高了重構(gòu)質(zhì)量。LIAO等人[7]則采取聯(lián)合標(biāo)準(zhǔn)亮度和代表高頻信息的穩(wěn)定小波變化系數(shù)來(lái)表征圖像塊特征。CAO等人[8]采用離散余弦變換系數(shù)來(lái)表示圖像塊特征，重構(gòu)過(guò)程中自適應(yīng)地選擇鄰域圖像塊數(shù)目，重構(gòu)效果進(jìn)一步提高。

目前基于NE的超分辨率算法的研究幾乎都是通過(guò)選擇更好的特征表示方法來(lái)提高算法的重構(gòu)質(zhì)量，算法的時(shí)間效率卻沒(méi)有提高，并且忽略了圖像塊的幾何特征。本文中將圖像塊的方向信息[9]這一幾何特征引入到基于NE的超分辨率算法中，利用圖像塊的方向不同來(lái)對(duì)訓(xùn)練集分類(lèi)，得到代表不同方向信息的子訓(xùn)練集；相應(yīng)地，在選取鄰域時(shí)選擇方向特征最接近的K個(gè)圖像塊作為鄰域；最后，為了進(jìn)一步提高重構(gòu)質(zhì)量，把重構(gòu)圖像作為原始圖像進(jìn)行迭代反投影[10](iterative back-projection,IBP)后處理。實(shí)驗(yàn)結(jié)果表明，本文中算法的時(shí)間效率提高明顯，同時(shí)，重構(gòu)質(zhì)量也有了很大提高。

1基于鄰域嵌入的超分辨率重構(gòu)

基于NE的超分辨率重構(gòu)[1]假設(shè)LR圖像塊和對(duì)應(yīng)的HR圖像塊有相似的局部幾何流形，通過(guò)尋找LR圖像塊的K近鄰表示得到相應(yīng)的HR圖像塊K近鄰表示，然后把HR圖像塊的K近鄰表示按權(quán)值線(xiàn)性組合得到重構(gòu)圖像塊。以下分別以Xt表示待重構(gòu)的LR圖像，Yt表示預(yù)期的重構(gòu)圖像，Xs表示訓(xùn)練集中的LR圖像，Ys表示訓(xùn)練集中相應(yīng)的HR圖像，以xt,q,yt,q,xs,p,ys,p分別表示圖像Xt,Yt,Xs,Ys的圖像小塊向量，其中，p,q=1,2…。

對(duì)于任意一個(gè)LR圖像Xt中的局部塊xt,q，首先要在整個(gè)訓(xùn)練集中搜索到與xt,q的歐式距離最近的K個(gè)圖像塊組成鄰域集Nq。在得到鄰域后，計(jì)算Nq中每個(gè)圖像塊的重構(gòu)權(quán)值，重構(gòu)權(quán)值是通過(guò)求解重構(gòu)誤差最小化問(wèn)題得到的：

那么Yt中相應(yīng)的圖像塊yt,q可以通過(guò)下式計(jì)算：

在得到Y(jié)t中所有圖像塊的初始估計(jì)值后，通過(guò)平均相鄰圖像塊間重疊區(qū)域的像素值來(lái)保證圖像塊間的兼容性和平滑性。

2改進(jìn)的鄰域嵌入算法

基于NE的超分辨率重構(gòu)算法搜索鄰域的方式是計(jì)算待重構(gòu)圖像塊與訓(xùn)練集中所有圖像塊的歐式距離，選擇距離最小的K個(gè)圖像塊作為鄰域。計(jì)算一個(gè)歐式距離包含多個(gè)平方運(yùn)算、多個(gè)加法運(yùn)算和一個(gè)開(kāi)方運(yùn)算，并且訓(xùn)練集中往往有上萬(wàn)個(gè)圖像塊，而一幅待重構(gòu)低分辨率圖像又可以分成上千個(gè)圖像塊，可想而知，搜索鄰域所包含的運(yùn)算量是非常大的，導(dǎo)致該類(lèi)算法的時(shí)間效率低。因此，要提高該類(lèi)算法的時(shí)間效率，必須選擇更好的鄰域搜索方式。本文中將圖像塊的方向引入進(jìn)來(lái)，利用方向的不同來(lái)搜索鄰域和對(duì)訓(xùn)練集分類(lèi)，大大減少了運(yùn)算量，提高了時(shí)間效率。

2.1　局部圖像塊的方向

對(duì)于局部圖像塊，根據(jù)其方差的大小可以把它劃分為平滑塊和非平滑塊，當(dāng)方差小于某個(gè)閾值Tth時(shí)，判定其為平滑塊；否則判定為非平滑塊。非平滑塊又可以分為隨機(jī)塊和方向塊[9]，圖像塊的方向是對(duì)其梯度圖像進(jìn)行奇異值分解(singular value decomposition,SVD)計(jì)算得到的。

小于某個(gè)閾值R*時(shí)，該圖像塊則被看作是隨機(jī)塊，否則該圖像塊為方向塊。其中，S1,1,S2,2分別是S的對(duì)角元素。圖像塊的方向γ可以通過(guò)下式估計(jì)[12]：

2.2　本文中的改進(jìn)算法

本文中的改進(jìn)之處主要有兩點(diǎn)：利用圖像塊方向的不同對(duì)訓(xùn)練集分類(lèi)，以減小每次搜索鄰域的范圍，提高搜索效率；選取與待重構(gòu)圖像塊xt,q的方向最接近的K個(gè)訓(xùn)練集圖像塊作為鄰域，這種選取方式只需要計(jì)算減法運(yùn)算，減小了運(yùn)算量。

在建立訓(xùn)練集時(shí)，計(jì)算訓(xùn)練集中每一個(gè)LR圖像塊xs,i的方差為vs,i，判斷vs,i>Tth是否成立，如果不成立，則把該圖像塊從訓(xùn)練集中刪除；否則，利用(3)式計(jì)算xs,i的主方向測(cè)度Rs,i,判斷Rs,i

在選取鄰域時(shí)，原來(lái)的利用歐式距離選取的方法計(jì)算量太大，本文中利用圖像塊方向的相似程度來(lái)選取鄰域。對(duì)于任意一個(gè)LR圖像Xt中的方向塊xt,q，假設(shè)其方向角度為γt,q，計(jì)算下式：

式中，γs,i是與角度γt,q相對(duì)應(yīng)的子訓(xùn)練集內(nèi)圖像塊的方向角度。di越小，則表示方向角度越接近，因此，選取di最小的前K個(gè)圖像塊作為xt,q的鄰域。在重構(gòu)時(shí)，首先根據(jù)平滑性及方向特征對(duì)每一個(gè)圖像塊歸類(lèi)，如果是平滑塊直接進(jìn)行雙三次插值放大；如果是方向塊或隨機(jī)塊，則利用(5)式在相應(yīng)的子訓(xùn)練集內(nèi)搜索鄰域，然后通過(guò)計(jì)算(1)式和(2)式獲得估計(jì)塊。為了進(jìn)一步提高重構(gòu)質(zhì)量，把重構(gòu)結(jié)果作為原始圖像，進(jìn)行迭代反投影全局后處理。

2.3　本文中的算法步驟

通過(guò)以上分析，本文中的重構(gòu)算法步驟可以總結(jié)如下。

輸入：訓(xùn)練集中的HR圖像Y和LR圖像X，待處理LR圖像Xt。

步驟(1)：對(duì)Y和X進(jìn)行特征提取和分塊，刪除平滑塊并利用(4)式計(jì)算剩余塊的方向，方向的角度范圍取0°~180°，為方便處理，定義隨機(jī)塊的方向?yàn)閍(a<0)。

步驟(2)：對(duì)圖像塊按照角度分類(lèi)，隨機(jī)塊分為一類(lèi)，方向塊每間隔一定的角度分為n類(lèi)，每類(lèi)之間保持一定角度的重疊，以此建立HR訓(xùn)練集Ys和LR訓(xùn)練集Xs。

步驟(3)：對(duì)LR圖像Xt提取特征并分塊，利用(3)式和(4)式計(jì)算圖像塊的方向。

步驟(4)：對(duì)于任意一個(gè)圖像塊xt,q，如果是平滑塊則直接進(jìn)行雙三次插值放大；否則，通過(guò)(5)式選取其鄰域，利用(1)式計(jì)算鄰域塊的權(quán)值，最后利用(2)式得到估計(jì)的HR圖像塊yt,q。

步驟(5)：由所有的HR圖像塊yt,q組合得到初步的重構(gòu)圖像，然后進(jìn)行IBP后處理獲得最終的重構(gòu)HR圖像Yt。

輸出：HR重構(gòu)圖像Yt。

3實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)中的計(jì)算機(jī)配置為：Intel(R)Core(TM)2QuadCPUQ6600@2.4GHz，主頻2.39GHz，3.37GB內(nèi)存，WindowsXP操作系統(tǒng)。編程環(huán)境和運(yùn)行平臺(tái)為MATLAB2012b。

Fig.1　Training images in the test

Fig.2　Reconstruction result of girl image

a—LRimageb—reference[1]c—reference[4]d—reference[8]

e—ourmethodf—ourmethod+IBPg—HRimage

為了驗(yàn)證本文中算法的有效性以及實(shí)驗(yàn)參量和訓(xùn)練集的大小對(duì)本文中算法重構(gòu)結(jié)果的影響，分別進(jìn)行了以下4組實(shí)驗(yàn)。實(shí)驗(yàn)中，訓(xùn)練集共分為19類(lèi)，其中方向塊每隔10°分為一類(lèi)，每類(lèi)之間保持3°的重疊；重構(gòu)時(shí)選取LR圖像塊像素大小為3×3，放大倍數(shù)為3倍，相鄰圖像塊間的重疊像素為2，閾值Tth和R*分別取20和0.3。實(shí)驗(yàn)中用到的圖像同參考文獻(xiàn)[1]中的一樣，如圖1所示。

3.1　重構(gòu)效果及時(shí)間效率比較

為了驗(yàn)證本文中算法的重構(gòu)效果及時(shí)間效率，選取像素大小為280×280的girl圖像和像素大小為255×384的plant圖像用本文中算法進(jìn)行超分辨率重構(gòu)，并與參考文獻(xiàn)[1]、參考文獻(xiàn)[4]和參考文獻(xiàn)[8]中的算法進(jìn)行比較，結(jié)果如圖2和圖3所示。其中，本文中算法選取的鄰域大小K=100，圖像特征選擇聯(lián)合標(biāo)準(zhǔn)亮度和1階梯度[8]。訓(xùn)練集的建立過(guò)程是可以離線(xiàn)進(jìn)行的，所以建立訓(xùn)練集的時(shí)間不計(jì)入在內(nèi)。

圖像的重構(gòu)質(zhì)量使用均方根誤差(root-mean-squareerror，RMSE)、峰值信噪比(peaksignal-to-noiseratio，PSNR)[13]和結(jié)構(gòu)相似度(structuralsimilarity，SSIM)[14]來(lái)衡量，RMSE越小、PSNR和SSIM越大，則表示圖像質(zhì)量越好。為了更好地和參考文獻(xiàn)[1]、參考文獻(xiàn)[4]比較，本文中的算法和參考文獻(xiàn)[4]中算法的訓(xùn)練集圖像與參考文獻(xiàn)[1]中的保持一致，girl圖像用的訓(xùn)練集由圖1中第1行的兩幅圖像組成，plant圖像用的訓(xùn)練集由第2行的兩幅組成。4種算法的重構(gòu)效果如圖2、圖3和表1所示。

Fig.3　Reconstruction result of plant image

a—LRimageb—reference[1]c—reference[4]d—reference[8]

e—ourmethodf—ourmethod+IBPg—HRimage

首先從算法的時(shí)間效率來(lái)看，由表1中的數(shù)據(jù)可以看到，其它3種算法所耗費(fèi)的時(shí)間都比較長(zhǎng)，時(shí)間效率很低；而本文中算法對(duì)訓(xùn)練集進(jìn)行了分類(lèi)，并選取了計(jì)算量很小的鄰域選擇方法，時(shí)間效率提高了10倍以上。從算法的重構(gòu)質(zhì)量來(lái)看，無(wú)論是圖2和圖3的視覺(jué)效果還是重構(gòu)質(zhì)量評(píng)價(jià)指標(biāo)，在沒(méi)有經(jīng)過(guò)IBP后處理的情況下，本文中算法的重構(gòu)結(jié)果也明顯優(yōu)于其它算法，原因是因?yàn)楸疚闹械乃惴ú捎昧烁m合表征鄰域的鄰域選擇方式，選取了更多的鄰域塊來(lái)提高重構(gòu)質(zhì)量?？梢钥吹剑瑢?duì)重構(gòu)結(jié)果進(jìn)行IBP后處理，重構(gòu)質(zhì)量又進(jìn)一步得到了改善。

Table 1　Comparison between our method and other methods

3.2　鄰域圖像塊數(shù)目K對(duì)重構(gòu)結(jié)果的影響

基于NE的超分辨率方法根據(jù)歐氏距離，選擇最相似的K=5個(gè)圖像塊作為待處理圖像塊的鄰域；本文中算法是根據(jù)圖像的方向信息相似程度來(lái)選擇鄰域塊，如果選擇K=5，本文中的重構(gòu)效果不理想。為了驗(yàn)證K對(duì)本文中算法重構(gòu)效果的影響，分別選取K=10,20，…，200，然后對(duì)girl圖像和plant圖像進(jìn)行超分辨率重構(gòu)，實(shí)驗(yàn)結(jié)果如圖4所示。

Fig.4　Effect of different K on reconstruction result

a—PSNR with differentKof the girl imageb—PSNR with differentKof the plant imagec—time with differentKof the girl and plant images

由圖4a和圖4b可以看出，重構(gòu)結(jié)果的PSNR指標(biāo)隨著K值的增加而增加，但是當(dāng)K>100時(shí)PSNR增幅變得很??；由圖4c可以看出，算法的時(shí)間效率隨著K值的增加降低。考慮到重構(gòu)效果和時(shí)間效率的平衡，選取K=100時(shí)，重構(gòu)效果比較理想，同時(shí)時(shí)間效率也比較高。

3.3　訓(xùn)練集的大小對(duì)重構(gòu)結(jié)果的影響

從理論角度分析，訓(xùn)練集越大，所包含的圖像塊種類(lèi)和圖像信息越豐富，重構(gòu)的效果會(huì)越好；但同時(shí)使得搜索范圍擴(kuò)大，時(shí)間效率降低。為了驗(yàn)證訓(xùn)練集大小對(duì)本文中算法重構(gòu)效果的影響，采用 girl圖像和plant圖像進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)中，分別選取訓(xùn)練集的圖像塊個(gè)數(shù)為104,2×104，…，6×104塊，取K值的大小為100。實(shí)驗(yàn)結(jié)果如表2所示。

從表2中的數(shù)據(jù)可以看到，當(dāng)訓(xùn)練集的大小為104塊時(shí)，本文中算法的重構(gòu)質(zhì)量已經(jīng)比較理想；隨著訓(xùn)練集的變大，重構(gòu)質(zhì)量慢慢變好，幅度很小，可以忽略不計(jì)。由此可知，本文中算法的另外一個(gè)優(yōu)勢(shì)就是,只需要少量的訓(xùn)練集圖像就能獲得比較理想的重構(gòu)結(jié)果，對(duì)數(shù)據(jù)量的要求較小。

Table 2　Effect of train-set size on reconstruction results

4結(jié)論

針對(duì)基于NE的超分辨率算法的時(shí)間效率低和重構(gòu)效果不理想的不足，本文中的算法在NE的理論框架下對(duì)其進(jìn)行了改進(jìn)，把圖像塊的方向特征引入到基于NE的超分辨率方法中。實(shí)驗(yàn)結(jié)果證明，本文中算法的時(shí)間效率提高了10倍以上，重構(gòu)結(jié)果圖像的細(xì)節(jié)更加豐富、清晰。由于本文中算法的重構(gòu)效果和時(shí)間效率與K和訓(xùn)練集的大小及分類(lèi)有關(guān)，因此在實(shí)際應(yīng)用中，可以通過(guò)選取典型的、有代表性的、同時(shí)又包含適中數(shù)目的圖像建立訓(xùn)練集，重構(gòu)時(shí)選擇適當(dāng)?shù)腒值來(lái)實(shí)現(xiàn)效果更好的超分辨率重構(gòu)。另外，對(duì)訓(xùn)練集的分類(lèi)更細(xì)致，可進(jìn)一步提高算法的時(shí)間效率。

參考文獻(xiàn)

[1]CHANG H, YEUNG D Y, XIONG Y. Super-resolution through neighbor embedding[C]// Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.New York,USA:IEEE,2004:1-8.

[2]SEUNG H S, LEE D D. The manifold ways of perception[J]. Science, 2000, 290(5500): 2268-2269.

[3]FAN W, YEUNG D Y. Image hallucination using neighbor embedding over visual primitive manifolds[C]// IEEE Conference on Computer Vision and Pattern Recognition, 2007.New York, USA:IEEE, 2007: 1-7.

[4]CHAN T K, ZHANG J P, PU J,etal. Neighbor embedding based super-resolution algorithm through edge detection and feature selection[J]. Pattern Recognition Letters, 2009, 30(5): 494-502.

[5]KOVESI P. Image features from phase congruency[J]. Journal of Computer Vision Research, 1999, 1(3): 1-26.

[6]SU K, TIAN Q, XUE Q,etal. Neighborhood issue in single-frame image super-resolution[C]// IEEE International Conference on Multimedia and Expo, 2005.New York,USA:IEEE, 2005:4.

[7]LIAO X X, HAN G Q, WO Y,etal. New feature selection for neighbor embedding based super-resolution[C]// 2011 International Conference on Multimedia Technology (ICMT). New York, USA:IEEE, 2011: 441-444.

[8]CAO M M, GAN Z L, ZHU X C. Super-resolution algorithm through neighbor embedding with new feature selection and example training[C]// 2012 IEEE 11th International Conference on Signal Processing (ICSP). New York, USA:IEEE, 2012: 825-828.

[9]YANG S Y, WANG M, CHEN Y G,etal. Single-image super-resolution reconstruction via learned geometric dictionaries and clustered sparse coding[J]. IEEE Transactions on Image Processing, 2012, 21(9): 4016-4028.

[10]WAN B, MENG L, MING D,etal. Video image super-resolution restoration based on iterative back-projection algorithm[C]// IEEE International Conference on Computational Intelligence for Measurement Systems and Applications, 2009.New York, USA:IEEE, 2009: 46-49.

[11]EDELMAN A. Eigenvalues and condition numbers of random matrices[J]. SIAM Journal on Matrix Analysis and Applications, 1988, 9(4): 543-560.

[12]BIGUN J, GRANLUND G H, WIKLUND J. Multidimensional orientation estimation with applications to texture analysis and optical flow[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1991, 13(8): 775-790.

[13]SAYOOD K. Statistical evaluation of image quality measures [J]. Journal of Electronic Imaging, 2002, 11(2):206-213.

[14]WANG Z, BOVIK A C, SHEIKH H R,etal. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing,2004, 13(4): 600-612.

Improved image super-resolution reconstruction based neighbor embedding

LIQiang,LIUZhe,NANBingbing,GUShuyin

(School of Science, Northwestern Polytechnical University, Xi’an 710129, China)

Abstract：In order to improve the time-efficiency of traditional super-resolution reconstruction based on neighbor embedding, a new method was proposed using direction information of image patches to choose neighborhood and classify the training set. Firstly, the training set was classified through the differences of patches directions. Secondly, the neighborhood used to reconstruct was chosen in the sub-sets by selecting training patches with the similar direction, and then the iterative back-projection was applied during the reconstruction to further enhance the super-resolution image quality. Finally, numerical experiments were conducted to verify the new method. The results show that the proposed algorithm increases time-efficiency more than 10 times and super-resolution performance is improved. The new method has better practical value.

Key words:image processing；super-resolution; neighbor embedding; direction; iterative back-projection

文章編號(hào)：1001-3806(2015)01-0019-04

收稿日期：2014-01-07；收到修改稿日期：2014-02-17

作者簡(jiǎn)介：李強(qiáng)(1989-)，男，碩士研究生，現(xiàn)主要從事圖像超分辨率重構(gòu)的研究。

中圖分類(lèi)號(hào)：TN911.73

文獻(xiàn)標(biāo)志碼：A

doi:10.7510/jgjs.issn.1001-3806.2015.01.003