堯潞陽(yáng)，解 凱，李 桐

(北京印刷學(xué)院 信息工程學(xué)院，北京 102600)

基于塊旋轉(zhuǎn)和清晰度的圖像超分辨率重建算法

堯潞陽(yáng)，解 凱，李 桐

(北京印刷學(xué)院 信息工程學(xué)院，北京 102600)

針對(duì)傳統(tǒng)基于學(xué)習(xí)的超分辨率重建算法訓(xùn)練時(shí)間過(guò)長(zhǎng)，且對(duì)訓(xùn)練庫(kù)依賴性大的不足，提出一種結(jié)合塊旋轉(zhuǎn)和清晰度的超分辨率重建方法。該方法引入了一種新的分類機(jī)制。為增加訓(xùn)練樣本塊的多樣性，但又不增加計(jì)算復(fù)雜度，將樣本塊進(jìn)行一定角度的旋轉(zhuǎn)，然后引入塊清晰度(Sharpness Measure,SM)對(duì)訓(xùn)練樣本進(jìn)行分類。對(duì)于塊清晰度較高的紋理、角以及邊緣塊，利用分類好的對(duì)應(yīng)樣本庫(kù)進(jìn)行自相似性重建，而清晰度較低的塊，則直接使用插值放大進(jìn)行重建。在搜索匹配過(guò)程中改用Fast Library for Approximate Nearest Neighbors (FLANN)替代傳統(tǒng)的Approximate Nearest Neighbors (ANN)搜索，提高了重建效率。最終利用迭代反投影算法和局部約束進(jìn)行優(yōu)化。實(shí)驗(yàn)結(jié)果表明，該算法既可以較大幅度減少計(jì)算的復(fù)雜度，也能夠獲得較好的視覺(jué)效果。

超分辨率；多尺度自相似性；塊旋轉(zhuǎn)；清晰度；迭代反投影；局部約束

0 引 言

從一幅或者多幅低分辨率圖像獲取高分辨率，即“超分辨率重建”，已經(jīng)是一個(gè)經(jīng)典問(wèn)題。高分辨率圖像具有低分辨率圖像丟失的細(xì)節(jié)，即高頻信息。由于圖像的取景和拍照過(guò)程中，會(huì)存在不可避免的外在干擾，比如光線不足、拍攝抖動(dòng)等等，將導(dǎo)致獲得的圖像分辨率較低。尤其在一些特殊領(lǐng)域，如醫(yī)學(xué)中人體內(nèi)部病理圖像的獲取，以及高空遙感圖像的拍攝，這些都難以通過(guò)提高硬件設(shè)施來(lái)較大幅度地提高圖像的分辨率。并且，硬件的成本和工藝制造代價(jià)可能遠(yuǎn)遠(yuǎn)超出了它所能帶來(lái)的實(shí)際價(jià)值，因此，通過(guò)數(shù)字信號(hào)處理或軟件算法來(lái)提高圖像的分辨率已經(jīng)是當(dāng)前十分活躍的一個(gè)研究領(lǐng)域。

大多數(shù)超分辨率算法主要分為以下兩種：

(1)經(jīng)典的基于重建的超分辨率算法：旨在從一系列亞像素偏移的低分辨率圖像中重建出原有的高分辨率圖像。每一幅低分辨率圖像將對(duì)高分辨率復(fù)原圖像進(jìn)行線性約束，當(dāng)亞像素位移低分辨率圖像足夠多時(shí)，則足以重建出高分辨率圖像[1]。然而這種方法終究逃脫不了經(jīng)典多幅圖像重建的限制。即使圖像塊充分配準(zhǔn)，已濾去足夠的噪聲，一般也只局限于2倍的分辨率放大[2-3]。

(2)基于學(xué)習(xí)的超分辨率重建：打破了基于多幀圖像重建的約束，采用分塊思想，并通過(guò)一組有代表性的圖像集來(lái)學(xué)習(xí)低分辨率與高分辨率圖像塊之間的映射關(guān)系，利用這種映射關(guān)系，估計(jì)高頻細(xì)節(jié)，最后預(yù)測(cè)得到待重建的高分辨率圖像。Freeman等[4-5]首次提出了基于學(xué)習(xí)的超分辨率算法，并且通過(guò)Markov網(wǎng)絡(luò)學(xué)習(xí)低分辨率圖像塊與高分辨率圖像塊之間的映射關(guān)系。該方法大量依賴于外界訓(xùn)練庫(kù)，并且額外的訓(xùn)練庫(kù)并不一定能保證包含重建所需要的高頻細(xì)節(jié)，容易導(dǎo)致“幻覺(jué)”效應(yīng)[6]。Chang等[7]采用了局部線性嵌入(Local Linear Embedding,LLE)的流行學(xué)方法。然而，該方法使用相同的近鄰系數(shù)線性組合恢復(fù)高分辨率塊，容易導(dǎo)致欠擬合和過(guò)擬合現(xiàn)象。Freedman等[8]在頻域中使用基于學(xué)習(xí)的方法較好地保留了圖像邊緣。Khatri等[9]針對(duì)圖像大尺度放大時(shí)訓(xùn)練字典過(guò)大這一問(wèn)題，進(jìn)行篩選簡(jiǎn)化，剔除相似性大的冗余圖像塊，大大降低了計(jì)算的復(fù)雜度。Glasner等[10]結(jié)合了傳統(tǒng)的和基于學(xué)習(xí)的超分辨率算法用于單幅圖像超分辨率重建，但是實(shí)驗(yàn)表明其結(jié)合傳統(tǒng)多幀重建方法對(duì)最終圖像的重建質(zhì)量貢獻(xiàn)不大，增加了計(jì)算的復(fù)雜度，并且其使用的ANN(Approximate Nearest Neighbors)庫(kù)搜索速度較慢。Singh等[11]針對(duì)自相似性難于重建紋理較復(fù)雜的圖像這一缺點(diǎn)，提出了利用可控金字塔模型將低分辨率輸入圖像進(jìn)行多頻帶分解，然后針對(duì)每一頻帶進(jìn)行自相似性重建，最后再逆變換回高分辨率圖像。

文中對(duì)Glasner等的重建過(guò)程進(jìn)行改進(jìn)，利用圖像子塊在不同尺度間存在的重復(fù)性來(lái)學(xué)習(xí)高低分辨率圖像子塊之間的映射關(guān)系，不需要額外的樣例圖像庫(kù)。在樣本庫(kù)生成的過(guò)程中，利用塊旋轉(zhuǎn)策略[12]，增加塊的多樣性。并且，針對(duì)傳統(tǒng)遍歷式搜索的缺點(diǎn)，使用塊清晰度(Sharpness Measure,SM)[13-14]對(duì)樣本塊進(jìn)行分類,并針對(duì)性地進(jìn)行重建。實(shí)驗(yàn)結(jié)果表明，由于進(jìn)行了分類搜索，重建的每一圖像塊更具針對(duì)性，重建圖像得到了更好的視覺(jué)效果，并且峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)也得到了相應(yīng)的提高。

1 圖像自相似性及塊旋轉(zhuǎn)策略

1.1 基于中頻和高頻下的多尺度自相似性模型

Glasner等[10]通過(guò)對(duì)大量自然圖像進(jìn)行測(cè)試，得出結(jié)論：自然圖像都傾向于包含重復(fù)性的視覺(jué)內(nèi)容，不論是在同尺度之間，還是不同尺度之間。對(duì)于更小的圖像塊(例如5×5大小)往往在同一圖像中會(huì)出現(xiàn)更多的塊冗余。

以往的自相似性重建幾乎都是基于低頻和高頻，認(rèn)為低頻和高頻塊之間存在高度相關(guān)。然而實(shí)驗(yàn)表明這種假設(shè)具有內(nèi)容特定性，針對(duì)自然圖像中一些紋理較復(fù)雜的圖像，低頻和高頻塊表現(xiàn)出的相關(guān)性較低。因此，在中頻塊和高頻塊具有較高相關(guān)度下，文中結(jié)合多尺度自相似性原理來(lái)預(yù)測(cè)低分辨率圖像丟失的高頻細(xì)節(jié)。

1.2 塊旋轉(zhuǎn)策略及訓(xùn)練樣本庫(kù)的生成

傳統(tǒng)的基于學(xué)習(xí)的重建方法中，往往都選取大量的外在訓(xùn)練樣本來(lái)保證重建圖像的質(zhì)量。但是，大量的樣本塊無(wú)疑增加了計(jì)算的復(fù)雜度，而且通過(guò)搜索匹配得到的高頻細(xì)節(jié)塊存在多對(duì)一的現(xiàn)象，即有可能不是重建最終需要的高頻細(xì)節(jié)，容易導(dǎo)致重建的結(jié)果出現(xiàn)“偽影”現(xiàn)象。針對(duì)這一缺點(diǎn)，文中在塊多尺度自相似性原理的基礎(chǔ)上對(duì)樣本塊進(jìn)行旋轉(zhuǎn)來(lái)增加圖像樣本的多樣性，減少了對(duì)外在訓(xùn)練庫(kù)的依賴性。

為保證樣本的多樣性及計(jì)算效率，只對(duì)圖像進(jìn)行90°旋轉(zhuǎn)處理。旋轉(zhuǎn)之后，將這些圖像塊劃歸到同一個(gè)尺度，并對(duì)這些塊做列向量處理。雖然這些圖像塊在內(nèi)容上是相同的，但是，進(jìn)行列向量處理之后，相同的內(nèi)容就有了不同的表現(xiàn)形式，得到的訓(xùn)練樣本具有多樣性，這樣可以更加充分地利用圖像多尺度自相似性。

為了更好地預(yù)測(cè)高頻信息，首先對(duì)低分辨率輸入圖像I0進(jìn)行高斯低通濾波和下采樣操作，得到多尺度的下采樣圖像I-1,I-2,…,I-n(n=2)。得到的高斯金字塔由-nth到0th層(最大尺度層，即I0)組成，記第i層為Ii，可得：

(1)

其中，D表示用高斯低通濾波器進(jìn)行平滑和下采樣操作。

為了將對(duì)應(yīng)的Ii分別分解為低頻成分Li和高頻成分Hi，對(duì)式(1)金字塔結(jié)構(gòu)中的每一層圖像先按超分辨率放大因子k進(jìn)行下采樣和平滑濾波，然后再插值放大k倍恢復(fù)到原圖像大小，這樣便得到對(duì)應(yīng)的低頻成分Li，可由式(2)表示：

Li=U(D(Ii)),-n≤i≤0

(2)

其中，D操作和式(1)中一樣；U表示雙三次插值操作。

得到了對(duì)應(yīng)的低頻成分Li后，將其與對(duì)應(yīng)的圖層Ii進(jìn)行差值即可得到高頻成分Hi，如式(3)所示：

Hi=Li-Ii,-n≤i≤0

(3)

然而，式(2)中的低頻成分可以進(jìn)一步分解為低頻和高頻成分。從第一層低頻成分Li中再次抽取出的低頻成分稱為中頻信息，如下：

Mi=Li-U(D(Li)),-n≤i≤0

(4)

得到中頻和高頻訓(xùn)練圖像庫(kù)后，分別對(duì)兩個(gè)訓(xùn)練庫(kù)中的每一張圖像先進(jìn)行90°旋轉(zhuǎn)，然后再依次對(duì)原圖和旋轉(zhuǎn)后的圖像進(jìn)行分塊處理。分塊原則為：從左往右，從上往下，塊大小為5×5,塊像素重疊個(gè)數(shù)為3。最后將每一圖像分塊后得到的圖像塊進(jìn)行累加，分別得到中頻圖像樣本訓(xùn)練塊和高頻樣本訓(xùn)練塊對(duì)。

2 文中算法

盡管文中搜索重建過(guò)程使用FLANN庫(kù)來(lái)替代Glasner等的ANN搜索庫(kù)，提升了重建時(shí)間，效率也更高，但使用FLANN庫(kù)進(jìn)行搜索仍然是對(duì)全部的訓(xùn)練塊進(jìn)行全局搜索，缺乏針對(duì)性。為使得重建的塊質(zhì)量更好，更具針對(duì)性，引入塊清晰度作為新的分類準(zhǔn)則。

2.1 塊邊緣清晰度的尺度不變性以及樣本塊分類

Yeganli等[15]對(duì)圖像塊清晰度進(jìn)行了分類測(cè)試，證明了塊清晰度具有近似尺度不變性。SM可由梯度幅值表示。對(duì)于任意給定的圖像塊，SM可定義如下：

(5)

(6)

(7)

其中，I表示圖像像素值。

根據(jù)上述公式，圖像塊的SM值可作為將圖像塊分類為邊緣，角以及紋理塊的標(biāo)準(zhǔn)。分類準(zhǔn)則如下：

(8)

文中先將下采樣得到的中頻訓(xùn)練塊根據(jù)式(8)進(jìn)行預(yù)分類。實(shí)驗(yàn)中對(duì)N1,N2,N3進(jìn)行了大量測(cè)試，發(fā)現(xiàn)分別取值為12,24,40時(shí)效果較好。然后將低分辨率輸入圖像插值到預(yù)放大尺度后分塊，對(duì)于任一待重建的圖像塊，先求出其SM值，然后根據(jù)式(8)判斷其屬于哪一個(gè)區(qū)間段，根據(jù)其所處的類別進(jìn)行相應(yīng)的重建。對(duì)于處于第一類(lable1)的圖像塊，由于其紋理細(xì)節(jié)較少，則可直接使用插值放大進(jìn)行重建。然而對(duì)于處于其他類型的圖像塊，含有的細(xì)節(jié)較豐富，在對(duì)應(yīng)的已分類好的訓(xùn)練樣本塊中進(jìn)行自相似性搜索。這種有針對(duì)性的訓(xùn)練重建，不僅減少了重建可能帶來(lái)的誤匹配現(xiàn)象，同時(shí)縮小了搜索范圍，降低了訓(xùn)練的復(fù)雜度，可使最終重建的圖像視覺(jué)效果更好。

2.2 算法整體流程

在實(shí)驗(yàn)過(guò)程中，為不增加計(jì)算復(fù)雜度，只進(jìn)行兩個(gè)尺度的下采樣，即下采樣因子a=1.41。

具體算法如下:

(1)將低分辨率輸入圖像進(jìn)行多尺度模糊下采樣，然后利用塊旋轉(zhuǎn)策略旋轉(zhuǎn)后，產(chǎn)生對(duì)應(yīng)的中頻和高頻樣本庫(kù)。

(2)將待重建的低分辨率圖像插值到預(yù)放大尺度后進(jìn)行分塊。分塊準(zhǔn)則為：從上到下，從左到右，大小為5×5，像素重疊個(gè)數(shù)為3。

(3)計(jì)算每一圖像低分辨率塊的SM值，根據(jù)SM值選擇相應(yīng)的重建方式。屬于第一類的圖像塊，直接插值放大，保留當(dāng)前塊。剩下的圖像塊，在對(duì)應(yīng)訓(xùn)練好的中頻樣本塊中利用FLANN庫(kù)加速搜索9個(gè)最相似的中頻塊。

(4)利用中頻塊和高頻塊對(duì)應(yīng)的映射關(guān)系，在高頻樣本庫(kù)中找到對(duì)應(yīng)的高頻塊，然后利用高斯加權(quán)分別為不同相似度的圖像塊賦予不同的權(quán)值，最終得到當(dāng)前低分辨率塊需要的高頻細(xì)節(jié)。

(5)將重建的所有高頻細(xì)節(jié)塊按照像素重復(fù)個(gè)數(shù)進(jìn)行加權(quán)平均融合，然后加上低分辨率輸入圖像的插值放大圖像可得到初始高分辨率圖像。

(6)為使重建的圖像更加清晰，避免重建圖像與原低分辨率圖像偏差過(guò)大，使用迭代反投影和局部約束對(duì)初始高分辨率圖像進(jìn)行約束和優(yōu)化。

3 圖像后處理

為進(jìn)一步提高重建圖像的分辨率，利用局部約束[16-17]和迭代反投影算法[18]對(duì)重建結(jié)果進(jìn)行后處理。

3.1 局部約束

事物是普遍聯(lián)系的。自然圖像也一樣，圖像中每一個(gè)點(diǎn)都是與周圍的像素有關(guān)聯(lián)的，共同組成了具有某種結(jié)構(gòu)的圖像。自然圖像一般具有豐富的信息，包含一些相關(guān)聯(lián)的信息，或者說(shuō)是冗余信息。而且，具有相關(guān)性的像素不僅僅是在鄰域內(nèi)才具有，這種相關(guān)性可以擴(kuò)散到整幅圖像。

局部約束的核心是基于圖像塊的方式對(duì)任一圖像塊進(jìn)行相似性搜索，尋找周圍相似的塊，并且利用不同的權(quán)值進(jìn)行加權(quán)，最終得到的圖形塊把圖像的全局相似性聯(lián)系起來(lái)，可使得最后的重建圖像輪廓更加精準(zhǔn)清晰。

對(duì)于每一個(gè)圖像塊取5×5大小，以中心像素點(diǎn)為起始在其周圍進(jìn)行相似塊篩選，通過(guò)事先設(shè)置的閾值，計(jì)算相似塊之間的歐氏距離，如下所示:

(9)

實(shí)驗(yàn)中篩選8塊最相似的圖像塊，通過(guò)線性加權(quán)得到最后的圖像塊，線性表達(dá)如下：

(10)

(11)

(12)

其中，wi為加權(quán)權(quán)值系數(shù)；ck為權(quán)重歸一化因子；h為控制權(quán)值隨歐氏距離增加的下降速度(實(shí)驗(yàn)中取10)。

3.2 全局約束

為確保每次重建的高分辨率圖像與低分辨率輸入圖像保持一致，針對(duì)每一級(jí)重建圖像進(jìn)行迭代反投影(IBP)全局優(yōu)化：

Xt+1=Xt+((Y-DXt)↑)*GuassLowFliter

(13)

其中，Xt+1為第t+1次迭代得到的高分辨率圖像；D為降采樣因子；↑為放大倍數(shù)；GuassLowFliter為高斯低通濾波器。

實(shí)驗(yàn)中通過(guò)設(shè)定一定的迭代次數(shù)(由于收斂較快，一般設(shè)置為20)，不斷更新，以有效防止差錯(cuò)的擴(kuò)散。

4 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證算法的可行性，分別與雙三次插值放大、Chang[7]的基于局部線性嵌入的重建方法和Glasner[10]的自相似性算法進(jìn)行對(duì)比。實(shí)驗(yàn)中設(shè)置放大倍數(shù)為2，塊的大小為5×5，旋轉(zhuǎn)角度為90°，F(xiàn)LANN近鄰搜索的相似塊個(gè)數(shù)為9，圖像下采樣尺度為1.41，金字塔層數(shù)為2,局部約束中threshold閾值為0.5，h為10，迭代反投影算法迭代次數(shù)為20。

對(duì)于彩色圖像的超分辨率重建，由于人的視覺(jué)對(duì)光最為敏感，故實(shí)驗(yàn)中先將RGB彩色圖像轉(zhuǎn)換為YCbCr編碼方式,并且只對(duì)亮度通道進(jìn)行，而剩下的cb、cr通道使用Matlab內(nèi)置的Bicubic插值放大函數(shù)進(jìn)行超分辨率重建。

為進(jìn)一步客觀評(píng)價(jià)重建后圖像的質(zhì)量，采用峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)作為評(píng)價(jià)高分辨率性能的指標(biāo)，分別對(duì)5幅典型的大小為128×128的低分辨率彩色圖像進(jìn)行測(cè)試。圖1(a)～(e)分別列出了實(shí)驗(yàn)中5幅低分辨率圖像。

圖2列舉了其中3幅低分辨率圖像兩倍放大后對(duì)比的效果。表1列出了各算法對(duì)比后的PSNR與SSIM值，以及平均提高的數(shù)值。

從圖2可知，Bicubic插值產(chǎn)生的圖像過(guò)于模糊和平滑，視覺(jué)效果最差。Chang[7]的LLE算法產(chǎn)生的視覺(jué)效果比起B(yǎng)icubic插值有所提高，但也存在過(guò)度平滑現(xiàn)象。Glasner[10]的自相似性算法重建出的效果得到了較大程度的提高，但是仍然略有缺陷，即局部邊緣不夠平滑，存在一定的鋸齒和偽影現(xiàn)象。而文中算法重建的效果都優(yōu)于前三者，由于采用分類訓(xùn)練，針對(duì)不同的圖像塊類進(jìn)行相對(duì)應(yīng)的重建，更好地保持了圖像細(xì)節(jié)信息，不僅提高了圖像重建的效率，也降低了局部塊效應(yīng)和偽影效應(yīng)。

圖1 低分辨率測(cè)試圖

圖2 重建結(jié)果對(duì)比

圖像類型BicubicChangGlasner文中算法leaves25．254/0．92328．067/0．95229．271/0．96630．289/0．984parrots30．132/0．93032．028/0．94032．402/0．94832．657/0．952chest41．521/0．97041．505/0．96543．059/0．97843．268/0．982women31．271/0．87232．335/0．88932．541/0．89232．741/0．911hat30．089/0．88130．040/0．87831．988/0．91432．438/0．942平均31．653/0．91332．795/0．92433．852/0．93934．278/0．954

5 結(jié)束語(yǔ)

文中在Glasner提出算法的基礎(chǔ)上進(jìn)行了改進(jìn)，省略了同尺度間多幀重建的步驟，在圖像多尺度自相似性原理上結(jié)合塊旋轉(zhuǎn)策略和塊清晰度對(duì)低分辨率圖像塊進(jìn)行針對(duì)性重建。為預(yù)測(cè)更多的高頻細(xì)節(jié)，改用中頻塊去預(yù)測(cè)高頻塊，然后使用更快的FLANN搜索庫(kù)替代傳統(tǒng)的ANN搜索，提高了自相似性重建圖像的質(zhì)量和效率。實(shí)驗(yàn)結(jié)果表明，該重建算法能夠減少重構(gòu)圖像在某些輪廓部分產(chǎn)生的一些不規(guī)則邊緣和鋸齒效應(yīng)，重建圖像擁有更豐富的細(xì)節(jié)和更高的峰值信噪比。

[1]TsaiR,HuangT.Multiframeimagerestorationandregistration[J].AdvancesinComputerVisionandImageProcessing,1984,1:317-339.

[2]BakerS,KanadeT.Limitsonsuper-resolutionandhowtobreakthem[C]//ProceedingsofIEEEconferenceoncomputervisionandpatternrecognition.[s.l.]:IEEE,2000:372-379.

[3]LinZ,ShumHY.Fundamentallimitsofreconstruction-basedsuper-resolutionalgorithmsunderlocaltranslation[J].IEEETrans.onPAMI,2004,26(1):83-97.

[4]FreemanWT,PazstorEC,CarmichaelOT.Learninglow-levelvision[J].InternationalJournalofComputerVision,2000,40(1):25-47.

[5]FreemanWT,JonesTR,PasztorEC.Examplebasedsuper-resolution[J].IEEEComputerGraphicsandApplications,2002,22(3):56-65.

[6]BakerS,KanadeT.Hallucinatingfaces[C]//IEEEinternationalconferenceonautomaticfaceandgesturerecognition.[s.l.]:IEEEComputerSociety,2000:83.

[7]ChangH,YeungDY,XiongY.Super-resolutionthroughneighborembedding[C]//ProceedingsofCVPR.[s.l.]:[s.n.],2004:275-282.

[8]FreedmanG,FattalR.Imageandvideoupscalingfromlocalself-examples[J].ACMTransactionsonGraphics,2011,30(2):474-484.

[9]KhatriN,JoshiMV.Efficientself-learningforsingleimageupsampling[C]//22ndinternationalconferenceinCentralEuropeoncomputergraphics,visualizationandcomputervision.[s.l.]:EurographicsAssociation,2014:1-8.

[10]GlasnerD,BagonS,IraniM.Super-resolutionfromasingleimage[C]//Proceedingsofcomputervision.[s.l.]:IEEE,2009:349-356.

[11]SinghA,AhujaN.Super-resolutionusingsub-bandself-similarity[C]//ACCV2014.[s.l.]:SpringerInternationalPublishing,2014:552-568.

[12]XiaJingman,LiWei,TangJie,etal.Imagesuperresolutionbasedonpatchrotationandsparserepresentation[J].OpenJournalofNatureScience,2015,3(2):15266.

[13]GonzalezRC,WoodsRE.Digitalimageprocessing[M].2nded.EnglewoodCliffs,NJ:Prentice-Hall,Inc.,2002.

[14]KumarJ,ChenF,DoermannD.Sharpnessestimationfordocumentandsceneimages[C]//Internationalconferenceonpatternrecognition.[s.l.]:IEEE,2012:3292-3295.

[15]YeganliF,NazzalM,UnalM,etal.Imagesuper-resolutionviasparserepresentationovermultiplelearneddictionariesbasedonedgesharpness[J].SignalImage&VideoProcessing,2016,10(3):535-542.

[16]BuadesA,CollB,MorelJM.Non-localimageandmoviedenoising[J].InternationalJournalofComputerVision,2008,76(2):123-139.

[17]DongW,ZhangL,ShiG,etal.Imagedeblurringandsuper-resolutionbyadaptivesparsedomainselectionandadaptiveregularization[J].IEEETransactionsonImageProcessing,2011,20(7):1838-1857.

[18]IraniM,PelegS.Improvingresolutionbyimageregistration[J].CVGIPGraphicalModels&ImageProcessing,1991,53(3):231-239.

An Image Super Resolution Reconstruction Algorithm Based on Patch Rotation and Sharpness

YAO Lu-yang，XIE Kai，LI Tong

(School of Information Engineering,Beijing Institute of Graphic Communication, Beijing 102600,China)

To address the shortcomings of long-time training and relying on the additional training databases in conventional example-based super-resolution algorithm,a super-resolution image reconstruction algorithm based on patch rotation and sharpness is proposed,which introduces a new classification mechanism.To increase the diversity of training sample patches but not the computational complexity,they are rotated by a certain angle and then introduced the patch Sharpness Measure (SM) to classify the training samples.For patches of high SM,such as textures,corners and edges,the self-similarity reconstruction is carried on by classified samples.For patches of low SM,the interpolation is used directly to enlarge the image for reconstruction.During the searching and matching process,the Fast Library for Approximate Nearest Neighbors (FLANN) to replace the traditional Approximate Nearest Neighbors (ANN) increases the reconstruction efficiency.Finally,iterative back projection and local constraint are used for optimization.Experimental results validate that the algorithm not only can reduce the computational complexity effectively but also achieve better visual effects.

super resolution;multi-scale self-similarity;patch rotation;sharpness measure;iterative back projection;local constraint

2016-03-28

2016-07-05

時(shí)間：2017-01-04

國(guó)家自然科學(xué)基金資助項(xiàng)目(61472036)

堯潞陽(yáng)(1992-)，男，碩士，研究方向?yàn)閳D像處理與模式識(shí)別；解 凱，教授，博士，研究方向?yàn)橛?jì)算機(jī)視覺(jué)、圖像處理與虛擬現(xiàn)實(shí)。

http://www.cnki.net/kcms/detail/61.1450.TP.20170104.1039.078.html

TP301.6

A

1673-629X(2017)01-0070-05

10.3969/j.issn.1673-629X.2017.01.016