申世聞，曹 國(guó)，孫權(quán)森

(南京理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，南京 210014)

1 概述

圖像超分辨率技術(shù)可以分為2個(gè)方向:基于重建的超分辨率技術(shù)［1-2］和基于學(xué)習(xí)的超分辨率技術(shù)［3-4］。基于重建的超分辨率技術(shù)利用多幅具有互補(bǔ)信息的低分辨率圖像來(lái)復(fù)原其對(duì)應(yīng)的高 /低分辨率圖像［5］，這些互補(bǔ)信息可以是亞像素差，也可以是不同的模糊核;此方法存在很多問(wèn)題，如當(dāng)放大倍數(shù)過(guò)大時(shí)(2倍以上)，會(huì)因重建過(guò)程中能夠使用的互補(bǔ)信息太少，導(dǎo)致重建效果不太理想［6］。基于學(xué)習(xí)的超分辨率技術(shù)基本思想為通過(guò)對(duì)高/低分辨率圖像庫(kù)的學(xué)習(xí)，在某種最優(yōu)化方法下求出給定低分辨率圖像對(duì)應(yīng)高分辨率圖像。如Freeman的方法［3］:運(yùn)用馬爾科夫網(wǎng)絡(luò)找出對(duì)應(yīng)的高分辨率塊的最大后驗(yàn)概率值，在此基礎(chǔ)上也有一系列改進(jìn)方法［1，7］。以上這些方法都需要大量的訓(xùn)練集圖像，且重建出的圖像有明顯的偽邊緣，看起來(lái)十分不自然。重建速度過(guò)慢也是這類方法一個(gè)共同的缺陷。針對(duì)上述問(wèn)題，如何在無(wú)任何先驗(yàn)信息的前提下，能夠快速地對(duì)一張圖像進(jìn)行超分辨率重建，且重建效果良好，成了本文研究的問(wèn)題。

本文在文獻(xiàn)［8］的研究基礎(chǔ)上做了3點(diǎn)改進(jìn):(1)把查找到的2個(gè)相似低分辨率塊之間的差值進(jìn)行插值放大，并加到對(duì)應(yīng)的高分辨率塊上。避免了低分辨率相似塊之間差異較小，但是兩者對(duì)應(yīng)的高分辨率塊卻差異較大的情況。(2)不僅考慮到要重建的低分辨率和學(xué)習(xí)到的相似低分辨率之間的差異，而且考慮到重建出的高分辨率塊是否和其周?chē)母叻直媛蕢K兼容。由于文獻(xiàn)［8］并沒(méi)有考慮這幾點(diǎn)，使得其重建后的高分辨率圖像有一定的鋸齒現(xiàn)象，并且圖像看起來(lái)極其不自然。(3)引入最新的隨機(jī)塊搜索［9］算法，使得算法用于KNN查找的速度大幅提高，降低了重建時(shí)間。

2 基于學(xué)習(xí)的超分辨率技術(shù)

在自然圖像中，一副圖像中像素塊相似甚至相同的現(xiàn)象也較為普遍。文獻(xiàn)［8］在伯克利分割數(shù)據(jù)庫(kù)上做了大量的實(shí)驗(yàn)，并對(duì)結(jié)果進(jìn)行了統(tǒng)計(jì)。實(shí)驗(yàn)證明源圖像上多于90%的5×5小塊，在此圖像的其他位置都可以找到9個(gè)或者更多的相似塊，大約80%的圖像塊在源圖像的0.41=1.25–4下采樣級(jí)別上有9或者更多的相似塊，大約70%的圖像塊在源圖像的0.26=1.25–6下采樣級(jí)別上有9或者更多的相似塊。這一結(jié)論奠定了利用一幅圖像及其下采樣圖像的塊冗余信息進(jìn)行高分辨率重建的基礎(chǔ)。文獻(xiàn)［8］把基于重建和基于學(xué)習(xí)的超分辨率方法結(jié)合起來(lái)，利用不同級(jí)的相似塊，構(gòu)成對(duì)應(yīng)的高/低分辨率塊集，通過(guò)學(xué)習(xí)找出低分辨率塊對(duì)應(yīng)的多個(gè)中間級(jí)的高分辨率塊。把這多個(gè)中間級(jí)高分辨率看成具有互補(bǔ)信息的冗余塊，最終用這些互補(bǔ)信息來(lái)復(fù)原目標(biāo)級(jí)高分辨率塊。

2.1 高低分辨率圖像間的線性約束

現(xiàn)給定一幅低分辨率圖像L，假定它是由原高分辨率圖像H經(jīng)過(guò)模糊和下采樣過(guò)程得到:L=(H*B)↓s。這里，↓代表下采樣操作;s是H和L之間下采樣的縮小比例因子;B是相應(yīng)的模糊核(點(diǎn)擴(kuò)散方程);*為卷積。因此，L中的每個(gè)像素p的值可由高分辨率圖像相應(yīng)位置上像素q∈H及其周?chē)南袼剡M(jìn)行線性變換求得，有:

這里用高斯核對(duì)B進(jìn)行估計(jì)，i的大小由模糊核B來(lái)決定。如果有足夠多的低分辨率圖像，就形成了上述方程的方程組，并且如果獨(dú)立方程的個(gè)數(shù)大于未知數(shù)的個(gè)數(shù)，則方程(1)有解。正如文獻(xiàn)［8］所述，一幅圖像本身及其下采樣圖像中有大量的冗余塊。設(shè)P為低分辨率圖像L中以p為中心的一個(gè)5×5圖像塊，L中存在多個(gè)相似圖像塊 P1，P2，…，Pk(在L下采樣中也可找到多個(gè)相似塊)。假設(shè)這k個(gè)低分辨率塊來(lái)自于k個(gè)不同低分辨率圖像，且這些低分辨率圖像描述的是同一個(gè)高分辨率場(chǎng)景?？衫脗鹘y(tǒng)的多幀超分辨率重建方法進(jìn)行亞像素配準(zhǔn)［2］，并根據(jù)P和Pi之間的相似度對(duì)相應(yīng)方程的可信度進(jìn)行衡量，最終解出目標(biāo)高分辨率H。

2.2 不同分辨率圖像級(jí)聯(lián)中的塊冗余

現(xiàn)在令I(lǐng)0，I1，…，In為從低分辨率L到目標(biāo)高分辨率H的級(jí)聯(lián)，且分辨率依次遞增(即I0=I，In=H)。相應(yīng)的模糊核為 B0，B1，…，Bn(點(diǎn)擴(kuò)散函數(shù))，這樣每一個(gè)Il滿足L=(Il*Bl)↓sl(sl表示相應(yīng)的放縮因子)。仍然用高斯核來(lái)代替，方差由 sl決定。放縮因子sl用sl=αl表示，這里α為相鄰級(jí)之間的放大倍數(shù)。

為了得到各級(jí)中間圖像Il，可以分下面3個(gè)步驟。

(1)建庫(kù):為每級(jí)圖像建立低/高分辨率庫(kù)［P，Q］l。設(shè) L=I0，I－1，…，I－m為從 L 開(kāi)始分辨率逐漸降低的一組級(jí)聯(lián)，這些低分辨率圖像可以由L進(jìn)行模糊下采樣得到 I－l=(L*B－l)↓sl，B－l=Bl。為 I－l中每個(gè)點(diǎn)取以其為中心的塊，并在 I0中取相應(yīng)位置 sl·∈I0上的塊 Q0(sl·)，這樣就構(gòu)成了低高圖像塊庫(kù)在后面的實(shí)驗(yàn)中，取低分辨率塊大小為5×5，若放大2倍sl=2，則高分辨率塊大小為9×9。有些文獻(xiàn)中用其他形式特征來(lái)建庫(kù)，如拉普拉斯金字塔［7］、梯度特征［4］。

(2)相似塊查找:在庫(kù)中搜索和P0(p)相似的低分辨率塊，文獻(xiàn)［8］里面用到了近似最近鄰查找算法(k=9)［10］。

圖1 高分辨率塊學(xué)習(xí)過(guò)程

2.3 隨機(jī)最近鄰查找算法的引入

由前文可知，求相似塊是一個(gè)極其重要的步驟。但由于源圖像塊與各級(jí)下采樣塊數(shù)目過(guò)多，想要準(zhǔn)確地查找到k個(gè)近鄰需要花費(fèi)大量的時(shí)間。例如用最普通的查找算法需耗時(shí)O(r2M)，其中，r為塊大小;M為圖像中的像素?cái)?shù)。故基于學(xué)習(xí)的超分辨率方法一般選用近似最近臨查找法。這些方法基本上是基于樹(shù)結(jié)構(gòu)的，如 TSVQ［11］，kd-trees［12］和 VP-trees［13］，這些方法都是利用塊的維數(shù)進(jìn)行查找。并且經(jīng)常和降維技術(shù)結(jié)合起來(lái)使用，如PCA［12］。能夠達(dá)到耗時(shí)O(mMlogM)，但是建樹(shù)時(shí)需多增加O(M)的內(nèi)存空間，這里m為樹(shù)的維數(shù)。

但是基于樹(shù)的查找方法在建樹(shù)和查找上面仍然花費(fèi)大量時(shí)間，它并沒(méi)有考慮到圖像具有局部相似性。為此，本文引入了Connelly的隨機(jī)塊匹配算法［10］，此算法在時(shí)間和空間消耗上面都要優(yōu)于帶降維的kd-trees。它幾乎不需要額外的空間消耗，仍需耗時(shí)O(mMlogM)。雖然在數(shù)量級(jí)上和最右的基于樹(shù)結(jié)構(gòu)的查找算法相同，但是實(shí)際上的常數(shù)要遠(yuǎn)小于基于樹(shù)結(jié)果的查找算法。由于本文的著重點(diǎn)并不在求隨機(jī)最近鄰這一步驟，因此該方法的詳細(xì)步驟在此不予列出。此方法也有一定的局限性，只能用于如圖像這類具有局部相似性的搜索，并且實(shí)驗(yàn)結(jié)果也受到實(shí)驗(yàn)環(huán)境的影響(并行計(jì)算)。

3 目標(biāo)圖像的重建

本文對(duì)上KNN查找到了中間級(jí)高分辨率塊做了改進(jìn)，并且在用這些中間級(jí)高分辨率塊復(fù)原目標(biāo)級(jí)高分辨圖像時(shí)考慮到多方面因素。本文通過(guò)自適應(yīng)加權(quán)使得重建結(jié)果模糊度和鋸齒現(xiàn)象都有所降低，看起來(lái)更自然。

3.1 高分辨率塊的改進(jìn)

雖然P1，P2，…，P9和P之間較為近似，但是不同Pi對(duì)應(yīng)的高分辨率塊Qi之間卻差別很大［3］，這也是由文獻(xiàn)［8］重建出的圖像看起來(lái)不自然的一個(gè)原因。并不直接使用學(xué)習(xí)出的Qi作為P對(duì)應(yīng)的高分辨率估計(jì)值。本文把P與Pi之間的差值進(jìn)行放大(可采用雙立方法)，再加到對(duì)應(yīng)的高分辨率Qi上面，使得到的高分辨率估計(jì)值更加準(zhǔn)確，如圖2所示。

圖2 修正學(xué)習(xí)到的高分辨率Qi

其中，σ1為高斯核的標(biāo)準(zhǔn)差;λ1，λ2為系數(shù);w1不僅考慮到了由于相似度不同導(dǎo)致的9個(gè)相似塊的可信度不同，而且考慮到了相鄰塊重疊部分的相似度對(duì)重建結(jié)果的影響，這樣不僅使得重建出的目標(biāo)分辨率H和真實(shí)的高分辨率圖像更吻合，而且大大消除了鋸齒現(xiàn)象，使得重建效果看起來(lái)更真實(shí)。σ1的取值也對(duì)最終的放大效果有著重要影響，關(guān)系到最終圖像的清晰度。

3.2 不同權(quán)值下數(shù)值的求解

并不是由式(1)直接求出 H，而是依次把 I1，I2，…，Il當(dāng)成目標(biāo)高分辨率，每級(jí)都要求出直到H。當(dāng)把 Il+1當(dāng)作目標(biāo)分辨率進(jìn)行重建時(shí)(此時(shí)I1，I2，…，Il已求出)，同時(shí)利用2.1節(jié)在L上找到了多個(gè)低分辨率塊P1，P2，…，Pk和2.2節(jié)中以 L為中間級(jí)學(xué)習(xí)到的多級(jí)(1，2，…，l+1)高分辨率塊(也可以Ii，i≤l為中間級(jí)，學(xué)習(xí)出 i+1，i+2，…，l級(jí)的高分辨率塊)。通過(guò)塊加權(quán)分別把每級(jí)高分辨塊拼接融合成一幅高分辨率圖像。

當(dāng)求出圖像Il+1時(shí)，再通過(guò)相同的模糊和下采樣求出和L一樣大小的低分辨率圖像，并和L比較。差距的大小預(yù)示著求出的高分辨率圖像Il+1和真實(shí)圖像之間的差距?？梢杂谩胺赐队啊狈ǎ?］來(lái)修正求出的高分辨率圖像，此過(guò)程和圖2類似。這一步驟確保每個(gè)新得到的高分辨率圖像Il+1和輸入的低分辨率圖像L一致。

4 實(shí)驗(yàn)結(jié)果及分析

本文從有參圖像質(zhì)量評(píng)價(jià)和無(wú)參圖像質(zhì)量評(píng)價(jià)2個(gè)方面進(jìn)行比較。有參質(zhì)量評(píng)價(jià)所用的20張灰度圖片來(lái)自Granada大學(xué)計(jì)算機(jī)視覺(jué)組數(shù)據(jù)庫(kù)。包括自然圖像，如人像、風(fēng)景、建筑、靜物、顯微鏡圖像、合成圖像以及遙感圖像。每張圖像的大小都是512×512像素。實(shí)驗(yàn)操作平臺(tái)硬件為Intel Core i5-2450 MB、2.5 GHz、4 核心、3 GB 內(nèi)存，軟件配置為Windows 7 旗艦版32位操作系統(tǒng)，Matlab R2009a。

4.1 隨機(jī)查找算法效率比較

本文采用的隨機(jī)查找算法［9］，在相同的配置下和文獻(xiàn)［8］中所用到的 kd-tree［10］和 priority-kdtree［10］算法進(jìn)行比較。以2個(gè)相似塊差值的加權(quán)平方和作為塊與塊之間的距離，權(quán)值大小和式(3)相同。查找時(shí)間以秒為單位，比較結(jié)果如表1所示。表中第1行為在源圖像中查找相似塊。

表1 各種搜索方法的對(duì)比

本文通過(guò)調(diào)節(jié)參數(shù)使塊與塊的平均距離盡可能相同，可以看出隨機(jī)查找算法在塊與塊的平均距離略小的情況下，速度提高了近2倍。表1中第2行為在源圖像的下采樣圖像中查找的實(shí)驗(yàn)結(jié)果，實(shí)驗(yàn)時(shí)先對(duì)源圖像進(jìn)行模糊加高斯白噪聲，下采樣率為0.5。而且還發(fā)現(xiàn)當(dāng)近鄰k的數(shù)量增加時(shí)，此算法要更優(yōu)于樹(shù)結(jié)構(gòu)的算法。

4.2 重建圖像質(zhì)量比較

將本文改進(jìn)的塊查找算法運(yùn)用在圖像超分辨率放大上面，對(duì)高分辨率圖像進(jìn)行模糊、加高斯白噪聲，并進(jìn)行下采樣得到128×128像素的低分辨率圖像，圖像的質(zhì)量相對(duì)較差。用本文方法放大4倍并和最近鄰插值、雙線性插值、雙立方法比較，實(shí)驗(yàn)結(jié)果如表2所示。

表2 各方法放大結(jié)果比較

大量實(shí)驗(yàn)結(jié)果表明，隨著σ1的增大圖像會(huì)更加模糊。若源圖像質(zhì)量較差時(shí)σ1應(yīng)取值較大值(如180)，但是和雙立方法的實(shí)驗(yàn)結(jié)果比較時(shí)還是要明顯清晰很多;當(dāng)源圖像較好時(shí)，σ1應(yīng)取值較小值(如20)。實(shí)驗(yàn)中取 λ1=0.5，λ2=0.05。由于低分辨率圖像質(zhì)量較差且放大倍數(shù)較高，其他方法都顯示出了其本身固有的缺點(diǎn)，而本文方法要明顯好于其他方法。前文的3個(gè)方法都是利用Matlab的imresize函數(shù)來(lái)完成的。本文選擇2個(gè)指標(biāo):峰值信噪比(Peak Signal to Noise Ratio，PSNR)和結(jié)構(gòu)相似性(Structural Similarity，SSIM)來(lái)衡量算法的好壞。

表2的結(jié)果是有參的質(zhì)量評(píng)價(jià)，可以看出無(wú)論文獻(xiàn)［8］方法還是本文方法，和傳統(tǒng)的插值方法比較都有著很明顯的優(yōu)勢(shì)。另外本文方法從多幅圖像重建結(jié)果看，都要好于文獻(xiàn)［8］方法的結(jié)果。

為了進(jìn)一步進(jìn)行對(duì)比，本文和文獻(xiàn)［8］中一樣也采用Berkeley大學(xué)視覺(jué)組的彩色圖像進(jìn)行實(shí)驗(yàn)。這些圖片相對(duì)于前文選擇的20張灰度圖像，圖像質(zhì)量好且清晰度高。下面將從無(wú)參的客觀評(píng)價(jià)和主觀評(píng)價(jià)2個(gè)方面對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比。

選用文獻(xiàn)［15］的方法作為無(wú)參的客觀評(píng)價(jià)標(biāo)準(zhǔn)，此方法從模糊度以及鋸齒性等多個(gè)方面來(lái)衡量圖像的好壞。分值越低，圖像的質(zhì)量越優(yōu)。結(jié)果和人視覺(jué)系統(tǒng)判斷效果較為吻合。先把RGB圖像轉(zhuǎn)換為 YCbCr值，再用本文方法放大4倍并和文獻(xiàn)［8］的放大結(jié)果進(jìn)行比較，實(shí)驗(yàn)結(jié)果如表3所示。圖3、圖4為重建效果，從視覺(jué)上可以看出本文方法明顯優(yōu)于其他方法，比雙立方法更加清晰，減少了邊緣模糊。通過(guò)對(duì)細(xì)節(jié)的放大可以看出，相比于文獻(xiàn)［8］方法鋸齒現(xiàn)象有所減少，圖像看起來(lái)更自然。特別是圖3中帽子和孩子臉部分、圖4中花瓣邊緣和蝴蝶翅膀邊緣，要明顯好于文獻(xiàn)［8］方法。圖像放大4倍后仍有很好的效果。

表3 無(wú)參圖像質(zhì)量評(píng)價(jià)結(jié)果

圖3 重建效果1

圖4 重建效果2

5 結(jié)束語(yǔ)

本文利用多尺度圖像之間的塊冗余現(xiàn)象，提出了一種快速超分辨率重建的方法。已有的超分辨率方法多側(cè)重利用不同的信息(如高頻、低頻)來(lái)建立高低分辨率庫(kù)，而鮮有對(duì)查找到的相似塊進(jìn)行修正以及對(duì)圖像塊進(jìn)行更準(zhǔn)確的加權(quán)的，并且速度較慢。本文依據(jù)這一思路對(duì)算法做了改進(jìn)。實(shí)驗(yàn)證明本文算法無(wú)論是重建速度還是重建圖像質(zhì)量都有所提高。下一步工作是結(jié)合基于學(xué)習(xí)的超分辨率重建算法與傳統(tǒng)的基于重建的超分辨率算法作進(jìn)一步研究。

［1］Tsai R Y，Huang T S.Multipleframe Image Restoration and Registration［C］//Proc.of Conference on Advances in Computer Vision and Image Processing.Greenwich，USA:JAI Press Inc.，1984:317-339.

［2］Stark H，Oskoui P.High-resolution Image Recovery from Image-plane Arrays，Using Convex Projections［J］.Journal of the Optical Society of America A，1989，6(11):1715-1726.

［3］Freeman W T，Jones T R，Pasztor E C.Example-based Super-resolution［J］.IEEE Computer Graphics and Applications，2002，22(2):56-65.

［4］Chang Hong，Yeung D Y，Xiong Yimin.Super-resolution Through Neighbor Embedding［C］//Proc.of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington D.C.，USA:［s.n.］，2004:275-282.

［5］Irani M，Peleg S.Improving Resolution by Image Registration［J］.CVGIP:Graphical Models and Image Processing，1991，53(3):231-239.

［6］Baker S，Kanade T.Limits on Super-resolution and How to Break Them［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24(9):1167-1183.

［7］薛翠紅，于 明，于 洋，等.基于MAP框架的金字塔人臉超分辨率算法［J］.計(jì)算機(jī)工程，2012，38(10):206-208.

［8］Glasner D，Bagon S，Irani M.Super-resolution from a Single Image［C］//Proc.of the 12th International Conference on Computer Vision.Kyoto，Japan:［s.n.］，2009:349-356.

［9］Barnes C，ShechtmanE，GoldmanD B，etal.The Generalized Patch Match Correspondence Algorithm［C］//Proc.of the 11th European Conference on Computer Vision.Heraklion，Greece:［s.n.］，2010:29-43.

［10］Arya S，Mount D M.Approximate Nearest Neighbor Queries in Fixed Dimensions［C］//Proc.of the 4th Annual ACMSIAM Symposium on Discrete Algorithms.Philadelphia，USA:［s.n.］，1993:271-280.

［11］Wei Liyi，Levoy M.Fast Texture Synthesis Using Tree Structured Vector Quantization［C］//Proc.of the 27th Annual Conference on Computer Graphics and Interactive Techniques.New Orleans，USA:ACM Press，2000:479-488.

［12］Hertzmann A，Jacobs C E，Oliver N，et al.Image Analogies［C］//Proc.of the 28th Annual Conference on Computer Graphics and Interactive Techniques.Los Angeles，California，USA:［s.n.］，2001:327-340.

［13］Kumar N，Zhang Li，Nayar S.What is a Good Nearest Neighbors Algorithm for Finding Similar Patches in Images?［C］//Proc.of the 10th European Conference on Computer Vision.Berlin，Germany:［s.n.］，2008:364-378.

［14］姚 琦，沈 松，朱 飛.基于加權(quán) POCS的圖像超分辨率重建［J］.計(jì)算機(jī)工程，2013，39(3):264-266，271.

［15］Mittal A，Soundararajan R，Bovik A.Making a“Completely Blind” Image Quality Analyzer［J］.IEEE Transactions on Signal Processing Letters，2013，20(3):209-212.