史云靜，虞 濤，朱秀昌

(南京郵電大學(xué)江蘇省圖像處理與圖像通信重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210003)

責(zé)任編輯:魏雨博

圖像超分辨率(Super Resolution，SR)［1-3］重建是指利用一幅或幾幅低分辨率(Low Resolution，LR)的圖像，采用圖像處理的方法重構(gòu)出具有高像素密度且包含更多細(xì)節(jié)的高分辨率(High Resolution，HR)圖像。這種利用計(jì)算機(jī)軟件來(lái)提高圖像分辨率的方法，可以突破更新硬件提高圖像分辨率的物理瓶頸，降低高昂的器件成本，因而近年來(lái)得到研究和開(kāi)發(fā)人員的廣泛重視。

Chang［4］等把流形(manifold)學(xué)習(xí)中鄰域嵌入(NE，Neighbor Embedding)的思想運(yùn)用到超分辨率圖像中，用這種方法較好地解決超分辨率圖像重建中的高分辨率信息獲取的問(wèn)題，實(shí)驗(yàn)也顯示出重建圖像較好的主觀(guān)質(zhì)量。這種方法假設(shè)LR圖像塊和HR圖像塊的局部流形是相似的，通過(guò)求解待重建圖像塊在低分辨率訓(xùn)練圖像集中k個(gè)鄰域的重建系數(shù)，然后再使用這些重建系數(shù)對(duì)k個(gè)鄰近HR圖像塊進(jìn)行線(xiàn)性組合得到對(duì)應(yīng)的HR圖像塊。這種方法雖然可以大大的降低訓(xùn)練集的個(gè)數(shù)，但是因?yàn)槊恳粋€(gè)待重建的低分辨率圖像塊都要在訓(xùn)練集中搜索最相似的LR圖像塊。當(dāng)訓(xùn)練集較大時(shí)，重建一幅圖像需要花費(fèi)很長(zhǎng)時(shí)間，在實(shí)際應(yīng)用中受到一定的限制。要解決這一問(wèn)題可以從三個(gè)方面加以改進(jìn):一是減小鄰近圖像塊的重疊像素個(gè)數(shù)，二是減少訓(xùn)練集的大小，三是擴(kuò)大圖像塊的尺寸。實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，方案一中當(dāng)LR像塊(3×3)的重疊像素個(gè)數(shù)為1(HR塊的重疊像素個(gè)數(shù)2)時(shí)，圖像塊之間的兼容性與平滑性不是很好，重建圖像的主觀(guān)質(zhì)量較差。

為提高圖像的兼容性與平滑性，重疊像素個(gè)數(shù)一般選擇2。而方案二中單純降低訓(xùn)練集的大小雖然重建時(shí)間可以降低，但難以保證每個(gè)LR塊都能夠找到適當(dāng)?shù)闹亟▔K，恢復(fù)出的圖像質(zhì)量也隨之降低。方案三也存在隨著搜索圖像塊變大，如由原來(lái)3×3待搜索塊擴(kuò)大為5×5或7×7，在訓(xùn)練集中搜索不精準(zhǔn)問(wèn)題。

針對(duì)上述問(wèn)題，本文提出了一種對(duì)于訓(xùn)練集進(jìn)行分層的方法，可以既不降低訓(xùn)練集的大小，甚至可以增加訓(xùn)練集的大小，又能很好地解決一般方法重建時(shí)間過(guò)長(zhǎng)的問(wèn)題。同時(shí)對(duì)待重建的圖像塊按內(nèi)容進(jìn)行分類(lèi)，對(duì)于平坦區(qū)域使用插值重建方法(如雙立方法);對(duì)于包含細(xì)節(jié)的區(qū)域使用鄰域線(xiàn)性嵌入的方法重建。最后再對(duì)重建圖像再進(jìn)行IBP［5］(Iterative Back-Projection)全局后處理，進(jìn)一步提高圖像質(zhì)量。實(shí)驗(yàn)結(jié)果表明，利用本文方法超分辨率重建的圖像主觀(guān)和客觀(guān)質(zhì)量都很好，且重建時(shí)間可以大大縮短。

1 鄰域嵌入的超分辨率圖像重建

鄰域嵌入超分辨率圖像重建(Super-Resolution Through Neighbor Embedding，SRNE)一般包含兩步工作，第一步是建立訓(xùn)練集(或稱(chēng)字典)，第二步是利用訓(xùn)練集進(jìn)行超分辨率重建。

在建立訓(xùn)練集時(shí)，首先選取一些具有代表性的HR圖像，按照降質(zhì)模型，將它們降質(zhì)為對(duì)應(yīng)的LR圖像;然后對(duì)LR圖像進(jìn)行特征提取形成LR特征圖像，對(duì)HR圖像進(jìn)行高頻成分提取，形成HR細(xì)節(jié)圖像;最后分別對(duì)LR特征和HR細(xì)節(jié)分塊處理，當(dāng)然HR塊要比LR塊要大，大的倍數(shù)自然就等于超分辨率重建的放大倍數(shù)，要注意的是為了保持圖像的連續(xù)性，分成的小塊之間是有重疊部分的。所有的圖像塊就組成了LR圖像訓(xùn)練集DL和HR圖像訓(xùn)練集DH，DL中的每個(gè)LR塊都和DH中的某個(gè)HR塊存在對(duì)應(yīng)關(guān)系。此后，任意一LR圖像需要超分辨率重建的話(huà)，就可以利用這兩個(gè)訓(xùn)練集了。

在進(jìn)行超分辨率重建時(shí)，首先為待重建的某一小塊xi在LR訓(xùn)練集中尋找k個(gè)特征相似的小塊，由它們的線(xiàn)性加權(quán)構(gòu)成最接近的待重建LR小塊;然后，在HR訓(xùn)練集中取出對(duì)應(yīng)的k個(gè)高分辨率圖像特征進(jìn)行加權(quán)求和，獲得重建HR圖像塊。其算法的過(guò)程如圖1所示。

圖1 鄰域嵌入SR重建過(guò)程

使用歐氏距離定義鄰域完成搜索k個(gè)最相似圖像塊。在確定k個(gè)相似塊的基礎(chǔ)上，找到LR圖像X中的每個(gè)圖像塊xi最優(yōu)的重建權(quán)重。最優(yōu)重建權(quán)重的實(shí)現(xiàn)是通過(guò)最大限度地減少xi的局部重建誤差。

最后，通過(guò)平均相鄰的圖像塊重疊區(qū)域的像素值來(lái)保證圖像塊間的兼容性與平滑性。

2 訓(xùn)練集的分層

2.1 特征選取與訓(xùn)練集的建立

特征的選取在高分辨率圖像重建過(guò)程中起著至關(guān)重要作用，chang等人選用低分辨率圖像塊的像素值一階和二階梯度為特征，然而二階梯度對(duì)噪聲非常靈敏，Su K［6-7］等人的實(shí)驗(yàn)發(fā)現(xiàn)像素值特征優(yōu)于一階二階梯度特征。在筆者的方案中，選用去均值的像素值和一階梯度作為特征向量。以像素點(diǎn)f(i，j)為例，其位置如圖2所示，該點(diǎn)處的一階梯度為

圖2 求一階梯度的坐標(biāo)示意圖

對(duì)于高分辨率圖像塊訓(xùn)練集，思路是存儲(chǔ)高分辨率圖像因降質(zhì)而丟失的高頻圖像信息。具體做法是將高分辨率圖像與其對(duì)應(yīng)的低分辨率圖像的雙立方放大圖像之間的差值進(jìn)行分塊存儲(chǔ)。對(duì)于低分辨圖像塊訓(xùn)練集，筆者的做法是將降質(zhì)、下采樣后的低分辨率圖像先進(jìn)行去均值濾波，將低分辨率圖像的直流信息濾除后計(jì)算其一階梯度，再對(duì)圖像進(jìn)行分塊。低分辨率圖像塊訓(xùn)練集中存儲(chǔ)的是圖像塊的特征，即去均值的像素值與一階梯度值。

2.2 訓(xùn)練圖像集的分層

在訓(xùn)練圖像集建立以后，就可以應(yīng)用于未知高分辨率圖像的低分辨率圖像的重建。對(duì)于欲重建的任意一個(gè)LR塊，為確定它的最相似圖像塊，必須在已經(jīng)建立的低分辨率訓(xùn)練集中窮盡搜索，這個(gè)過(guò)程時(shí)間耗費(fèi)較多。為此，我們提出了對(duì)訓(xùn)練集進(jìn)行分層的方法。

對(duì)高低分辨率圖像塊訓(xùn)練集分層的思路:假設(shè)有一參照訓(xùn)練圖像塊其特征值為零，在LR圖像塊訓(xùn)練集中匹配最相似圖像塊時(shí)，最相似的圖像塊在空間上它們的位置最靠近，即待匹配圖像塊與參照訓(xùn)練圖像塊之間的歐氏距離和訓(xùn)練圖像集中的匹配圖像塊與參照訓(xùn)練圖像塊之間的歐氏距離最接近。按照與訓(xùn)練圖像塊與參照訓(xùn)練圖像塊之間的歐氏距離將訓(xùn)練圖像塊集進(jìn)行分層。將與參照訓(xùn)練圖像塊之間的歐氏距離接近的訓(xùn)練塊存儲(chǔ)于同一層，本文我們采用統(tǒng)計(jì)方法進(jìn)行分層，分層的原則是盡量使每層中訓(xùn)練塊的個(gè)數(shù)相等，同時(shí)對(duì)于層間邊界進(jìn)行特殊處理?？紤]到當(dāng)待處理圖像塊正好處于層邊界時(shí)，避免最相似的塊空間位置在另一層而搜索卻在本層執(zhí)行情況發(fā)生，筆者使用了重疊邊界。該分層方法抽象示意圖如圖3所示，在定義每層的邊界時(shí)是不包含重疊部分的，但實(shí)際的每層訓(xùn)練集內(nèi)容是包括鄰近層重疊部分的訓(xùn)練塊，與每層接壤的重疊部分能參與到匹配搜索中。

訓(xùn)練集建立的過(guò)程如上圖4所示，對(duì)高分辨率圖像進(jìn)行降質(zhì)、下采樣獲得其對(duì)應(yīng)的低分辨率圖像。同時(shí)對(duì)高低分辨率圖像特征進(jìn)行分塊生成高低分辨率訓(xùn)練集，最后對(duì)訓(xùn)練集進(jìn)行分層。

圖3 訓(xùn)練集分層示意圖

圖4 訓(xùn)練圖像集生成

3 超分辨率圖像的區(qū)域分類(lèi)重建

首先將低分辨率彩色圖像轉(zhuǎn)換到Y(jié)UV顏色空間，由于人眼對(duì)于圖像亮度分量比彩色分量(U、V分量)更為敏感，因此只對(duì)圖像的亮度分量利用本文的方法進(jìn)行超分辨率重建，對(duì)于彩色分量采用雙立方插值進(jìn)行重建。對(duì)LR圖像的亮度分量進(jìn)行去均值濾波，濾除圖像的直流信息，只保留圖像的變化部分。

接著對(duì)去均值后的圖像提取其特征，然后對(duì)形成的“特征圖像”進(jìn)行分塊，分為若干3×3的小塊，為了保證圖像塊間的兼容性與平滑性，塊間重疊2像素。在重建時(shí)，對(duì)每一個(gè)待重建的LR圖像塊，判斷其是否為平坦區(qū)域。若是，則對(duì)此圖像塊進(jìn)行雙立方插值重建，不用再到HR訓(xùn)練集中去搜尋;若不是，則到HR訓(xùn)練集中采用分層搜索方法找到對(duì)應(yīng)的HR圖像塊進(jìn)行重建。對(duì)于利用分層搜索方法重建的圖像塊，需計(jì)算其與參考圖像塊之間的歐氏距離，再根據(jù)此歐式距離判斷其屬于哪一層，接著在該層中匹配最相似的訓(xùn)練圖像塊。

利用搜索到得最近的K個(gè)鄰近的低分辨率塊對(duì)應(yīng)的高分辨率圖像塊和重建權(quán)重重建高分辨率圖像塊的高頻圖像信息，同時(shí)利用雙立方放大低分辨率圖像塊并將二者疊加，再將重建的圖像塊拼接成目標(biāo)高分辨率圖像。

最后利用IBP進(jìn)行全局后處理，將其上恢復(fù)出的高分辨率圖像作為初始迭代圖像進(jìn)行兩次迭代。

圖5是超分辨率圖像非平坦區(qū)域重建流程圖。

圖5 非平坦區(qū)域超分辨率圖像重建流程圖

4 實(shí)驗(yàn)結(jié)果與分析

對(duì)上述算法在計(jì)算機(jī)上進(jìn)行了仿真實(shí)驗(yàn)，這里給出了實(shí)驗(yàn)相關(guān)的測(cè)試環(huán)境說(shuō)明，以及主要的測(cè)試圖片、實(shí)驗(yàn)參數(shù)。然后結(jié)合重建HR圖像的主客觀(guān)效果，對(duì)實(shí)驗(yàn)結(jié)果加以比較和分析。

4.1 實(shí)驗(yàn)參數(shù)

本次實(shí)驗(yàn)的計(jì)算機(jī)配置為:Inter(R)Core(TM)2 Duo CPU T5670@1.8 GHz，主頻 1.79 GHz，2.0 GB 內(nèi)存，Windows XP操作系統(tǒng)。

編程環(huán)境和運(yùn)行平臺(tái)為MATLAB7。

用于建立訓(xùn)練集的測(cè)試彩色圖像共35幅，訓(xùn)練圖像的選擇原則應(yīng)使所選圖像盡量在內(nèi)容、分辨率等方面具有代表性，其中5幅的規(guī)格和內(nèi)容如圖6所示。

圖6 5幅訓(xùn)練圖像

主要采用實(shí)驗(yàn)參數(shù)為:

1)LR圖像塊選取3×3大小，重疊像素個(gè)數(shù)為2;

2)鄰域圖像塊個(gè)數(shù)選取5，搜索距離D=Dnormal+Dgrad，Dnormal為像素距離，Dgrad為一階梯度距離;

3)訓(xùn)練集總大小:LR和HR訓(xùn)練集各包含172887塊，每個(gè)訓(xùn)練集的分層數(shù):100，200。

4.2 結(jié)果與分析

以下我們分別從重建圖像的主觀(guān)質(zhì)量、客觀(guān)PSNR及重建時(shí)間這幾方面對(duì)本文的方法加以分析。

1)重建圖像的主觀(guān)效果比較

下面給出了三幅測(cè)試圖片的SR重建圖像的主觀(guān)結(jié)果，依次是人臉圖(圖7)、建筑圖(圖8)、動(dòng)物圖(圖9)。相應(yīng)的從左往右依次為輸入的低分辨率圖像、原始高分辨率圖像、雙立方放大圖像、未加入全局處理的分層方法、加入IBP后處理的本文方法重建的高分辨率圖像。

圖7～圖9中a是輸入的低分辨率圖像;b是原始高分辨率圖像;c是雙立方放大結(jié)果;d是未加全局處理的分層結(jié)果;e是加全局處理的分層結(jié)果。圖7中f是SRNE方法重建的結(jié)果，此外還包括各種重建圖像的部分細(xì)節(jié)，可提供更加清楚的比較。

2)分層方法對(duì)重建質(zhì)量和速度的影響

表1和表2中，cubic表示雙立方放大后的圖像，Proposed NE表示本文方法未加全局后處理放大后的圖像，Proposed NE+IBP表示本文方法加全局后處理放大后的圖像。從表中可以看出本方法分100層時(shí)不加全局后處理重建的高分辨率圖像的PSNR比三次立方方法放大圖像的PSNR平均高1.2 dB;而在本方法中加入全局后處理后的PSNR平均可以高出2 dB左右。

表1 100層訓(xùn)練圖像集實(shí)驗(yàn)數(shù)據(jù)

表2 200層訓(xùn)練圖像集實(shí)驗(yàn)數(shù)據(jù)

從圖10兩幅圖中可以看出隨著分層數(shù)的增加，圖像重建時(shí)間大大縮短，而分層對(duì)于圖像的重建質(zhì)量卻影響甚微。

圖10 分層數(shù)對(duì)重建時(shí)間和質(zhì)量的影響

在SRNE方法中訓(xùn)練圖像塊個(gè)數(shù)為48260，重疊像素個(gè)數(shù)為2，其重建出第一幅測(cè)試圖片(face.bmp)所需時(shí)間約為3351 s;而在本文的方法中訓(xùn)練圖像塊個(gè)數(shù)為重建時(shí)間172887，重建時(shí)間最短僅約為78 s。SRNE方法中第一幅圖像的PSNR約為34.2 dB，而本文的方法可達(dá)35.2 dB。

重建的超分辨率圖像在主觀(guān)效果上比雙立方方法和SRNE更加清晰，重建時(shí)間也可以大大縮短。

5 總結(jié)

為了減少在訓(xùn)練集中搜尋匹配塊的時(shí)間，本文提出了一種對(duì)訓(xùn)練圖像集進(jìn)行分層處理的方法，訓(xùn)練圖像集的大小可以做到很大，而鄰域嵌入超分辨率圖像重建的時(shí)間很短，而且重建質(zhì)量能得到保證。同時(shí)為進(jìn)一步縮短重建時(shí)間，我們對(duì)于圖像細(xì)節(jié)信息不多的平坦區(qū)域采用雙立方插值放大。對(duì)重建后的圖像最后采用IBP算法進(jìn)行全局后處理，進(jìn)一步提升了重建圖像質(zhì)量。仿真實(shí)驗(yàn)的定量結(jié)果和主觀(guān)質(zhì)量都證明了上述算法的正確性和有效性。

本文對(duì)壓縮圖像和未壓縮圖像運(yùn)用相同的算法進(jìn)行超分辨率重建，沒(méi)有考慮壓縮圖像的量化誤差，今后可以將壓縮圖像的量化誤差考慮進(jìn)來(lái)對(duì)算法進(jìn)行改進(jìn)。

［1］蘇秉華，金偉其，牛麗紅，等.超分辨率圖像復(fù)原及其進(jìn)展［J］.光學(xué)技術(shù)，2001，27(1):6-9.

［2］HUNT B R.Super-resolution of images:Algorithms，principles，performance［J］.International Journal of Imaging Systems and Technology，1995，6(4):297-304.

［3］FREEMAN W T，JONES T R.PASZTOR E C.Example-based superresolution［J］.IEEE Computer Graphics and Applications，2002，22(2):56-65.

［4］CHANG Hong，YEUNG D Y，XIONG Yimin.Super-resolution through neighbor embedding［C］//Proc.IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington，USA，2004:275-282.

［5］WAN Baikun，LIN Meng，DONG Ming，et al.Video Image Super-resolution Restoration Based on Iterative Back-Projection Algorithm:International Conference on Computational Intelligence for Measurement Systems and Applications，May 11-13，2009［C］.Hong Kong，China:CIMSA，2009.

［6］SU K，TIAN Q，XUE Q，et al.Neighborhood issue in single-frame image super-resolution［C］//Proc.IEEE international conference on multimedia and Expo，Amsterdam，Netherlands，2005:1122-1126.

［7］CHAN Takming，ZHANG Junping，PU Jian，etal.Neighbor embedding based super-resolution algorithm through edge detection and feature selection［J］.Pattern Recognition Letters，2009，30(2):494-502.