賈 泂，付芳梅，鄭忠龍，趙建民，郭 麗，張海新，俞牡丹

(浙江師范大學(xué) 數(shù)理與信息工程學(xué)院，浙江 金華 321004)

0 引言

圖像的超分辨率技術(shù)在視頻、遙感、醫(yī)學(xué)和安全監(jiān)控等領(lǐng)域具有十分重要的應(yīng)用，同時(shí)也逐步擴(kuò)展到其他各個(gè)領(lǐng)域.隨著稀疏編碼與壓縮傳感理論的逐步發(fā)展，圖像的超分辨率算法已經(jīng)成為研究熱點(diǎn)之一.圖像的超分辨率(super resolution，SR)是指由一幅低分辨率圖像(low resolution，LR)或圖像序列恢復(fù)出高分辨率圖像(high resolution，HR).但是，SR 問(wèn)題是一個(gè)不適定問(wèn)題，只有在合理的假設(shè)和先驗(yàn)知識(shí)條件下，SR 問(wèn)題才是可逆的.在圖像處理領(lǐng)域中，已經(jīng)涌現(xiàn)了諸多圖像的超分辨率算法［1-4］.這些算法分為2 類:一類是基于重建的算法;另一類是基于示例學(xué)習(xí)的算法.基于重建的算法的主要缺點(diǎn)是:如果沒有足夠的約束條件或超分辨率的倍數(shù)過(guò)高，得到的圖像的效果明顯下降.基于示例學(xué)習(xí)算法就能較好地克服這一缺點(diǎn)，它先學(xué)習(xí)低分辨率圖像塊與高分辨率圖像塊之間的函數(shù)關(guān)系，然后通過(guò)這種關(guān)系得到相應(yīng)的高分辨率圖像.

基于示例學(xué)習(xí)的SR 算法可分為基于最近鄰的和基于回歸的算法.基于最近鄰算法得到的圖像在視覺效果上比較差.因此，學(xué)者們提出了基于回歸算法，該算法首先學(xué)習(xí)從低分辨率圖像塊映射到高分辨率圖像塊的函數(shù).文獻(xiàn)［1-5］的算法都是基于訓(xùn)練樣本庫(kù)來(lái)學(xué)習(xí)回歸函數(shù)，這樣的算法對(duì)于大樣本訓(xùn)練圖像需要花費(fèi)大量的時(shí)間，并且實(shí)驗(yàn)結(jié)果也依賴于對(duì)樣本庫(kù)的選擇.因此，研究只基于低分辨率圖像本身來(lái)重建高分辨率圖像的算法更有意義.

由文獻(xiàn)［6-7］知，自然圖像具有冗余性與自相似性，同一尺度或不同尺度同場(chǎng)景的圖像塊都重復(fù)出現(xiàn)很多次.本文結(jié)合基于示例學(xué)習(xí)算法與圖像的自相似性，提出一種新的圖像超分辨率算法，僅基于單幅低分辨率圖像本身，沒有額外的樣本庫(kù).實(shí)驗(yàn)結(jié)果驗(yàn)證了本文算法的優(yōu)越性，此算法在保證超分辨率圖像質(zhì)量的前提下，克服了對(duì)樣本庫(kù)的依賴性.

1 R-KSVD 算法

近幾年來(lái)，冗余字典算法的研究都基于一種特征空間，而本文算法使用Guided 濾波［8］、一階導(dǎo)數(shù)和二階導(dǎo)數(shù)算法提取圖像的2 種特征，得到更加全面的信息.本文算法具體描述(R-KSVD 算法)如下:

輸入:字典初始值D0，樣本向量y，非零元個(gè)數(shù)L，最大值相似度s=0.9;

輸出:α*為稀疏度為L(zhǎng) 的系數(shù)矩陣α 的近似值，訓(xùn)練后的字典D;

初始化:初始字典D0，余量e0=y，索引集Δ0=?，迭代次數(shù)t=1;

R-KSVD 算法主要分為2 步:

1) 稀疏分解:固定D，使用R-OMP 算法估計(jì)系數(shù)矩陣α;

R-OMP 算法:重復(fù)執(zhí)行步驟1 到步驟5，直到收斂:

步驟1:從D 的所有列與余量e 的內(nèi)積中找到最大值相似度大于s 所對(duì)應(yīng)的D 的列數(shù)，從中隨機(jī)選出dj，然后通過(guò)最小二乘法確定此時(shí)的稀疏系數(shù)的索引λ;

步驟2:更新索引集Δt=Δt－1∪{λ}，字典子集Dt=［Dt－1，dj］;

步驟5:若t ＞L，則輸出α*并停止計(jì)算.否則繼續(xù)步驟1.

2) 更新字典階段:使用SVD 同時(shí)更新一次更新字典的每個(gè)原子和其相應(yīng)的非零系數(shù)，使得損失函數(shù)最小.

冗余字典的學(xué)習(xí)主要是采用迭代模式交替更新α 和D.字典學(xué)習(xí)的第1 階段將D 固定，求出最優(yōu)系數(shù)矩陣α;第2 階段通過(guò)更新后的α，訓(xùn)練得到新的字典～D.如此反復(fù)迭代幾次即可得到優(yōu)化的D 和α.大量的字典學(xué)習(xí)算法已被應(yīng)用于圖像超分辨率領(lǐng)域中［9-10］.在字典的更新算法中，K-SVD 的使用較為廣泛.K-SVD 運(yùn)用SVD 每次更新一個(gè)原子(即字典的一列)和其對(duì)應(yīng)的稀疏系數(shù)，直到所有的原子更新完畢為止，重復(fù)迭代幾次即可得到優(yōu)化的字典和稀疏系數(shù).

然而，每次對(duì)內(nèi)積最大列的相應(yīng)系數(shù)進(jìn)行更新，不一定能得到最優(yōu)的結(jié)果.為了解決這一難題，本文對(duì)OMP 算法進(jìn)行了松弛，提出了一種新的更新系數(shù)矩陣的算法Relaxation OMP(R-OMP).首先定義了s表示相對(duì)于內(nèi)積最大列的一個(gè)度(本文設(shè)為s=0.9)，然后隨機(jī)選擇內(nèi)積最大值相似度大于s 的列，對(duì)其相對(duì)系數(shù)進(jìn)行更新.本文訓(xùn)練字典算法，第1 階段使用R-OMP 算法進(jìn)行稀疏表示，并把這種算法稱為松弛的K-SVD 算法，即R-KSVD.由R-KSVD 算法，可進(jìn)一步了解本文所提的算法.

2 基于單幀圖像的超分辨率算法

本文主要研究?jī)H基于一幅低分辨率圖像的超分辨率算法，與傳統(tǒng)的基于示例的學(xué)習(xí)算法相比，本文算法不再借用額外的樣本庫(kù)來(lái)學(xué)習(xí)低分辨率圖像到高分辨圖像的映射關(guān)系，而是根據(jù)自然圖像的自相似性與冗余性［6-7］，僅從一幅低分辨率輸入圖像中挖掘這一函數(shù)關(guān)系.

僅基于一幅圖像的超分辨率可理解為輸入一幅低分辨率圖像Y，在沒有任何額外信息的情況下，輸出一幅同樣場(chǎng)景的高分辨率圖像X.另外，超分辨率后的圖像X 應(yīng)該與輸入圖像Y 保持一致，即低分辨率圖像Y 可以看作是超分辨率圖像X 經(jīng)過(guò)模糊和下采樣的圖像，即

式(1)中:H 表示模糊算子;Sd表示下采樣算子.

圖像的超分辨率問(wèn)題是一個(gè)不適定問(wèn)題，這是因?yàn)闈M足約束(1)的高分辨率圖像X 不是唯一的.只有在合理的假設(shè)和先驗(yàn)知識(shí)情況下，圖像的超分辨率問(wèn)題才可以求解.由于字典D 是冗余的，因而所有的高分辨率圖像塊x 都能通過(guò)Dh∈RN×K進(jìn)行稀疏表示，即

然后將根據(jù)低分辨率圖像塊重建高分辨率圖像塊.本文使用R-KSVD 算法聯(lián)合訓(xùn)練低分辨率圖像塊字典Dl和高分辨率圖像塊字典Dh.在得到Dl與Dh的前提下，首先對(duì)提取特征過(guò)的低分辨率圖像(梯度圖)進(jìn)行適當(dāng)?shù)膮^(qū)塊劃分;然后，利用低分辨率圖像字典Dl對(duì)每一個(gè)梯度圖內(nèi)的圖像塊y 進(jìn)行稀疏表達(dá)，可得到如下模型:

本文算法直接作用于圖像的特征域，這里F 是特征提取算子.本文使用Guided 濾波［8］、一階導(dǎo)數(shù)和二階導(dǎo)數(shù)算法提取圖像的2 種特征，得到更加全面的信息.

求解式(3)是一件很困難的事.但是最新研究成果表明，只要系數(shù)向量α 足夠稀疏，式(3)就可以轉(zhuǎn)化為如下模型:

應(yīng)用拉格朗日尋優(yōu)法，式(4)又等效于以下優(yōu)化目標(biāo)函數(shù):

參數(shù)λ 用來(lái)平衡優(yōu)化目標(biāo)中對(duì)系數(shù)稀疏性的要求和稀疏表達(dá)結(jié)果及真實(shí)低分辨率圖像塊y 的接近程度.為了充分利用相鄰圖像塊具體一致性的信息，本文在稀疏表達(dá)圖像塊時(shí)采用了從左到右、從上到下的掃描方式.

受近年信號(hào)稀疏理論的啟發(fā)［1］，低分辨率圖像塊和高分辨率圖像塊相對(duì)于字典Dl和Dh，具有大致相同的稀疏表示.給出低分辨率和高分辨率圖像塊對(duì)P={xh，yl}i，其中{yl}i表示低分辨率圖像的特征塊，{xh}i表示對(duì)應(yīng)的高分辨率圖像塊.為了保證2 個(gè)字典的一致性，聯(lián)合訓(xùn)練字典Dl和Dh，即

式(6)中，Y 和X 分別表示低分辨率特征和高分辨率圖像塊合成向量后的維數(shù).式(6)也可以寫成

式(7)中，

3 后項(xiàng)處理算法

接下來(lái)主要討論基本的后項(xiàng)處理算法(IBP).盡管IBP 算法可以有效地縮小余量且得到不錯(cuò)的效果，但是處理過(guò)程中沒有考慮邊緣信息.筆者在后項(xiàng)處理過(guò)程中使用Guided 濾波，更好地估計(jì)高分辨率余量圖像和恢復(fù)邊緣信息.這個(gè)算法的具體描述如圖1 所示.

圖1 后項(xiàng)處理的過(guò)程

第n 次迭代高分辨率圖像的余量如下:

1)計(jì)算相對(duì)于低分辨率圖像的誤差

2)更新高分辨率圖像

式(10)和式(11)中:r 是窗口的半徑;γ 是調(diào)整參數(shù);4 是超分辨率圖像的倍數(shù);X(n)是第n 次超分辨率后的圖像.重復(fù)此過(guò)程直到滿足評(píng)判標(biāo)準(zhǔn)為止.

4 實(shí)驗(yàn)結(jié)果

設(shè)實(shí)驗(yàn)中測(cè)試圖像的超分辨率倍數(shù)為4.實(shí)驗(yàn)參數(shù):最大值相似度s=0.9;窗口半徑r=2;調(diào)整參數(shù)γ=0.01;稀疏參數(shù)λ=0.01.先用Guided 濾波、一階導(dǎo)數(shù)和二階導(dǎo)數(shù)算法提取低分辨率圖像的2 種特征，然后基于輸入圖像本身從不同尺度和不同方向生成訓(xùn)練字典所需的數(shù)據(jù)庫(kù)［6］.低分辨率特征塊的大小為2 ×2，高分辨率圖像塊大小為8 ×8，使用R-KSVD 算法聯(lián)合訓(xùn)練大小為1 024 的字典Dl和Dh.

對(duì)于彩色圖像，因?yàn)槿说囊曈X對(duì)光最為敏感，所以只考慮亮度通道，其他2 個(gè)通道(Cb，Cr)使用Bicubic 插值算法進(jìn)行超分辨率.選取的低分辨率圖像如圖2 所示，超分辨率測(cè)試圖像分別用了最近鄰插值算法(NN)、Bicubic 插值算法(BC)以及本文算法.高分辨率圖像的性能指標(biāo)主要從RMSE(Root Mean Square Error)和SSIM(Structural Similarity)［10］2 個(gè)方面進(jìn)行比較.從表1、表2 和圖3～圖6 可見，本文的超分辨率算法比其他算法更加優(yōu)越.

表1 實(shí)驗(yàn)結(jié)果比較(RMSE 指標(biāo))

表2 實(shí)驗(yàn)結(jié)果比較(SSIM 指標(biāo))

圖2 4 幅低分辨率測(cè)試圖像

圖3 從左到右依次為NN 算法、BC 算法、本文算法建筑物的超分辨率的效果與原圖像

圖4 從左到右依次為NN 算法、BC 算法、本文算法視力測(cè)試圖的超分辨率的效果與原圖像

圖5 從左到右依次為NN 算法、BC 算法、本文算法小女孩的超分辨率的效果與原圖像

圖6 從左到右依次為NN 算法、BC 算法、本文算法花的超分辨率的效果與原圖像

5 結(jié)語(yǔ)

本文提出的算法在保證超分辨率圖像質(zhì)量的前提下，克服了對(duì)樣本庫(kù)的依賴性.實(shí)驗(yàn)證明了本文算法的優(yōu)越性.下一步的工作是進(jìn)一步考慮在學(xué)習(xí)字典時(shí)如何提取更有效的特征，如何節(jié)省更多的計(jì)算時(shí)間.

［1］Yang Jianchao，Wright J，Huang T S，et al.Image super-resolution as sparse representation of raw image patches［C］//CVPR.Anchorage:IEEE，2008:1-8.

［2］Goto T，Suzuki S，Hirano S，et al.Fast and high quality learning based super-resolution utilizing TV regularization method［C］//ICIP.Brussels:IEEE，2011:1185-1188.

［3］Tang Yi，Pan Xiaoli，Yuan Yuan，et al.Local semi-supervised regression for single-image super-resolution［C］//MMSP.Hangzhou:IEEE，2011:1-5.

［4］Yang Shuyuan，Wang Min，Chen Yiguang，et al.Single-image super-resolution reconstruction via learned geometric dictionaries and clustered sparse coding［J］.ICIP，2012，21(9):4016-4028.

［5］Jiang Junjun，Hu Ruimin，Han Zhen，et al.Efficient single image super-resolution via graph embedding［C］//ICME.Melbourne:IEEE，2012:610-615.

［6］Glasner D，Bagon S，Irani M.Super-resolution from a single image［C］//Computer Vision.Kyoto:IEEE，2009:349-356.

［7］Chen Shaofeng，Gong Hanjie，Li Cuihua.Super resolution from a single image based on self-similarity［C］//ICCIS.Chengdu:IEEE，2011:91-94.

［8］He Kaiming，Sun Jian，Tang Xiaoou.Guided image filtering［M］.Berlin:Springer-Verlag，2010:1-14.

［9］Yang Jianchao，Wang Zhaowen，Lin Zhe，et al.Coupled dictionary training for image super-resolution［J］.ICIP，2012，21(8):3467-3478.

［10］Wang Zhou，Bovik A C，Sheikh H R，et al.Image quality assessment:From error visibility to structural similarity［J］.ICIP，2004，13(4):600-612.

［11］Zhou Fei，Yang Wenming，Liao Qingming.Single image super-resolution using incoherent sub-dictionaries learning［J］.IEEE Transactions on Consumer Electronics，2012，58(3):891-897.