王 君，唐貴進(jìn)，劉小花，崔子冠

(南京郵電大學(xué) 江蘇省圖像處理與圖像通信重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210003)

0 引 言

圖像修復(fù)指根據(jù)圖像的已有信息，按照一定規(guī)則對(duì)破損區(qū)域做出合理猜測(cè)并填充，從而使重構(gòu)圖像最大程度地接近原始圖像。圖像修復(fù)最早用于古畫、雕塑等文物的復(fù)原工作[1]，在圖像信息技術(shù)蓬勃發(fā)展的今天，圖像在下載、壓縮、發(fā)送或存儲(chǔ)的過程中都可能發(fā)生失真或破壞[2]，因而圖像修復(fù)變得尤為重要。

目前主流的圖像修復(fù)算法主要分為三大類[3]：基于偏微分方程(partial differential equation，PDE)、基于紋理結(jié)構(gòu)(texture synthesis)和基于稀疏表示(sparse representation)方法的圖像修復(fù)。PDE模型本質(zhì)上就是利用變分法求解能量泛函的極值，主要包括TV模型、BSCB模型和CDD模型[4-5]等算法，這類算法在處理大面積區(qū)域缺失圖像時(shí)容易產(chǎn)生大面積模糊。Criminisi等人[6]提出，根據(jù)一定規(guī)則在圖像已知區(qū)域?qū)ふ遗c缺失區(qū)域相匹配的圖像塊，該算法得到的修復(fù)結(jié)果紋理清晰，但對(duì)于紋理特征不夠明顯的破損圖像，容易產(chǎn)生紋理延伸現(xiàn)象[7]。

基于稀疏表示理論的圖像修復(fù)算法通過求解稀疏表示模型來實(shí)現(xiàn)圖像的重構(gòu)。傳統(tǒng)的稀疏表示算法[8]通常獨(dú)立考慮每個(gè)圖像塊，而Zhang J等人[9-10]提出的結(jié)構(gòu)組稀疏表示算法(SGSR)提出了結(jié)構(gòu)組的概念，考慮了圖像塊之間的聯(lián)系，并且通過直接對(duì)結(jié)構(gòu)組的估計(jì)值做奇異值分解得到學(xué)習(xí)字典，計(jì)算復(fù)雜度小魯棒性高，但是，算法中采用雙線性插值算法求解結(jié)構(gòu)組的估計(jì)量，導(dǎo)致塊狀區(qū)域缺損圖像的修復(fù)效果不好。文中借助Criminisi等人[6]提出的大區(qū)域缺損圖像修復(fù)算法，對(duì)塊狀區(qū)域缺損圖像的像素值進(jìn)行更有效的預(yù)估，使得重構(gòu)圖像紋理更自然、結(jié)構(gòu)更加清晰。

1 相關(guān)知識(shí)

1.1 構(gòu)造結(jié)構(gòu)組

圖1 構(gòu)造結(jié)構(gòu)組

(1)

1.2 稀疏表示模型

同一幅圖像中，已知信息區(qū)域和未知信息區(qū)域的稀疏性近似相同，所以可以用同一稀疏解表示[12]。稀疏矩陣α的稀疏性由L0范數(shù)衡量，信號(hào)x可以由字典D中的幾個(gè)原子精確表示，如下式：

(2)

同理，為了得到結(jié)構(gòu)組的稀疏表示模型，首先找到其對(duì)應(yīng)的字典DGk，利用字典中盡量少的原子來稀疏表示結(jié)構(gòu)組xGk，而求解稀疏表示模型的過程就是求解這個(gè)稀疏矩陣αGk，通過字典和稀疏矩陣得到稀疏表示模型[13]：

(3)

1.3 學(xué)習(xí)字典

傳統(tǒng)的字典學(xué)習(xí)算法通常通過交替優(yōu)化字典和稀疏表示系數(shù)求得，由該方法求得的字典適用于整幅圖像，而不是針對(duì)某一個(gè)結(jié)構(gòu)組。這樣的做法不僅計(jì)算量大而且忽略了想要利用圖像塊之間相似性的初衷，所以采用雙線性插值算法得到結(jié)構(gòu)組xGk的估計(jì)量rGk，先對(duì)數(shù)據(jù)做網(wǎng)格化處理，再利用雙線性插值算法求得缺失像素值的估計(jì)值。

再對(duì)估計(jì)矩陣rGk進(jìn)行奇異值分解[14]，可得：

(4)

其中，uGk?i、vGk?i分別表示矩陣UGk和VGk的列向量，ΣGk表示對(duì)角矩陣，γrGk?i表示主對(duì)角元素，于是，字典DGk的每個(gè)原子定義為：

(5)

其中，每個(gè)原子dGk?i大小都為BS×c，因此，結(jié)構(gòu)組xGk對(duì)應(yīng)的自適應(yīng)學(xué)習(xí)字典DGk為：

DGk=[dGk?1,dGk?2,…,dGk?m]

(6)

算法只采用一次奇異值分解即可得到與結(jié)構(gòu)組自適應(yīng)的學(xué)習(xí)字典，求得學(xué)習(xí)字典后，仍用rGk取代xGk得到稀疏表示模型，再用凸優(yōu)化問題的方法求解模型中非凸的L0范數(shù)，采用SBI算法進(jìn)行迭代優(yōu)化，得到最終的修復(fù)效果。

由上述可見，估計(jì)量rGk是否精確直接關(guān)系到學(xué)習(xí)字典和稀疏矩陣的求解，并對(duì)最終的修復(fù)質(zhì)量產(chǎn)生影響。上述算法在求結(jié)構(gòu)組xGk的估計(jì)量rGk時(shí)，直接采用雙線性插值函數(shù)對(duì)其處理，雙線性插值算法根據(jù)周圍像素點(diǎn)求缺失像素值，塊狀區(qū)域中越靠中間位置的像素值越無法準(zhǔn)確估計(jì)。所以文中采用基于樣本塊的Criminisi修復(fù)算法，基于圖像塊對(duì)缺失區(qū)域進(jìn)行估計(jì)，由此得到與原結(jié)構(gòu)組相似度更高的估計(jì)量。

2 文中算法

2.1 算法描述

采用基于樣本塊的Criminisi算法得到結(jié)構(gòu)組的估計(jì)值，首先要計(jì)算整幅圖像的近似值。如圖2所示，φ是缺失區(qū)域，通過掩模圖像找到缺失區(qū)域邊界δφ，任取邊界上一像素點(diǎn)p，以點(diǎn)p為中心，得到圖像塊ψp，該圖像塊的置信項(xiàng)C(p)和數(shù)據(jù)項(xiàng)D(p)分別定義為：

(7)

(8)

圖2 基于Criminisi的修復(fù)算法

其中，|Ψp|為圖像塊Ψp的像素點(diǎn)總數(shù)，為p點(diǎn)的等照度線方向，np為p點(diǎn)的法向量，α為歸一化因子。由于置信度隨著迭代次數(shù)增加會(huì)急劇趨近0，數(shù)據(jù)項(xiàng)在等照度線和法向量垂直時(shí)也為0，為了防止這兩種情況一項(xiàng)發(fā)生就使得優(yōu)先權(quán)為0，把圖像塊Ψp的優(yōu)先權(quán)P(p)定義為：

P(p)=αC(p)+βD(p) s.t.α+β=1

(9)

(10)

2.2 算法流程

得到整幅圖像的估計(jì)值后，利用上節(jié)描述的構(gòu)造組的方法對(duì)整幅圖像的估計(jì)值進(jìn)行計(jì)算，得到n個(gè)結(jié)構(gòu)組的估計(jì)值后即可由估計(jì)值計(jì)算對(duì)應(yīng)結(jié)構(gòu)組的學(xué)習(xí)字典?；诮Y(jié)構(gòu)組稀疏表示的優(yōu)化算法流程如下：

輸入：圖像X，掩模圖像M

初始化：t=0,k=0,n,迭代次數(shù)N

Whileφ!=0 do

計(jì)算C(p)和D(p)邊緣優(yōu)先權(quán)

取優(yōu)先權(quán)最大的為待估計(jì)塊

由歐氏距離得到最優(yōu)匹配塊

填充

End while

Whilek≤ndo

搜索c個(gè)xk的相似塊得到結(jié)構(gòu)組xGk，

End while

Whilet≤ndo

For eachxGk

根據(jù)式(4)～式(6)構(gòu)建學(xué)習(xí)字典DGk

End for

End while

2.3 算法性能分析

針對(duì)文字掩模和塊狀掩模的去除，對(duì)文中算法收斂性進(jìn)行的分析如圖3所示。曲線以陡峭坡度上升到一定高度趨近平穩(wěn)，說明圖像質(zhì)量先是有明顯改善再逐漸趨于收斂。對(duì)于文字掩模和塊狀掩模的去除分別只需要進(jìn)行20次迭代就趨于收斂，這是由于文中算法基于圖像塊來構(gòu)造組，提高了修復(fù)效率。且在字典學(xué)習(xí)時(shí)相同結(jié)構(gòu)組中的所有塊采用同一字典的相同原子進(jìn)行稀疏表示，只需要一次奇異值分解得到自適應(yīng)字典，這也使得算法相較于K奇異值分解算法不僅高效、魯棒，而且計(jì)算復(fù)雜度大大降低。

圖3 峰值信噪比趨勢(shì)變化

3 實(shí)驗(yàn)結(jié)果與分析

本節(jié)對(duì)文中算法的有效性進(jìn)行驗(yàn)證，并做了大量測(cè)試實(shí)驗(yàn)，部分測(cè)試圖片如圖4所示。分別給圖像添加文字掩模和塊狀區(qū)域掩模作為待修補(bǔ)圖像輸入，并將輸出的實(shí)驗(yàn)結(jié)果與文獻(xiàn)[3,15-16]的算法和SGSR算法進(jìn)行對(duì)比。實(shí)驗(yàn)在戴爾Inspiron 14-7472筆記本上的MatlabR2014a上運(yùn)行，該筆記本CPU為Intel酷睿i7 8550U，主頻1.8 GHz，內(nèi)存為8 GB，系統(tǒng)是Microsoft Windows 8。

圖4 測(cè)試圖片

除了主觀視覺，還采用峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)作為客觀評(píng)價(jià)標(biāo)準(zhǔn)，兩項(xiàng)指標(biāo)的公式描述如下：

(11)

SSIM(x,y)=l(x,y)c(x,y)s(x,y)

(12)

文中對(duì)大量圖片做了測(cè)試后，在表1和表2中羅列了對(duì)十幅圖像測(cè)試的客觀指標(biāo)參數(shù)，下面主要展示圖像Flower和圖像House的主觀修復(fù)效果。

圖5 文字去除

如圖5所示，圖(a)以文字圖像作為掩模得到文字遮擋圖像，由圖5(b)-(f)可見，主觀視覺上，SGSR算法和提出的優(yōu)化算法明顯優(yōu)于文獻(xiàn)[3,15-16]的算法。這一點(diǎn)在圖片左下方窗戶上以及樹中的細(xì)小葉子中可以明顯看出，文中算法得到的效果紋理清晰且結(jié)構(gòu)上非常準(zhǔn)確?？陀^評(píng)價(jià)上，文中算法比SGSR算法的PSNR評(píng)價(jià)指標(biāo)提高了0.25 dB，SSIM評(píng)價(jià)指標(biāo)提高了0.003。

如圖6所示，圖(a)是以塊狀區(qū)域做掩模圖像得到的，主觀視覺上，文獻(xiàn)[15]算法和SGSR算法出現(xiàn)了大面積的模糊現(xiàn)象，而文獻(xiàn)[16]和文獻(xiàn)[3]的算法紋理較為清晰，但是結(jié)構(gòu)上仍不是很準(zhǔn)確，而文中算法得到的效果在結(jié)構(gòu)上非常清晰。另外客觀評(píng)價(jià)上，文中算法的PSNR評(píng)價(jià)指標(biāo)比SGSR算法提高了9.38 dB，SSIM評(píng)價(jià)指標(biāo)提高了0.006 3。

圖6 塊狀區(qū)域修復(fù)

結(jié)合表1、表2的數(shù)據(jù)可以看出，相較于文獻(xiàn)[3,15-16]以及SGSR算法，對(duì)各圖像添加文字掩模時(shí)，文中算法的PSNR評(píng)價(jià)指標(biāo)分別平均提高了7.88 dB、4.88 dB、7.61 dB、0.19 dB，SSIM評(píng)價(jià)指標(biāo)分別提高了0.071 6、0.025 9、0.056 4、0.001 5，給各圖像添加塊狀掩模時(shí)，文中算法PSNR評(píng)價(jià)指標(biāo)分別平均提高了5.22 dB、10.19 dB、5.19 dB、2.66 dB，SSIM評(píng)價(jià)指標(biāo)分別提高了0.009 6、0.013 2、0.011 2、0.001 7。綜上所述，對(duì)于塊狀區(qū)域缺損圖像，文中算法較SGSR算法的優(yōu)化幅度更大，這是由于Criminisi算法可以比雙線性插值算法更準(zhǔn)確地估計(jì)缺失區(qū)域的像素值，所以得到的修復(fù)結(jié)果圖紋理自然結(jié)構(gòu)清晰。

表1 各算法文字掩模去除結(jié)果對(duì)比

表2 各算法塊狀區(qū)域掩模去除結(jié)果對(duì)比

4 結(jié)束語

利用大區(qū)域修復(fù)算法計(jì)算缺失區(qū)域的估計(jì)值，該算法基于圖像塊進(jìn)行估計(jì)而不是像素點(diǎn)，能夠更加準(zhǔn)確地估計(jì)缺失區(qū)域的像素值。接下來，對(duì)估計(jì)值進(jìn)行奇異值分解得到與結(jié)構(gòu)組自適應(yīng)的學(xué)習(xí)字典，再借助字典和稀疏解得到修復(fù)圖像。該算法具有高效性和魯棒性。實(shí)驗(yàn)結(jié)果表明，該算法在主觀視覺上紋理自然結(jié)構(gòu)清晰，在峰值信噪比和結(jié)構(gòu)相似性等客觀標(biāo)準(zhǔn)下也得到了相應(yīng)的提高。接下來的工作，會(huì)繼續(xù)對(duì)該算法進(jìn)行改進(jìn)，使得算法能夠適應(yīng)更大面積的塊狀區(qū)域缺陷，且修復(fù)結(jié)果有連續(xù)的結(jié)構(gòu)和自然的紋理。