于文靜　畢東旭　顏學峰　林家駿

(華東理工大學信息學院　上海 200237)

?

基于統(tǒng)計及結(jié)構(gòu)稀疏特性的圖像修復(fù)算法

于文靜畢東旭顏學峰*林家駿

(華東理工大學信息學院上海 200237)

目前普遍使用的基于等照度線的優(yōu)先權(quán)圖像修復(fù)算法，不能快速準確地確定待修復(fù)圖像的結(jié)構(gòu)位置。提出利用破損區(qū)域邊緣圖像塊的灰度均值直方圖，快速準確定位結(jié)構(gòu)點的位置，優(yōu)先修復(fù)結(jié)構(gòu)區(qū)域后，實現(xiàn)紋理區(qū)域修復(fù)，獲得很好的修復(fù)結(jié)果。該算法與傳統(tǒng)算法相比，不必計算每個邊緣圖像塊的優(yōu)先級，直接利用統(tǒng)計信息獲得結(jié)構(gòu)點的位置，比傳統(tǒng)算法更準確獲取結(jié)構(gòu)點位置。算法的計算效率和修復(fù)效果都有了很大提升。

圖像修復(fù)灰度均值直方圖結(jié)構(gòu)稀疏

0　引　言

圖像修復(fù)[1]是利用已知信息估計未知信息，從而將破損的圖像修補完整，使其平滑、連續(xù)、符合人眼的視覺要求。隨著圖像修復(fù)在數(shù)字特效、圖像恢復(fù)和圖像編碼、傳輸?shù)确矫娴膹V泛應(yīng)用，圖像修復(fù)正在成為圖像處理研究中的基礎(chǔ)領(lǐng)域。

目前常用的圖像修復(fù)方法可以分為基于擴散的方法，基于樣本的方法?；跀U散的方法[1-3]是利用待修補區(qū)域的邊緣信息確定擴散信息和擴散方向，從區(qū)域的邊界各向異性地向邊界內(nèi)擴散，這些算法通過變分法或高階的偏微分方程實現(xiàn)?；跀U散的算法在處理非紋理圖像和破損區(qū)域較小的圖像修復(fù)中取得了較好的效果?；跇颖镜膱D像修復(fù)方法[4-6]是在已知區(qū)域中尋找最匹配的圖像塊，對于未知區(qū)域進行填充。這一方法最早由Efros等[7]提出的利用從已知區(qū)域采樣最為匹配的圖像塊來合成未知區(qū)域的信息。Criminsi等[4]提出了一種基于圖像塊的圖像修復(fù)算法，對于破損區(qū)域綜合地考慮結(jié)構(gòu)和紋理的特征，算法實現(xiàn)了部分圖像從結(jié)構(gòu)區(qū)域首先去修復(fù)，取得了很好的效果。近年來，稀疏表達開始應(yīng)用于圖像修復(fù)[8-11]，其基本思想是用稀疏的組合來表達圖像塊的信息?；跇颖镜膱D像修復(fù)算法對圖像進行修復(fù)時需要計算破損區(qū)域邊緣圖像塊的優(yōu)先級以保證位于結(jié)構(gòu)的區(qū)域首先被修復(fù)，這既增加了計算的冗余而且在結(jié)構(gòu)區(qū)域復(fù)雜的圖像中不能準確確定結(jié)構(gòu)點的位置。本文提出基于統(tǒng)計及結(jié)構(gòu)稀疏特性的圖像修復(fù)算法，利用破損區(qū)域邊緣鄰域的圖像塊的灰度均值的統(tǒng)計確定結(jié)構(gòu)稀疏點的位置，能準確獲取圖像結(jié)構(gòu)點的位置，并快速修復(fù)結(jié)構(gòu)區(qū)域。在修復(fù)速度和效率上獲得較好結(jié)果。

1　Criminisi算法的實現(xiàn)

Criminisi算法[4]主要通過以下三步來完成。

(1) 確定修復(fù)優(yōu)先權(quán)

定義位于破損區(qū)域邊界?Ω的點p為中心的待修復(fù)塊Ψp，其修復(fù)優(yōu)先權(quán)P(p)：

P(p)=C(p)D(p)

(1)

其中，C(p)是置信度表示在Ψp中已知信息所占的比例，D(p)是待修復(fù)塊Ψp的數(shù)據(jù)項。

(2)

(3)

其中：

(4)

(5)

(3) 置信度的更新

每完成一次填充修復(fù)，新填入像素p′的置信度更新為：

C(p)=C(p′),?p∈Ψp′∩Ω

(6)

重復(fù)(1)、(2)、(3)直到修復(fù)完成。

2　基于統(tǒng)計的結(jié)構(gòu)稀疏特性算法的實現(xiàn)

在Criminisi算法中，每修復(fù)一塊圖像塊，即要對邊緣所有點進行優(yōu)先權(quán)的計算，而且在圖像紋理區(qū)域具有顏色變化時，會產(chǎn)生紋理修復(fù)過渡擴展的現(xiàn)象。

自然圖像的結(jié)構(gòu)相比紋理具有更高的稀疏度，處于圖像結(jié)構(gòu)位置的圖像塊與鄰域的圖像塊的相似性具有更高的稀疏度。利用圖像的這一特征，提出利用結(jié)構(gòu)稀疏性的特征，統(tǒng)計破損區(qū)域鄰域信息，獲取結(jié)構(gòu)點位置，并從結(jié)構(gòu)點位置開始進行修復(fù)。不必計算每個點的修復(fù)優(yōu)先權(quán)，既能準確獲取結(jié)構(gòu)點的位置，并能魯棒性地修復(fù)結(jié)構(gòu)信息。算法實現(xiàn)步驟如下。

(1) 破損區(qū)域鄰域圖像塊灰度均值獲取

如圖1所示，沿著?Ω以邊緣的P點為中心點計算每個待修復(fù)塊Ψp中已知像素的平均灰度值。算法中圖像塊的大小設(shè)為3×3。圖中紅色區(qū)域為破損區(qū)域。

圖1　原理圖

(7)

(2) 灰度值統(tǒng)計直方圖的建立

(8)

圖2　鄰域灰度統(tǒng)計直方圖

(3) 破損區(qū)域結(jié)構(gòu)位置的獲取

利用直方圖灰度數(shù)量較少的點，如圖2中灰度值均值分別為0.4和0.6是圖像中的稀疏點，其在圖像中的位置如圖3中標識A、B點。算法確定這兩點的位置為結(jié)構(gòu)位置，從這些點開始對破損圖像進行修復(fù)。修復(fù)過程塊的匹配利用在特定鄰域中圖像塊的匹配算法，如文獻[8]算法中圖像塊的匹配方法。

圖3　結(jié)構(gòu)點位置

利用圖像灰度均值直方圖確定結(jié)構(gòu)位置時，會出現(xiàn)某些鄰域灰度均值的數(shù)量較少但是不位于結(jié)構(gòu)位置，但是通過迭代后這些點會消失，稀疏點的位置會回歸到結(jié)構(gòu)位置。

(4) 修復(fù)迭代至結(jié)構(gòu)稀疏點消失

每修復(fù)一個圖像塊，對于改變后的邊緣直方圖信息進行更新，只需重新計算增加的邊緣信息，重新回到(1)。直到直方圖中結(jié)構(gòu)稀疏點的消失，即結(jié)構(gòu)區(qū)域已修復(fù)完成。如圖4為利用本算法修復(fù)結(jié)構(gòu)后的圖像。

圖4　結(jié)構(gòu)修復(fù)完成

(5) 沿著破損區(qū)域方向修復(fù)紋理區(qū)域

確定結(jié)構(gòu)區(qū)域修復(fù)結(jié)束后，沿著破損區(qū)域直接在鄰域中進行塊的匹配和修復(fù)即可獲得。紋理區(qū)域的修復(fù)，只在結(jié)構(gòu)位置兩側(cè)分別進行圖像塊的匹配，在保證修復(fù)質(zhì)量的同時節(jié)省修復(fù)時間。

3　實驗結(jié)果與分析

利用本算法對BSDS300圖像數(shù)據(jù)庫中的多幅圖像進行處理，并運用Criminisi算法和本算法進行比較，結(jié)果表明本算法的修復(fù)效果比較好。另外，為了定量比較算法的修復(fù)效果，采用峰值信噪比(PSNR)和算法運行時間作為比較的評價標準。

實驗1中物體移除過程中，如圖5所示，由于Criminisi算法在修復(fù)過程中對于最先修復(fù)點的依賴性大，而且在迭代過程中誤差的積累使得修復(fù)的結(jié)果中出現(xiàn)將錯誤區(qū)域的信息匹配到填充區(qū)域。本算法利用鄰域統(tǒng)計，計算破損區(qū)域邊緣的每個點的3×3鄰域圖像塊的平均灰度值，利用灰度值建立邊緣的灰度信息直方圖，準確獲得破損區(qū)域結(jié)構(gòu)位置，首先修復(fù)結(jié)構(gòu)區(qū)域。所以修復(fù)結(jié)果中結(jié)構(gòu)區(qū)域更自然。

圖5　實驗1

實驗2在修復(fù)破損區(qū)域時，如圖6所示，在其鄰域存在結(jié)構(gòu)的變化，Criminisi算法在修復(fù)過程中隨著迭代次數(shù)的增加，置信度下降，使修復(fù)結(jié)果出現(xiàn)結(jié)構(gòu)的不連續(xù)。本算法在修復(fù)結(jié)構(gòu)后利用鄰域信息匹配為填充區(qū)域，獲得滿意的結(jié)果。

圖6　實驗2

表1給出了實驗1和實驗2利用Criminisi算法與本算法進行處理后PSNR值的對比。本算法修復(fù)的結(jié)果在2個實驗中PSNR與Criminisi算法近似。在計算時間上，實驗1和實驗2對于破損區(qū)域修復(fù)，本算法修復(fù)時間是Criminisi算法所用時間的50%。對于BSDS300圖像庫中的50幅圖像，對于不同面積的破損區(qū)域(大小從20×20～70×70)的圖像進行修復(fù)兩種算法進行比較，本算法的修復(fù)時間平均為Criminisi算法的50%。

表1　圖像修復(fù)性能的比較

4　結(jié)　語

本文算法首次將統(tǒng)計直方圖應(yīng)用于結(jié)構(gòu)位置的確定，使修復(fù)算法在無需對邊緣每個像素點進行優(yōu)先級的復(fù)雜計算的條件下，快速準確地確定結(jié)構(gòu)位置。算法充分利用自然圖像稀疏性先驗的特征，通過計算圖像塊的平均灰度，利用信息分布的稀疏性，簡便，有效。算法可以準確地確定區(qū)域中是否存在結(jié)構(gòu)區(qū)域，在純紋理區(qū)域及結(jié)構(gòu)和紋理區(qū)域混雜的圖像中，自適應(yīng)地對圖像進行修復(fù)，獲得較好效果。

本文算法不能很好處理破損區(qū)域中同時含有多種結(jié)構(gòu)信息的圖像，這一問題是要進一步研究解決的。

[1]BertalmioM,SapiroG,CasellesV,etal.Imageinpainting[J].ACMTransactiononGraphics,2000,19(3):417-424.

[2]ChanT,OsherS,ShenJ.TotalvariationdenoisingandenhancementofcolorimagesbasedontheCBandHSVcolormodels[J].JournalofVisualCommunicationandImageRepresentation,2001,12(4):422-435.

[3]BertalmioM,BertozziAL,SapiroG.Navier-Strokes,fluiddynamics,andimageandvideoinpainting[C]//ProceedingsofIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition,2001:417-424.

[4]CriminisiA,PerezP,ToyamaK.Objectremovalbyexamplar-basedimageinpainting[C]//ProceedingsofInternationalConfereceonComputerVision,2003:721-728.

[5]WuJ,RuanQQ.Objectremovalbycrossisophotesexamplar-basedimageinpainting[C]//ProceedingsofInternationalConferenceonPatternRecognition,2006:810-813.

[6]WongA,OrchardJ.Anonlocal-meansapproachtoexamplar-basedinpainting[C]//ProceedingsofIEEEInternationalConferenceonImageProcessing,2008:2600-2603.

[7]EfrosA,LeungT.Texturesynthesisbynon-parametricsampling[C]//ProceedingsofInternationalConferenceonComputerVision,1999:1033-1038.

[8]XuZB,SunJ.Imageinpaintingbypatchpropagationusingpatchsparsity[J].IEEETransactionsonImageProcessing,2010,19(5):1153-1165.

[9]ZhangQ,LiJJ.Examplar-basedimageinpaintingusingcolordistributionanalysis[J].JournalofInformationofScienceandEngineering,2012,28(4):641-654.

[10]EladM,StarckJL,QuerreP,etal.Simultaneouscartoonandtextureimageinpaintingusingmorphologicalcomponentanalysis[J].AppliedandComputationalHarmonicAnalysis,2005,19:340-358.

[11]GuleryuzOG.Nonlinearapproximationbasedimagerecoveryusingadaptivesparsereconstructions[C]//ProceedingsofIEEEInternationalConferenceonImageProcessing,2003:713-716.

IMAGEINPAINTINGALGORITHMBASEDONSTATISTICSANDSTRUCTURESPARSITYCHARACTER

YuWenjingBiDongxuYanXuefeng*LinJiajun

(School of Information,East China University of Science and Technology,Shanghai 200237,China)

Currentpopularimageinpaintingalgorithmisbasedonisophotepriority,whichcannotdeterminethestructurelocationoftheimagetoberestoredfastandaccurately.Ouralgorithmsuggeststousegray-meanhistogramofthepatchonrimofthedeterioratedregiontorapidlypositionthelocationofstructurepoints,andafterapriorinpaintingonstructureregion,thefilling-inoftextureregionwillbeimplemented.Thisachievesverygoodrestoringresult.Comparingouralgorithmwiththeclassicalalgorithm,itdoesnotneedtocalculatetheprioritiesofeveryedgepatchbutdirectlymakesuseofstatisticsinformationtoobtainthelocationofstructurepoints,andismoreaccuratethanacquiredbytraditionalalgorithm.Boththecomputationefficiencyandinpaintingeffectofthisalgorithmaregreatlyimproved.

ImageinpaintingGray-meanhistogramStructuresparsity

2015-05-20。于文靜，講師，主研領(lǐng)域：數(shù)字圖像修復(fù)算法及優(yōu)化算法。畢東旭，碩士。顏學峰，教授。林家駿，教授。

TP391.41

ADOI:10.3969/j.issn.1000-386x.2016.03.049