孟紅月,翟東海,李夢(mèng)雪,曹大命

(1.西南交通大學(xué) 信息科學(xué)與技術(shù)學(xué)院,成都 610097; 2.西藏大學(xué) 工學(xué)院,拉薩 850000)(*通信作者電子郵箱849490096@qq.com)

0 引言

圖像修復(fù)是指對(duì)圖像中的缺失區(qū)域進(jìn)行填充的過(guò)程,使得修復(fù)后的圖像能夠保持結(jié)構(gòu)信息的連續(xù)性以及紋理信息的一致性,是當(dāng)前計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺(jué)和圖像處理領(lǐng)域的重要研究課題。

目前,數(shù)字圖像修復(fù)技術(shù)主要分為兩大類:

1)基于偏微分方程(Partial Differential Equation, PDE)的圖像修補(bǔ)(inpainting)技術(shù),主要適用于修復(fù)破損區(qū)域狹小的圖像。

基于PDE的圖像修補(bǔ)算法起始于Bertalmio 等[1]2000年提出的BSCB(Bertalmio-Sapiro-Caselles-Ballester)圖像修復(fù)模型,之后的基于總體變分(Total Variation, TV)[2]的圖像修復(fù)模型以及曲率驅(qū)動(dòng)擴(kuò)散(Curvature-Driven Diffusion, CDD)[3]的圖像修復(fù)模型等均是基于該思想的改進(jìn)。

2)基于樣本的紋理合成圖像補(bǔ)全(completion)技術(shù),可用于修復(fù)破損區(qū)域尺度較大的圖像。該類修復(fù)技術(shù)目前主要包括基于圖像分解的修復(fù)技術(shù)以及采用塊的紋理合成技術(shù)兩種方法，以填充目標(biāo)區(qū)域的方法考目標(biāo)塊中已知信息,從樣本中選取最佳樣本塊進(jìn)行修復(fù)[1-4]。

基于樣本的紋理合成圖像補(bǔ)全技術(shù),由Drori等[5]將基于塊級(jí)別的紋理合成方法引入圖像修復(fù)領(lǐng)域,其后,Criminisi等[6]提出采樣復(fù)制的樣本思想將結(jié)構(gòu)信息考慮進(jìn)圖像修復(fù)過(guò)程中,利用缺失區(qū)域的邊緣結(jié)構(gòu)信息,計(jì)算待修復(fù)塊優(yōu)先級(jí),依此由外向內(nèi)補(bǔ)全圖像。該算法對(duì)結(jié)構(gòu)信息簡(jiǎn)單、紋理信息平滑的大面積破損圖像,修復(fù)速度快,修復(fù)效果也較好,但是該類算法是以貪婪的方式進(jìn)行塊的匹配,有時(shí)會(huì)造成誤差累積,引發(fā)修復(fù)效果的結(jié)構(gòu)不一致、視覺(jué)不連續(xù)、模糊等情況。Sun等[7]通過(guò)手工方式很好地解決了結(jié)構(gòu)重建的難題,避開(kāi)了計(jì)算機(jī)對(duì)圖像復(fù)雜信息的學(xué)習(xí)過(guò)程,以結(jié)構(gòu)傳播的形式首先對(duì)重構(gòu)的結(jié)構(gòu)區(qū)域進(jìn)行修復(fù),然后利用置信傳播思想對(duì)圖像進(jìn)行分區(qū)域修復(fù)?；谥眯艂鞑?Belief Propagation, BP)的圖像修復(fù)思想基于MRF(Markov Random Field)模型的近鄰相關(guān)性,把推斷局部化和分布化,把全局的求和變成局部的消息傳遞,利用節(jié)點(diǎn)與節(jié)點(diǎn)之間相互傳遞信息而更新當(dāng)前整個(gè)MRF的標(biāo)記狀態(tài),是基于MRF的一種近似計(jì)算[8]。優(yōu)先置信傳播(Priority Belief Propagation, Priority-BP)算法由Komodakis等[9]在BP算法的基礎(chǔ)上提出了兩個(gè)重要的擴(kuò)充:按優(yōu)先級(jí)遍歷節(jié)點(diǎn)和標(biāo)號(hào)裁剪思想,很大程度上提高了置信傳播算法的效率。Yang等[10]提出基于結(jié)構(gòu)優(yōu)先置信傳播(Structure Priority Belief Propagation, SPBP)的圖像修復(fù)方法優(yōu)先修復(fù)結(jié)構(gòu)信息。Hsin等[11]在Priority-BP算法的基礎(chǔ)上提出利用結(jié)構(gòu)指導(dǎo)對(duì)算法改進(jìn),著重考慮了結(jié)構(gòu)信息對(duì)修復(fù)算法的影響,以及通過(guò)物理變換擴(kuò)大標(biāo)簽集合以充分利用圖像已知信息,但同時(shí)大大增加了算法的復(fù)雜度。Tang等[12]在塊的紋理合成技術(shù)基礎(chǔ)上提出了基于參照?qǐng)D像的修復(fù)方法,對(duì)于特征區(qū)域的大尺度圖像修復(fù)提供了新的可行思路。翟東海等[13]通過(guò)自適應(yīng)擴(kuò)散模型區(qū)分圖像平坦區(qū)域以及特征區(qū)域,利用平均梯度矩陣及其特征向量控制方向,在不同的區(qū)域自適應(yīng)地選擇不同的擴(kuò)散方向與速度,從而在加速修復(fù)的同時(shí)很好地保持了圖像特征。王猛等[14]利用鄰域窗口總變分和內(nèi)在變分構(gòu)造出權(quán)重變分,通過(guò)對(duì)Criminisi算法中的優(yōu)先級(jí)測(cè)度進(jìn)行加權(quán)、引入整體結(jié)構(gòu)差異算子,改進(jìn)了優(yōu)先級(jí)公式并提高了匹配精度。He等[15]提出了一種利用圖像中相似塊的匹配信息統(tǒng)計(jì)相似塊之間的相對(duì)偏移量,利用具有稀疏分布特征的偏移量完成圖像修復(fù)的方法,該算法對(duì)特征區(qū)域重復(fù)的圖像修復(fù)效果較佳。

針對(duì)幾何結(jié)構(gòu)信息以及紋理信息比較豐富的圖像修復(fù)問(wèn)題進(jìn)行研究，為提高算法修復(fù)效率，同時(shí)保證圖像修復(fù)效果可靠性,本文提出了基于參照四鄰域裁剪樣本的圖像修復(fù)算法。主要改進(jìn)了優(yōu)先級(jí)計(jì)算公式以及像素塊的相似性計(jì)算方法;并在計(jì)算鄰域參照優(yōu)先級(jí)的基礎(chǔ)上,參照具有可靠信息的鄰域塊裁剪并篩選樣本集合,提高了塊的匹配準(zhǔn)確度和對(duì)最佳樣本的搜索效率。

1 算法基礎(chǔ)

圖像修復(fù)解決的問(wèn)題就是利用圖像中已知區(qū)域內(nèi)的樣本信息來(lái)補(bǔ)全目標(biāo)區(qū)域,使得補(bǔ)全后的圖像效果自然、連續(xù),能夠滿足人們視覺(jué)上的一致連貫性。

如圖1所示,介紹了基于樣本塊的區(qū)域劃分圖像修復(fù)思想,為本文算法的初始化提供算法基礎(chǔ)。在圖1中,待修復(fù)圖像I包含目標(biāo)區(qū)域Ω以及已知區(qū)域Ф,Ψp表示以像素點(diǎn)p為中心的目標(biāo)塊,即待修復(fù)的圖像塊。Rn表示經(jīng)過(guò)預(yù)處理中的Meanshift圖像分割步驟得到的若干個(gè)子區(qū)域,分別從各子區(qū)域Rn內(nèi)采集樣本塊,生成樣本集合{RSn},即{RSn}={Lpi|?pix∈Lp, ?pix∈Rn},其中n是表示子區(qū)域個(gè)數(shù)的正整數(shù),用來(lái)標(biāo)記不同的區(qū)域,在圖1的情況中,n=1,2,3。Lpi表示目標(biāo)塊Ψp的第i個(gè)樣本塊,其中i的范圍為[1,{RSn}]。目標(biāo)集合是有目標(biāo)塊構(gòu)成的集合,分為待修復(fù)優(yōu)先級(jí)較高的邊緣目標(biāo)集合及優(yōu)先級(jí)較低且待更新的內(nèi)部目標(biāo)集合,在圖1的情況中,根據(jù)像素p的位置信息可以知道目標(biāo)塊Ψp的初始樣本集合為{RS1}。通過(guò)gapx、gapy設(shè)置圖像塊(區(qū)塊)patch的大小size(如式(1)所示),以保證相鄰塊之間始終有重疊區(qū)域,從而滿足圖像修復(fù)結(jié)果的平滑約束。

size=w*h=(2×gapx+1)(2×gapy+1)

(1)

圖1 區(qū)域劃分圖像修復(fù)示意圖

另外,下文出現(xiàn)的{LSx}表示以像素x為中心的目標(biāo)塊的初始樣本集合,通過(guò)像素x的位置信息判斷其所在區(qū)域Rn,從而得到初始樣本集合,也就是說(shuō),任一目標(biāo)塊的初始樣本集合只可能是{RSn}中的一個(gè)。{CSx}表示以像素x為中心的目標(biāo)塊的候選樣本集合。從{CSx}中得到最優(yōu)樣本塊,最優(yōu)樣本塊用來(lái)填補(bǔ)目標(biāo)塊。ST(I)表示待修復(fù)圖像I的結(jié)構(gòu)二值模板圖像,其中表示結(jié)構(gòu)的像素其值為255,其他像素值為0。

2 本文算法

2.1 算法流程

本文算法流程如圖2所示,算法詳細(xì)步驟如下:

第1步 圖像預(yù)處理。1)利用邊緣檢測(cè)Canny算子提取圖像的主要結(jié)構(gòu)信息,得到結(jié)構(gòu)子圖。2)利用Meanshift對(duì)圖像進(jìn)行區(qū)域劃分,得到子區(qū)域圖像,如圖1的情況所示,區(qū)域劃分得到3個(gè)子區(qū)域,使得不同區(qū)域內(nèi)的目標(biāo)塊僅從其所在區(qū)域局部搜索樣本塊,減小了最佳樣本塊的檢索區(qū)間。3)通過(guò)標(biāo)識(shí)圖像中的已知像素和未知像素，得到掩模圖像。

第2步 塊的相似性計(jì)算。利用結(jié)構(gòu)子圖提出結(jié)構(gòu)對(duì)稱匹配約束(Structure Symmetry Matching, SSM),結(jié)合傳統(tǒng)的塊的相似性計(jì)算方法——離差平方和(Sum of Squares of Deviations, SSD),改進(jìn)塊的相似性度量函數(shù)(Energy of XOR Matching, EM),提高塊匹配精度。

第3步 計(jì)算目標(biāo)塊的待修復(fù)優(yōu)先級(jí)(簡(jiǎn)稱目標(biāo)塊優(yōu)先級(jí))。在傳統(tǒng)優(yōu)先權(quán)公式計(jì)算方法以及分析影響目標(biāo)塊優(yōu)先級(jí)的因素基礎(chǔ)之上,引入結(jié)構(gòu)因子和置信度,根據(jù)預(yù)處理得到的三個(gè)子圖分別計(jì)算結(jié)構(gòu)項(xiàng)、置信度項(xiàng)、數(shù)據(jù)項(xiàng),改進(jìn)了待修復(fù)優(yōu)先級(jí)公式。置信度的計(jì)算過(guò)程也實(shí)現(xiàn)了對(duì)目標(biāo)塊的初始樣本集合的第一次裁剪,得到了目標(biāo)塊的候選樣本集合。

第4步 參照四鄰域裁剪樣本。首先計(jì)算待修復(fù)優(yōu)先級(jí)最高的目標(biāo)塊的四鄰域參照優(yōu)先級(jí)。由于在目標(biāo)塊和其四鄰域的重疊區(qū)域的半個(gè)patch塊中包含著重要的圖像平滑信息,因此通過(guò)計(jì)算四鄰域參照優(yōu)先級(jí),有序地參照四鄰域,根據(jù)鄰域塊與其候選樣本塊之間的重疊區(qū)域半塊的相似度,從該鄰域塊的樣本集合中得到其最匹配樣本塊,以此作為裁剪目標(biāo)塊的候選樣本集合的參照信息,通過(guò)塊的相似計(jì)算方法以及平滑約束函數(shù)(Energy of Smoothness, ES)完成候選樣本的裁剪以及最佳樣本塊的搜索過(guò)程。如圖2所示,用count來(lái)記錄參照的四鄰域情況,初始化為4,表示待修復(fù)目標(biāo)塊的四個(gè)鄰域塊均待參照的狀態(tài)。若參照的鄰域塊中無(wú)已知像素信息,則刪除該鄰域塊,即count--；否則，參照鄰域塊的參照優(yōu)先級(jí)高低順序，裁剪掉目標(biāo)塊中的可靠度較低的樣本塊。每參照完畢一鄰域塊，同樣執(zhí)行count--。當(dāng)count=1,說(shuō)明只剩下一個(gè)待參考鄰域塊，接著參照該鄰域塊，通過(guò)平滑約束函數(shù)的最小化得到最優(yōu)樣本塊，用來(lái)填補(bǔ)對(duì)應(yīng)的目標(biāo)塊。直到count=0,修復(fù)下一個(gè)具有最高待修復(fù)優(yōu)先級(jí)的邊緣目標(biāo)塊，直到目標(biāo)集合為空，完成修復(fù)。

圖2 參照四鄰域裁剪樣本的圖像修復(fù)算法流程

2.2 塊的相似性計(jì)算方法的改進(jìn)

塊的相似性用來(lái)衡量目標(biāo)塊與樣本塊之間的相似性,作為樣本裁剪的度量標(biāo)準(zhǔn),傳統(tǒng)的像素離差平方和匹配方法忽略了圖像結(jié)構(gòu)信息的匹配,容易造成塊的誤匹配。為提高塊匹配精度,提出結(jié)構(gòu)對(duì)稱匹配約束ssm,公式如下:

(2)

其中：Ψp是待修復(fù)的目標(biāo)塊；Lpi是下標(biāo)為i的樣本塊；Ψp(x,y)和Lpi(x,y)分別表示在(x,y)處的目標(biāo)塊及其對(duì)應(yīng)的第i個(gè)樣本塊的像素值；size表示圖像塊patch的大小。通過(guò)式(2)可以看出，相等的像素?cái)?shù)量越多，則ssm值越小；反之，ssm值越大。如圖3所示， (a)、(b)分別表示來(lái)自結(jié)構(gòu)二值模板圖像ST(I)的目標(biāo)塊Ψp與樣本塊Lpi，其中白色像素點(diǎn)表示結(jié)構(gòu)信息,灰色像素點(diǎn)表示非結(jié)構(gòu)信息。對(duì)圖3(a)和(b)兩圖像塊中的所有像素點(diǎn)一一對(duì)應(yīng)進(jìn)行異或邏輯累加運(yùn)算,統(tǒng)計(jì)出對(duì)應(yīng)位置相同而像素值不同的像素點(diǎn)數(shù),從而判斷兩個(gè)圖像塊的結(jié)構(gòu)匹配度。對(duì)應(yīng)位置相同而像素值不同的像素點(diǎn)越少，說(shuō)明兩圖像塊的結(jié)構(gòu)匹配度越高;反之,匹配度越低,從而提高了塊匹配精度。

結(jié)合像素離差平方和，引入結(jié)構(gòu)對(duì)稱匹配約束得到改進(jìn)的塊間相似性度量函數(shù):

(3)

圖3 結(jié)構(gòu)對(duì)稱匹配約束示意圖

2.3 改進(jìn)的優(yōu)先級(jí)公式

基于文獻(xiàn)[6，9]中的優(yōu)先級(jí)計(jì)算,可以了解到:

1)結(jié)構(gòu)信息越豐富則待修復(fù)優(yōu)先級(jí)越高。

2)包含已知數(shù)據(jù)越多則待修復(fù)優(yōu)先級(jí)越高。

3)目標(biāo)塊對(duì)應(yīng)的候選樣本塊數(shù)量越少,意味著該目標(biāo)塊包含的結(jié)構(gòu)信息越豐富,即結(jié)構(gòu)稀疏性越大,與之匹配的樣本塊數(shù)量越少。僅通過(guò)目標(biāo)塊中的結(jié)構(gòu)及已知像素信息或者僅以候選樣本集的大小無(wú)法保證擁有特征信息以及特征信息豐富的目標(biāo)塊優(yōu)先被修復(fù),為了提升特征信息的優(yōu)先傳遞性,使得當(dāng)前的修復(fù)結(jié)果為后續(xù)的修復(fù)過(guò)程提供更可靠的信息,保證圖像修復(fù)效果的結(jié)構(gòu)連續(xù)性以及視覺(jué)連通性，引入了結(jié)構(gòu)因子和置信度。改進(jìn)了待修復(fù)優(yōu)先級(jí)公式如下:

(4)

其中:D(·)、S(·)、conf(·)分別表示目標(biāo)塊Ψp的數(shù)據(jù)項(xiàng)、結(jié)構(gòu)項(xiàng)、置信度項(xiàng)；ω代表目標(biāo)塊的結(jié)構(gòu)因子。

優(yōu)先級(jí)的結(jié)構(gòu)項(xiàng)衡量了目標(biāo)塊中結(jié)構(gòu)信息的占比,目標(biāo)塊中結(jié)構(gòu)像素?cái)?shù)量越多,則結(jié)構(gòu)信息越豐富,結(jié)構(gòu)項(xiàng)越大,即

(5)

結(jié)構(gòu)因子實(shí)際描述了目標(biāo)塊Ψp中表示結(jié)構(gòu)像素的數(shù)量對(duì)Ψp的優(yōu)先級(jí)的影響作用,結(jié)構(gòu)像素個(gè)數(shù)越多,則其結(jié)構(gòu)因子越大,對(duì)待修復(fù)優(yōu)先級(jí)的影響越大。本文以目標(biāo)塊的大小與該塊中的結(jié)構(gòu)像素?cái)?shù)量的乘積衡量結(jié)構(gòu)因子的大小,計(jì)算公式如下:

(6)

結(jié)構(gòu)因子保證了含有結(jié)構(gòu)信息的目標(biāo)塊總是比不含結(jié)構(gòu)信息的目標(biāo)塊優(yōu)先被修復(fù)。

數(shù)據(jù)項(xiàng)表示目標(biāo)塊中已知區(qū)域像素的占分比,目標(biāo)塊中的已知像素點(diǎn)越多,則包含的可靠信息越多,可信度越大,數(shù)據(jù)項(xiàng)就越大,即

(7)

其中:q表示邊緣目標(biāo)塊中的已知像素點(diǎn),通過(guò)標(biāo)記了已知、未知像素信息的掩模圖像進(jìn)行統(tǒng)計(jì)得到;MI(q)表示掩模圖像中像素點(diǎn)的值，當(dāng)q取值255時(shí)MI(q)=1，q取其他值時(shí)MI(q)=0。

圖4 已知數(shù)據(jù)約束示意圖

本文置信度是目標(biāo)塊的候選樣本集合大小,待修復(fù)目標(biāo)塊包含的結(jié)構(gòu)紋理越豐富,即約束樣本的條件就越多,則候選樣本集合越小。它實(shí)際代表了圖像已知數(shù)據(jù)對(duì)樣本裁剪的貢獻(xiàn),即已知數(shù)據(jù)約束(如圖4所示),對(duì)目標(biāo)塊Ψp中的已知區(qū)域和其樣本塊Lpi中與Ψp中已知區(qū)域位置對(duì)應(yīng)的區(qū)域進(jìn)行相似性測(cè)量,從而裁剪掉初始樣本集合中可靠性低的樣本。以計(jì)算目標(biāo)塊Ψp的置信度為例。首先,運(yùn)用塊間似性度量,利用式(3)測(cè)量Ψp與其初始樣本集中樣本塊的匹配度。然后,設(shè)置裁剪閾值bconf將相似性度量函數(shù)值大于等于bconf的樣本塊裁剪出集合,保留匹配度較高的樣本塊,得到候選樣本集合{CSP},即

Cpk∈{CSp},EM(Ψp,Lpi)

(8)

其中:Cpk表示候選樣本集中的樣本塊,k=[1,|CSp|]。

候選樣本集的大小,也就是目標(biāo)塊的置信度,即

conf(p)=|{CSp}|

(9)

2.4 參照四鄰域裁剪樣本

鄰域塊中包含的已知信息越多,可靠性越高,就應(yīng)越先被參照。由此得到四鄰域的參照優(yōu)先級(jí)公式:

ref(Npj)=D(p)+ω·S(p);j=1,2,3,4

(10)

其中:D(·)、S(·)分別表示圖像塊的數(shù)據(jù)項(xiàng)與結(jié)構(gòu)項(xiàng);ω表示結(jié)構(gòu)因子。如圖5所示,塊Np1、Np2、Np3、Np4分別是目標(biāo)塊Ψp的上、下、上、右4個(gè)鄰域,在利用鄰域塊檢索最優(yōu)樣本塊的過(guò)程中,參照鄰域塊的范圍只是它們之間重疊的半個(gè)patch塊區(qū)域。在圖5的情況中,Np1具有最高的參照優(yōu)先級(jí),而Np4具有最低的參照優(yōu)先級(jí)。

基于樣本的圖像修復(fù)問(wèn)題可以轉(zhuǎn)化為樣本裁剪與檢索的過(guò)程。對(duì)目標(biāo)塊Ψp的選樣本集{CSP}的裁剪過(guò)程如下:

1)計(jì)算四鄰域的參考優(yōu)先級(jí)并排序,如圖5所示,ref(Np1)>ref(Np2)>ref(Np3)>ref(Np4),參數(shù)count=4用來(lái)記錄參考四鄰域的情況,當(dāng)count=0時(shí)，對(duì)下一具有最高待修復(fù)優(yōu)先級(jí)的目標(biāo)塊進(jìn)行樣本集的裁剪過(guò)程，執(zhí)行步驟1)；否則執(zhí)行步驟2)。

圖5 四鄰域參照優(yōu)先級(jí)示意圖

2)取出參照優(yōu)先級(jí)最高的鄰域塊Npj,并判斷該鄰域塊是否為零已知像素patch塊,即其中不存在任何已知像素信息：若是,刪除該鄰域塊,count=count-1,重復(fù)本步驟;若否,執(zhí)行步驟3)。

5)判斷|{CSp}|與數(shù)量閾值Tmax之間的大小,若|{CSp}|>Tmax,裁剪{CSp}中平滑值最小的樣本塊,直到|{CSp}|≤Tmax,然后更新Tmax=Tmax/count。

平滑約束函數(shù)由式(3)得到,即

k=1,2,…,|{CSp}|

(11)

圖7 不同算法對(duì)不同圖像修復(fù)效果比較

3 實(shí)例驗(yàn)證

為驗(yàn)證本文算法的可行性以及有效性,以Visual Studio 2015為編程環(huán)境進(jìn)行了仿真實(shí)驗(yàn)。首先分別以運(yùn)行時(shí)間和峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)作為評(píng)價(jià)標(biāo)準(zhǔn)對(duì)相關(guān)算法進(jìn)行性能比較,比較結(jié)果如表1所示。其中PSNR值越大則表明修復(fù)效果越好,計(jì)算公式如下:

(12)

其中:U是原圖；U1是修復(fù)后的圖像；M、N分別表示圖像的行數(shù)和列數(shù)。從式(12)可以看出,PSNR值越大說(shuō)明原圖和修復(fù)后的圖像差異越小,即修復(fù)越好。

另外,關(guān)于實(shí)驗(yàn)的參數(shù)設(shè)置,本文基于對(duì)多組實(shí)驗(yàn)結(jié)果的分析,將圖像塊patch的尺度w×h設(shè)置在5×5和7×7之間;數(shù)量閾值Tmax設(shè)置在30～52;裁剪閾值bconf= -SSD0,bdel= -2SSD0,SSD0表示預(yù)定義的區(qū)塊間的離差平方和均值。

從表1可看出：本文算法的PSNR值都優(yōu)于對(duì)比算法,這是因?yàn)樽罴褬颖緣K的搜索范圍由全局變成了局部。另外，本文算法不僅考慮了結(jié)構(gòu)信息對(duì)計(jì)算相似塊匹配度的影響,還充分利用上下左右4個(gè)直接相鄰圖像塊的參考信息,使得在圖像修復(fù)中所利用的周圍的先驗(yàn)信息增多。但這也是本文算法較文獻(xiàn)[13-14]算法耗時(shí)較多的緣故。由于文獻(xiàn)[13-14]算法的時(shí)間復(fù)雜度是同階的,所以這三個(gè)算法的時(shí)間復(fù)雜度是相同的。

表1 四種修復(fù)算法的 PSNR 和運(yùn)行時(shí)間比較

對(duì)彩色圖像物體的移除效果見(jiàn)圖7中的Sea。參數(shù)設(shè)置:圖像塊patch尺度w×h設(shè)置為7×7,Tmax設(shè)置為30。可以看出,文獻(xiàn)[13]算法較好地保持了圖像特征,結(jié)構(gòu)線連續(xù)；文獻(xiàn)[14]算法產(chǎn)生了明顯的結(jié)構(gòu)錯(cuò)位現(xiàn)象；文獻(xiàn)[15]算法的結(jié)構(gòu)修復(fù)不連續(xù),上方云朵紋理錯(cuò)位延伸；本文算法的移除效果較好,紋理清晰,結(jié)構(gòu)線連接自然。

對(duì)灰度圖像的修復(fù)見(jiàn)圖7中的Lena。圖像塊patch尺度w×h設(shè)置為5×5,Tmax設(shè)置為40?？梢钥闯?，文獻(xiàn)[13-14]算法在帽子中間對(duì)結(jié)構(gòu)線的修復(fù)產(chǎn)生了視覺(jué)模糊,帽子上的羽毛狀裝飾物產(chǎn)生紋理延伸現(xiàn)象；文獻(xiàn)[15]算法也產(chǎn)生了上述現(xiàn)象,同時(shí)對(duì)帽子中部環(huán)形條紋修復(fù)不連續(xù)；本文算法結(jié)構(gòu)線的修復(fù)更清晰、連續(xù),紋理延伸的問(wèn)題也得到緩解。

對(duì)彩色圖像的劃痕修復(fù)見(jiàn)圖7中的唐卡圖像TangKa。圖像塊patch尺度w×h設(shè)置為5×5,Tmax設(shè)置為48?？梢钥闯?，文獻(xiàn)[13-14]算法修復(fù)后的結(jié)構(gòu)線模糊并且修復(fù)的環(huán)形結(jié)構(gòu)存在紋理延伸現(xiàn)象；文獻(xiàn)[15]算法未對(duì)缺失的結(jié)構(gòu)線進(jìn)行較好的連接；本文算法與上述算法相比，修復(fù)的結(jié)構(gòu)線更加連續(xù)平滑,具有更好的視覺(jué)連通性,但環(huán)形結(jié)構(gòu)處的紋理延伸現(xiàn)象仍存在。

對(duì)紋理信息較為復(fù)雜的圖像修復(fù)見(jiàn)圖7中的Baboon。圖像塊patch尺度w×h設(shè)置為5×5,Tmax設(shè)置為52。文獻(xiàn)[13]算法對(duì)結(jié)構(gòu)及紋理的復(fù)雜的圖像修復(fù)效果較好；文獻(xiàn)[14]算法基本消除了結(jié)構(gòu)不連續(xù)的現(xiàn)象；文獻(xiàn)[15]算法對(duì)結(jié)構(gòu)的修復(fù)不敏感,產(chǎn)生了結(jié)構(gòu)錯(cuò)位及延伸現(xiàn)象;本文算法對(duì)結(jié)構(gòu)線的修復(fù)仍存在不連續(xù)的問(wèn)題,但紋理修復(fù)效果較佳,整體修復(fù)結(jié)果較清晰。

4 結(jié)語(yǔ)

本文對(duì)缺失幾何結(jié)構(gòu)及復(fù)雜紋理信息且尺度較大的圖像的修復(fù)提出了基于鄰域參照的修復(fù)方法。結(jié)合Criminisi算法以及Pririty-BP算法中優(yōu)先權(quán)計(jì)算對(duì)優(yōu)先級(jí)公式進(jìn)行了改進(jìn),通過(guò)引入結(jié)構(gòu)因子以及置信度使包含結(jié)構(gòu)信息的目標(biāo)塊被優(yōu)先修復(fù)。同時(shí),在像素塊的匹配計(jì)算中引入結(jié)構(gòu)匹配信息以提高像素塊的匹配精度,有效避免了塊的誤匹配。另外,合理且有序地參照四鄰域的參照信息,完成對(duì)樣本集的裁剪和最佳標(biāo)簽的檢索。實(shí)驗(yàn)結(jié)果表明,本文算法在圖像修復(fù)效果上更能滿足視覺(jué)連續(xù)性,在客觀評(píng)價(jià)準(zhǔn)則PSNR值有所提高，但運(yùn)行時(shí)間也有所增加。

參考文獻(xiàn)(References)

[1] BERTALMIO M, SAPIRO G, CASELLES V, et al. Image inpainting [C]// SIGGRAPH 2000: Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques. New York: ACM, 2000: 417-424.

[2] CHAN T F, SHEN J. Nontexture inpainting by curvature-driven diffusions [J]. Journal of Visual Communication and Image Representation, 2001, 12(4): 436-449.

[3] CHAN T F, SHEN J. Mathematical models for local nontexture inpaintings [J]. SIAM Journal on Applied Mathematics, 2001, 62(3): 1019-1043,.

[4] 張紅英, 彭啟琮.數(shù)字圖像修復(fù)技術(shù)綜述[J]. 中國(guó)圖象圖形學(xué)報(bào), 2007, 12(1): 1-10.(ZHANG H Y, PENG Q Z. A survey on digital image inpainting [J]. Journal of Image and Graphics, 2007, 12(1): 1-10.)

[5] DRORI I, COHEN-OR D, YESHURUN H. Fragment-based image completion [J]. ACM Transactions on Graphics, 2003, 22(3): 303-312.)

[6] CRIMINISI A, PEREZ P, TOYAMA K. Region filling and object removal by exemplar-based image inpainting [J]. IEEE Transactions on Image Processing, 2004, 13(9): 1200-1212.

[7] SUN J, YUAN L, JIA J, et al. Image completion with structure propagation [J]. ACM Transactions on Graphics, 2005, 24(3): 861-868.

[8] FELZENSZWALB P F, HUTTENLOCHER D P. Efficient belief propagation for early vision [J]. International Journal of Computer Vision, 2006, 70(1): 41-54.

[9] KOMODAKIS N, TZIRITAS G. Image completion using efficient belief propagation via priority scheduling and dynamic pruning [J]. IEEE Transactions on Image Processing, 2007, 16(11): 2649-2661.

[10] YANG Y, ZHU Y, PENG Q. Image completion using structural priority belief propagation [C]// MM 2009: Proceedings of the 17th ACM International Conference on Multimedia. New York: ACM, 2009: 717-720.

[11] HSIN H-F, LEOU J-J, LIN C-S, et al. Image inpainting using structure-guided priority belief propagation and label transformations [C]// ICPR 2010: Proceedings of the 2010 20th International Conference on Pattern Recognition. Washington, DC: IEEE Computer Society, 2010: 4492-4495.

[12] TANG C, HU X, CHEN L, et al. Sample-based image completion using structure synthesis [J]. Journal of Visual Communication & Image Representation, 2013, 24(7): 1115-1123.

[13] 翟東海, 段維夏, 魚江, 等.局部特征分類的自適應(yīng)擴(kuò)散模型[J]. 信號(hào)處理, 2014, 30(9): 1039-1047.(ZHAI D H, DUAN W X, YU J, et al. Adaptive diffusion model based on local feature classification [J]. Journal of Signal Processing, 2014, 30(9): 1039-1047.)

[14] 王猛, 翟東海, 聶洪玉, 等.鄰域窗口權(quán)重變分的圖像修復(fù)[J]. 中國(guó)圖象圖形學(xué)報(bào), 2015, 20(8): 1000-1007.(WANG M, ZHAI D H, NIE H Y, et al. Image inpainting with weight variation of neighborhood window [J]. Journal of Image and Graphics, 2015, 20(8): 1000-1007.)

[15] HE K, SUN J. Image completion approaches using the statistics of similar patches [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 36(12): 2423-2435.

This work is partially supported by the National Natural Science Foundation of China (61461048).