張從飛,邵利平,師 軍

(陜西師范大學(xué) 計算機科學(xué)學(xué)院,西安 710119)

1 引 言

圖像修復(fù)是對圖像破損區(qū)域修復(fù)重建或信息填充,使修復(fù)后圖像滿足一定視覺質(zhì)量,在文物保護、圖像復(fù)原、目標(biāo)障礙物剔除以及高分辨率圖像再現(xiàn)上有著重要應(yīng)用價值.

基于變分PDE和紋理合成的圖像修復(fù)技術(shù)是2類主要的圖像修復(fù)策略.其中,變分PDE圖像修復(fù)技術(shù)本質(zhì)是一種偏微分方程(partial differential equation,PDE)修復(fù)算法[1-3],主要思想是利用物理學(xué)熱擴散方程將待修補區(qū)域周圍信息傳播到待修補區(qū)域,這類方法能很好地保留圖像線性結(jié)構(gòu),在小尺度破損圖像修復(fù)上有較好的修復(fù)效果,但對大范圍破損或富紋理缺失區(qū)域修復(fù)質(zhì)量則整體較差.

針對以上問題,基于紋理合成的圖像修復(fù)方法被廣泛提出,其中典型的方法是Criminisi圖像修復(fù)算法[4].Criminisi算法主要由修復(fù)區(qū)域優(yōu)先權(quán)計算、修補塊全局匹配搜索和匹配塊填充3步組成,其主體思想是從待修補區(qū)域邊界上選取修復(fù)優(yōu)先權(quán)最高點,以該點為中心建立待修補塊,利用待修補塊已知信息在已知區(qū)域(含已修補區(qū)域)內(nèi)尋找與該塊紋理最接近的塊,利用塊內(nèi)已知信息來對待修補塊中未知信息進(jìn)行填充.盡管該算法能夠?qū)Υ蠓秶笔畔D像產(chǎn)生較好修復(fù)質(zhì)量,但依然存在很多不足:①優(yōu)先權(quán)模型中置信項在多次迭代后急劇下降趨于零值,而數(shù)據(jù)項保持平穩(wěn)變化,使得數(shù)據(jù)項受制于趨于零值的置信項,優(yōu)先權(quán)計算不再可靠,導(dǎo)致錯誤填充順序;②在修復(fù)時并未對待修補塊信息進(jìn)行具體分析,易將紋理部分誤認(rèn)為邊緣部分而出現(xiàn)紋理延伸;③在圖像已知信息區(qū)域(含已修補區(qū)域)尋找合適匹配塊會帶來高昂匹配代價.

針對Criminisi算法優(yōu)先權(quán)模型設(shè)計不合理導(dǎo)致錯誤填充順序問題,文獻(xiàn)[5,6]在優(yōu)先權(quán)模型[4]上附加結(jié)構(gòu)信息增益項.文獻(xiàn)[7]將優(yōu)先權(quán)模型[4]修正為加法模型,并對數(shù)據(jù)項和引入伸縮因子的置信項賦予簡單權(quán)重.為保持優(yōu)先權(quán)模型置信項和數(shù)據(jù)項平衡,文獻(xiàn)[8]給出了基于伸縮因子的改進(jìn)置信項和數(shù)據(jù)項優(yōu)先權(quán)模型.結(jié)合文獻(xiàn)[7]工作,文獻(xiàn)[9]給出了數(shù)據(jù)項與改進(jìn)置信項乘積的優(yōu)先權(quán)模型來避免置信項為0時優(yōu)先權(quán)趨近于0.文獻(xiàn)[10]引入補償因子和加權(quán)系數(shù)根據(jù)整幅圖像紋理結(jié)構(gòu)信息來動態(tài)調(diào)節(jié)補償因子和加權(quán)系數(shù),使得不同圖像對應(yīng)于不同優(yōu)先權(quán)模型.文獻(xiàn)[11]將置信項改為指數(shù)函數(shù)形式并根據(jù)圖像結(jié)構(gòu)紋理信息來人為選取權(quán)重因子控制置信項與數(shù)據(jù)項比例.以上文獻(xiàn)[5-11]是通過引入不同控制參數(shù)來對優(yōu)先權(quán)模型[4]中置信項和數(shù)據(jù)項進(jìn)行加權(quán)調(diào)控,但僅能起到有限的調(diào)控作用,且在調(diào)控時未對圖像中邊緣和紋理進(jìn)行仔細(xì)區(qū)分,易導(dǎo)致屬于紋理部分的圖像塊優(yōu)先修復(fù),造成紋理延伸并影響圖像修復(fù)質(zhì)量.

為避免Criminisi算法紋理延伸問題,文獻(xiàn)[12，13]對待修補塊采用均值差和方差差值兩個因素來進(jìn)行紋理邊緣區(qū)分,但采用的方法是將待修補塊已知信息按法線方向分割成兩塊,可能會導(dǎo)致分割后信息量不等從而降低計算準(zhǔn)度.同時文獻(xiàn)[12，13]也未對圖像已知區(qū)域內(nèi)所有信息進(jìn)行仔細(xì)劃分,因此依然無法有效地解決紋理延伸問題.

為緩解Criminisi算法全局搜索匹配導(dǎo)致的高昂匹配計算代價,文獻(xiàn)[12,14]通過減少和限定匹配塊搜索空間來提高搜索效率,但簡單搜索空間限制,會導(dǎo)致合理匹配塊丟失,若設(shè)定搜索空間或約束距離過大,則所述策略依然趨于全局匹配,所能緩解的計算代價十分有限.文獻(xiàn)[12,13]盡管試圖通過均值差和方差差值兩個因素來對圖像待修補塊進(jìn)行紋理邊緣區(qū)分,但在匹配最佳目標(biāo)塊時并沒有對待修補塊進(jìn)行分類搜索,因此依然不能有效緩解計算代價.

為提高匹配準(zhǔn)度,文獻(xiàn)[15]引入待修補像素熵來改進(jìn)相似度計算方法,利用結(jié)構(gòu)相似性來搜索與待修補塊差異最小的目標(biāo)塊;文獻(xiàn)[16]引入距離修正因子,將待修補塊與目標(biāo)塊幾何距離引入到相似性度量函數(shù)中,在搜索目標(biāo)塊時首先通過歐式距離相似性函數(shù)找出3個目標(biāo)塊,然后根據(jù)幾何距離修正因子來找出最佳匹配塊.

但以上文獻(xiàn)[15，16]同文獻(xiàn)[4-14]都是將更新后已知區(qū)域作為待修補塊與目標(biāo)匹配塊搜索區(qū)域,隨著修復(fù)過程不斷進(jìn)行,新更新已知區(qū)域可靠性不斷下降,不僅增加了塊匹配計算代價也降低了修復(fù)質(zhì)量.

同以上文獻(xiàn)不同,本文給出一種結(jié)合自適應(yīng)梯度分塊的改進(jìn)Criminisi圖像修復(fù)算法.所提方法首先對待修補圖像的已知和待修補區(qū)域進(jìn)行標(biāo)記,對落入已知區(qū)域的所有像素計算梯度直方圖并自適應(yīng)地劃分為平滑、紋理和邊緣3種類型,采用優(yōu)先權(quán)系數(shù)自適應(yīng)加權(quán)策略,避免了文獻(xiàn)[5-11]人為設(shè)定優(yōu)先權(quán)權(quán)重和手動選擇不同優(yōu)先權(quán)計算模型所導(dǎo)致的低效率和無法進(jìn)行自適應(yīng)的優(yōu)先權(quán)計算.其次,所提方法結(jié)合基于塊分類的改進(jìn)優(yōu)先權(quán)函數(shù)來增強對邊緣紋理部分的辨別能力,避免了文獻(xiàn)[12，13]通過實驗閾值采用均值差和方差差值對邊緣和紋理進(jìn)行強制劃分的低效率.再次,同文獻(xiàn)[12-14]不同,所提方法通過建立自適應(yīng)塊大小函數(shù)來保證不同類型塊按不同塊大小修復(fù),并且只在對應(yīng)類型中進(jìn)行匹配來提高匹配效率.最后,同文獻(xiàn)[4-16]不同,所提方法在修復(fù)過程中不更新已知區(qū)域,在避免修復(fù)誤差傳遞的同時也減少了計算代價.

2 Criminisi算法及其改進(jìn)算法

圖1 Criminisi算法修復(fù)過程Fig.1 Processing of Criminisi algorithm

在Criminisi算法中,邊界點p的優(yōu)先權(quán)P(p)被定義為式(1)所示的乘積模型,用于保證具有較多已知信息和較強結(jié)構(gòu)信息的待修補塊被優(yōu)先修復(fù).

P(p)=C(p) ·D(p)

(1)

式(1)中,C(p)為置信項,表示ψp中已知信息所占比例,D(p)為數(shù)據(jù)項,表示等照度線和法線方向余弦夾角,C(p)和D(p)具體定義如式(2)和式(3)所示:

(2)

(3)

(4)

(5)

(6)

Criminisi算法反復(fù)執(zhí)行式(1)～(6),直至Φ=I,即完成最終修復(fù).但在式(1)中,優(yōu)先權(quán)P(p)等價為C(p)和D(p)乘積會導(dǎo)致2個問題:①當(dāng)p點等照度線與法線趨于垂直時,D(p)趨近于0導(dǎo)致優(yōu)先權(quán)不可靠;②C(p)在多次迭代后急劇下降,而D(p)保持平穩(wěn)變化,會導(dǎo)致D(p)在P(p)計算中貢獻(xiàn)率下降,同樣使得優(yōu)先權(quán)不可靠.基于此,文獻(xiàn)[5,6]在文獻(xiàn)[4]乘積模型上附加了結(jié)構(gòu)信息增益項,使得當(dāng)C(p)趨于0時,只考慮D(p),如式(7)所示,其中n為結(jié)構(gòu)信息增益因子,文獻(xiàn)[6]中取n=7.

P(p)=C(p)D(p)+n·D(p)

(7)

為避免D(p)或C(p)趨于0時,P(p)趨近于0,文獻(xiàn)[7]引入加法模型,采用權(quán)重因子α和β來對引入伸縮因子ω的C(p)以及D(p)權(quán)重進(jìn)行調(diào)控,如式(8)所示:

P(p)=α((1-ω)C(p)+ω)+βD(p),0≤α,β≤1

(8)

結(jié)合文獻(xiàn)[7]加法模型,文獻(xiàn)[10]給出了基于補償因子和加權(quán)系數(shù)的優(yōu)先權(quán)計算模型,如式(9)所示:

P(p)=(C(p)+α)+(γ×D(p))

(9)

式(9)中,α為補償因子,γ是加權(quán)系數(shù).

式(7)、式(8)和式(9)本質(zhì)出發(fā)點是通過引入不同參數(shù)來對C(p)和D(p)進(jìn)行加權(quán),從而對式(1)起到一定調(diào)控作用,但所能起到的調(diào)控作用十分有限.同時文獻(xiàn)[5-11]均未對圖像邊緣和紋理進(jìn)行仔細(xì)區(qū)分,易導(dǎo)致屬于紋理部分的圖像塊被優(yōu)先修復(fù)從而造成紋理延伸.

(10)

(11)

文獻(xiàn)[14]盡管通過式(10)對搜索空間進(jìn)行限制提高了計算效率,但所能緩解的匹配代價十分有限.

同以上文獻(xiàn)不同,本文依據(jù)Otsu閾值分割法,將已知區(qū)域所有像素點按梯度直方圖細(xì)分為紋理、邊緣和平滑區(qū)域.為避免Criminisi算法優(yōu)先權(quán)計算模型不合理,本文提出了結(jié)合塊分類的改進(jìn)優(yōu)先權(quán)函數(shù)來增強對邊緣紋理部分的辨別能力,從而有效地避免紋理延伸.Criminisi算法在已修補區(qū)域?qū)ふ液线m的匹配塊會導(dǎo)致高昂匹配計算代價[4],針對此問題,本文建立自適應(yīng)塊大小函數(shù)來保證不同類型塊采用不同大小塊修復(fù),并且只在初始已知區(qū)域?qū)?yīng)類型塊中進(jìn)行匹配來提高匹配效率和避免使用可靠性不斷下降的新增已知區(qū)域.

3 基于Otsu閾值分割和梯度直方圖的已知像素和圖像待修補區(qū)域分類策略

考慮到圖像梯度信息可很好地反映出圖像像素變化,一般梯度變化劇烈的像素往往位于圖像分割邊緣,梯度變化相對緩慢的區(qū)域則對應(yīng)圖像平滑區(qū)域,而介于兩者之間的像素梯度信息則對應(yīng)于圖像紋理變化區(qū)域,這里可對圖像已知區(qū)域所有像素進(jìn)行梯度統(tǒng)計,通過梯度直方圖來確定圖像邊緣、紋理和平滑像素,對圖像已知區(qū)域像素紋理、邊緣和平滑區(qū)域劃分,也避免了文獻(xiàn)[12,13]僅對含有缺失信息的待修補塊進(jìn)行邊緣、紋理和平滑細(xì)分所導(dǎo)致的計算不準(zhǔn)確.

Otsu法被認(rèn)為是分割閾值自動選取的最優(yōu)方法,其基本思想是通過類間方差最大值來確定最佳分割閾值.因此本文引入Otsu法來提高分割閾值的計算準(zhǔn)度,并且Otsu法分割閾值可針對不同類型圖像進(jìn)行自適應(yīng)地調(diào)整.

記G=(gi,j)m×n為待修補圖像A=(ai,j)m×n的梯度圖,將G初始化為(-1)m×n,B=(bi,j)m×n為標(biāo)記矩陣,其中bi,j=1對應(yīng)為已知區(qū)域Φ,bi,j=0對應(yīng)為待修補區(qū)域Ω,記Φ′為已修復(fù)區(qū)域,初始化Φ′=Φ.

對?ai,j∈Φ,可按式(12)計算ai,j的梯度值gi,j:

(12)

式(12)中,gx和gy分別是ai,j的x和y方向梯度,其計算方法如式(13)和式(14)所示:

gx=ai,j+1-ai,j-1

(13)

gy=ai+1,j-ai-1,j

(14)

式(13)和式(14)中,若?ax,y∈{ai,j+1,ai,j-1,ai-1,j,ai+1,j}且ax,y∈Ω,即bx,y=0,即存在不在Φ中像素ax,y,則用ai,j替代ax,y,從而保證每個像素ai,j∈Φ在G中都有梯度值并按式(15)劃分為3種類型:

(15)

式(15)中,type(k)=0,1,2對應(yīng)為平滑、紋理和邊緣區(qū)域,λ1和λ2對應(yīng)為分割閾值且滿足0≤λ1≤λ2≤L-1,其中L為Φ中像素梯度階數(shù).

(16)

式(16)中,λ為分割閾值,λbegin,λend分別為起始和終止梯度階,hk為第k階梯度階出現(xiàn)頻次,Pk為Φ中第k階梯度階出現(xiàn)概率,如式(17)所示;upart1,upart2,utotal分別對應(yīng)為梯度區(qū)間[λbegin,λ],[λ,λend],[λbegin,λend]梯度階期望,按式(18)、式(19)和式(20)進(jìn)行計算.

(17)

(18)

(19)

(20)

將λbegin=h0,λend=hL-1代入式(16),可確定分割閾值λ1,將λbegin=λ1+1,λend=hL-1代入式(16),可確定分割閾值λ2,而待修補塊梯度則可按式(21)確定:

(21)

式(21)中,q為待修補塊ψp落入已修補區(qū)域Φ′的坐標(biāo),aq為A中對應(yīng)像素.由式(21)可對待修補塊梯度進(jìn)行估計,然后按式(15)確定待修補塊類型.結(jié)合待修補塊梯度信息和塊類型還可自適應(yīng)地選擇優(yōu)先權(quán)計算策略和設(shè)定圖像在已知區(qū)域搜索范圍,從而進(jìn)一步提高修復(fù)準(zhǔn)度和降低搜索匹配代價.

圖2 分類結(jié)果圖Fig.2 Classification results

圖2是對分辨率為512×512灰度測試圖像Lena按梯度分類策略進(jìn)行平滑、紋理和邊緣分類結(jié)果.從圖2可看出,梯度分類策略可較好地把原圖分為平滑、紋理和邊緣3類.

4 結(jié)合梯度的改進(jìn)優(yōu)先權(quán)計算策略和初始已知區(qū)域分類匹配策略

考慮到梯度可作為紋理復(fù)雜程度的有效度量手段,當(dāng)待補塊處于邊緣區(qū)域時,圖像信息變化比較強烈,此時梯度項處于絕對支配地位,而當(dāng)待補塊處于近似平滑區(qū)域,此時梯度項趨近于0,而置信項處于絕對支配地位,因此可將優(yōu)先權(quán)修正為式(22)并通過式(23)來確定權(quán)重α.

P(p)=αC(p)+(1-α)G(p)

(22)

(23)

由于直接確定不同梯度值下權(quán)重α非常困難,因此式(23)首先確定邊界權(quán)重:即當(dāng)G(p)=0,對應(yīng)為梯度值最小情況,此時僅考慮C(p),因此α=1,而當(dāng)G(p)=L-1時,即梯度值最大情況,此時僅考慮G(p),因此α=0,而當(dāng)G(p)∈(0,L-1)時對應(yīng)的權(quán)重系數(shù),則由α=1和α=0的情況線性插值出來.因此改進(jìn)優(yōu)先權(quán)函數(shù)能自適應(yīng)根據(jù)梯度信息改變優(yōu)先權(quán)模型權(quán)重因子,增強邊緣紋理辨別能力,提高優(yōu)先權(quán)計算可靠性.

Criminisi算法通常采用固定大小的待修補塊,但采用不同大小塊會導(dǎo)致不同修復(fù)結(jié)果.圖3是對分辨率為213×284的測試圖像Bw采用Criminisi修復(fù)算法并設(shè)定不同大小塊進(jìn)行修復(fù)的實驗結(jié)果.

從圖3結(jié)果可看出由于標(biāo)準(zhǔn)Criminisi算法[4]優(yōu)先權(quán)定義為置信項與數(shù)據(jù)項乘積,而采取不同大小塊會影響待修補圖像邊界點置信項大小,即樣本塊中已知信息所占比例,從而導(dǎo)致圖像修復(fù)時優(yōu)先權(quán)順序改變,進(jìn)而影響圖像視覺修復(fù)質(zhì)量.

圖3 采用不同大小塊的標(biāo)準(zhǔn)Criminisi算法修復(fù)結(jié)果Fig.3 Standard Criminisi algorithm inpainting results with different block sizes

(24)

(25)

5 結(jié)合自適應(yīng)梯度分塊的改進(jìn)Criminisi圖像修復(fù)算法

結(jié)合第2節(jié)和第3節(jié)所完成工作,以下給出完整的結(jié)合自適應(yīng)梯度分塊的改進(jìn)Criminisi圖像修復(fù)算法.

第1步.對?ai,j∈Φ,按式(12)計算Φ內(nèi)所有圖像像素點ai,j對應(yīng)的梯度值gi,j;

第2步.將Φ中所有像素梯度值按式(16)采用Otsu閾值分割方法分割得到兩個閾值λ1和λ2;

第3步.將Φ中所有像素梯度根據(jù)閾值λ1和λ2按式(15)劃分為3種類型:平滑、邊緣和紋理;

第8步.反復(fù)執(zhí)行第4步～第7步,直到圖像中待修補區(qū)域Ω中所有像素點修復(fù)完畢,即B=(bi,j)m×n中所有元素都調(diào)整成bi,j=1,修復(fù)結(jié)束.

在上述算法中,步驟1～步驟3用于將待修補圖像已知區(qū)域像素按Otsu法自適應(yīng)地劃分為平滑、紋理和邊緣3種類型.步驟4用于對待修補塊梯度估計并自適應(yīng)地根據(jù)置信項和梯度項權(quán)重來確定優(yōu)先權(quán)最大的邊界像素點,從而相對于文獻(xiàn)[4-11]未進(jìn)行分類估計以及文獻(xiàn)[12,13]僅依據(jù)待修補塊信息進(jìn)行不同區(qū)域細(xì)分提高了分類可靠性,同時依據(jù)不同區(qū)域自適應(yīng)地計算優(yōu)先權(quán),增強了對圖像邊緣紋理部分的辨別能力,從而避免了文獻(xiàn)[4-13]存在的紋理延伸問題.步驟5～步驟7用于對待修補塊僅在初始已知區(qū)域中進(jìn)行搜索匹配填充并依據(jù)待修補塊類型來自適應(yīng)地確定塊大小,避免了使用可靠性不斷下降的已修補區(qū)域[4-11]和避免簡單搜索空間限制導(dǎo)致的合理匹配塊丟失[12-14]以及全局搜索所帶來的高昂計算代價[12-16].

6 實 驗

以下通過4個實驗:①結(jié)構(gòu)圖像修復(fù)對比實驗、②小尺度樣本缺失修復(fù)對比實驗、③大尺度樣本缺失修復(fù)對比實驗、④時間代價對比實驗來對所提算法性能進(jìn)行檢驗并與文獻(xiàn)[4,8,11,13,16]進(jìn)行實驗對比.由于文獻(xiàn)[4,8,11,13,16]都采用固定大小塊進(jìn)行修復(fù),為便于比較,將待修補塊統(tǒng)一為7×7,其他參數(shù)都采用對應(yīng)文獻(xiàn)默認(rèn)參數(shù).實驗中,采用的測試環(huán)境為Window10,CPU為Intel(R) Core(TM) i5-6600 4核CPU,單處理核心主頻3.30GHz,內(nèi)存為8.00GB,實驗編碼語言為JAVA.實驗中使用PSNR來衡量視覺質(zhì)量,按式(26)計算:

(26)

(27)

6.1 結(jié)構(gòu)圖像修復(fù)對比實驗

為驗證所提算法在結(jié)構(gòu)圖像上的修復(fù)性能,對分辨率為213×284的圖像Bw按文獻(xiàn)[4,8,11,13,16]所提策略和本文所述策略進(jìn)行修復(fù),修復(fù)結(jié)果如圖4所示.

從圖4可看出:Criminisi算法采用優(yōu)先權(quán)乘積模型,置信項和數(shù)據(jù)項多次迭代會導(dǎo)致優(yōu)先權(quán)趨近于0,使得即使數(shù)據(jù)項很大也得不到優(yōu)先修復(fù),因此圖4(c)存在明顯線性結(jié)構(gòu)失真;文獻(xiàn)[8,11]結(jié)合數(shù)據(jù)項權(quán)重因子提高周圍結(jié)構(gòu)豐富像素優(yōu)先權(quán),因此圖4(d)-圖4(e)相比于Criminisi算法有了一定提高,但仍然存在小塊紋理延伸;由圖4(f)-圖4(h)可看出,文獻(xiàn)[13,16]和本文所述策略在結(jié)構(gòu)圖像修復(fù)上具有較好修復(fù)質(zhì)量,但整體性能差異不大,其中文獻(xiàn)[13]和本文所述策略都可對圖4(a)進(jìn)行完整恢復(fù),而文獻(xiàn)[16]相對于文獻(xiàn)[13]和本文所述策略存在少許偏差.因此引入圖像待修補塊平滑、紋理和邊緣分塊將有助于減少紋理延伸和提高修復(fù)可靠性.

圖4 結(jié)構(gòu)圖像Bw修復(fù)結(jié)果Fig.4 Bw structure image inpainting results

6.2 小尺度樣本缺失修復(fù)對比實驗

為驗證所提算法在小尺度樣本缺失圖像修復(fù)上的性能,對分辨率為256×256的Lena測試圖像進(jìn)行隨機擦除,然后按文獻(xiàn)[4,8,11,13,16]和本文所述策略進(jìn)行修復(fù),實驗結(jié)果如圖5所示.

圖5 Lena小尺度樣本缺失修復(fù)結(jié)果Fig.5 Lena small scale sample missing inpainting results

由圖5可看出,標(biāo)準(zhǔn)Criminisi算法[4]在Lena圖像臉部缺失區(qū)域修復(fù)時產(chǎn)生一定紋理延伸,同時在帽子以及圖像右下角缺失區(qū)域存在明顯誤匹配現(xiàn)象(圖5(c));從圖5(d)-圖5(g)可看出改進(jìn)算法[8,11,13,16]對于強邊緣區(qū)域相比于Criminisi算法有一定提高,但對于頭發(fā)缺失區(qū)域存在紋理延伸問題,而本文算法則較好克服了上述問題,對于圖像邊緣和紋理區(qū)域都有著較好的圖像修復(fù)結(jié)果.

6.3 大尺度樣本缺失修復(fù)對比實驗

為驗證所提算法在大尺度樣本缺失圖像修復(fù)性能,對分辨率為206×308的Bungee測試圖像和362×362 Truck測試圖像進(jìn)行大范圍擦除,然后按文獻(xiàn)[4,8,11,13,16]和本文策略進(jìn)行修復(fù),其實驗結(jié)果如圖6和圖7所示.

圖6 Bungee大尺度樣本缺失修復(fù)結(jié)果Fig.6 Bungee large scale samples missing inpainting results

從圖6可看出,文獻(xiàn)[4]在河邊區(qū)域存在明顯紋理延伸(圖6(c));文獻(xiàn)[11,13]在房子缺失區(qū)域存在斷裂(圖6(e)-圖6(f));文獻(xiàn)[16]在房子頂部區(qū)域存在瓦塊延伸(圖6(g));以上修復(fù)結(jié)果在房子周圍或河邊都存在明顯紋理延伸或結(jié)構(gòu)斷裂問題;文獻(xiàn)[8]在對圖6(b)缺失區(qū)域修復(fù)表現(xiàn)出了較好地修復(fù)性能,本文算法則稍遜于文獻(xiàn)[8]修復(fù)結(jié)果,但依然能較好地保持整體結(jié)構(gòu)性.從圖7可看出,由于置信項和數(shù)據(jù)項權(quán)重分配不合理,導(dǎo)致文獻(xiàn)[4,8,11,13,16]在修復(fù)過程中道路出現(xiàn)大范圍紋理延伸(圖7(c)-圖7(h)).而本文算法結(jié)合自適應(yīng)分類策略可有效地調(diào)控置信項和梯度項權(quán)重,更好地解決紋理延伸問題,相比于文獻(xiàn)[4,8,11,13,16]道路上的紋理延伸明顯減少,提高了修復(fù)視覺質(zhì)量.

圖7 Truck大尺度樣本缺失修復(fù)結(jié)果對比實驗Fig.7 Truck large scale samples inpainting results

6.4 時間代價對比實驗

為驗證所提算法在時間處理代價上性能,對實驗6.1-6.3所進(jìn)行的修復(fù)實驗連續(xù)進(jìn)行10次,統(tǒng)計其平均處理時間代價,如表1所示.其中表1為結(jié)構(gòu)圖像樣本缺失圖像修復(fù)時間代價對比數(shù)據(jù),單位為S(秒).

從表1實驗結(jié)果可看出,本文所提策略由于在匹配時僅根據(jù)待修補塊塊類型在對應(yīng)塊區(qū)域中進(jìn)行匹配搜索,在簡單結(jié)構(gòu)圖像,小尺度樣本缺失圖像以及大尺度樣本缺失圖像修復(fù)上比文獻(xiàn)[4,8,11,13,16]計算效率上有了很大提高,具有最小的時間處理代價.

表1 修復(fù)時間代價對比實驗
Table 1 Inpainting time cost comparative experiments

修復(fù)策略修復(fù)平均耗時(S)圖4b圖5b圖6b圖7b文獻(xiàn)[4]221332234文獻(xiàn)[8]211130220文獻(xiàn)[11]201231215文獻(xiàn)[13]221229223文獻(xiàn)[16]211132230所提策略1071782

以上實驗表明,本文所述策略相對于文獻(xiàn)[4,8,11,13,16]具有較好修復(fù)性能且整體修復(fù)結(jié)果較為穩(wěn)定可靠,同時由于僅根據(jù)待修補塊塊類型在對應(yīng)塊區(qū)域內(nèi)匹配搜索,具有最小的時間處理代價.

7 結(jié)束語

以上本文給出了一種結(jié)合自適應(yīng)梯度分類的改進(jìn)Criminisi圖像修復(fù)算法.所提算法對待修補圖像落入已知區(qū)域所有像素按梯度直方圖劃分為平滑、紋理和邊緣3種類型從而避免了文獻(xiàn)[12,13]單純依賴待修補塊已知信息和使用手動設(shè)定閾值對待修補塊進(jìn)行紋理、邊緣和平滑細(xì)分所導(dǎo)致的計算不準(zhǔn)確.所提方法結(jié)合塊分類自適應(yīng)優(yōu)先權(quán)計算函數(shù)增強了對邊緣紋理部分的辨別能力克服了傳統(tǒng)Criminisi圖像修復(fù)算法[4-13]存在的紋理延伸問題.所提算法對待修補塊僅在初始已知區(qū)域進(jìn)行搜索匹配填充并依據(jù)待修補塊類型來自適應(yīng)地確定塊大小,從而避免了使用可靠性不斷下降的已修補區(qū)域[4-11]和避免簡單搜索空間限制導(dǎo)致的合理匹配塊丟失[12-14]以及全局搜索所帶來的高昂計算代價[12-16].實驗表明所提方法可較好地克服紋理延伸,時間復(fù)雜度高等問題,同現(xiàn)有Criminisi算法及其改進(jìn)算法相比,在降低時間復(fù)雜度的同時也進(jìn)一步提高了圖像修復(fù)質(zhì)量.

[1] Bertalmio M,Sapiro G,Caselles V,et al.Image inpainting[C].Proceedings of the International Conference on Computer Graphics and Interactive Techniques,2000:417-424.

[2] Chan T F,Shen J.Mathematical models for local nontexture inpaintings[J].SIAM Journal on Applied Mathematics,2002,62(3):1019-1043.

[3] Chan T F,Shen J.Nontexture inpainting by curvature-driven diffusions[J].Journal of Visual Communication & Image Representation,2001,12(4):436-449.

[4] Criminisi A,Perez P,Toyama K.Region filling and object removal by exemplar-based image inpainting.[J].IEEE Transactions on Image Processing,2004,13(9):1200-1212.

[5] Zhou Y,Li L,Xia K.Research on weighted priority of exemplar-based image inpainting[J].Journal of Electronics(China),2012,29(1-2):166-170.

[6] Nan A,Xi X.An improved Criminisi algorithm based on a new priority function and updating confidence[C].Biomedical Engineering and Informatics (BMEI),2014 7th International Conference on.IEEE,2015:885-889.

[7] Cheng W H,Hsieh C W,Lin S K,et al.Robust algorithm for exemplar-based image inpainting[C].The International Conference on Computer Graphics,Imaging and Vision (CGIV 2005),2005:64-69.

[8] Liang Shu-fen,Guo Min,Liang Xiang-qun.Enhanced Criminisi algorithm of digital image inpainting technology[J].Computer Engineering and Design,2016,37(5):1314-1345.

[9] Wang J,Lu K,Pan D,et al.Robust object removal with an exemplar-based image inpainting approach[J].Neurocomputing,2014,123(S1):150-155.

[10] Lin Yun-li,Zhao Jun-hong,Zhu Xue-feng,et al.An improved algorithm for image inpainting based on texture synthesis[J].Computer Applications and Software,2010,27(10):11-12.

[11] Liu Ye-fei,Wang Fu-long,Xi Xiang-yan,et al.Improved algorithm for image inpainting based on texture synthesis.[J].Journal of Chinese Computer Systems,2014,35(12):2754-2758.

[12] Ren Shu,Tang Xiang-hong,Kang Jia-lun.Improved Criminisi algorithm with the texture and edge features[J].Journal of Image and Graphics,2012,17(9):1085-1091.

[13] Ren Shu,Tang Xiang-hong,Kang Jia-lun.An image inpainting algorithm combined with texture edge features[J].Journal of Computer-Aided Design & Computer Graphics,2013,25(11):1682-1693.

[14] Dai Shi-mei,Zhang Hong-ying,Zeng Chao.A fast algorithm of exemplar based image completion[J].Microcomputer and its Applications,2010,29(22):34-36.

[15] Vantigodi S,Babu R V.Entropy constrained exemplar-based image inpainting[C].Signal Processing and Communications (SPCOM),2014 International Conference on.IEEE,2014:1-5.

[16] Wang Xin-nian,Wang Zhe,Wang Yan.Improved Criminisi algorithm based on geometry distance[J].Computer Engineering and Design,2015,36(7):1835-1839.

[17] Wu Ya-dong,Zhang Hong-ying,Wu Bin.Digital image inpainting techniques[M].Beijing:Science Press,2010.

[18] Zhang Hong-ying.Research and application on digital image impainting[D].Chengdu:University of Electronic Science and Technology,2006.

[19] Xu Z,Sun J.Image inpainting by patch propagation using patch sparsity[J].IEEE Transactions on Image Processing,2010,19(5):1153-1165.

[20] Fan Q,Zhang L F,Hu X L.Exemplar-based image inpainting algorithm using adaptive sample and candidate patch system[C].12th IEEE International Conference on Electronic Measurement & Instruments (ICEMI),IEEE,2015.

[21] Liu Y,Liu C J,Zou H L.A novel exemplar-based image inpainting algorithm[C].International Conference on Intelligent Networking and Collaborative Systems(INCOS),2015:86-90.

[22] Li Hua-qiang,Yu Qing-cang,Fang Mei.Application of otsu thresholding method on canny operator[J].Computer Engineering and Design,2008,29(9):2297-2299.

[23] Jothi J A A,Rajam V M A.Effective segmentation and classification of thyroid histopathology images[J].Applied Soft Computing,2016,46:652-664.

附中文參考文獻(xiàn)：

[8] 梁淑芬,郭 敏,梁湘群.改進(jìn)的Criminisi算法的數(shù)字圖像修復(fù)技術(shù)[J].計算機工程與設(shè)計,2016,37(5):1314-1345.

[10] 林云莉,趙俊紅,朱學(xué)峰,等.改進(jìn)的紋理合成圖像修復(fù)算法[J].計算機應(yīng)用與軟件,2010,27(10):11-12.

[11] 劉業(yè)妃,王福龍,奚祥艷，等.改進(jìn)的Criminisi圖像修復(fù)算法[J].小型微型計算機系統(tǒng),2014,35(12):2754-2758.

[12] 任 澍,唐向宏,康佳倫.利用紋理和邊緣特征的Criminisi改進(jìn)算法[J].中國圖象圖形學(xué)報,2012,17(9):1085-1091.

[13] 任 澍,唐向宏,康佳倫.紋理和邊緣特征相結(jié)合的圖像修復(fù)算法[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2013,25(11):1682-1693.

[14] 代仕梅,張紅英,曾 超.一種基于樣例的快速圖像修復(fù)算法[J].微型機與應(yīng)用,2010,29(22):34-36.

[16] 王新年,王 哲,王 演.基于幾何距離的Criminisi圖像修復(fù)算法[J].計算機工程與設(shè)計,2015,36(7):1835-1839.

[17] 吳亞東,張紅英,吳 斌.數(shù)字圖像修復(fù)技術(shù)[M].北京:科學(xué)出版社,2010.

[18] 張紅英.數(shù)字圖像修復(fù)技術(shù)的研究與應(yīng)用[D].成都：電子科技大學(xué),2006.

[22] 李華強,喻擎蒼,方 玫.Canny算子中Otsu閾值分割法的運用[J].計算機工程與設(shè)計,2008,29(9):2297-2299.