彭春華，唐利明

?

非均勻紋理圖像的分層Criminisi修復(fù)算法

彭春華1,2，唐利明1

（1. 湖北民族學(xué)院 理學(xué)院，湖北 恩施 445000；2. 恩施職業(yè)技術(shù)學(xué)院，湖北 恩施 445000）

為了提高非均勻紋理圖像大區(qū)域修復(fù)效果，提出了一個分層Criminisi圖像修復(fù)算法。首先采用多尺度變分分解模型將圖像分解成一系列圖層之和，不同圖層包含不同尺度的圖像特征，而同一圖層包含幾乎相同的尺度特征。然后在每個圖層中分別采用Criminisi算法進(jìn)行修補(bǔ)。由于同一圖層包含尺度大致相同的圖像特征，所以在匹配塊的搜索過程中，分層修復(fù)能較容易地搜尋到最優(yōu)的匹配塊。最后結(jié)合分別修復(fù)的各個圖層，得到最終的修復(fù)結(jié)果。實(shí)驗結(jié)果表明，對于不同的非均勻紋理人工圖像和自然圖像，本文模型都能取得較為滿意的修復(fù)結(jié)果。

圖像修復(fù)；Criminisi算法；變分圖像分解

0 引言

數(shù)字圖像修復(fù)是圖像處理和計算機(jī)視覺等眾多領(lǐng)域中的一個研究熱點(diǎn)。近些年來出現(xiàn)了許多卓有成效的圖像修復(fù)模型或方法，這些方法大體上可分為兩大類[1-3]：一類是針對小尺度缺損的基于結(jié)構(gòu)的圖像修復(fù)技術(shù)；另一類是針對大面積破損的基于樣本塊匹配的紋理合成算法。

對第一類修復(fù)算法而言，目前最具代表性的是基于偏微分方程（partial differential equation，PDE）的數(shù)字圖像修復(fù)算法[4-10]，其核心思想是，利用待修復(fù)區(qū)域的邊緣信息，確定擴(kuò)散信息和擴(kuò)散方向，從區(qū)域邊界各向異性地向邊界內(nèi)擴(kuò)散。例如Bertalmio等[4]提出的等照度線（isophote）模型；Shen等[5]提出了總體變差（total variation，TV）模型；隨后，他們對TV模型進(jìn)行改進(jìn)，又提出了曲率推動擴(kuò)散模型（curvature driven diffusion，CDD）[5]?；赑DE的圖像修復(fù)技術(shù)對破損區(qū)域相對較小的結(jié)構(gòu)圖像有不錯的效果，但它們對破損區(qū)域較大的圖像修復(fù)效果不太理想，容易產(chǎn)生模糊現(xiàn)象。

第二類是基于樣本塊匹配的紋理合成技術(shù)，主要用于填充大塊信息丟失的圖像，此類算法也稱為圖像補(bǔ)全（Image completion）。其中最具有代表性的是Criminisi等人[11]提出的基于優(yōu)先權(quán)的樣本塊匹配的圖像修復(fù)算法。這種算法的主要思想是，首先計算待修補(bǔ)區(qū)域的邊界上每個像素點(diǎn)的優(yōu)先級，并選擇優(yōu)先級最高的像素點(diǎn)，然后以該點(diǎn)為中心，同時根據(jù)圖像的紋理特征，選取大小合適的像素塊，最后在待修補(bǔ)區(qū)域的周圍尋找與之最相近的匹配塊，來替代該像素塊。循環(huán)整個過程，直至待修補(bǔ)區(qū)域被填滿，從而完成修復(fù)。Criminisi算法在確保可以修復(fù)較大破損區(qū)域的同時，還一定程度上保留了圖像的結(jié)構(gòu)和紋理信息，使得修復(fù)結(jié)果具有較好的視覺效果。后續(xù)，很多專家學(xué)者對Criminisi算法進(jìn)行研究，提出了大量的改進(jìn)算法[12-19]。例如，Zhou等[12]通過極小化一個基于圖像梯度信息的目標(biāo)函數(shù)得到最優(yōu)的像素塊尺寸；Xu等[13]提出了基于稀疏描述的數(shù)據(jù)項，用來度量像素塊的結(jié)構(gòu)置信度；Meur等[14]在優(yōu)先級的計算中提出了基于結(jié)構(gòu)張量的數(shù)據(jù)項；Huang等[15]采用梯度項代替數(shù)據(jù)項與置信度構(gòu)成優(yōu)先級的計算公式；Liu等[16]將置信度改進(jìn)為指數(shù)形式，并將優(yōu)先權(quán)函數(shù)表示為置信度和數(shù)據(jù)項的加權(quán)和以平滑其迅速降為零的缺點(diǎn)；Liu等[17]通過極小化一個包含平滑項和數(shù)據(jù)項的目標(biāo)函數(shù)尋找最優(yōu)的匹配塊，并且采用了多尺度圖割方法對優(yōu)化問題進(jìn)行了快速求解；張顯全等[18]根據(jù)圖像待修復(fù)點(diǎn)梯度的大小，在源區(qū)域中確定其匹配區(qū)域的范圍，減少搜索次數(shù)；李尊等[19]利用數(shù)學(xué)形態(tài)學(xué)中的腐蝕與膨脹算子對待修復(fù)區(qū)域邊緣進(jìn)行處理，以降低錯誤信息的累積。

本文為了提高非均勻紋理圖像大區(qū)域修復(fù)效果，提出了分層Criminisi圖像修復(fù)算法。傳統(tǒng)Criminisi算法中，匹配塊是在整個圖像的已知區(qū)域中選擇和待修補(bǔ)塊最相似的像素塊，并將最優(yōu)像素塊的灰度值拷貝到當(dāng)前的待修復(fù)像素塊中。但是由于圖像通常情況下都包含很復(fù)雜的結(jié)構(gòu)信息、灰度信息，所以這可能導(dǎo)致在搜索過程中很難搜尋到和待修補(bǔ)塊非常相似的匹配塊，某些情況下還可能相差很遠(yuǎn)。針對上述不足，本文采用分層修復(fù)的策略，首先采用多尺度變分分解模型將圖像分解成一系列圖層之和，不同圖層包含不同尺度的圖像特征，而同一圖層包含幾乎相同的尺度特征。然后在每個圖層中分別采用Criminisi修復(fù)算法進(jìn)修修補(bǔ)。由于同一圖層包含尺度大致相同的圖像特征，所以在匹配塊的搜索過程中，分層修復(fù)能較容易地搜尋到最優(yōu)的匹配塊。

順便指出，Bertalmio等人也采用了基于圖像分解的修復(fù)方法[20]，他們將圖像分解為結(jié)構(gòu)層和紋理層，結(jié)構(gòu)層使用PDE擴(kuò)散修復(fù)，紋理層采用紋理合成方法修復(fù)，最后將兩類方法疊加得到最終結(jié)果?；诜纸獾男迯?fù)方法對于紋理圖像有較好的效果，并且相對于單純的PDE方法和紋理合成方法更具優(yōu)勢。但是本文的分層Criminisi修復(fù)算法具有以下優(yōu)勢：①本文算法將圖像分解成不同的圖層并進(jìn)行分開地修復(fù)，這樣分層修復(fù)可以很好地修復(fù)非均勻紋理圖像，這是本文的研究重點(diǎn)；②每個圖層都采用Criminisi算法進(jìn)行修復(fù)，這樣可以很好地修復(fù)大區(qū)域破損圖像。

1 Criminisi算法簡介

在基于樣本的紋理合成圖像修補(bǔ)算法中，Criminisi等人[11]利用計算邊界像素點(diǎn)的優(yōu)先權(quán)值來決定修復(fù)順序。對于邊界像素點(diǎn)優(yōu)先權(quán)的大小如何確定，他們主要考慮以下兩個因素：①被更多高置信度像素點(diǎn)包圍的點(diǎn)先進(jìn)行修復(fù)；②延續(xù)待修復(fù)區(qū)域的結(jié)構(gòu)（主要指圖像邊緣），強(qiáng)度大，垂直于修補(bǔ)邊界的結(jié)構(gòu)先進(jìn)行修復(fù)。修補(bǔ)過程中，首先通過優(yōu)先權(quán)函數(shù)決定修復(fù)次序。然后根據(jù)SSD（the sum of squared differences）匹配準(zhǔn)則（即像素灰度平方差和最?。┰谝阎獔D像區(qū)域內(nèi)選擇最佳的像素塊，并將最佳的像素塊的灰度值拷貝到當(dāng)前的待修復(fù)像素塊中。此后更新修補(bǔ)邊界信息，繼續(xù)選出優(yōu)先級最高的像素塊進(jìn)行修復(fù)，如此反復(fù)，直到待修補(bǔ)區(qū)域被填充滿，完成整個修復(fù)過程。

1.1 優(yōu)先權(quán)計算

如圖1所示：表示待修復(fù)的圖像區(qū)域；表示待修復(fù)區(qū)域邊界上的一個像素點(diǎn)；是以為中心的像素塊（待修補(bǔ)塊）。設(shè)()為目標(biāo)像素塊的置信度，表示以點(diǎn)為中心的圖像塊中已知數(shù)據(jù)的可信度，定義為：

式中：||示區(qū)域的勢，對于數(shù)字圖像，||表示像素塊中像素點(diǎn)的數(shù)目。設(shè)()為數(shù)據(jù)項，刻畫目標(biāo)像素塊的結(jié)構(gòu)信息量。數(shù)據(jù)項()定義為：

圖1 基于樣本塊的紋理合成示意圖

利用置信度()和數(shù)據(jù)項()，優(yōu)先權(quán)系數(shù)定義為：

()＝()×()

根據(jù)優(yōu)先權(quán)系數(shù)的定義，()與置信度()和數(shù)據(jù)項()都成正比例關(guān)系。所以Criminisi算法會先修補(bǔ)含有更多像素信息，并且等照度線盡量垂直于修補(bǔ)區(qū)域邊界的像素塊。這種修補(bǔ)次序可以使得修復(fù)圖像具有更好的視覺連通性，有效地避免修補(bǔ)過程中出現(xiàn)結(jié)構(gòu)斷裂和模糊現(xiàn)象。

2.2 最佳匹配塊的選擇與填充

一旦確定了待修復(fù)的目標(biāo)塊，就可以在未受損的區(qū)域尋找與待修復(fù)塊相似的樣本塊，其中，滿足：

＝argmin(,) (3)

式中：(,)表示像素塊與的距離，一般情況下，(,)選擇為像素塊與里面對應(yīng)的已知填充好的像素點(diǎn)的顏色之間的差的平方和，計算公式如下：

找到最佳匹配塊后，待修復(fù)塊中待修復(fù)點(diǎn)的像素值對應(yīng)使用目標(biāo)塊中的像素值來填充，完成修補(bǔ)。

2.3 置信度更新

當(dāng)待修復(fù)目標(biāo)塊被填充后，那么其填充像素點(diǎn)的置信度更新公式如下：

置信度更新完成后，說明一個待修復(fù)塊的修復(fù)已經(jīng)完成。與此同時，圖形的邊緣也發(fā)生了變化，然后重復(fù)以上幾個步驟，直到整個修補(bǔ)區(qū)域被填滿。

3 本文算法

3.1 多尺度變分分解模型

本文采用如下三元變分圖像分解模型對輸入圖像進(jìn)行分解[21]：

式中：表示BV半范數(shù)；表示G范數(shù)；表示L2范數(shù)的平方。求解極小化問題(5)，輸入圖像I被分解為I＝u＋v＋r，其中u是圖像的結(jié)構(gòu)分量；v是圖像的紋理分量。參數(shù)g為尺度參數(shù)[21]：在結(jié)構(gòu)分量u中，尺度大于1/g的圖像結(jié)構(gòu)將被保留在結(jié)構(gòu)分量u中，而小于1/g的結(jié)構(gòu)將被模糊掉；在紋理分量中，尺度小于4lg的圖像紋理將被保留在紋理分量u中，而大于4lg的紋理將被模糊掉。圖2顯示了采用變分圖像分解模型(5)對一幅Barbara圖像的分解結(jié)果。從實(shí)驗結(jié)果可以看出該模型可以非常好地區(qū)分圖像的結(jié)構(gòu)和紋理。

本文采用變分分解模型(5)進(jìn)行圖像多尺度分解。首先選取初始尺度參數(shù)0，一般情況下選擇一個較小的正數(shù)。利用變分分解模型(5)將輸入圖像分解為＝1＋1＋1，其中：

式中：1＝－1＋1為剩余分量。如上分析，1包含了尺度大于1/0的圖像結(jié)構(gòu)；1包含了尺度小于4的圖像紋理。在這種情況下，尺度小于1/0的圖像結(jié)構(gòu)和尺度大于40的圖像紋理都被劃分到剩余分量1。由此，我們可以增加尺度參數(shù)的值以捕獲剩余分量中的結(jié)構(gòu)和紋理。設(shè)1＞0，將剩余1作為輸入，利用變分分解模型對其進(jìn)行分解，1＝2＋2＋2，其中：

類似地，2包含結(jié)構(gòu)的尺度為[1/1, 1/0]；2包含紋理尺度為[40, 41]，其它的圖像特征都被劃分到剩余分量2中。由此可以繼續(xù)對剩余分量進(jìn)行分解，每次設(shè)定尺度參數(shù)滿足＋1＞：

式中：＝0, 1, …；0＝。經(jīng)過步分解，圖像被分解為：

I

＝

u

1

＋

u

2

＋…＋

uk

＋

v

1

＋

v

2

＋…＋

vk

＋

rk

圖3顯示了采用變分圖像分解模型(5)對Barbara圖像的多尺度分解結(jié)果。從實(shí)驗結(jié)果可以看出圖像很好地分解為不同尺度的結(jié)構(gòu)和紋理分量之和。本文將這些結(jié)構(gòu)分量和紋理分量稱為圖層。

3.2 分解模型的數(shù)值求解

多尺度變分分解實(shí)際上就是反復(fù)求解以下變分模型：

式中：i＝0, 1, …；r0＝I。本文采用交替迭代法求解上述極小化問題。為了簡化符號，在后面的敘述中省略下標(biāo)“i”。設(shè)定初值(u0, v0)＝(0, 0)：

對已極小化問題(6)和(7)，本文采用對偶框架下的投影算法對其進(jìn)行求解[21]：

式中：1表示閉凸集：

式中：a,j為拉格朗日乘子。通過互補(bǔ)松弛定理，當(dāng)a,j＞0時，|p,j|＝1；當(dāng)|p,j|＜1時，a,j＝1，此時?(div()－),j滿足?(div()－),j＝0。因此對于任何一種情況，a,j都滿足：

a,j＝|?(div()－),j|

此時，極小化問題(11)可以采用半隱式固定點(diǎn)迭代算法求解：

3.3 算法步驟

本文的主要貢獻(xiàn)是：采用變分分解模型將圖像分解為不同尺度的圖層，然后在每一個圖層中分別采用修復(fù)算法進(jìn)行修補(bǔ)，這種分層修復(fù)的優(yōu)勢是在匹配塊的挑選過程中，由于是在尺度大致相同的圖層中尋找匹配塊，這樣可以排除其他尺度信息的干擾，而搜尋到最優(yōu)的匹配塊。算法主要步驟如下：

Step 1 用戶選擇需要修補(bǔ)的區(qū)域，找出修補(bǔ)區(qū)域邊界?；

Step 3 對每個圖層分別采用Criminisi算法進(jìn)行修補(bǔ)；

Step 4 結(jié)合修補(bǔ)后的所有圖層得到最終的修復(fù)結(jié)果。

4 數(shù)值試驗

本章以不同的人工圖像和自然圖像為實(shí)驗對象驗證本文算法的有效性，所有實(shí)驗中，圖像分解的層數(shù)選擇為＝3。并且和傳統(tǒng)的Criminisi算法，以及2個改進(jìn)Criminisi算法（文獻(xiàn)[14]和文獻(xiàn)[15]）進(jìn)行了對比實(shí)驗，顯示本文模型對在圖像修復(fù)上的優(yōu)勢。為了對修復(fù)效果做量化評價，本文采用峰值信噪比（peak signal to noise ratio，PSNR）和平均結(jié)構(gòu)相似性指標(biāo)（mean structural similarity，MSSIM）[23]來衡量修復(fù)效果，峰值信噪比定義為：

其中結(jié)構(gòu)相似性指標(biāo)（structural similarity，SSIM）定義為：

本文采用不同的人造圖像和自然圖像，人為地?fù)溉ゲ糠謪^(qū)域為待修補(bǔ)區(qū)域，采用4種不同的算法對其進(jìn)行修補(bǔ)。并將修補(bǔ)后結(jié)果與原圖進(jìn)行比較，通過計算PSNR和MSSIM值衡量修補(bǔ)結(jié)果，展示本文算法的優(yōu)勢。

圖4是對一幅人造圖像的修復(fù)結(jié)果。此圖像包括4種不同的紋理，各類紋理之間有明顯的邊界。待修補(bǔ)區(qū)域為圖像中心的一個方塊區(qū)域（白色區(qū)域），并且4種紋理都有缺損。此破損圖像中，4種紋理區(qū)域在圖像中心的交匯區(qū)域是修補(bǔ)的難點(diǎn)。圖5(c)和圖5(e)分別是傳統(tǒng)Criminisi算法和文獻(xiàn)[15]中算法的修復(fù)結(jié)果。明顯地，這2個修復(fù)結(jié)果中都出現(xiàn)了紋理延伸到其他區(qū)域的情況。圖5(d)和圖5(f)分別是文獻(xiàn)[14]中算法和本文算法的修復(fù)結(jié)果，可以看出這兩個修復(fù)結(jié)果都較好地重現(xiàn)了原圖的特征，基本上沒有出現(xiàn)紋理相互混疊的情況。但是通過PSNR和MSSIM值量化比較，本文算法的修復(fù)結(jié)果仍具有一定優(yōu)勢。

圖5～圖7展示了4種算法對3幅自然圖像的修復(fù)結(jié)果。這3幅圖像含有豐富的紋理細(xì)節(jié)，人工選擇的待修補(bǔ)區(qū)域（白色區(qū)域）為細(xì)節(jié)豐富的、修復(fù)具有一定難度的大塊區(qū)域，圖5為墻面圖像，修補(bǔ)區(qū)域為部分墻面，此圖像的修補(bǔ)難點(diǎn)是墻縫的連通性和墻磚的整體性。圖6為Lena圖像，修補(bǔ)區(qū)域為帽檐、帽穗和Lena的部分前額，此圖像的修補(bǔ)難點(diǎn)是帽檐的連通性、額頭和帽子的交匯以及帽穗的完整性。圖7為秋天的樹林圖像，修補(bǔ)區(qū)域為綠色和紅色的樹林，此圖的修補(bǔ)難點(diǎn)是綠色樹林和紅色樹林的交匯。

圖4 人造圖像的修復(fù)結(jié)果

表1 不同算法修復(fù)結(jié)果的PSNR與MSSIM值

從實(shí)驗結(jié)果可以看出，Criminisi算法對于圖像中復(fù)雜結(jié)構(gòu)處的修補(bǔ)存在較大缺陷，修復(fù)結(jié)果中產(chǎn)生了大量的“垃圾塊”。文獻(xiàn)[15]采用梯度項計算優(yōu)先級，重點(diǎn)考慮了灰度劇烈變化區(qū)域，修復(fù)結(jié)果稍有改進(jìn)，但是在修補(bǔ)區(qū)域的內(nèi)部還是可能會出現(xiàn)“垃圾塊”。文獻(xiàn)[14]提出了基于結(jié)構(gòu)張量的數(shù)據(jù)項。結(jié)構(gòu)張量中的高斯卷積可以很好地刻畫結(jié)構(gòu)的局部特征，所以文獻(xiàn)[14]算法可以在修復(fù)過程中更好地保持結(jié)構(gòu)的一致性。本文算法由于采用了分層修復(fù)算法，通過在不同的圖層分別尋找匹配塊，排除了不同尺度特征的相互干擾，這樣可以較為容易地挑選出最優(yōu)的匹配塊。從實(shí)驗結(jié)果也可以看出本文算法更好的修復(fù)了圖像的結(jié)構(gòu)細(xì)節(jié)，很少出現(xiàn)“垃圾塊”，修復(fù)結(jié)果更符合人的主觀視覺。并且通過PSNR和MSSIM值量化比較（見表1），本文算法相對于其它3個算法更具有優(yōu)勢。

圖5 墻面圖像的修復(fù)結(jié)果

Fig.5 The restoration results of wall image

圖6 Lena圖像的修復(fù)結(jié)果

Fig.6 The restoration results of Lena image

圖7 樹林圖像的修復(fù)結(jié)果

Fig.7 The restoration results of woods image

目標(biāo)物體移除也是圖像修復(fù)算法的一個重要應(yīng)用，本文也將分層修復(fù)算法應(yīng)用到這個領(lǐng)域。圖8展示了4個算法對1幅自然圖像中目標(biāo)物體移除實(shí)驗結(jié)果。移除目標(biāo)為草地上的一棵樹。從實(shí)驗結(jié)果可以看出，Criminisi算法結(jié)果中，草地出現(xiàn)了不連續(xù)的現(xiàn)象，并且出現(xiàn)了“垃圾塊”，文獻(xiàn)[15]算法結(jié)果中也出現(xiàn)了大量的“垃圾塊”，本文算法和文獻(xiàn)[14]算法去除結(jié)果較好，但是仔細(xì)比較，本文移除結(jié)果更自然可信。

圖8 目標(biāo)物體移除實(shí)驗結(jié)果

5 結(jié)論

在Criminisi圖像修復(fù)算法中，為了尋找最優(yōu)的匹配塊，本文提出了一個分層Criminisi圖像修復(fù)算法。首先采用多尺度變分分解模型將圖像分解成一系列圖層之和，不同圖層包含不同尺度的圖像特征，而同一圖層包含幾乎相同的尺度特征。然后在每個圖層中分別采用Criminisi修復(fù)算法進(jìn)行修補(bǔ)。由于同一圖層包含尺度大致相同的圖像特征，所以在匹配塊的搜索過程中，分層修復(fù)能較容易地搜尋到最優(yōu)的匹配塊。最后結(jié)合分別修復(fù)的圖層，得到最終的修復(fù)結(jié)果。實(shí)驗結(jié)果表明，對于不同的人工圖像和自然圖像，本文模型都能取得較為滿意的修復(fù)結(jié)果。并且相對于傳統(tǒng)Criminisi算法以及文獻(xiàn)[14]和文獻(xiàn)[15]的修復(fù)算法具有一定優(yōu)勢。另外說明本文的分層修復(fù)算法需要對多個圖層進(jìn)行Criminisi算法修復(fù)，所以相對于傳統(tǒng)的Criminisi算法需要更多的計算時間。但是本文的分層修復(fù)算法也可以結(jié)合到目前一些快速的修復(fù)算法中，例如文獻(xiàn)[18]和文獻(xiàn)[24]中的快速修復(fù)算法，以提高修復(fù)效率。

[1] Imtiyaz M, Kumar A, Sreenivasulu G. Inpainting an Image based on Enhanced Resolution[J]., 2015, 6(1): 23-26.

[2] Guillemot C, Meur O L. Image Inpainting: Overview and Recent Advances[J]., 2014, 31(1):127-144.

[3] 張紅英, 彭啟琮. 數(shù)字圖像修復(fù)綜述[J]. 中國圖象圖形學(xué)報, 2007, 12(1): 1-10.

ZHANG Hong-ying, PENG Qi-cong. A survey on digital image inpainting[J]., 2007, 12(1): 1-10．

[4] Bertalmio M, Sapiro G, Caselles V, et al. Image inpainting[C]//27., 2000: 417-424.

[5] Shen J, Chan T F. Mathematical models for local nontexture inpaintings[J]., 2002, 62(3): 1019-1043.

[6] Chan T F, Shen J. Nontexture inpainting by curvature-driven diffusions[J]., 2001, 12(4): 436-449.

[7] Bildhauer M, Fuchs M. On Some Perturbations of the total variation image inpainting method. Part II: Relaxation and Dual Variational Formulation[J]., 2015, 205(2): 121-140.

[8] Yin X F, Duan J M, Pan Z K, et al. Nonlocal TV-L1 Inpainting Model and its Augmented Lagrangian Algorithm[C]//, 2014, 644: 4630-4636.

[9] Zhang Y, Pu Y F, Hu J R, et al. A Class of Fractional-Order Variational Image Inpainting Models[J]., 2012, 6(26):299-306.

[10] Li F, Zeng T. A New Algorithm Framework for Image Inpainting in Transform Domain[J]., 2016, 9(1): 24-51.

[11] Criminisi A, Pérez P, Toyama K. Region filling and object removal by exemplar-based image inpainting[J]., 2004, 13(9): 1200-1212.

[12] Zhou H, Zheng J. Adaptive patch size determination for patch-based image completion[C]//(), 2010 17, 2010: 421-424.

[13] Xu Z, Sun J. Image inpainting by patch propagation using patch sparsity[J]., 2010, 19(5): 1153-1165.

[14] Le Meur O, Gautier J, Guillemot C. Examplar-based inpainting based on local geometry[C]//(), 2011 18, 2011: 3401-3404.

[15] Huang H Y, Hsiao C N. A patch-based image inpainting based on structure consistence[C]/(), 2010, 2010: 165-170.

[16] 劉業(yè)妃, 王福龍, 奚祥艷, 等. 改進(jìn)的Criminisi圖像修復(fù)算法[J]. 小型微型計算機(jī)系統(tǒng), 2014(12): 2754-2758.

LIU Yefei, WANG Fulong, XI Xiangyan, et al. Improved algorithm for image inpainting based on texture synthesis[J]., 2014(12): 2754-2758.

[17] Liu Y, Caselles V. Exemplar-based image inpainting using multiscale graph cuts[J]., 2013, 22(5): 1699-1711.

[18] 張顯全, 高志卉. 一種塊匹配的圖像修復(fù)算法[J]. 光電子.激光, 2012, 23(4): 805-811.

ZHANG Xian-quan,GAO Zhi-hu. Image inpainting algorithm based on block matching[J]., 2012, 23(4): 805-811.

[19] 李尊, 吳謹(jǐn), 劉勁. 數(shù)學(xué)形態(tài)學(xué)在Criminisi圖像修復(fù)算法中的應(yīng)用[J]. 紅外技術(shù), 2015, 37(7):574-578.

LI Zun, WU Jin, LIU Jin. The application of mathematical morphology in the criminisi algorithm of image inpainting[J]., 2015, 37(7): 574-578.

[20] Bertalmio M, Vese L, Sapiro G, et al. Simultaneous structure and texture image inpainting[J]., 2003, 12(8): 882-889.

[21] 唐利明, 黃大榮. 變分框架下的多尺度圖像恢復(fù)與重建[J]. 電子學(xué)報, 2013, 41(12):2353-2360.

TANG Liming, HANG Darong. Multiscale image restoration and reconstruction in the framework of variation[J]., 2013, 41(12):2353-2360.

[22] Chambolle A. An Algorithm for Total Variation Minimization and Applications[J]., 2004, 20(1/2):89-97.

[23] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]., 2004, 13(4):600-612.

[24] 李尊, 吳謹(jǐn), 劉勁. 目標(biāo)移除的Criminisi圖像修復(fù)算法[J].紅外技術(shù), 2016, 38(1):28-32.

LI Zun, WU Jin, LIU Jin. Criminisi image restoration algorithm for object removal[J]., 2016, 38(1):28-32.

Multi-layer Criminisi Inpainting Algorithm for Non-Uniform Texture Images

PENG Chunhua1,2，TANG Liming1

(1.,,445000,; 2.,445000,)

To improve the inpainting quality of non-uniform texture images with extensive missing regions, we propose a multi-layer Criminisi image inpainting algorithm. First, a damaged image is decomposed into the sum of a few image layers using a multiscale variational decomposition model. The different image layers contain image features with different scales, and one layer contains features that are under a similar scale. Then, in each image layer, the Criminisi inpainting algorithm is applied. In the matching block search process, because one layer contains image features with roughly the same scale, the multi-layer inpainting algorithm can more easily locate the optimal matching block. Finally, combining the filled image layers, we obtain the final inpainting result. Experimental results on both synthetic and real non-uniform texture images demonstrate the effectiveness of the proposed algorithm.

image inpainting，Criminisi algorithm，variational image decomposition

TP391

A

1001-8891(2017)09-0814-10

2016-08-24；

2017-08-24.

彭春華（1979-），女，碩士研究生，主要研究方向為數(shù)字圖像處理。

唐利明(1978-)，男，博士，副教授，主要從事變分圖像修復(fù)、分割等方面研究。E-mail：tlmcs78@foxmail.com。

國家自然科學(xué)基金（61561019）；湖北省自然科學(xué)基金（2015CFB262）；國家科技支撐計劃課題（2015BAK27B03）；湖北民族學(xué)院博士啟動基金（MY2015B001）。