李夢雪，翟東海，孟紅月，曹大命

(1.西南交通大學(xué) 信息科學(xué)與技術(shù)學(xué)院，成都 610031； 2.西藏大學(xué) 工學(xué)院，拉薩 850000)

劃分特征子區(qū)域的圖像修復(fù)算法

李夢雪1*，翟東海1,2，孟紅月1，曹大命1

(1.西南交通大學(xué) 信息科學(xué)與技術(shù)學(xué)院，成都 610031； 2.西藏大學(xué) 工學(xué)院，拉薩 850000)

為了解決含有豐富紋理信息和復(fù)雜結(jié)構(gòu)信息的大破損區(qū)域中的缺失信息修復(fù)的問題，提出了一種劃分特征子區(qū)域的圖像修復(fù)算法。首先，根據(jù)圖像中包含的不同特征，運用特征公式進行特征提取，再通過統(tǒng)計特征值劃分特征子區(qū)域，提高了圖像修復(fù)的速度；其次，在原Criminisi算法的基礎(chǔ)上改進了優(yōu)先級的計算，通過增大結(jié)構(gòu)項的影響，避免結(jié)構(gòu)斷裂的產(chǎn)生；然后，通過目標(biāo)塊和其最佳鄰域相似塊共同約束樣本塊的選取，確定最佳樣本塊集；最后，利用權(quán)值分配法合成最佳樣本塊。實驗結(jié)果表明，所提算法相比原Criminisi算法，其峰值信噪比(PSNR)提升了2～3 dB，相比基于稀疏表示的塊優(yōu)先權(quán)值計算的算法，其修復(fù)效率有明顯的提高。所提算法不但適用于一般小尺度的破損圖像的修復(fù)，而且對于含有豐富紋理信息和復(fù)雜結(jié)構(gòu)信息的大破損圖像的修復(fù)效果也更佳，并且修復(fù)后的圖像更加符合人們視覺上的連通性。

圖像修復(fù)；特征提??；Criminisi算法；優(yōu)先級；樣本塊

0 引言

圖像修復(fù)是計算機視覺和圖形圖像處理中的一個研究熱點，被廣泛應(yīng)用于古文物的保護、影視特技的制作、目標(biāo)物體的移除、視頻圖像差錯隱藏等視覺處理領(lǐng)域。圖像修復(fù)技術(shù)主要是對圖像中丟失或者損壞的部分，根據(jù)圖像自身信息，按照一定的修復(fù)原則補全其損壞的圖像信息，使得處理后的圖像接近或達到人們視覺上的連通性[1]。

圖像修復(fù)問題主要分為兩類:一類是用于修復(fù)小尺度缺損的數(shù)字圖像修復(fù)，比如劃痕、折痕或者污點，主要的解決思路為基于變分非線性偏微分方程(Partial Differential Equation, PDE)的圖像修復(fù)模型,即最早由Bertalmio等[2]提出的基于偏微分方程的圖像修復(fù)模型,同時利用三階PDE模型提出了BSCB(Bertalmio-Sapiro-Caselles-Bellester)模型。該模型是模擬專業(yè)人員的手工修復(fù)方式，將破損區(qū)域附近的圖像信息，按照破損邊緣等照度線的方向，向破損區(qū)域內(nèi)部進行擴散。之后，延續(xù)BSCB的算法思想，Chan等[3]提出了改進的基于曲率驅(qū)動擴散 (Curvature Driven Diffusion, CDD) 模型，該模型通過引入曲率的概念改善了全變分(Total Variation, TV)模型。但是以上基于PDE的修復(fù)模型對于非紋理圖像有較好的修復(fù)效果，對于具有大破損區(qū)域的圖像進行修復(fù)時常常出現(xiàn)結(jié)構(gòu)線斷裂和圖像模糊的現(xiàn)象。另一類是用于填充補全圖像中大破損區(qū)域的圖像修復(fù)，比如目標(biāo)移除，主要的解決思路為基于紋理合成的圖像修復(fù)、基于稀疏表示的圖像修復(fù)、基于圖像分解的圖像修復(fù)以及基于參照樣例的圖像修復(fù)。Bornard等[4]提出了以像素點為合成單元的紋理合成修復(fù)算法，具有顯著的局部性，在復(fù)雜紋理區(qū)域中容易導(dǎo)致無法匹配的問題。因此，Criminisi等[5]提出了一種基于優(yōu)先級的圖像修復(fù)算法，通過優(yōu)先級計算出破損區(qū)域邊緣最先修復(fù)的待修復(fù)塊，根據(jù)待修復(fù)塊中未破損區(qū)域信息，在整幅圖像的完好區(qū)域?qū)ふ移ヅ涞臉颖緣K，利用最優(yōu)樣本塊填充待修復(fù)塊，完成修復(fù)。然而，在修復(fù)過程中因為優(yōu)先級的計算順序和樣本塊搜索的問題，導(dǎo)致紋理的錯誤延伸和結(jié)構(gòu)線斷裂。之后，Sun 等[6]提出通過人工手繪使一些重要的曲線或者線段從完好區(qū)域延伸至破損區(qū)域，然后利用完好區(qū)域結(jié)構(gòu)線附近的圖像信息完成填充。該算法對于修復(fù)結(jié)構(gòu)邊緣圖像具有良好的效果。Elad等[7]以信號的稀疏模型為基礎(chǔ)，對圖像的紋理和結(jié)構(gòu)部分分別進行稀疏表示,然后進行重構(gòu)。Xu等[8]提出一種基于結(jié)構(gòu)稀疏的傳播方法,降低了塊傳播的貪婪風(fēng)險。Bertalmio等[9]是將圖像分解為結(jié)構(gòu)和紋理后各自進行修復(fù)。Tang等[10]提出了一種基于參照圖像的圖像補全算法，該算法首先從圖像庫中選取最佳參照圖像，再利用參照圖像中的結(jié)構(gòu)信息重建原始圖像中的缺失結(jié)構(gòu)，最后通過紋理合成完成圖像修復(fù)。以上將紋理和結(jié)構(gòu)部分分開進行修復(fù)的算法，雖然能避免結(jié)構(gòu)線斷裂的產(chǎn)生，但是容易導(dǎo)致樣本塊的錯誤累積和塊效應(yīng)現(xiàn)象。Liu等[11]提出一種新的基于樣本的圖像修復(fù)算法，該算法通過引入結(jié)構(gòu)張量理論構(gòu)造局部測量功能,獲得最優(yōu)匹配塊填充破損區(qū)域從而修復(fù)圖像。近三年，提出了一種基于統(tǒng)計的圖像修復(fù)算法，He等[12]采用相似塊統(tǒng)計的修復(fù)方法，通過相似塊的匹配并且獲得它們的相對位置參數(shù)，即偏移量，根據(jù)偏移量的統(tǒng)計結(jié)果為修復(fù)破損區(qū)域提供可靠信息。該算法雖然能夠提高修復(fù)效率，但是具有一定的局限性，適用于相似塊多的圖像。

針對圖像修復(fù)中出現(xiàn)的紋理塊的錯誤延伸、錯誤累積、結(jié)構(gòu)線斷裂以及修復(fù)效率等問題，本文提出一種通過劃分特征子區(qū)域，局部尋找最佳樣本塊的修復(fù)算法。所提算法主要針對含有豐富紋理信息和復(fù)雜結(jié)構(gòu)信息的大破損區(qū)域的圖像進行修復(fù)，其主要的解決思路是以紋理合成中Criminisi算法為基礎(chǔ)，Criminisi算法最主要是求破損區(qū)域邊緣上的所有待修復(fù)塊的優(yōu)先級值和在完好區(qū)域中搜索填充待修復(fù)塊的樣本塊。Criminisi算法中優(yōu)先級值的計算方法簡單，但是用該優(yōu)先級的計算公式并不能很好地突出結(jié)構(gòu)信息，會導(dǎo)致修復(fù)后的圖像出現(xiàn)結(jié)構(gòu)斷裂現(xiàn)象;而且采用單個樣本塊復(fù)制來填充待修復(fù)區(qū)域會造成已修復(fù)區(qū)域出現(xiàn)單個塊重復(fù)復(fù)制，并容易產(chǎn)生錯誤匹配;以及Criminisi算法的搜索范圍是全局搜索，使得該算法的運行速度較慢。本文在Criminisi算法的基礎(chǔ)上對優(yōu)先級和選取樣本塊上都作出了改進，并且根據(jù)文獻[13-15]所提到的有關(guān)圖像特征提取的描述，可知圖像的不同區(qū)域包含不同的圖像特征并且可以進行特征的提取。本文就是根據(jù)把不同的圖像特征進行提取，用提取后的特征值進行分類，劃分出具有不同特征的子區(qū)域。

1 算法描述

本文所提的劃分特征子區(qū)域算法主要思想是通過劃分特征子區(qū)域，利用約束條件在各個對應(yīng)的特征子區(qū)域中搜索樣本塊集，根據(jù)權(quán)值分配法最終合成一個最佳樣本塊。該算法主要分為兩個部分:第一個部分是預(yù)處理部分，用于劃分特征子區(qū)域;第二個部分為修復(fù)部分，用于對破損區(qū)域進行修復(fù)。該算法具體步驟如下：

第一部分：

1) 將破損圖像劃分成小圖像塊Patch，并分別對每個圖像塊進行特征提取。

2) 對提取的特征值進行統(tǒng)計分類，根據(jù)不同特征集對圖像進行子區(qū)域劃分。

第二部分：

1) 對破損區(qū)域的邊緣待修復(fù)塊用帶結(jié)構(gòu)因子的優(yōu)先級計算公式計算其優(yōu)先級順序，并篩選出最高優(yōu)先級的待修復(fù)的目標(biāo)塊。

2) 在與該目標(biāo)塊相對應(yīng)的子區(qū)域中的完好部分進行局部搜索構(gòu)造候選樣本塊集。先根據(jù)目標(biāo)塊與樣本塊自身約束條件選取初始候選樣本塊集；再根據(jù)目標(biāo)塊的鄰域窗口中確定的最佳相似塊與樣本塊之間的約束條件確定最佳樣本塊集；最后，對最佳樣本塊集中的所有樣本塊進行權(quán)值分配從而合成一個最佳樣本塊。

3) 把最佳樣本塊復(fù)制至目標(biāo)塊，并沿著新形成的邊緣更新各像素點的優(yōu)先級，重復(fù)第二部分的各個步驟直至破損區(qū)域全部修復(fù)完成。

2 修復(fù)方法

2.1 預(yù)處理——劃分特征子區(qū)域

本文進行預(yù)處理的目的是通過圖像特征分類劃分特征子區(qū)域局部搜索候選樣本塊集，不僅提升了圖像修復(fù)的速度，而且提高了其匹配精度。對一幅破損圖像進行預(yù)處理，該子區(qū)域劃分示意圖如圖1所示。

圖1 子區(qū)域劃分示意圖Fig.1 Schematic diagram of subregion partitioning

首先，把輸入的破損圖像I劃分成大小為n×n的小圖像塊Patch(如圖1(a)中虛線所分割出來的Patch)。

其次，本文選取Sobel算子提取邊緣結(jié)構(gòu)特征，選取局部二值模式(Local Binary Pattern, LBP)算子提取紋理特征，將Sobel算子與LBP算子作為卷積核與原始圖像中的各個圖像塊Patch進行卷積運算從而得到特征矩陣，特征公式如下：

(1)

其中：I(x,y)為圖像上(x,y)處的像素值；ω(x,y)為卷積核；a、b分別為圖像塊Patch的寬度和長度。然后，采用Max-pooling技術(shù)對特征矩陣進行處理從而獲得顯著特征。

最后，將每個圖像塊的顯著特征矩陣進行歸一化計算出其特征值，并根據(jù)每個圖像塊的特征值與位置，對特征值進行分類統(tǒng)計。根據(jù)圖像的局部相似性原理[16]可知，相同或者相鄰區(qū)域的特征值差距較小，而不同特征區(qū)域的特征值差別較大。那么，把特征值差距較小且位置相鄰的特征值歸為一類，組成一個特征集，從而依照不同的特征集把原圖像劃分為不同的子區(qū)域(如圖1(b)所示)，并區(qū)分為結(jié)構(gòu)類子區(qū)域(S1,S2,S3)和紋理類子區(qū)域(C1,C2,C3,C4,C5)。

2.2 破損區(qū)域修復(fù)

本文從優(yōu)先級計算和樣本塊選取兩個方面對Criminisi算法[17]進行了改進從而構(gòu)造了一種新的基于樣本塊的修復(fù)方法。在優(yōu)先級計算中引入了結(jié)構(gòu)因子，增強結(jié)構(gòu)信息的作用，避免修復(fù)后的圖像出現(xiàn)結(jié)構(gòu)斷裂現(xiàn)象。在樣本塊選取中，本文是先對破損圖像進行子區(qū)域的劃分，把原算法的全局搜索改進為僅在對應(yīng)的子區(qū)域的局部搜索。在選取候選樣本時，先在目標(biāo)塊所對應(yīng)的子區(qū)域中選取候選樣本塊組成初始候選樣本塊集；再在目標(biāo)塊的鄰域中確定其最佳鄰域相似塊，并根據(jù)該最佳鄰域相似塊對初始候選樣本塊集進行篩選從而進一步縮小樣本塊集的大小并得到最佳樣本塊集。最后，為最佳樣本塊集里面的所有樣本塊分配不同的權(quán)值,并合成這些樣本塊得到一個最佳樣本塊來填充目標(biāo)塊。

2.2.1 改進的優(yōu)先級計算

(2)

改進后的優(yōu)先級計算公式為：

(3)

其中,αW為結(jié)構(gòu)因子，是一個比值，其分子分母分別表示鄰域窗口中結(jié)構(gòu)類子區(qū)域和紋理類子區(qū)域中的已知像素，它的計算式為：

(4)

其中：WP(q)表示鄰域窗口的已知像素點；Sn表示結(jié)構(gòu)類子區(qū)域；Cn表示紋理類子區(qū)域。結(jié)構(gòu)因子的分母表示鄰域窗口內(nèi)的已知像素點屬于紋理類子區(qū)域的像素點個數(shù)之和，分子表示鄰域窗口內(nèi)的已知像素點屬于結(jié)構(gòu)類子區(qū)域的像素點個數(shù)之和。當(dāng)分子為零時，說明該目標(biāo)塊的鄰域窗口中不包含結(jié)構(gòu)信息，為了防止其最后的優(yōu)先級為零，在結(jié)構(gòu)因子式子后加1，確保對其自身目標(biāo)塊的優(yōu)先級不影響。結(jié)構(gòu)因子用來放大結(jié)構(gòu)信息在優(yōu)先級中的重要性，如果在目標(biāo)塊鄰域中的結(jié)構(gòu)信息越豐富，那么該目標(biāo)塊自身的結(jié)構(gòu)信息也豐富，相應(yīng)地它就具有較高的優(yōu)先級。這樣保證了含有豐富結(jié)構(gòu)信息的目標(biāo)塊可以得到優(yōu)先修復(fù)，避免結(jié)構(gòu)特征的斷裂。

圖2 目標(biāo)塊示意圖Fig. 2 Schematic diagram of target patch

目標(biāo)塊P的原始優(yōu)先級計算公式為：

(5)

式中包含兩個計算項：CP為置信度項，是對P點周圍已知信息進行統(tǒng)計，P點周圍的已知信息越多其優(yōu)先級越大；DP為數(shù)據(jù)項，表示該修復(fù)應(yīng)該盡可能兼顧等照度方向和邊緣法線方向，等照度線方向與邊緣法線方向兩者夾角越小，優(yōu)先級越大。

2.2.2 合成最佳樣本塊

樣本塊的選取最主要是為了找出最符合目標(biāo)塊信息的樣本塊，本文構(gòu)造了一種新的選取方法從而確定其最佳樣本塊集，某個目標(biāo)塊確定其最佳樣本塊集的示意圖如圖3所示。

圖3 確定最佳樣本塊集示意圖Fig. 3 Schematic diagram of determing optimal sample patch set

(G(a)-G(b))2+(B(a)-B(b))2]

(6)

其中，R(a)、G(a)、B(a)為三原色的三個通道。當(dāng)兩塊之間的相似性小于某個閾值ε時(如式(7))，那么，就將該樣本塊作為候選樣本塊并將它放入初始候選樣本塊集。

|d(ΦP,ψq)|<ε

(7)

(8)

(9)

(10)

式中：分子是一個定值，代表了目標(biāo)塊與最佳樣本塊集中的各個樣本塊之間的相似度之和；分母表示目標(biāo)塊與某一樣本塊之間的相似度。

最后，把得到的最佳樣本塊復(fù)制至目標(biāo)塊，并沿著新形成的邊緣更新各像素點的優(yōu)先級，直至破損區(qū)域全部被修復(fù)。

3 實驗結(jié)果與分析

為了驗證所提算法的性能，進行以下實驗仿真。實驗環(huán)境說明：軟件環(huán)境是操作系統(tǒng)為Windows 7 SP1，64位，編譯環(huán)境為Visual Studio 2015;硬件環(huán)境是CPU為Intel賽揚處理器，主頻為1.8 GHz，內(nèi)存為4 GB。通過四組實驗，將Criminisi算法、文獻[8]算法和本文算法進行了主觀和客觀的對比。

3.1 主觀對比

主觀對比的結(jié)果常常因為評價者和評價內(nèi)容的不同而產(chǎn)生較大差異，本文根據(jù)實驗得到的圖像進行主觀對比，即針對同一幅破損圖像使用不同的算法分別完成修復(fù)，對比得到的修復(fù)效果，不同圖像的修復(fù)結(jié)果如圖4所示。預(yù)先設(shè)置算法的各項參數(shù)：小圖像塊Patch值、目標(biāo)塊矩陣值、閾值ε。

圖4 不同算法對不同圖像修復(fù)結(jié)果對比Fig. 4 Comparison of different image inpainting results by different algorithms

圖4(a)是經(jīng)典蹦極圖像，該修復(fù)主要是對蹦極人進行了移除。對比圖4(a)的結(jié)果可知：Criminisi算法修復(fù)的圖像結(jié)果可以看到房頂處和水中都出現(xiàn)了錯誤的紋理延伸；文獻[8]算法修復(fù)的圖像房頂處出現(xiàn)的錯誤的紋理延伸較少；而本文的算法進行修復(fù)的圖像克服了匹配上的錯誤，使修復(fù)的圖像效果更好。

圖4(b)是對沙灘上的小狗進行移除。對比圖4(b)的結(jié)果可知：Criminisi算法修復(fù)的圖像結(jié)果在對該小狗進行移除時把棧道上的紋理錯誤地匹配為了天空處的紋理塊；而文獻[8]算法修復(fù)的圖像把棧道上鞋子的紋理塊匹配為了天空上的紋理塊，使得鞋子的圖像信息被覆蓋；但是本文算法通過子區(qū)域的劃分，把匹配塊的選取精確為同一個區(qū)域，因此克服了該錯誤，使視覺上達到良好的效果。

圖4(c)是把大象作為一個大破損區(qū)域進行修復(fù)。對比圖4(c)的結(jié)果可知：Criminisi算法修復(fù)的圖像把草地的紋理錯誤的延伸至了水中；而文獻[8]算法修復(fù)的圖像把天空的紋理也錯誤延伸至了水中。兩個算法所修復(fù)的圖像紋理塊都出現(xiàn)了錯誤傳播，不符合實際情況。而本文算法通過對選取的匹配塊進行雙重約束，使匹配的紋理塊更加準(zhǔn)確，避免了該錯誤，使得修復(fù)效果更好，更加符合實際情況。

圖4(d)是對小雛菊上破損區(qū)域進行修復(fù)。對比圖4(d)的結(jié)果可知：Criminisi算法修復(fù)的圖像小雛菊的花瓣上出現(xiàn)了嚴(yán)重的結(jié)構(gòu)斷裂現(xiàn)象；文獻[8]算法修復(fù)的圖像結(jié)構(gòu)斷裂的部分修復(fù)相對完整些，但是出現(xiàn)了冗余的結(jié)構(gòu)塊使得結(jié)構(gòu)斷裂部分重疊；而本文算法增加了對結(jié)構(gòu)信息作用的放大，減少了圖像上的結(jié)構(gòu)斷裂現(xiàn)象，并且解決了結(jié)構(gòu)斷裂部分重疊的問題，使視覺上達到良好的效果。

3.2 客觀對比。

客觀評價方法是指采用合理的客觀評價算子對修復(fù)質(zhì)量進行評價。修復(fù)算法的執(zhí)行時間代表一個算法的效率高低，是一個很容易得到和量化的數(shù)據(jù)。本文選擇峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)作為客觀評價算子對修復(fù)質(zhì)量進行評價,其計算公式為：

(11)

其中：u(i,j)表示原始圖像；圖像的尺寸大小為M×N；g(i,j)表示修復(fù)后的圖像。

本文用峰值信噪比(PSNR)(如表1所示)和修復(fù)時間(如表2所示)作為客觀評價指標(biāo)。從表1中可以看出，本文算法的PSNR值大于Criminisi算法，說明本文算法所修復(fù)的圖像失真更小。本文算法的PSNR值同樣大于文獻[8]算法，除了圖4(d)的修復(fù)結(jié)果，說明用本文算法所修復(fù)的圖像雖然對具有過多的結(jié)構(gòu)斷裂的圖像修復(fù)效果稍次于文獻[8]算法，但是不會出現(xiàn)結(jié)構(gòu)斷裂部分重疊的問題，更加符合人們的視覺要求。從表2中可以看出，本文算法的修復(fù)時間是最短的，明顯少于Criminisi算法和文獻[8]中的算法，說明本文算法的修復(fù)效率高。

綜合主觀和客觀對比所得結(jié)果，本文所提的劃分特征子區(qū)域的圖像修復(fù)算法，無論是針對目標(biāo)物體的移除還是大破損區(qū)域的修復(fù)，不僅能夠基本不喪失修復(fù)精度，而且能夠提高算法效率，普適性強。

表1 不同修復(fù)算法的PSNR性能比較Tab. 1 PSNR performance comparison of different inpainting algorithms

表2 不同修復(fù)算法的修復(fù)時間比較Tab. 2 Inpainting time comparison of different inpainting algorithms

4 結(jié)語

本文通過預(yù)處理進行了特征子區(qū)域的劃分，對Criminisi算法中的優(yōu)先級和樣本塊的選取進行了改進，提出了一種劃分特征子區(qū)域的圖像修復(fù)算法。所提算法有效地對結(jié)構(gòu)和紋理信息進行區(qū)分，解決了Criminisi算法容易造成錯誤的修復(fù)順序的問題，提高了匹配的精確度，解決了錯誤匹配的問題。通過上述實驗主觀和客觀上的對比可以看出，本文算法普遍適用于修復(fù)具有大破損區(qū)域的圖像，通過與Criminisi算法和文獻[8]中的算法進行比較，本文算法的修復(fù)效果較為優(yōu)秀，修復(fù)效率提升明顯，并且修復(fù)后的圖像也更加符合人們的視覺上的連通性。但是本文算法對于結(jié)構(gòu)信息特別復(fù)雜的圖像(如圖4(d)所示)，雖然修復(fù)效果比Criminisi算法好，但是和文獻[8]中的算法比較,本文算法效果較差。因此，對于這種結(jié)構(gòu)線過多的斷裂，本文算法并不能完全修復(fù)，需要近一步研究如何修復(fù)具有過多結(jié)構(gòu)線斷裂圖像的方法。

References)

[1] 張紅英, 彭啟琮.數(shù)字圖像修復(fù)技術(shù)綜述[J].中國圖象圖形學(xué)報,2007,12(1):1-10.(ZHANG H Y, PENG Q C. A survey on digital image inpainting [J]. Journal of Image and Graphics, 2007, 12(1): 1-10.)

[2] BERTALMIO M, SAPIRO G, CASELLES V, et al. Image inpainting [C]// Proceedings of the 2000 27th Annual Conference on Computer Graphics and Interactive Techniques. New York: ACM, 2000: 417-424.

[3] CHAN T F, SHEN J. Non-texture inpainting by Curvature-Driven Diffusions (CDD) [J]. Journal of Visual Communication and Image Representation, 2001,12(4): 436-449.

[4] BORNARD R, LECAN E, LABORELLI L, et al. Missing data correction in still images and image sequences [C]// Proceedings of the 2002 Tenth ACM International Conference on Multimedia. New York: ACM, 2002: 355-361.

[5] CRIMINISI A, PEREZ P, TOYAMA K. Region filling and object removal by exemplar-based image inpainting [J]. IEEE Transactions on Image Processing, 2004, 13(9): 1200-1212.

[6] SUN J, YUAN L, JIA J Y, et al. Image completion with structure propagation [C]// Proceedings of the 2005 ACM SIGGRAPH Conference on Computer Graphics. New York: ACM, 2005: 861-868.

[7] ELAD M, STARCK J L, QUERRE P, et al. Simultaneous cartoon and texture image inpainting using Morphological Component Analysis (MCA) [J]. Applied & Computational Harmonic Analysis, 2005, 19(3): 340-358.

[8] XU Z B, SUN J. Image inpainting by patch propagation using patch sparsity [J]. IEEE Transactions on Image Processing, 2010, 19(5): 1153-1165.

[9] BERTALMIO M, VESE L, SAPIRO G, et al. Simultaneous structure and texture image inpainting [J]. IEEE Transactions on Image Processing, 2003, 12(8): 882-889.

[10] TANG C W, HU X, CHEN L, et al. Sample-based image completion using structure synthesis [C]// Proceedings of the 2013 20th IEEE International Conference on Image Processing. Piscataway, NJ: IEEE, 2013: 1115-1123.

[11] LIU Y, LIU C J, ZOU H L, et al. A novel exemplar-based image inpainting algorithm [C]// Proceedings of the 2015 International Conference on Intelligent Networking and Collaborative Systems. Piscataway, NJ: IEEE, 2015: 86-90.

[12] HE K M, SUN J. Image completion approaches using the statistics of similar patches [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 36(12):2423-2435.

[13] 盧宏濤,張秦川.深度卷積神經(jīng)網(wǎng)絡(luò)在計算機視覺中的應(yīng)用研究綜述[J].數(shù)據(jù)采集與處理,2016,31(1):1-17.(LU H T, ZHANG Q C. Applications of deep convolutional neural network in computer vision [J]. Journal of Data Acquisition & Processing, 2016, 31(1): 1-17.)

[14] 冀中,劉青,聶林紅,等.基于卷積神經(jīng)網(wǎng)絡(luò)的紋理分類方法研究[J].計算機科學(xué)與探索,2016,10(3):389-397.(JI Z, LIU Q, NIE L H, et al. Texture classification with convolutional neural network [J]. Journal of Frontiers of Computer Science & Technology, 2016, 10(3): 389-397.)

[15] 吳正文.卷積神經(jīng)網(wǎng)絡(luò)在圖像分類中的應(yīng)用研究[D].成都:電子科技大學(xué),2015:17-30 (WU Z W. Research on convolutional neural network and its application in image classification [D]. Chengdu: University of Electronic Science and Technology of China, 2015: 17-30.)

[16] BARNES C, GOLDMAN D B, SHECHTMAN E, et al. The patchmatch randomized matching algorithm for image manipulation [J]. Communications of the ACM, 2011, 54(11): 103-110.

[17] 王新年,王哲,王演.基于幾何距離的Criminisi圖像修復(fù)算法[J].計算機工程與設(shè)計,2015,36(7):1835-1839.(WANG X N, WANG Z, WANG Y. Improved Criminisi algorithm based on geometry distance [J]. Computer Engineering and Design, 2015, 36(7): 1835-1839.)

This work is partially supported by the National Natural Science Foundation of China (61461048).

LIMengxue, born in 1992, M. S. candidate. Her research interests include digital image processing.

ZHAIDonghai, born in 1974, Ph. D., associate professor. His research interests include digital image processing, massive data mining.

MENGHongyue, born in 1993, M. S. candidate. Her research interests include digital image processing.

CAODaming, born in 1990, M. S. candidate. His research interests include digital image processing.

Imageinpaintingalgorithmforpartitioningfeaturesubregions

LI Mengxue1*, ZHAI Donghai1,2, MENG Hongyue1, CAO Daming1

(1.SchoolofInformationScienceandTechnology,SouthwestJiaotongUniversity,ChenduSichuan610031,China;2.SchoolofEngineering,TibetUniversity,LhasaTibet850000,China)

In order to solve the problem of inpainting missing information in the large damaged region with rich texture information and complex structure information, an image inpainting algorithm for partitioning feature subregions was proposed. Firstly, according to the different features contained in the image, the feature formula was used to extract the features, and the feature subregions were divided by the statistical eigenvalues to improve the speed of image inpainting. Secondly, on the basis of the original Criminisi algorithm, the calculation of priority was improved, and the structural fracture was avoided by increasing the influence of the structural term. Then, the optimal sample patch set was determined by using the target patch and its optimal neighborhood similar patches to constrain the selection of sample patch. Finally, the optimal sample patch was synthesized by using weight assignment method. The experimental results show that, compared with the original Criminisi algorithm, the Peak Signal-to-Noise Ratio (PSNR) of the proposed algorithm is improved by 2-3 dB; compared with the patch priority weight computation algorithm based on sparse representation, the inpainting efficiency of the proposed algorithm is also obviously improved. Therefore, the proposed algorithm is not only suitable for the inpainting of small-scale damaged images, but also has better inpainting effect for large damaged images with rich texture information and complex structure information, and the restored images are more in line with people’s visual connectivity.

image inpainting; feature extraction; Criminisi algorithm; priority; sample patch

2017- 06- 02;

2017- 09- 06。

國家自然科學(xué)基金資助項目(61461048)。

李夢雪(1992—)，女，重慶人，碩士研究生，主要研究方向：數(shù)字圖像處理； 翟東海(1974—)，男，山西芮城人，副教授，博士，主要研究方向：數(shù)字圖像處理、海量數(shù)據(jù)挖掘； 孟紅月(1993—)，女，河南永城人，碩士研究生，主要研究方向：數(shù)字圖像處理； 曹大命(1990—)，男，河北滄州人，碩士研究生，主要研究方向：數(shù)字圖像處理。

1001- 9081(2017)12- 3541- 06

10.11772/j.issn.1001- 9081.2017.12.3541

(*通信作者電子郵箱lmx914@qq.com)

TP751.1；TP391.41

A