李 尊，吳 謹(jǐn)，劉 勁

?

數(shù)學(xué)形態(tài)學(xué)在Criminisi圖像修復(fù)算法中的應(yīng)用

李 尊，吳 謹(jǐn)，劉 勁

（武漢科技大學(xué) 信息科學(xué)與工程學(xué)院，湖北 武漢 430081）

Criminisi圖像修復(fù)算法的修復(fù)步驟由待修復(fù)區(qū)域的標(biāo)記、優(yōu)先權(quán)的計算、最佳匹配塊搜索與填充和更新置信度4部分組成。其中待修復(fù)區(qū)域的標(biāo)記是進(jìn)行Criminisi圖像修復(fù)算法的基礎(chǔ)，因此合理的標(biāo)記待修復(fù)區(qū)域是提高Criminisi圖像修復(fù)算法修復(fù)效果的有效路徑。引入數(shù)學(xué)形態(tài)學(xué)對待修復(fù)圖像進(jìn)行處理，即利用腐蝕與膨脹組合，對待修復(fù)區(qū)域邊緣進(jìn)行處理，進(jìn)而進(jìn)行Criminisi圖像修復(fù)算法操作。實(shí)驗結(jié)果表明經(jīng)數(shù)學(xué)形態(tài)學(xué)處理后的標(biāo)記可以降低錯誤信息的累積，大大提升了圖像修復(fù)的質(zhì)量，具有較高的實(shí)用價值。

數(shù)學(xué)形態(tài)學(xué)；Criminisi算法；圖像預(yù)處理

0 引言

圖像修復(fù)[1]是指對受到損害導(dǎo)致信息不完整的圖像進(jìn)行重建或者去除圖像中多余的目標(biāo)。其實(shí)質(zhì)是用待修復(fù)圖像中存在的信息來恢復(fù)缺失的信息，使圖像修復(fù)整體效果滿足人的視覺需求。

針對大區(qū)域信息缺失的圖像，通常采用基于圖像分解的修復(fù)技術(shù)[2]和基于塊的紋理合成技術(shù)[3]，其中Criminisi圖像修復(fù)算法[4]是基于塊的紋理合成技術(shù)的代表。Criminisi圖像修復(fù)算法是由Criminisi等人于2004年提出的，其過程是修復(fù)區(qū)域標(biāo)記、優(yōu)先權(quán)計算、最佳匹配塊搜索與填充、更新置信度。

近10年來，Criminisi圖像修復(fù)算法的改進(jìn)主要是針對優(yōu)先權(quán)和最佳匹配塊搜索。文獻(xiàn)[5]將優(yōu)先權(quán)改進(jìn)為加權(quán)形式，并引入增加平均值補(bǔ)償和懲罰項，減輕圖像修復(fù)效果人為痕跡的問題；文獻(xiàn)[6]引入曲率到優(yōu)先權(quán)，并將算式改成各項加權(quán)和，使得匹配模塊更加準(zhǔn)確且增強(qiáng)了圖像結(jié)構(gòu)的連續(xù)性；文獻(xiàn)[7]根據(jù)修復(fù)區(qū)域邊緣的復(fù)雜性，動態(tài)的選擇搜索區(qū)域，降低了時間成本，且一定程度上改善了修復(fù)質(zhì)量。

針對Criminisi圖像修復(fù)算法第一步即修復(fù)區(qū)域標(biāo)記進(jìn)行研究，優(yōu)先權(quán)計算和最佳匹配塊搜索與填充是在修復(fù)區(qū)域標(biāo)記基礎(chǔ)上進(jìn)行的，因此第一步做好，是后續(xù)工作的基礎(chǔ)。

本文將數(shù)學(xué)形態(tài)學(xué)[8-9]應(yīng)用到待修復(fù)區(qū)域預(yù)先標(biāo)記處理中，并在不同的改進(jìn)的Criminisi圖像修復(fù)算法中進(jìn)行實(shí)驗。對比實(shí)驗效果，可以得出通過數(shù)學(xué)形態(tài)學(xué)對待修復(fù)區(qū)域邊緣增強(qiáng)，圖像的效果有較大的提升。

1 Criminisi圖像修復(fù)算法

1.1 待修復(fù)區(qū)域的標(biāo)記

待修復(fù)區(qū)域的標(biāo)記是用與待修復(fù)區(qū)域形狀相似的，面積盡可能小的，顏色特定的圖形標(biāo)記出來。本文是將數(shù)學(xué)形態(tài)學(xué)應(yīng)用到預(yù)先標(biāo)記的待修復(fù)圖像中。

1.2 優(yōu)先權(quán)的計算

假設(shè)待修復(fù)圖像如圖1所示。

圖1 符號說明圖

圖1中：表示的區(qū)域是完好區(qū)域，即未標(biāo)記的區(qū)域；表示的區(qū)域是破損區(qū)域，即標(biāo)記的區(qū)域；表示待修復(fù)區(qū)域的邊界。

Criminisi算法優(yōu)先權(quán)共有置信度()和數(shù)據(jù)項()兩項所決定。其中置信度()表示的是以為中心的待修補(bǔ)塊中原圖的信息所占的比重；數(shù)據(jù)項()表示的是邊界在處的梯度法向量n與完好區(qū)域中邊緣梯度向量?I⊥的乘積。本文修補(bǔ)塊的大小默認(rèn)3×3。

Criminisi算法提出的點(diǎn)優(yōu)先權(quán)計算如式(1)所示，()、()如式(2)、(3)所示：

priority()＝()×() (1)

式中：是歸一化算子，在灰度圖中我們?nèi)?i>為255。

置信度()的數(shù)值越大優(yōu)先權(quán)越高，表示含有的原圖區(qū)域的信息多，應(yīng)給予優(yōu)先修補(bǔ)；數(shù)據(jù)項()數(shù)值越大優(yōu)先權(quán)越高，表示進(jìn)化表面線性結(jié)構(gòu)強(qiáng)度高，應(yīng)給予優(yōu)先修補(bǔ)。

1.3 最佳匹配塊的搜索與填充

通過優(yōu)先權(quán)的計算，確定最大優(yōu)先權(quán)待修補(bǔ)塊后，在完好區(qū)域進(jìn)行最佳匹配塊的搜索與填充。其匹配原則如下式所示：

表示待修補(bǔ)塊與完好區(qū)域中樣本塊的已知像素的灰度差的平方和最小時，即為最佳匹配塊。

1.4 更新置信度

通過最佳匹配塊的搜索與填充，使得待修補(bǔ)塊變成完好區(qū)域中的樣本塊，置信度也會相應(yīng)的更新，成為接下來修復(fù)工作的依據(jù)。

Criminisi算法通過不斷重復(fù)上述3個步驟，直至待修復(fù)區(qū)域被填充完畢，則修復(fù)完成。

2 數(shù)學(xué)形態(tài)學(xué)

數(shù)學(xué)形態(tài)學(xué)是法國巴黎礦業(yè)學(xué)院博士生賽拉和導(dǎo)師馬瑟榮于1964年共同提出的，是建立在嚴(yán)格的數(shù)學(xué)基礎(chǔ)理論上并和實(shí)際聯(lián)系廣泛的學(xué)科。20世紀(jì)80年代，數(shù)學(xué)形態(tài)學(xué)的發(fā)展已趨于成熟，廣泛應(yīng)用于模式識別，圖像處理和計算機(jī)視覺等方面。

數(shù)學(xué)形態(tài)學(xué)以集合概念為基礎(chǔ)，膨脹、腐蝕、開啟和閉合是其最基本的算子。用4種形態(tài)學(xué)的基本算子及其組合對圖像進(jìn)行進(jìn)行形狀和結(jié)構(gòu)分析，可用于特征提取、形狀識別、邊緣檢測和圖像修復(fù)等方面。

本文用到數(shù)學(xué)形態(tài)中最基本的運(yùn)算形態(tài)膨脹與腐蝕[10]，其定義如下式所示：

?＝{|$∈,∈:＝＋} (5)

Q＝{x|"b∈B,$∈:＝－} (6)

上述式子是應(yīng)用于二值圖像的形態(tài)腐蝕與膨脹。其中表示一副圖像；表示結(jié)構(gòu)元素，其尺寸要遠(yuǎn)遠(yuǎn)地小于且形式是多種多樣的，如：圓、菱形、有相線段等。本文選取的結(jié)構(gòu)元素是：圓。

形態(tài)腐蝕與膨脹對圖像處理有如下效果：

1）形態(tài)膨脹：線條變粗，孔隙消失，起到擴(kuò)展圖像的作用。

2）形態(tài)腐蝕：線條變細(xì)，孔隙擴(kuò)大，起到收縮圖像的作用。

本文在圖像預(yù)先標(biāo)記的基礎(chǔ)上，采用形態(tài)腐蝕與膨脹的基本組合形式，對待修復(fù)圖像進(jìn)行處理,即先膨脹后腐蝕。

＝?Q(7)

式中：、都為結(jié)構(gòu)元素，形式為圓且滿足5≥r≥r≥0。通過數(shù)學(xué)形態(tài)學(xué)的處理，待修復(fù)區(qū)域的邊緣得以增強(qiáng)，提高邊緣定位的準(zhǔn)確性。但尺寸不宜過大，因為過大的尺寸會造成邊緣的擴(kuò)展。

3 實(shí)驗仿真結(jié)果與分析

3.1 待修復(fù)的圖像預(yù)處理

本文針對于圖像修復(fù)中目標(biāo)移除情況，在修復(fù)區(qū)域的預(yù)先標(biāo)記的基礎(chǔ)上，利用數(shù)學(xué)形態(tài)學(xué)對待修復(fù)圖像待修復(fù)區(qū)域邊界進(jìn)行處理，增強(qiáng)Criminisi圖像修復(fù)算法的修復(fù)效果。本文采用的結(jié)構(gòu)元素、均為圓形。處理效果如圖2、圖3、圖4所示。

圖2、圖3、圖4中：(a)是原圖；(b)是(a)初始標(biāo)記圖，即未經(jīng)過數(shù)字形態(tài)學(xué)處理的圖像；(c)是經(jīng)過數(shù)字形態(tài)學(xué)處理后的圖像，其中圖2中r＝r＝1，圖3中r＝1，r＝1，圖4中r＝3，r＝0。

初始標(biāo)記圖(b)與數(shù)字形態(tài)學(xué)處理的圖(c)進(jìn)行對比，僅憑人的肉眼相差不大，但在后續(xù)的Criminisi圖像修復(fù)算法中，有舉足輕重的作用。

3.2 基于數(shù)學(xué)形態(tài)學(xué)的Criminisi算法對比實(shí)驗

本文實(shí)驗仿真平臺是MATLAB7.0和VC＋＋6.0，仿真結(jié)果如圖5～圖10所示。

圖2 蝴蝶的預(yù)處理圖像

圖3 垃圾桶的預(yù)處理圖像

圖4 人物的預(yù)處理圖像

圖5 圖2中(b)基礎(chǔ)上修復(fù)后圖像

圖6 圖2中(c)基礎(chǔ)上修復(fù)后圖像

圖7 圖3中(b)基礎(chǔ)上修復(fù)后圖像

圖8 圖3中(c)基礎(chǔ)上修復(fù)后圖像

圖9圖4中(b)基礎(chǔ)上修復(fù)后圖像

圖10圖4中(c)基礎(chǔ)上修復(fù)后圖像

實(shí)驗1目的是移除蝴蝶，處理難點(diǎn)是蝴蝶與花相交處結(jié)構(gòu)和紋理信息的復(fù)雜。

實(shí)驗2目的是移除垃圾桶，處理難點(diǎn)是垃圾桶后背景信息的復(fù)雜。

實(shí)驗3目的是移除背景人群，處理難點(diǎn)是臺階和墻壁的相交處結(jié)構(gòu)和紋理信息的復(fù)雜。

圖5、圖7、圖9是在預(yù)先標(biāo)記基礎(chǔ)上進(jìn)行的圖像修復(fù)；圖6、圖8、圖10是在數(shù)學(xué)形態(tài)學(xué)處理的基礎(chǔ)上進(jìn)行的圖像修復(fù)。

圖5、圖6、圖7、圖8、圖9、圖10中(a)表示Criminisi算法修復(fù)的圖像結(jié)果，(b)表示文獻(xiàn)[5]的修復(fù)圖像結(jié)果，(c)表示文獻(xiàn)[6]的修復(fù)圖像結(jié)果，(d)表示文獻(xiàn)[7]的修復(fù)圖像結(jié)果。

由實(shí)驗結(jié)果對比得出：

1）通過圖5和圖6，圖7和圖8，圖9和圖10對比得出，數(shù)學(xué)形態(tài)學(xué)的引入可以大大的減少錯誤信息的累積，增強(qiáng)了修復(fù)效果，滿足人的視覺需求。

2）圖5、圖6、圖7、圖8、圖9、圖10中(a)、(b)、(c)和(b)對比得出，數(shù)學(xué)形態(tài)學(xué)的引入對不同側(cè)重點(diǎn)的Criminisi算法都有積極的作用，提高了修復(fù)質(zhì)量，增強(qiáng)了圖像的整體性。

通過腐蝕與膨脹靈活組合，修復(fù)區(qū)域的邊緣結(jié)構(gòu)信息得到增強(qiáng)，邊緣定位的精確度提高，進(jìn)而修復(fù)順序的可靠性也加大，提高了修復(fù)效果，滿足人的視覺需要。

4 結(jié)束語

通過實(shí)驗結(jié)果對比可以得出，數(shù)學(xué)形態(tài)學(xué)在Criminisi圖像修復(fù)算法中具有舉足輕重的地位，通過數(shù)學(xué)形態(tài)學(xué)處理待修復(fù)區(qū)域的標(biāo)記能起到了增強(qiáng)修復(fù)效果的作用。今后需要研究如何智能的選取合理標(biāo)記的待修復(fù)圖像，降低修復(fù)圖像的時間成本及動態(tài)的標(biāo)記待修復(fù)圖像。

[1] Bertalmio M, Sapiro G, Caselles V, et al. Image inpainting[C]//,,, 2000: 417-424.

[2] 林云莉, 趙俊紅, 朱學(xué)峰, 等. 基于圖像分解的圖像修復(fù)技術(shù)[J]. 計算機(jī)工程, 2010, 36(10): 187-192.

Lin Y L, Zhao J H, Zhu X F, et al. Image Inpainting Technology Based on Image Decomposition[J]., 2010, 36(10): 187-192．

[3] 朱文浩, 魏寶剛. 基于樣本的紋理合成[J]. 中國圖像圖形學(xué)報, 2008, 13(11): 2063-2069．

Zhu W H, Wei B G. The Technology of Sampled-based Texture Synthesis[J]. Journal of Image and Graphics, 2008, 13(11): 2063-2069.

[4] Criminisi A, Perez P, Toyama K. Region filling and object removal by exemplar based inpainting[J]., 2004, 13(9): 1200-1212．

[5] 楊筱平, 王書文. 基于優(yōu)先權(quán)改進(jìn)算法的敦煌壁畫的復(fù)雜區(qū)域修復(fù)[J]. 計算機(jī)輔助設(shè)計與圖形學(xué)報, 2011, 23(2): 284-289．

Yang X P, Wang S W. Dunhuang Mural lnpainting in Intricate Disrepaired Region Based on Improvement of Priority Algorithm[J]., 2011, 23(2): 284-289.

[6] 常晨, 尹立新, 方寶龍. 一種改進(jìn)的Criminisi圖像修復(fù)算法[J]. 計算機(jī)應(yīng)用與軟件, 2012, 29(9): 238-267.

Chang C, Yin L X, Fang B L. An Improved Criminisi Algorithm for Image Inpainting[J]., 2012, 29(9): 238-267．

[7] 姚建亮, 彭宏京. 一種改進(jìn)的基于樣圖的圖像修復(fù)法[J]. 電子科技, 2010, 23(1): 100-103.

Yao J L, Peng H J. An Improved exemplar-based method for Image Inpainting[J]., 2010, 23(1): 100-103.

[8] 任獲榮. 數(shù)學(xué)形態(tài)學(xué)及其應(yīng)用[D]. 西安: 西安電子科技大學(xué), 2004.

Reng H R. Mathematical morphology and Its application[D]. Xi’an: Xi’an university of electronic science and technology, 2004.

[9] 戴青云, 余英林. 數(shù)學(xué)形態(tài)學(xué)在圖像處理中的應(yīng)用進(jìn)展[J]. 控制理論與應(yīng)用, 2001, 18(4): 478-482.

Dai Q Y, Yu Y L. The Advances of Mathematical Morphology in Image Processing[J]., 2001, 18(4): 478-482．

[10] 吳集林. 論數(shù)字圖像的膨脹與腐[J]. 廣東廣播電視大學(xué)學(xué)報, 2007, 16(1): 105-107.

Wu J L. Digital Image Dilation and Erosion[J]., 2007, 16(1): 105-107.

The Application of Mathematical Morphology in the Criminisi Algorithm of Image Inpainting

LI Zun，WU Jin，LIU Jin

(438001,)

Criminisi algorithm consists of four steps which are marked area. The priority, the best sample patch and updating the degree of confidence, marked area is the basis of Criminisi algorithm, so it is a effective way to improve the effect of Criminisi algorithm. In order to obtain the reasonable marked area, this paper used mathematical morphology in edge, which is corrosion and inflation, and then used Criminisi algorithm of image inpainting. The experiment shows that the marked by mathematical morphology can reduce the accumulation of error messages and improves the quality of the image restoration greatly which has high practical value.

mathematical morphology，Criminisi algorithm，image pre-processing

TP391.41

A

1001-8891(2015)07-0574-05

2015-03-21；

2015-05-20。

李尊（1988-），女，河南省新鄉(xiāng)，碩士研究生，從事圖像修復(fù)研究工作。E-mail：895310276@qq.com。