李 尊，吳 謹，劉 勁

（武漢科技大學(xué) 信息科學(xué)與工程學(xué)院，湖北 武漢 430081）

1 引 言

圖像修復(fù)［1］是指對受到損壞導(dǎo)致信息不完整的圖像進行修復(fù)重建或者去除圖像中多余的目標(biāo)。圖像修復(fù)是圖像復(fù)原［2］的重要內(nèi)容，是數(shù)字圖像處理與計算機視覺的一個研究熱點，廣泛地應(yīng)用到了殘缺照片的修復(fù)、去除文字、去除干擾目標(biāo)等方面。

目前圖像修復(fù)算法主要分為兩大類：基于偏微分方程的圖像修復(fù)法和基于紋理的圖像修復(fù)法。

基于偏微分方程的圖像修復(fù)法是針對圖像中的像素點進行修復(fù)，其利用物理學(xué)中的熱擴散方程原理來建立圖像的偏微分方程，從而使圖像中破損區(qū)域的周邊信息擴散到破損區(qū)域的內(nèi)部，達到圖像修復(fù)的目的，代表的方法有BSCB模型算法［3］和TV模型算法［4］等。此修復(fù)方法適用于小區(qū)域信息缺失的圖像修復(fù)。

基于紋理的圖像修復(fù)法是針對圖像中的像素塊進行修復(fù)，其以受損邊緣上的一個像素點為中心，用圖像中現(xiàn)存的像素塊進行匹配，來填充信息受損的區(qū)域，達到圖像修復(fù)的目的，代表的方法有Criminisi算法［5］等。此修復(fù)算法適用于大區(qū)域信息缺失的圖像修復(fù)。

近幾年，對于Criminisi算法的改進有很多。文獻［6］的改進主要根據(jù)修復(fù)邊緣的復(fù)雜性，動態(tài)的選擇匹配塊搜索的區(qū)域，側(cè)重于減少系統(tǒng)開銷；文獻［7］的改進主要是引入曲率到優(yōu)先權(quán)中，提高了優(yōu)先權(quán)的信度；文獻［8］的改進主要是動態(tài)因子和新的匹配原則的引入，目的在于匹配模塊的合理選取。文獻［9］采用區(qū)域分割的變尺寸樣本塊高效圖像修復(fù)算法，降低了時耗且改進修復(fù)質(zhì)量。本文優(yōu)化Criminisi算法重點在邊緣結(jié)構(gòu)信息修復(fù)，且利用圖像融合技術(shù)［10］中的 FDIM（finite difference iterative mosa）算法［11］對修復(fù)后圖像進行邊緣無痕處理，使得圖像在視覺效果上達到自然完整統(tǒng)一。

2 Criminisi算法

Criminisi算法是基于樣本塊紋理合成圖像修補算法，此算法由Criminisi等人于2004年提出，其核心就是優(yōu)先權(quán)的計算、匹配塊的搜索、填充、更新置信度和提取新的邊緣信息。假設(shè)修補前的圖像如圖1所示。

圖1 符號說明圖Fig.1 Figure of symbol

其中φ表示的區(qū)域是未標(biāo)記的區(qū)域，即完好區(qū)域；Ω表示的區(qū)域是標(biāo)記的區(qū)域，即修補區(qū)域；δΩ表示待修補區(qū)域的邊界。

Criminisi算法優(yōu)先權(quán)共有2項所決定。其中一項是置信度C（p），C（p）表示的是以P為中心的待修補塊ψP中原圖的像素所占的比重，C（p）的數(shù)值越大優(yōu)先級越高，反映了含有的原圖區(qū)域的信息多，應(yīng)給予優(yōu)先修補；另一項是數(shù)據(jù)項D（p），D（p）表示的是邊界ψP在P處的梯度法向量np與完好區(qū)域中邊緣梯度向量的乘積，D（p）數(shù)值越大越好，表示修補區(qū)域邊界與原圖中明顯邊界的交匯處，反映了進化表面線性結(jié)構(gòu)強度高，應(yīng)給予優(yōu)先修補。Criminisi算法提出的P點優(yōu)先權(quán)計算如式（1）所示，C（p）、D（p）如式（2）、（3）所示。

其中：α是歸一化算子，在灰度圖中我們?nèi)ˇ翞?55。

3 優(yōu)化的修復(fù)方法

本文修復(fù)方法由優(yōu)化的Criminisi算法和FDIM算法共同構(gòu)成，旨在提高圖像的修復(fù)質(zhì)量，特別是修復(fù)區(qū)域的邊緣。

3.1 Criminisi算法分析

在Criminisi算法中，圖像修復(fù)質(zhì)量由兩個關(guān)鍵因素所決定：填充順序和匹配原則，其中填充順序在兩者中更為重要。若填充順序不合理，隨之的所有操作都將在不合理的基礎(chǔ)上進行，進而導(dǎo)致不斷地錯誤累加，出現(xiàn)圖像修復(fù)不協(xié)調(diào)的現(xiàn)象，無法滿足人的視覺需求。本文主要針對Criminisi算法的優(yōu)先權(quán)進行改進。

Criminisi算法存在不足，主要有以下兩個原因：

（1）置信度C（p）會隨著修補次數(shù)的增加使得C（p）中原圖的信息會減少，會有數(shù)量級的差別出現(xiàn)。這樣的情況下，式（1）的優(yōu)先權(quán)計算基本完全是由C（p）所控制。

3.2 優(yōu)化Criminisi算法

從數(shù)學(xué)的角度來看，當(dāng)輸出正比于輸入時能夠很好地抵抗噪聲及外部的干擾。所以為了增強修復(fù)邊緣結(jié)構(gòu)過程的魯棒性，本文引用正規(guī)化函數(shù)平滑數(shù)據(jù)項D（p）曲線。

因此得出的新數(shù)據(jù)項如式（4）所示：

新數(shù)據(jù)項的引入，保證其取值的范圍在ω～1，置信度的曲線被平滑了，且其曲線的形狀得以保留。通常選取ω＝0.7。

為了降低C（p）的誤差累積對優(yōu)先權(quán)的影響，本文把優(yōu)先權(quán)轉(zhuǎn)換成兩項相加形式，來保證優(yōu)先權(quán)準(zhǔn)確度的穩(wěn)定。優(yōu)化的優(yōu)先權(quán)計算公式為：

其中：α＋β＝1，0.35≤α，β≤0.65。

把優(yōu)先權(quán)的式子換成置信度C（p）與數(shù)據(jù)項RD（p）相加的形式，可以增加其修復(fù)的魯棒性。α，β的選取對圖像修復(fù)的影響是很大，一般來說選取α＝β＝0.5，當(dāng)修復(fù)效果達不到預(yù)期的效果時，我們可以微調(diào)α，β進行圖像修復(fù)。且本文實驗要求α＋β＝1，0.35≤α，β≤0.65保證優(yōu)先權(quán)的計算兼顧到結(jié)構(gòu)和紋理信息。

3.3 FDIM算法無縫處理

Criminisi算法是針對圖像像素塊進行修復(fù)的，在修復(fù)區(qū)域邊緣極易出現(xiàn)與原區(qū)域結(jié)構(gòu)“脫節(jié)”，導(dǎo)致視覺上不自然，不協(xié)調(diào)。針對這種情況，本文對圖像修復(fù)的邊緣進行無縫處理。

優(yōu)化的Criminisi算法修復(fù)的圖像可看作兩幅圖像不含重疊區(qū)域的融合，即圖像鑲嵌。FDIM（finite difference iterative mosa）算法是基于向?qū)噶繄龅膱D像鑲嵌的算法，可以用于任意形狀的修復(fù)邊緣的拼縫的消除。其迭代公式如下所示：

其中：t表示迭代次數(shù)。

經(jīng)過本文改進的Criminisi算法修復(fù)的圖像，利用圖像融合的FDIM算法對修復(fù)區(qū)域邊界進行無縫處理，能夠使圖像的整體的視覺效果得以提升，達到灰度和諧、修復(fù)邊緣光滑過渡的效果。

4 仿真實驗結(jié)果與分析

本文圖像修復(fù)方法的仿真實驗所用的軟件是MATLAB7.0和VC＋＋6.0，仿真結(jié)果如圖2～圖4所示。圖中（a）表示原始圖像，（b）表示待修復(fù)圖像，（c）表示Criminisi算法修復(fù)的圖像結(jié)果，（d）表示文獻［8］的優(yōu)先權(quán)修復(fù)的圖像結(jié)果，（e）表示本文方法修復(fù)的圖像結(jié)果。

圖2 人群移除圖像修復(fù)結(jié)果Fig.2 Image inpainting of crowd removal

圖3 垃圾桶移除圖像修復(fù)結(jié)果Fig.3 Image inpainting of trash removal

由圖2可以看出，仿真實驗是為了移除背景中多余的人群，得到所需的前景圖像。經(jīng)對比可以看出：（c）中的邊緣結(jié)構(gòu)信息處理效果不夠好，墻壁的信息延伸到了樓梯中；（d）中能夠處理好邊緣結(jié)構(gòu)信息，但是在樓梯處出現(xiàn)錯誤信息的修復(fù)；（e）中邊緣結(jié)構(gòu)信息處理較好，且錯誤信息的累積較少，基本滿足了人的視覺需求。

圖4 荷花信息缺失圖像修復(fù)結(jié)果Fig.4 Image inpainting of lotus’s missing information

由圖3可以看出，仿真實驗是為了移除垃圾桶，得到視野更為寬闊的十字路口圖像。經(jīng)對比可以看出：（c）出現(xiàn)了大面積錯誤的結(jié)構(gòu)紋理修復(fù)信息，把遠處的房子灰度信息修復(fù)到了馬路上并且修復(fù)的區(qū)域出現(xiàn)了塊狀的結(jié)構(gòu)；（d）出現(xiàn)了錯誤的結(jié)構(gòu)紋理修復(fù)信息，把樹木的信息修復(fù)到了馬路上，與（c）相比，修復(fù)的錯誤信息像素數(shù)減少，但是仍然無法滿足人的視覺需求并且同樣出現(xiàn)了塊狀修復(fù)的結(jié)構(gòu)；（e）同樣也出現(xiàn)了錯誤的修復(fù)信息，把馬路上的臺階處的信息修復(fù)到了馬路上，但視覺需求基本滿足且修復(fù)區(qū)域的塊狀結(jié)構(gòu)減少，修復(fù)區(qū)域的信息和周圍能夠協(xié)調(diào)。

由圖4可以看出，仿真實驗是為了修復(fù)荷葉與荷花莖部缺失的大面積圖像信息。經(jīng)對比可以看出：（c）、（d）、（e）均能夠較好地完成圖像的修復(fù)，沒有大面積錯誤信息累積，視覺上基本上滿足了人的需求。但是，就細節(jié)上而言，（e）的修復(fù)結(jié)果在邊緣結(jié)構(gòu)的處理效果上更好一點，使得葉子和后面的背景分離且錯誤信息修復(fù)降低。

5 結(jié) 論

本文修復(fù)方法的優(yōu)先權(quán)的整體魯棒性提高，能夠有效地將圖像中原有的信息延伸到待修復(fù)區(qū)域，并且經(jīng)過FDIM算法的無縫處理使得圖像的修復(fù)結(jié)果特別是邊緣結(jié)構(gòu)信息的修復(fù)更能滿足人的視覺需求。今后需要更進一步研究目標(biāo)的合理標(biāo)記、圖像修復(fù)塊的合理有效的尋找等問題。

［1］Bertalmio M，Sapiro G，Caselles V，et al.Image inpainting［C］.Proceedings of International Conference on Conputer Graphics and Interactive Techniques ，USA：John Seely Brown，2000：417－424.

［2］沈峘，李舜酩，毛建國，等.數(shù)字圖像復(fù)原技術(shù)綜述［J］.中國圖象圖形學(xué)報，2009，14（9）：1764－1775.Shen H，Li S M，Mao J G，et al.Digital image restoration techniques a review ［J］.Journal of Image and Graphics，2009，14（9）：1764－1775.（in Chinese）

［3］Ballester C，Bertalmio M ，Caselles V，et al.Filling－in by joint interpolation of vector field and gray levels［J］.IEEE Trans.Image Process，2001，10（8）：1200－1211.

［4］Chan T，Shen F.Mathematical models for local non－texture inpaintings［J］.SIAM Journal on Applied Mathematics，2002，62（3）：1019－1043.

［5］Criminisi A，Perez P，Toyama K.Region filling and object removal by exemplar based inpainting［J］.IEEE Trans.Image Process，2004，13（9）：1200－1212.

［6］趙倫.一種基于樣本紋理的圖像修復(fù)算法研究［J］.電腦知識與技術(shù)，2013，9（19）：4509－4528.Zhao L.An image restoration algorithm based on the sample texture［J］.Computer Knowledge And Technology，2013，9（19）：4509－4528.（in Chinese）

［7］常晨，尹立新，方寶龍.一種改進的Criminisi圖像修復(fù)算法［J］.計算機應(yīng)用與軟件，2012，29（9）：238－267.Chang C，Yin L X，F(xiàn)ang B L.An improved criminisi algorithm for image inpainting ［J］.Computer Applications and Software，2012，29（9）：238－267.（in Chinese）

［8］張斐.大區(qū)域圖像修復(fù)算法研究［D］.南京：南京郵電大學(xué)，2013.Zhang F.Research on large area image inpainting［D］.Nanjing：Nanjing University of Posts and Telecommunications，2013.（in Chinese）

［9］劉洋，王昊京，田小建，等.采用區(qū)域分割的變尺寸樣本塊高效圖像修復(fù)［J］.光學(xué)精密工程，2010，18（12）：2657－2664.Liu Y，Wang H J，Tian X J，et al.Efficient image inpainting based on region segmentation and varying exemplar［J］.Optics and Precision Engineering，2010，18（12）：2657－2664.（in Chinese）

［10］邵明省，杜廣朝.基于量子克隆多宇宙算法的圖像融合研究［J］.液晶與顯示，2012，27（6）；837－841.Shao M S，Du G C.Image fusion processing based on multi－universe quantum cloning algorithm ［J］.Chinese Journal of Liquid Crystals and Diaplays，2012，27（6）；837－841.（in Chinese）

［11］張煥龍.圖像無縫拼接技術(shù)的研究［D］.開封：河南大學(xué)，2007.Zhang H L.Research on seamless image mosaic technology［D］.Kaifeng：Henan University，2007.（in Chinese）