李志丹，和紅杰，尹忠科，陳　帆

(1.西南交通大學(xué)信號(hào)與信息處理四川省重點(diǎn)實(shí)驗(yàn)室，四川成都610031; 2.北京遙感信息研究所，北京100192)

?

基于Curvelet方向特征的樣本塊圖像修復(fù)算法

李志丹1，和紅杰1，尹忠科2，陳帆1

(1.西南交通大學(xué)信號(hào)與信息處理四川省重點(diǎn)實(shí)驗(yàn)室，四川成都610031; 2.北京遙感信息研究所，北京100192)

摘要：能否保持修復(fù)后圖像的結(jié)構(gòu)連貫性和鄰域一致性決定了修復(fù)性能的優(yōu)劣.為提高現(xiàn)有樣本塊修復(fù)算法性能，本文提出基于Curvelet變換的樣本塊圖像修復(fù)算法.首先利用Curvelet變換估計(jì)待修復(fù)圖像的4方向特征.然后利用顏色信息與方向信息共同衡量樣本塊間的相似度，在此基礎(chǔ)上構(gòu)造顏色-方向結(jié)構(gòu)稀疏度函數(shù).同時(shí)根據(jù)構(gòu)造的加權(quán)顏色-方向距離尋找合適的多個(gè)匹配塊，并利用多個(gè)匹配塊在構(gòu)造的顏色和方向空間內(nèi)的鄰域一致性約束下稀疏表示目標(biāo)塊，同時(shí)根據(jù)目標(biāo)塊所處區(qū)域特性自適應(yīng)確定誤差容限.實(shí)驗(yàn)結(jié)果表明提出算法較現(xiàn)有算法可獲得更優(yōu)的修復(fù)效果，尤其是在修復(fù)富含結(jié)構(gòu)紋理破損類型的圖像時(shí).

關(guān)鍵詞：圖像修復(fù);方向特征;加權(quán)的顏色-方向距離;顏色-方向結(jié)構(gòu)稀疏度; Curvelet變換;稀疏表示

1　引言

圖像修復(fù)的目的即是通過(guò)填充丟失區(qū)域的信息以獲得視覺(jué)上的合理效果.圖像修復(fù)根據(jù)破損區(qū)域大小可以分為適合于小區(qū)域破損類型的修復(fù)算法和針對(duì)大區(qū)域破損圖像修復(fù)算法.

適合于小區(qū)域破損的修復(fù)算法主要可以分為基于擴(kuò)散的方法［1］和基于稀疏的方法［2］.基于擴(kuò)散的方法是利用偏微分方程決定擴(kuò)散系數(shù)，采用破損信息周圍的鄰域信息進(jìn)行加權(quán)平均.基于稀疏的方法利用圖像在變換域內(nèi)的稀疏性來(lái)重構(gòu)破損圖像［2］.近年來(lái)，有研究人員訓(xùn)練不同的基來(lái)構(gòu)造原子庫(kù)以重構(gòu)不同類型的圖像［3，4］.基于擴(kuò)散的方法和基于稀疏的方法修復(fù)破損區(qū)域較大或富含結(jié)構(gòu)紋理破損的圖像時(shí)易產(chǎn)生平滑效應(yīng).

適合于大區(qū)域破損的圖像修復(fù)算法為基于樣本塊的方法［5］，主要包括塊選擇(即填充順序)和塊填充兩個(gè)部分.此后，研究者在這兩個(gè)方面進(jìn)行了諸多研究.在塊選擇方面，Xu和Sun［6］提出基于結(jié)構(gòu)稀疏度的填充順序.文獻(xiàn)［7］根據(jù)圖像分割方法來(lái)指導(dǎo)修復(fù)順序.Hareesh等人［8］利用梯度函數(shù)的分?jǐn)?shù)階導(dǎo)數(shù)來(lái)構(gòu)造優(yōu)先權(quán)函數(shù).文獻(xiàn)［9］利用局部梯度特征來(lái)提高填充順序的穩(wěn)定性.盡管上述方法均是為了保證填充結(jié)果的結(jié)構(gòu)連貫性，但在針對(duì)富含紋理結(jié)構(gòu)信息的破損圖像進(jìn)行修復(fù)時(shí)，很難保持其結(jié)構(gòu)連貫性.

在塊填充方面，文獻(xiàn)［9］在匹配準(zhǔn)則中增加平均值補(bǔ)償和懲罰項(xiàng).范冠鵬［10］引入多方向特征來(lái)構(gòu)造匹配準(zhǔn)則.但這些方法［5，7～10］仍舊采用單個(gè)最優(yōu)匹配塊進(jìn)行填充，易產(chǎn)生塊效應(yīng).因此，研究人員提出利用多個(gè)塊的加權(quán)來(lái)進(jìn)行填充.如Xu和Sun［7］將多個(gè)塊的稀疏表示作為填充信息.課題組［11］自適應(yīng)選擇鄰域一致性約束的權(quán)重.文獻(xiàn)［12］利用低秩矩陣求取填充信息.Ogawa等人［13］利用傅里葉幅度來(lái)估計(jì)丟失信息.雖然上述多個(gè)塊填充方法可削弱塊效應(yīng)，但因缺乏考慮方向信息，使得修復(fù)效果趨于平滑和模糊.

為提高修復(fù)后圖像的結(jié)構(gòu)連貫性和鄰域一致性，本文利用Curvelet變換估計(jì)待修復(fù)圖像的4方向特征，將其與顏色信息結(jié)合構(gòu)造加權(quán)顏色-方向距離(Weighted Color-Direction Distance，WCDD).而后構(gòu)造顏色-方向結(jié)構(gòu)稀疏度函數(shù)以獲得穩(wěn)定的填充順序.并根據(jù)WCDD尋找多個(gè)匹配塊，而后利用多個(gè)塊在構(gòu)造的顏色和方向空間內(nèi)的鄰域一致性約束條件下稀疏表示待填充塊，同時(shí)自適應(yīng)確定誤差容限值.

2　本文方法

為更好的保持修復(fù)后圖像中的結(jié)構(gòu)連貫性，紋理清晰性及與鄰域信息的連續(xù)一致性，本文提出基于Curvelet方向特征的樣本塊圖像修復(fù)算法.

2.1方向特征提取方法

Curvelet變換具有高度的各向異性等優(yōu)點(diǎn)［14］，故本文利用Curvelet變換來(lái)提取圖像的方向特征［15］.首先采用文獻(xiàn)［11］算法對(duì)破損圖像I進(jìn)行預(yù)修復(fù)，得到預(yù)修復(fù)圖像Ir，采用Curvelet變換對(duì)Ir進(jìn)行多尺度多方向分解:

其中，C+表示Curvelet正變換，Q為Curvelet系數(shù)矩陣，可表示為{ Qj，l|j代表尺度，l代表方向} .

將2-5尺度上的Curvelet系數(shù)矩陣Qj，l(j = 2，3，4，5)按方向劃分為四個(gè)集合Z1，Z2，Z3，Z4，如圖1所示.第k個(gè)方向的方向特征矩陣Ak(k =1，2，3，4)為

其中，C-1代表Curvelet逆變換，Hk(Q)為

按式(2)可得到方向特征圖像A1，A2，A3和A4.

2.2加權(quán)的顏色-方向距離

利用上節(jié)中提取的4方向特征Ak(k =1，2，3，4)和顏色信息構(gòu)造WCDD dw，定義為:

其中Ψp，Ψq分別為待修復(fù)圖像I中以點(diǎn)p，q為中心的樣本塊，Λp和Λq分別為方向特征圖像Ak中以點(diǎn)p，q為中心的方向特征塊; d表示樣本塊間的均方距離，η為加權(quán)系數(shù)，用以平衡顏色信息和方向信息.

為了說(shuō)明引入方向信息的重要性，對(duì)圖2(b1)～(b2)進(jìn)行修復(fù)，分別根據(jù)SSD(Sum of Squared Distance)［5］，CGD(Color-Gradient Distance)和WCDD來(lái)尋找單個(gè)最優(yōu)匹配塊并進(jìn)行填充，修復(fù)算法中其余部分是采用相同的設(shè)置，因此修復(fù)結(jié)果僅依賴于匹配準(zhǔn)則.從修復(fù)結(jié)果及PSNR值中可以看出，利用WCDD得到的修復(fù)效果最優(yōu)，故采用WCDD可以更好的度量樣本塊間的差異性.

2.3填充順序

為了更好的保持修復(fù)后圖像中結(jié)構(gòu)部分的連貫性，本文根據(jù)WCDD構(gòu)造顏色-方向結(jié)構(gòu)稀疏度函數(shù)(Color-Direction Structure Sparsity，CDSS)來(lái)確定填充順序，樣本塊Ψp的顏色-方向結(jié)構(gòu)稀疏度S(p)如下定義所示:

其中Ns(p)為以點(diǎn)p為中心的鄰域N(p)(N(p)的大小大于樣本塊的大小)內(nèi)的已知塊集合，而Xp，k為樣本塊Ψp和Ψk的相似度函數(shù)，Ns(p)和Xp，k分別定義為:

其中C(p)表示樣本塊Ψp中包含已知信息的多少，若p ∈Ω，C(p)初始化為0，否則初始化為1.

2.4稀疏表示

為更好的保持紋理信息的清晰性，本文要求稀疏表示信息要同時(shí)保證與鄰域信息在顏色與方向信息上的連續(xù)一致性.

令Ψt和Λt分別為根據(jù)WCDD尋找到的M個(gè)匹配塊{Ψq}q =1，…，M和對(duì)應(yīng)的方向塊{Λq}q =1，…，M的稀疏表示，即為:

為防止CDSS值過(guò)小導(dǎo)致不穩(wěn)定的填充順序，本文將S(p)取值范圍變換到0.2～1之間.而后再將S(p)用于計(jì)算優(yōu)先權(quán)P(p):

其中C(p)為樣本塊的置信度項(xiàng)，定義為:

則首先要求稀疏表示后信息Ψt和Λt在已知信息部分與當(dāng)前待填充塊Ψm和方向特征塊Λm充分接近:

且要求Ψt和Λt在未知信息部分要與鄰域信息保持連續(xù)一致:

其中E和F分別表示提取樣本塊中未知信息的矩陣，β為鄰域連續(xù)一致性的權(quán)重系數(shù)，用來(lái)平衡上述兩項(xiàng)約束.

將顏色空間和方向空間內(nèi)的鄰域一致性約束寫入一個(gè)更緊的框架中:

現(xiàn)有文獻(xiàn)［6，11，12］一般選擇固定的誤差容限δ值，但這是不合理的.因?yàn)槿粽`差容限值選擇過(guò)大時(shí)，則在平滑區(qū)域內(nèi)易產(chǎn)生塊效應(yīng);而若誤差容限值選擇過(guò)小時(shí)，則會(huì)降低結(jié)構(gòu)紋理區(qū)域的清晰性.為更好的保持鄰域一致性，本文采用當(dāng)前待填充塊的標(biāo)準(zhǔn)差值作為誤差容限:

其中SD(Ψm)表示當(dāng)前待填充塊Ψm的標(biāo)準(zhǔn)差，λ為一乘子，本文中設(shè)為3，同時(shí)設(shè)置δ的最大值為125，最小值為5.

3　實(shí)驗(yàn)與結(jié)果分析

本文實(shí)驗(yàn)部分分為三個(gè)部分，首先是分析權(quán)重系數(shù)對(duì)修復(fù)性能的影響，然后從小尺度破損和目標(biāo)移除兩個(gè)方面驗(yàn)證本文算法的修復(fù)性能.計(jì)算CDSS的鄰域N(p)設(shè)置為25* 25，其他參數(shù)η，β，λ和M分別為0.3，0.5，3和25.

3.1參數(shù)η分析

首先探討關(guān)于參數(shù)η對(duì)修復(fù)效果的影響，對(duì)圖3中包含不同破損類型的圖像進(jìn)行修復(fù).

將η從0到1變化，測(cè)試η取不同值時(shí)對(duì)圖3中各個(gè)圖像的修復(fù)結(jié)果的影響，其PSNR值如圖4所示.從圖4中可以看出，最初隨著η的逐漸增大，PSNR值也逐漸增大;而后隨著η的繼續(xù)增大，各個(gè)圖像的PSNR值是呈下降趨勢(shì)，盡管下降的幅度較小.從圖4(a)中可以看出，每個(gè)圖像取得最大PSNR值時(shí)對(duì)應(yīng)的η值不是完全相同的，但是η取值均在0.3 -0.4之間，且這個(gè)區(qū)間內(nèi)的PSNR值相差不大.從圖4(b)中可以看出，當(dāng)η取值為0.3時(shí)取得最大平均PSNR值.因此在下面的實(shí)驗(yàn)中，將η取值為0.3.

3.2小尺度破損

為說(shuō)明本文算法能夠較好的修復(fù)富含結(jié)構(gòu)和紋理信息的圖像，選擇包含不同結(jié)構(gòu)及紋理信息的圖像作為測(cè)試圖像，并與文獻(xiàn)［4，6，9～11］進(jìn)行修復(fù)性能對(duì)比，修復(fù)結(jié)果分別如圖5～7所示.

從圖5～7中可以看出，文獻(xiàn)［4］的修復(fù)結(jié)果中存在平滑效應(yīng)，且不能很好的修復(fù)富含結(jié)構(gòu)紋理的圖像.文獻(xiàn)［6，11］的修復(fù)結(jié)果中出現(xiàn)了些微的結(jié)構(gòu)不連貫性，并未能很好的保持與鄰域信息的連續(xù)一致性.文獻(xiàn)［9，10］均出現(xiàn)了結(jié)構(gòu)不夠連貫的情形以及接縫效應(yīng).而本文算法獲得了良好的修復(fù)效果，很好的保持了結(jié)構(gòu)連貫性及與鄰域信息的連續(xù)一致性，如圖5(e)～7(e)所示.并且由表1可知，本文算法修復(fù)結(jié)果的PSNR值最高.從視覺(jué)效果和客觀評(píng)價(jià)指標(biāo)可以得出，本文算法對(duì)于富含結(jié)構(gòu)紋理的圖像能夠獲得優(yōu)良的修復(fù)效果，滿足人眼視覺(jué)要求.

3.3目標(biāo)移除

為進(jìn)一步說(shuō)明本文算法的有效性，針對(duì)目標(biāo)移除圖像進(jìn)行修補(bǔ)，并與算法［6，9～11］及嵌入到Photoshop中的算法［16］進(jìn)行修復(fù)性能對(duì)比.

從修復(fù)效果圖8～9可以看出文獻(xiàn)［16］并不能很好的保持結(jié)構(gòu)部分的連貫性，且出現(xiàn)了錯(cuò)誤匹配的現(xiàn)象.文獻(xiàn)［6，11］未能總是保持結(jié)構(gòu)部分的連貫性，且存在些微的鄰域不連續(xù)性.而文獻(xiàn)［9，10］不能很好的保持結(jié)構(gòu)連貫性，且出現(xiàn)了嚴(yán)重的鄰域不連續(xù)性以及明顯的塊效應(yīng).本文算法能夠保持修復(fù)后圖像的結(jié)構(gòu)連貫性，紋理信息的清晰性及與鄰域信息的連續(xù)一致，取得了優(yōu)于文獻(xiàn)［6，9～11，16］算法的修復(fù)效果.

表1　不同修復(fù)算法的修復(fù)性能對(duì)比表(PSNR/dB)

4　結(jié)論

為更好的保持結(jié)構(gòu)連貫性及與鄰域的連續(xù)一致性，本文利用Curvelet變換來(lái)提取圖像中的4方向特征，以此構(gòu)造WCDD;并提出了基于CDSS的填充順序;根據(jù)WCDD尋找多個(gè)匹配塊;最后在顏色和方向空間內(nèi)構(gòu)造局部一致性約束的能量?jī)?yōu)化方程，并自適應(yīng)確定誤差容限值.實(shí)驗(yàn)結(jié)果表明本文算法較現(xiàn)有算法在塊移除及目標(biāo)移除上均有明顯提高，充分說(shuō)明了本文算法的有效性.但本文方法僅提取了圖像中的4個(gè)方向的特征，未來(lái)還將深入探討不同方向特征個(gè)數(shù)以及利用不同超小波變換提取方向特征對(duì)圖像修復(fù)性能的影響.

參考文獻(xiàn)

［1］Bertalmio M，Sapiro G，Caselles V，et al.Image inpainting［A］.Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques［C］.New Orleans: ACM Press，2000.417 - 424.

［2］Elad M，Starck J L，Querre P，et al.Simultaneous cartoon and texture image inpainting using morphological component analysis(MCA)［J］.Applied and Computational Harmonic Analysis，2005，19(3): 340 -358.

［3］Mairal J，et al.Non-local sparse models for image restoration［A］.Proceedings of 12th IEEE International Conference on Computer Vision［C］.Kyoto: IEEE Press，2009.2272 -2279.

［4］Dong W S，Shi G M，Li X.Nonlocal image restoration with bilateral variance estimation: a low-rank approach［J］.IEEE Transactions on Image Processing，2013，22(2): 700 -711.

［5］Criminisi A，Perez P，Toyama K.Object removal by exemplar-based inpainting［A］.Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition［C］.Madison Wisconsin: IEEE Press，2003.721 -728.

［6］Xu Z B，Sun J.Image inpainting by patch propagation using patch sparsity［J］.IEEE Transactions on Image Processing，2010，19(5): 1153 -1165.

［7］吳曉軍，李功清.基于樣本和線性結(jié)構(gòu)信息的大范圍圖像修復(fù)算法［J］.電子學(xué)報(bào)，2012，40(8): 1509 -1514.Wu Xiaojun，Li Gongqing.Large scale image inpainting based on exemplar and structure information［J］.Acta Electronica Sinica，2012，40(8): 1509 - 1514.(in Chinese)

［8］Hareesh A S，Chandrasekaran V.Exemplar-based color image inpainting: a fractional gradient function approach［J］.Pattern Analysis and Applications，2014，17: 389 -399.

［9］范冠鵬，和紅杰，陳帆，等.基于局部特性的圖像修復(fù)算法［J］.光電子·激光，2012，23(12): 2410 -2417.Fan Guanpeng，He Hongjie，Chen Fan，et al.An image inpainting algorithm based on local properties［J］.Journal of Optoelectronics·Laser，2012，23(12):2410 -2417.(in Chinese)

［10］范冠鵬.基于樣本塊結(jié)構(gòu)特性的圖像修復(fù)算法［M］.西南交通大學(xué)，2013.32 -46.Fan Guanpeng.Image Inpainting Algorithm Based on Exemplar Structure Characteristics［M］.Southwest Jiaotong University，2013.32 -46.(in Chinese)

［11］李志丹，和紅杰，尹忠科，等.基于塊結(jié)構(gòu)稀疏度的自適應(yīng)圖像修復(fù)算法［J］.電子學(xué)報(bào)，2013，41(3):549 -554.Li Zhidan，He Hongjie，Yin Zhongke，et al.Adaptive image inpainting algorithm based on patch structure sparsity［J］.Acta Electronica Sinica，2013，41(3):549 -554.(in Chinese)

［12］Wang Y X，Zhang Y J.Image inpainting via weighted sparse non - negative matrix factorization［A］.Proceedings of 18th IEEE International Conference on Image Processing［C］.Barcelona: IEEE Press，2011.3409 -3412.

［13］Ogawa T，Haseyama M.Missing texture reconstruction method based on error reduction algorithm using Fourier transform magnitude estimation scheme［J］.IEEE Transactions on Image Processing，2013，22(3):1252 -1257.

［14］Starck J，E Candes，D Donoho.The curvelet transform for image denoising［J］.IEEE Transactions on Image Processing，2002，11(6):670 -684.

［15］趙亮，等.基于Curvelet的紋理方向自適應(yīng)圖像插值［J］.光電子·激光，2012，23(4):798 -804.Zhao Liang，et al.Texture direction adaptive image interpolation based on Curvelet transform［J］.Journal of Optoelectronics·Laser，2012，23(4):798 -804.(in Chinese)

［16］Goldman D，Shechtman E，Barnes C，et al.Content-aware fill ［OL］.http: / /www.adobe.com/technology/projects/content-aware-fill.html，2009.

李志丹女，1985年生于河南，在讀博士，主要研究方向數(shù)字圖像修復(fù).E-mail: dan.807@163.com

和紅杰(通信作者)女，1971年生于河南，博士，教授，主要研究方向?yàn)閿?shù)字圖像處理、信息隱藏.E-mail: hjhe@swjtu.cn

Exemplar Based Image Inpainting Algorithm Using Direction Features of Curvelet Transform

LI Zhi-dan1，HE Hong-jie1，YIN Zhong-ke2，CHEN Fan1
(1.Sichuan Key Laboratory of Signal and Information Processing，Southwest Jiaotong University，Chengdu，Sichuan 610031，China; 2.Institute of Remote Sensing Information，Beijing 100192，China)

Abstract:Whether the structure coherence and neighborhood consistency can be well maintained directly determines the performance of an inpainting algorithm.To achieve a better inpainting performance，this paper proposes an exemplar based image inpainting algorithm based on direction features extracted by Curvelet transform.Firstly，the super-wavelet transform is applied to extract four direction features of the corrupted image.Then the color and direction information are utilized to measure the similarities between patches.Subsequently，a color-direction structure sparsity function is defined.Afterwards，multiple suitable candidate patches are searched based on the weighted color-direction distance and these candidate patches are applied to sparsely represent target patch under the local neighborhood consistence constraints both in color and direction spaces.Moreover，in searching candidate patches，the error tolerance is adaptively decided according to the feature of target patch.Experiment results show that the proposed method can achieve better inpainted results than the state-of-the-art algorithms，especially when dealing with structure and texture images.

Key words:image inpainting; direction feature; weighted color-direction distance; color-distance structure sparsity; Curvelet transform; sparse representation

作者簡(jiǎn)介

基金項(xiàng)目:國(guó)家自然科學(xué)基金(No.61461047，No.61373180); 2014年西南交通大學(xué)博士研究生創(chuàng)新基金和中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)基金;四川省科技創(chuàng)新苗子工程(No.2014-048)

收稿日期:2014-06-03;修回日期: 2014-12-11;責(zé)任編輯:李勇鋒

DOI:電子學(xué)報(bào)URL：http: / /www.ejournal.org.cn10.3969/j.issn.0372-2112.2016.01.022

中圖分類號(hào)：TP391.41

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：0372-2112(2016)01-0150-05