鄒瑋剛，周志輝，王 洋

(1.江西理工大學(xué) 理學(xué)院，江西 贛州 341000； 2.江西理工大學(xué) 資產(chǎn)管理處，江西 贛州 341000)

(*通信作者電子郵箱42587617@qq.com)

基于非降采樣輪廓波變換的圖像修復(fù)算法

鄒瑋剛1*，周志輝2，王 洋1

(1.江西理工大學(xué) 理學(xué)院，江西 贛州 341000； 2.江西理工大學(xué) 資產(chǎn)管理處，江西 贛州 341000)

(*通信作者電子郵箱42587617@qq.com)

多尺度分析技術(shù)已經(jīng)廣泛應(yīng)用于數(shù)字圖像處理領(lǐng)域，較大破損區(qū)域的圖像修復(fù)成為圖像修復(fù)的一個(gè)熱點(diǎn)和難點(diǎn)。針對(duì)該問(wèn)題，結(jié)合多分辨率分析原理與傳統(tǒng)的樣本塊圖像修復(fù)技術(shù)，提出了一種基于非降采樣輪廓波變換的圖像修復(fù)算法。該算法利用非降采樣輪廓波變換把圖像分解成低頻部分和高頻部分，并對(duì)圖像分解后不同頻率的部分分別予以修復(fù)。其中，圖像的低頻成分采用改進(jìn)的紋理合成的方法進(jìn)行修復(fù)。因?yàn)閳D像經(jīng)過(guò)非降采樣輪廓波變換后，低頻分量與高頻分量之間對(duì)應(yīng)位置的信息之間具有一致性的特點(diǎn)，所以在修復(fù)低頻成分的同時(shí)實(shí)現(xiàn)其他高頻分量對(duì)應(yīng)位置信息的修復(fù)。最后通過(guò)非降采樣輪廓波重構(gòu)過(guò)程完成紋理圖像的修復(fù)。一般圖像修復(fù)方法的參數(shù)選取以圖像的修復(fù)效果最佳為宜，給出一個(gè)反例進(jìn)行分析論證。實(shí)驗(yàn)發(fā)現(xiàn)，所提算法所修復(fù)圖像的結(jié)構(gòu)相似性測(cè)度與經(jīng)典Criminisi算法和小波修復(fù)算法相差不大，但是峰值信噪比(PSNR)測(cè)度依據(jù)不同圖像的紋理結(jié)構(gòu)的特點(diǎn)與破損區(qū)域的不同位置特點(diǎn)而不同。仿真實(shí)驗(yàn)表明，所提方法很好地推廣了非降采樣輪廓波變換在圖像修復(fù)中的應(yīng)用，并且在修復(fù)大區(qū)域破損圖像時(shí)能夠獲得較好的修復(fù)效果。

圖像修復(fù)；多分辨率分析；非降采樣輪廓波變換；系數(shù)相關(guān)性；紋理特征

0 引言

作為計(jì)算機(jī)視覺(jué)中一個(gè)重要的研究熱點(diǎn)，圖像修復(fù)的目的是恢復(fù)圖像中破損區(qū)域的信息，或者去除圖像中多余的物體，使得修復(fù)后的圖像看上去和諧自然。圖像修復(fù)技術(shù)已經(jīng)被廣泛應(yīng)用于圖像和視頻的修復(fù)、圖像中多余信息的去除等方面。圖像修復(fù)的基本原理是以自動(dòng)的方式，利用圖像中已知的信息來(lái)修復(fù)圖像中丟失的部分，并且使修復(fù)后的圖像滿足人們的視覺(jué)效果。

圖像修復(fù)的方法包括兩類：圖像域修復(fù)和變換域修復(fù)。圖像域修復(fù)的方法主要有基于偏微分方程(Partial Ddifferential Equation， PDE)的修復(fù)方法[1]、基于曲率驅(qū)動(dòng)擴(kuò)散模型的修復(fù)方法[2]、基于全變分模型的修復(fù)方法[3]、基于樣例的圖像修復(fù)[4]?；谄⒎址匠痰姆椒ㄓ斜容^完備的數(shù)學(xué)基礎(chǔ)，對(duì)局部小區(qū)域的修復(fù)有著比較理想的效果，但是修復(fù)速度較慢，同時(shí)難以保持較大區(qū)域的邊緣。而且基于偏微分方程的方法對(duì)于紋理圖像或結(jié)構(gòu)較為復(fù)雜的大區(qū)域破損圖像的修復(fù)非常困難，因此圖像修復(fù)最近幾年更多的是向基于模板的方向發(fā)展。2003年，Criminisi等[5]提出了基于樣本的圖像修復(fù)方法，2010年，Xu等[6]提出了基于塊稀疏表示的修復(fù)方法。紋理合成實(shí)際上是一種非常成熟并且典型的基于模板的圖像修復(fù)方法。新的研究方向更多關(guān)注大區(qū)域，或者紋理與結(jié)構(gòu)并存的修復(fù)。紋理和結(jié)構(gòu)并存的修復(fù)一般方法是將紋理和結(jié)構(gòu)區(qū)分以后再采用相應(yīng)的方法對(duì)應(yīng)進(jìn)行修復(fù)[7]。然而上述方法有一個(gè)共同的缺點(diǎn)，就是運(yùn)算量較大，修復(fù)速度較慢。因此研究者提出了基于變換域的圖像修復(fù)方法。

當(dāng)新的圖像壓縮標(biāo)準(zhǔn)JPEG2000發(fā)布以后，許多圖像根據(jù)小波系數(shù)進(jìn)行存儲(chǔ)。因此，基于變換域的圖像修復(fù)方法有小波域修復(fù)[8-12]、基于分形理論的圖像修復(fù)算法[13-15]等。這些圖像修復(fù)方法均是在基于圖像的小波變換(Wavelet Transform，WT)或分形變換之后，再采用相應(yīng)的圖像修復(fù)方法對(duì)圖像進(jìn)行修復(fù)。

作為一種優(yōu)秀的數(shù)學(xué)工具，小波變換能夠?qū)D像在頻率域進(jìn)行有效的分解與重構(gòu)，在圖像處理中有著很好的應(yīng)用，并且被廣泛用于圖像修復(fù)領(lǐng)域。但是因?yàn)槌Ｓ玫亩S小波是一維小波的張量積，基是各向同性的，所以只能具有水平、垂直和對(duì)角三個(gè)有限方向。方向性的缺乏使得小波變換容易丟失圖像的細(xì)節(jié)信息，不能很好利用圖像本身的幾何正則性[16]。針對(duì)小波這一缺點(diǎn)，2002年，Do等[17]提出了輪廓波變換。除了具有小波的多分辨率特性和時(shí)頻局部化特性，輪廓波還具有很好的方向性和各向異性。文獻(xiàn)[18-19]分別結(jié)合輪廓波變換提出了相應(yīng)的圖像修復(fù)方法。

但是輪廓波變換的基函數(shù)光滑度不夠理想，導(dǎo)致輪廓波變換缺乏平移不變性，因此在圖像處理中出現(xiàn)頻譜混淆現(xiàn)象，消弱了它的方向選擇性和頻域局部性。2006年，Da Cunha等[20]提出了非降采樣輪廓波變換(Non-Subsampled Contourlet Transform， NSCT)。NSCT不僅繼承了輪廓波變換多尺度、多方向分析的優(yōu)點(diǎn)，而且還能夠獲取圖像的幾何結(jié)構(gòu)，準(zhǔn)確地把圖像的邊緣信息推廣到各個(gè)不同頻率。在不同尺度的各個(gè)子帶圖像中，由于具備平移不變性，去除了采樣操作，NSCT可以有效消除輪廓波的偽吉布斯現(xiàn)象，因此，NSCT更加適合紋理方向性的分析。NSCT已經(jīng)廣泛用于圖像融合[21]、圖像增強(qiáng)[22]等領(lǐng)域，但是NSCT在圖像修復(fù)領(lǐng)域中的應(yīng)用研究較少。

針對(duì)圖像中較大的破損區(qū)域，基于紋理合成的圖像修復(fù)算法是圖像修復(fù)領(lǐng)域近年來(lái)的主要發(fā)展方向。本文在分析NSCT和紋理合成修復(fù)算法的基礎(chǔ)上，針對(duì)圖像較大破損區(qū)域的修復(fù)提出了一種基于NSCT系數(shù)相關(guān)性的紋理合成算法。該算法利用NSCT分解后，紋理圖像的能量信息主要集中在低頻子帶分量中，且低頻子帶分量和高頻子帶分量信息之間具有一定的位置對(duì)應(yīng)關(guān)系，由此完成低頻分量和高頻分量的修復(fù)，簡(jiǎn)化了修復(fù)過(guò)程，能夠有效提高圖像修復(fù)的速度。

1 基于紋理合成的自適應(yīng)圖像修復(fù)算法

目前大區(qū)域紋理修復(fù)主要是基于紋理合成的修復(fù)算法。在圖1所示的圖像修復(fù)過(guò)程示意圖中，待修復(fù)的受損區(qū)域?yàn)棣?，也稱為目標(biāo)區(qū)域；目標(biāo)區(qū)域的邊緣輪廓線為?Ω，P為邊界上的一點(diǎn)，以P點(diǎn)為中心的待修復(fù)塊為ΨP；樣本區(qū)域(源區(qū)域)為Φ。

圖1 基于樣本的圖像修復(fù)算法原理示意圖

1.1 優(yōu)先權(quán)的計(jì)算

待修復(fù)紋理塊的填充次序?qū)y理合成的效果至關(guān)重要。

邊界點(diǎn)P的優(yōu)先權(quán)[23]Q(P)定義為：Q(P)=C(P)+αD(P)，式中當(dāng)前塊的置信度項(xiàng)為C(P)，數(shù)據(jù)項(xiàng)為D(P)，α的最優(yōu)值是為了使得D(P)在決定優(yōu)先權(quán)上占有更重要的地位，其中：

(1)

1.2 模板窗口大小的自適應(yīng)選擇

由實(shí)驗(yàn)發(fā)現(xiàn)，被修復(fù)圖像的質(zhì)量依賴于模板窗口ΨP的大小。從某種程度上說(shuō)，圖像梯度的變化可以間接反映圖像空間頻率的變化。因此，模板窗口大小的函數(shù)sizep(P)可以表示成梯度|▽I(P)|的函數(shù)。下面給出模板窗口大小自適應(yīng)的選擇方案：

(2)

式中：k和h是常數(shù)，與sizep(P)和|▽I(P)|的取值范圍有關(guān)；P是任意像素的位置；tempsizemax表示模塊窗口大小的最大取值，本文取為9；gradvaluemin表示最小梯度值。

1.3 最優(yōu)匹配塊的確定

當(dāng)找到最優(yōu)匹配塊Ψq后，用Ψq中的相應(yīng)像素填充ΨP中的未知像素，并且更新匹配塊ΨP中修復(fù)好的各點(diǎn)的置信度和待修復(fù)區(qū)域的邊界?Ω。重復(fù)上述操作，直至待修復(fù)區(qū)域被全部填充為止。

2 非降采樣輪廓波變換

輪廓波變換采用拉普拉斯金字塔(LaplacePyramid,LP)分解來(lái)提取多分辨率信息，將圖像分成低通和高通子帶，采用方向?yàn)V波器組(DirectionalFilterBank,DFB)來(lái)提取LP濾波后的高頻帶通的方向信息(如圖2)。整個(gè)過(guò)程可以在LP濾波產(chǎn)生的低頻子帶上迭代進(jìn)行。高頻子帶經(jīng)過(guò)方向?yàn)V波器組可以得到各個(gè)方向子帶信息，最終實(shí)現(xiàn)對(duì)圖像的多尺度、多方向分解。但是因?yàn)檫M(jìn)行下采樣操作，使得高頻子帶各方向子帶中均存在頻譜混淆現(xiàn)象。

圖2 輪廓波變換濾波器組結(jié)構(gòu)

非降采樣輪廓波變換是一種不進(jìn)行下采樣的輪廓波變換，圖3是NSCT濾波器組結(jié)構(gòu)和頻帶劃分示意圖。

圖3 NSCT濾波器組和頻帶劃分示意圖

為了實(shí)現(xiàn)平移不變性，消除輪廓波變換的頻譜混淆現(xiàn)象，NSCT由非降采樣金字塔濾波器組(Non-SubsampledPyramidFilterBank,NSPFB)和非降采樣方向?yàn)V波器組(Non-SubsampledDirectionalFilterBank,NSDFB)兩部分組成，其中NSPFB提供了多尺度分析，NSDFB提供了方向特征分析。

通過(guò)NSPFB將圖像分解為低頻子帶和高頻子帶，只需對(duì)低頻子帶繼續(xù)迭代濾波便可實(shí)現(xiàn)多尺度分解；然后使用NSDFB對(duì)高頻子帶部分進(jìn)行方向?yàn)V波，得到2d個(gè)方向子帶圖像(d為NSDFB的方向數(shù)目)，由此實(shí)現(xiàn)對(duì)二維圖像的多尺度、多方向分解。由于NSPFB和NSDFB均無(wú)抽樣環(huán)節(jié)，因此NSCT具有平移不變性，同時(shí)每個(gè)子帶的圖像均與原圖像大小相同。

大多數(shù)紋理圖像經(jīng)過(guò)NSCT分解后，低頻分量集中了絕大多數(shù)能量，而高頻分量所擁有的能量較少，擁有原圖像的細(xì)節(jié)信息，從圖4可以看出這一現(xiàn)象。

圖4 NSCT分解后低頻與高頻分量相似性示意圖

從圖4還可以看出，低頻分量與高頻分量對(duì)應(yīng)位置的信息是相似和一致的，所以能夠在修復(fù)NSCT低頻分量的同時(shí)，完成對(duì)應(yīng)位置高頻分量的修復(fù)。利用低頻分量對(duì)應(yīng)的修復(fù)矢量完成相應(yīng)高頻分量的修復(fù)，而不再計(jì)算高頻分量的優(yōu)先權(quán)和最優(yōu)匹配塊。高頻分量修復(fù)原理如圖5所示。

圖5 NSCT高頻分量修復(fù)原理

Barbi圖像(512×512)低頻分量和高頻分量的修復(fù)效果如圖6所示。

由圖6可以看出，在修復(fù)好低頻分量某一塊破損區(qū)域時(shí)，可以利用低頻分量和高頻分量信息的相似性和一致性，完成對(duì)應(yīng)位置高頻分量破損區(qū)域的修復(fù)。

文獻(xiàn)[24]給出了一種小波系數(shù)相關(guān)性的紋理圖像快速修復(fù)算法。由于小波變換方向性的缺乏，使得小波變換只具有水平、垂直和對(duì)角三個(gè)方向的高頻分量。雖然小波變換低頻分量和高頻分量之間具有一定的相似性，可以用于圖像的修復(fù)過(guò)程，但是這些低頻分量和高頻分量均縮小為原來(lái)的1/2m，其中m為小波變換的分解次數(shù)。本文算法與文獻(xiàn)[24]有一定的相似之處，這也是多尺度分析理論的共性。但是由于NSCT過(guò)程無(wú)抽樣環(huán)節(jié)，具有平移不變性，使得變換后的所有低頻和高頻圖像均與原圖像大小相同；其次，NSCT的方向性更加靈活，具有更多的方向可以選擇，而不僅僅是水平、垂直和對(duì)角三個(gè)方向。這是NSCT與小波變換的不同之處，也是NSCT的特色所在。

以上實(shí)驗(yàn)給出了圖像經(jīng)過(guò)NSCT后低頻分量和各個(gè)高頻分量修復(fù)的效果，下面給出基于NSCT的圖像修復(fù)算法。

圖6 NSCT分解后低頻與高頻分量修復(fù)效果(Barbi)

3 基于NSCT的圖像修復(fù)算法

NSCT具有平移不變性，使得變換后每個(gè)像素都對(duì)應(yīng)于原圖像的相應(yīng)位置，因此可以通過(guò)分析NSCT各個(gè)子帶的系數(shù)來(lái)分析圖像的像素信息。

對(duì)于紋理圖像，經(jīng)過(guò)NSCT，能量主要集中在低頻分量中，高頻分量包含的能量較少，同時(shí)圖像變換后的各個(gè)子帶系數(shù)之間仍然存在較強(qiáng)的相關(guān)性。因此，高頻分量與低頻分量對(duì)應(yīng)位置的信息是相似的，可以在修復(fù)低頻分量的同時(shí)實(shí)現(xiàn)對(duì)應(yīng)位置高頻分量的修復(fù)。

通過(guò)前面的分析，本文圖像修復(fù)算法描述如下。

步驟1 對(duì)輸入的需要修復(fù)的圖像進(jìn)行2尺度2方向NSCT。

步驟2 對(duì)于分解后的低頻分量采用改進(jìn)的基于紋理合成的算法進(jìn)行修復(fù)。先計(jì)算低頻分量破損區(qū)域各點(diǎn)的優(yōu)先權(quán)，選取優(yōu)先權(quán)最大的樣本塊，在有效區(qū)域內(nèi)搜索相應(yīng)的最優(yōu)匹配塊，并進(jìn)行相應(yīng)的填充。

步驟3 根據(jù)低頻分量最高權(quán)樣本塊與相應(yīng)最優(yōu)匹配塊的位置關(guān)系，在4個(gè)高頻分量中將對(duì)應(yīng)位置的信息分別復(fù)制到各自破損區(qū)域之中。

步驟4 重復(fù)步驟2和步驟3，直至低頻分量和相應(yīng)高頻分量中破損區(qū)域全部被修復(fù)完成為止。

步驟5 將修復(fù)后的各個(gè)NSCT低頻分量和高頻分量進(jìn)行合成，通過(guò)NSCT重構(gòu)方法獲得圖像修復(fù)的初始結(jié)果。

步驟6 對(duì)步驟5所獲得的初始修復(fù)結(jié)果，使用一定的方法進(jìn)行潤(rùn)色，獲得更好的修復(fù)效果。

4 實(shí)驗(yàn)仿真與分析

算法以Matlab8.1為平臺(tái)，實(shí)驗(yàn)所用計(jì)算機(jī)配置為IntelB800M1.5GHz，內(nèi)存2GB。采用Lena(256×256)和Barbi圖像(512×512)作為樣本進(jìn)行實(shí)驗(yàn)對(duì)比，通過(guò)實(shí)驗(yàn)驗(yàn)證算法的有效性。

圖像修復(fù)的質(zhì)量主要通過(guò)圖像修復(fù)的逼真度進(jìn)行度量，可以從主觀上進(jìn)行描述，由觀察者根據(jù)所評(píng)價(jià)的圖像進(jìn)行評(píng)判，也可以從客觀角度定量地進(jìn)行描述。在目前圖像修復(fù)的衡量標(biāo)準(zhǔn)中，客觀描述多采用均方差(MeanSquareError,MSE)測(cè)度、信噪比(Signal-to-NoiseRatio,SNR)測(cè)度、峰值信噪比(PeakSignal-to-NoiseRatio,PSNR)測(cè)度以及結(jié)構(gòu)相似性(StructuralSimilarity,SSIM)測(cè)度進(jìn)行度量[23]。

假設(shè)X為原始圖像，Y為修復(fù)后圖像，H、W分別為圖像的高度和寬度；n為每像素的比特?cái)?shù)，一般取8，即像素灰階數(shù)為256。則以上修復(fù)質(zhì)量的測(cè)度分別定義如下：

1)均方差測(cè)度：

2)信噪比測(cè)度：

3)峰值信噪比測(cè)度：

PSNR=10 lg ((2n-1)2/MSE)

4)結(jié)構(gòu)相似性測(cè)度：

SSIM(X,Y)=l(X,Y)×c(X,Y)×s(X,Y)

其中：

μX、μY分別表示圖像X和Y的均值；σX、σY分別表示圖像X和Y的方差，σXY表示圖像X和Y的協(xié)方差；C1、C2、C3為常數(shù)，為了避免分母為0的情況，通常取C1=(K1×L)2,C2=(K2×L)2,C3=C2/2；一般地，K1=0.01,K2=0.03,L=255。

PSNR數(shù)值越大表示圖像失真越小；SSIM取值范圍為[0,1]，其值越大，表示圖像失真越小。作為最廣泛使用的評(píng)價(jià)圖像質(zhì)量的客觀量測(cè)法，許多實(shí)驗(yàn)結(jié)果都顯示，PSNR的值無(wú)法和人眼看到的視覺(jué)品質(zhì)完全一致，有可能出現(xiàn)PSNR較高者看起來(lái)反而比PSNR較低者差。這是由于人眼的視覺(jué)對(duì)于誤差的敏感度并不是絕對(duì)的，其感知結(jié)果會(huì)受到許多因素的影響而產(chǎn)生變化。

仿真實(shí)驗(yàn)相關(guān)數(shù)據(jù)如表1所示。由表1可以看出，兩幅圖像修復(fù)后的SSIM測(cè)度相差不大，但是PSNR測(cè)度由于圖像紋理特征和破損區(qū)域的位置和特點(diǎn)不同而產(chǎn)生較大的變化。

任何一種圖像修復(fù)的方法都不能對(duì)所有破損圖像進(jìn)行很好的修復(fù)，一般選擇圖像修復(fù)效果盡可能好的參數(shù)進(jìn)行實(shí)驗(yàn)。針對(duì)圖像不同的紋理特征和不同的破損區(qū)域，選擇相應(yīng)的方法進(jìn)行修復(fù)，以期獲得較好的修復(fù)結(jié)果。本文給出了一個(gè)反例，以說(shuō)明圖像的不同紋理特征和破損區(qū)域不同的位置和特點(diǎn)對(duì)修復(fù)結(jié)果有很大的影響。圖7的Barbi圖，針對(duì)光滑區(qū)域破損圖像，經(jīng)過(guò)樣本塊匹配過(guò)程，把一些干擾點(diǎn)帶入需要修復(fù)區(qū)域的中心位置，使得本文算法的修復(fù)效果圖的中心有明顯的修復(fù)痕跡和灰色區(qū)域，導(dǎo)致本文算法的PSNR出現(xiàn)了明顯降低。而圖7的Lena圖，其破損區(qū)域帶有非常豐富的紋理特征，在修復(fù)效果圖中，本文算法與經(jīng)典Criminisi算法、小波算法均取得了較好的視覺(jué)效果和參數(shù)結(jié)果。實(shí)驗(yàn)表明，圖像的紋理特征和破損區(qū)域的位置與特點(diǎn)對(duì)圖像修復(fù)的結(jié)果有很大的影響。

表1 三種算法在2幅圖像中的修復(fù)效果比較

圖7 圖像修復(fù)效果比較

5 結(jié)語(yǔ)

本文提出了一種基于非降采樣輪廓波變換的數(shù)字圖像修復(fù)算法。該算法利用NSCT系數(shù)之間的相關(guān)特性，對(duì)破損圖像NSCT分解的低頻分量采用改進(jìn)的紋理合成的算法進(jìn)行修復(fù)的同時(shí)，根據(jù)對(duì)應(yīng)關(guān)系實(shí)現(xiàn)相應(yīng)的各個(gè)高頻分量的修復(fù)，取得了較好的修復(fù)效果。圖像修復(fù)方法的參數(shù)選取一般以圖像修復(fù)的效果而定，本文的實(shí)驗(yàn)給出了兩種不同的修復(fù)結(jié)果，說(shuō)明圖像不同的紋理結(jié)構(gòu)和不同的破損區(qū)域?qū)τ趫D像的修復(fù)效果會(huì)有很大的影響。多尺度分析技術(shù)已經(jīng)廣泛應(yīng)用于數(shù)字圖像處理的各個(gè)領(lǐng)域，但是不同技術(shù)方法的原理不一樣，所得到的圖像的低頻成分和高頻成分的特點(diǎn)也各不相同。在現(xiàn)有圖像修復(fù)的基礎(chǔ)之上，將研究一類基于多尺度分析理論的圖像修復(fù)的通用算法，真正融合基于偏微分方程和基于紋理合成的方法，而不是現(xiàn)有的依據(jù)圖像破損區(qū)域的不同特點(diǎn)而選用不同的修復(fù)方法。

)

[1] 李旭超,劉海寬,宋博.能量泛函正則化模型在圖像恢復(fù)中的應(yīng)用分析[J].中國(guó)圖象圖形學(xué)報(bào),2014,19(9):1247-1259.(LIXC,LIUHK,SONGB.Applicationanalysisofregularizationmodelofenergyfunctionaltoimagerestoration[J].JournalofImageandGraphics, 2014, 19(9): 1247-1259.)

[2]CHANTF,SHENJJ.Non-textureinpaintingbyCurvatureDrivenDiffusions(CDD) [J].JournalofVisualCommunicationandImageRepresentation, 2001, 12(4): 436-449.

[3]CHANTF,SHENJJ.Mathematicalmodelsforlocalnon-textureinpaintings[J].SIAMJournalonAppliedMathematics, 2002, 62(3): 1019-1043.

[4] 張絢,尹立新,李振杰.一種改進(jìn)的基于樣例的圖像修復(fù)算法[J].計(jì)算機(jī)應(yīng)用與軟件,2014,31(10):216-219.(ZHANGX,YINLX,LIZJ.Animprovedexemplar-basedimageinpaintingmethod[J].ComputerApplicationsandSoftware, 2014, 31(10): 216-219.)

[5]CRIMINISIA,PéREZP,TOYAMAK.Objectremovalbyexamplar-basedinpainting[C]//Proceedingsofthe2003IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2003: 721-728.

[6]XUZ,SUNJ.Imageinpaintingbypatchpropagationusingpatchsparsity[J].IEEETransactionsonImageProcessing, 2010, 19(5): 1153-1165.

[7]BERTALMIOM,VESEL,SAPIROG,etal.Simultaneousstructureandtextureimageinpainting[J].IEEETransactionsonImageProcessing, 2003, 12(6): 882-889.

[8] 郝巖，許建樓.迭代重加權(quán)的小波變分修復(fù)模型[J].電子與信息學(xué)報(bào),2013,35(12):2916-2920.(HAOY,XUJL.Iterativelyreweightedbasedwaveletvariationalinpaintingmodel[J].JournalofElectronics&InformationTechnology, 2013, 35(12): 2916-2920.)

[9] 胡文瑾，劉仲民，李戰(zhàn)明.一種改進(jìn)的小波域圖像修復(fù)算法[J].計(jì)算機(jī)科學(xué)，2014,41(5):299-303.(HUWJ,LIUZM,LIZM.Improvedalgorithmforimageinpaintinginwaveletdomain[J].ComputerScience, 2014, 41(5): 299-303.)

[10] 程村.基于邊緣自適應(yīng)小波變換的圖像修復(fù)算法[J].工程地球物理學(xué)報(bào),2013,10(4):576-582.(CHENGC.Imageinpaintingbasedonedgeadaptivewavalettransform[J].ChineseJournalofEngineeringGeophysics, 2013, 10(4): 576-582.)

[11] 劉純利，張弓.基于小波框架的盲圖像修復(fù)研究[J].計(jì)算機(jī)科學(xué),2013,40(4):295-297.(LIUCL,ZHANHG.Waveletframebasedblindimageinpainting[J].ComputerScience, 2013, 40(4):295-297.)

[12] 呂永利，姜斌，包建榮.基于像素權(quán)值的高效小波圖像修復(fù)算法[J].信息與控制,2015,44(1):104-109.(LYUYL,JIANGB,BAOJR.Efficientwaveletimageinpaintingalgorithmbasedonpixelweightvalues[J].InformationandControl, 2015, 44(1): 104-109.)

[13] 李晉江，張彩明，范輝，等.基于分形的圖像修復(fù)算法[J].電子學(xué)報(bào),2010,38(10):2430-2435.(LIJJ,ZHANGCM,FANH,etal.Imageinpaintingalgorithmbasedonfractaltheory[J].ActaElectronicaSinica, 2010, 38(10): 2430-2435.)

[14] 姚燕，湯進(jìn)，羅斌.基于迭代分形解碼和邊緣擴(kuò)展的圖像修復(fù)算法[J].計(jì)算機(jī)工程,2012,38(2):218-220.(YAOY,TANGJ,LUOB.Imageinpaintingalgorithmbasedoniterativefractaldecodingandedgeexpansion[J].ComputerEngineering, 2012, 38(2): 218-220.)

[15] 楊秀紅，郭寶龍.基于分形的數(shù)字圖像修補(bǔ)算法[J].光電子·激光,2010,21(9):1402-1407.(YANGXH,GUOBL.Anewimageinpaintingalgorithmbasedonfractaltheory[J].JournalofOptoelectronics·Laser, 2010, 21(9): 1402-1407.)

[16] 焦李成，譚山.圖像的多尺度幾何分析：回顧與展望[J].電子學(xué)報(bào),2003,31(12):1975-1981.(JIAOLC,TANS.Developmentandprospectofimagemultiscalegeometricanalysis[J].ActaElectronicaSinica, 2003, 31(12A): 1975-1981.)

[17]DOMN,VETTERLIM.Wavelet-basedtextureretrievalusinggeneralizedGaussiandensityandKullback-Leiblerdistance[J].IEEETransactionsonImageProcessing, 2002, 11(2): 146-158.

[18] 李宣妮，王慧琴，吳萌.輪廓波系數(shù)引導(dǎo)的數(shù)字圖像修復(fù)算法研究[J].計(jì)算機(jī)工程與應(yīng)用，2015，51(19):206-209.(LIXN,WANGHQ,WUM.Researchofimageinpaintingalgorithmledbycontourletcoefficients[J].ComputerEngineeringandApplications, 2015, 51(19): 206-209.)

[19] 尚麗，蘇品剛，周昌雄.輪廓波和非負(fù)稀疏編碼收縮的毫米波圖像恢復(fù)[J].激光與紅外，2011，41(9):1049-1053.(SHANGL,SUPG,ZHOUCX.Denoisingmillimeterwaveimageusingcontourletandsparsecodingshrinkage[J].Laser&Infrared, 2011， 41(9): 1049-1053.)

[20]DACUNHAAL,ZHOUJ,DOMN.Thenonsubsampledcontourlettransform:theorydesignandapplications[J].IEEETransactionsonImageProcessing, 2006, 15(10): 3089-3101.

[21] 陳木生.結(jié)合NSCT和壓縮感知的紅外與可見(jiàn)光圖像融合[J].中國(guó)圖象圖形學(xué)報(bào)，2016,21(1):39-44.(CHENMS.ImagefusionofvisualandinfraredbasedonNSCTandcompressedsensing[J].JournalofImageandGraphics, 2016, 21(1): 39-44.)

[22] 王靜靜,賈振紅,覃錫忠,等.基于NSCT與模糊對(duì)比度的圖像增強(qiáng)算法[J].計(jì)算機(jī)工程與設(shè)計(jì),2015,36(10):2754-2758.(WANGJJ,JIAZH,QINXZ,et.al.ImageenhancementalgorithmbasedonNSCTandfuzzycontrast[J].ComputerEngineeringandDesign, 2015, 36(10): 2754-2758.)

[23] 吳亞?wèn)|，張紅英，吳斌.數(shù)字圖像修復(fù)技術(shù)[M].北京：科學(xué)出版社，2010:18,92-94.(WUYD,ZHANGHY,WUB.TheTechniquesofDigitalImageInpainting[M].Beijing:SciencePress, 2010: 18, 92-94.)

[24] 何凱,梁然,張濤.基于小波系數(shù)相關(guān)性的紋理圖像快速修復(fù)算法[J].天津大學(xué)學(xué)報(bào),2010,43(12):1093-1097.(HEK,LIANGR,ZHANGT.Fasttextureimagecompletionalgorithmbasedondependenciesbetweenwaveletcoefficients[J].JournalofTianjinUniversity, 2010,43(12): 1093-1097.)

ThisworkissupportedbytheNationalNaturalScienceFoundationofChina(61462036),theNaturalSciencesFoundationofJiangxiProvince(2009GQS0047, 20151BAB201015),andtheFoundationofJiangxiUniversityofScienceandTechnology(NSFJ2014-G25),GraduateExcellentCourse“MatrixTheory”ofJiangxiUniversityofScienceandTechnology(XYZK2013011).

ZOU Weigang, born in 1976, M.S., lecturer.His research interests include digital image processing, rough set.

ZHOU Zhihui, born in 1985, M.S., teaching assistant.His research interests include digital image processing, data mining.

WANG Yang, born in 1995.His research interests include digital image processing.

Image inpainting algorithm based on non-subsampled contourlet transform

ZOU Weigang1*, ZHOU Zhihui2, WANG Yang1

(1.SchoolofScience,JiangxiUniversityofScienceandTechnology,GanzhouJiangxi341000,China;2.AssetManagementDivision,JiangxiUniversityofScienceandTechnology,GanzhouJiangxi341000,China)

The multi-scale analysis technology has been widely used in the field of digital image processing, the inpainting image with large damaged area has become a hot and difficult spot of image inpainting.Based on the principle of multi-resolution analysis and the traditional method of image inpainting, a new algorithm for image inpainting based on non-subsampled contourlet transform was proposed.Firstly, the image was decomposed into low frequency and high frequency parts by using the non-subsampled contourlet transform, then the parts of different frequency after image decomposition were inpainted respectively.The low frequency components of the image were inpainted by the improved method of texture synthesis.Because after non-subsampled contourlet transform, the information of the corresponding position between the low frequency component and the high frequency component is consistent, the information of corresponding position of other high frequency components could be repaired while the low frequency component was repaired.Finally, the inpainting of the texture image was completed by reconstruction process of non-subsampled contourlet transform.Generally, the selection of image inpainting parameters was appropriate for the best image effect, thus a counter-example was given for authentication.The structural similarity measure among the proposed algorithm and the classical Criminisi algorithm and the wavelet inpainting algorithm has little difference, but the Peak Signal-To-Noise Ratio (PSNR) measurement has different result according to the different texture characteristics of images and the different location characteristics of damaged areas.The simulation results show that the proposed method is very good for the promotion of the non-subsampled Contourlet transform in image inpainting application, and it can get better repair effect while inpainting the image with large damaged area.

image inpainting; multi-resolution analysis; non-subsampled contourlet transform; dependencies between coefficients; texture characteristic

2016- 06- 27;

2016- 08- 07。 基金項(xiàng)目:國(guó)家自然科學(xué)基金資助項(xiàng)目(61462036)；江西省自然科學(xué)基金資助項(xiàng)目(2009GQS0047, 20151BAB201015)；江西理工大學(xué)校級(jí)科研項(xiàng)目(NSFJ2014-G25)；江西理工大學(xué)研究生優(yōu)質(zhì)課程“矩陣論”(XYZK2013011)。

鄒瑋剛(1976—)，男，江西進(jìn)賢人，講師，碩士，主要研究方向：數(shù)字圖像處理、粗糙集； 周志輝(1985—)，男，江西南昌人，助教，碩士，主要研究方向：數(shù)字圖像處理、數(shù)據(jù)挖掘； 王洋(1995—)，男，江西吉水人，主要研究方向：數(shù)字圖像處理。

1001- 9081(2017)02- 0553- 06

10.11772/j.issn.1001- 9081.2017.02.0553

TP391.413

A