李志丹，陳 嬌，茍慧玲，程吉祥

(西南石油大學(xué) 電氣信息學(xué)院，四川 成都 610500)

數(shù)字圖像修復(fù)概念由Bertalmio等[1]在2000年的SIGGRAPH會(huì)議上提出，也被稱為圖像補(bǔ)全或圖像去遮擋。數(shù)字圖像修復(fù)是利用待修復(fù)圖像內(nèi)已知信息對(duì)未知信息進(jìn)行估計(jì)并恢復(fù)補(bǔ)全，達(dá)到修復(fù)后圖像看起來(lái)連貫自然的目標(biāo)。經(jīng)過(guò)近些年的發(fā)展，圖像修復(fù)技術(shù)的研究越來(lái)越廣泛和深入，已成為計(jì)算機(jī)視覺(jué)和圖像處理領(lǐng)域的研究熱點(diǎn)。

根據(jù)修復(fù)算法的適用對(duì)象，可將現(xiàn)有圖像修復(fù)算法粗略地分為兩類：適合于修復(fù)小區(qū)域破損圖像和適合于修復(fù)大區(qū)域破損圖像。在適合于小區(qū)域破損圖像修復(fù)方面，主要包括基于擴(kuò)散的方法[1-2]和基于稀疏表示[3-4]的方法?；跀U(kuò)散的方法是根據(jù)合適的偏微分方程對(duì)丟失區(qū)域進(jìn)行建模，然后將已知信息根據(jù)所建模型擴(kuò)散到丟失區(qū)域。這類方法易引入平滑效應(yīng)，不能較好地保持修復(fù)后圖像結(jié)構(gòu)紋理信息的清晰性?；谙∈璞硎镜男迯?fù)算法是假定待修復(fù)圖像的已知信息和未知信息在某個(gè)基上具有相同的稀疏表示，通過(guò)迭代優(yōu)化能量方程以重構(gòu)丟失信息。這類方法僅可較好地修復(fù)文字劃痕等小區(qū)域破損類型的圖像，而對(duì)包含復(fù)雜信息的圖像易產(chǎn)生平滑現(xiàn)象。在適合于修復(fù)大面積破損圖像方面，主要包括基于樣本塊的修復(fù)算法[5]和基于深度學(xué)習(xí)的方法[6-7]?；谏疃葘W(xué)習(xí)的方法利用神經(jīng)網(wǎng)絡(luò)訓(xùn)練已有數(shù)據(jù)，根據(jù)訓(xùn)練模型生成缺失部分。這類方法訓(xùn)練時(shí)間長(zhǎng)，且極大地依賴于數(shù)據(jù)集的選擇。

Criminisi等[5]提出的樣本塊修復(fù)算法主要包括兩個(gè)部分，一是根據(jù)優(yōu)先權(quán)法則確定當(dāng)前待填充塊，另一是選擇匹配塊及填充方式。為提高修復(fù)效果，學(xué)者們對(duì)這兩個(gè)方面進(jìn)行了研究并提出大量改進(jìn)算法[8-18]。如Hesabi等[8]引入梯度和散度信息以構(gòu)造匹配準(zhǔn)則；文獻(xiàn)[9]利用基于多方向特征的結(jié)構(gòu)稀疏度函數(shù)構(gòu)造更魯棒的優(yōu)先權(quán)法則，同時(shí)引入多方向特征以構(gòu)造合適的匹配準(zhǔn)則；文獻(xiàn)[10]引入邊緣特征以優(yōu)先填充結(jié)構(gòu)部分，并將加權(quán)巴氏距離與歐氏距離融合以尋找匹配塊；Kumar等[11]在優(yōu)先權(quán)法則中引入邊緣長(zhǎng)度項(xiàng)以期獲得穩(wěn)定的填充順序；Lee等[12]利用拉普拉斯金字塔分離紋理和結(jié)構(gòu)區(qū)域，增強(qiáng)了對(duì)邊緣信息的識(shí)別能力；文獻(xiàn)[13]采用空間變化策略更新置信度項(xiàng)以獲得穩(wěn)定的填充順序；Alilou等[14]對(duì)目標(biāo)塊利用奇異值分解方法構(gòu)造填充信息并進(jìn)行填充，獲得了良好的修補(bǔ)結(jié)果；Cho等[15]引入水平正則化項(xiàng)和背景項(xiàng)來(lái)獲得穩(wěn)定的填充順序，并綜合拉格朗日乘子項(xiàng)和方差信息尋找匹配塊；文獻(xiàn)[16]在匹配準(zhǔn)則中引入結(jié)構(gòu)相似性信息來(lái)選擇匹配塊；Ding等[17]提出高斯加權(quán)非局部紋理相似性以獲得候選塊；文獻(xiàn)[18]使用動(dòng)態(tài)建模方法確定填充順序，以確保紋理和邊界的可靠傳播。

雖然上述算法在一定程度上提升了樣本塊修復(fù)算法性能，但對(duì)于較大區(qū)域破損的圖像仍不能較好的保持其結(jié)構(gòu)完整性，且易出現(xiàn)錯(cuò)誤延伸現(xiàn)象。為提高樣本塊圖像修復(fù)性能，本文從填充次序和匹配準(zhǔn)則兩個(gè)方面入手。首先為獲得穩(wěn)定的填充次序，將球形收斂準(zhǔn)則和基于斯特林理論的置信度更新準(zhǔn)則融合，構(gòu)造魯棒的優(yōu)先權(quán)法則，以優(yōu)先修復(fù)圖像結(jié)構(gòu)信息，同時(shí)適度延伸紋理；其次為選擇更優(yōu)的匹配塊進(jìn)行填充，將結(jié)構(gòu)一致性引入以構(gòu)造更合適的匹配準(zhǔn)則。實(shí)驗(yàn)結(jié)果表明，本文算法能保持修復(fù)后圖像的結(jié)構(gòu)連貫性，且有效地減輕了誤差累積現(xiàn)象。

1 基于球形收斂和結(jié)構(gòu)一致性的樣本塊圖像修復(fù)算法

1.1 基于球形收斂的優(yōu)先權(quán)法則

填充順序的穩(wěn)定性是保持修復(fù)后圖像結(jié)構(gòu)連貫性的前提。在修復(fù)過(guò)程中，樣本塊圖像修復(fù)算法若不能較好區(qū)分結(jié)構(gòu)與紋理信息，則易導(dǎo)致紋理信息過(guò)度延伸而不能較好保持修復(fù)后圖像的結(jié)構(gòu)連貫性。為提高修復(fù)性能，本節(jié)提出基于球形收斂的優(yōu)先權(quán)法則，其主要思想是首先優(yōu)先修復(fù)結(jié)構(gòu)部分，而后按照球形收斂規(guī)則逐漸向內(nèi)填充破損區(qū)域，以保證填充順序的穩(wěn)定性。優(yōu)先權(quán)法則P(p)描述為

(1)

式中：C(p)和D(p)分別為樣本塊Ψp的置信度項(xiàng)和數(shù)據(jù)項(xiàng)，定義同Criminisi算法[5]；pi為填充邊界?Ω上的像素點(diǎn)；Ψpi為根據(jù)max{dS(Ψp,Ψpi),pi∈?Ω}確定的下一個(gè)待修復(fù)塊，Ψp為當(dāng)前待修復(fù)塊；dS(Ψp,Ψpi)為樣本塊Ψp和Ψpi的空間距離；δ=max{C(pi),pi∈?Ω}，為填充邊界上所有置信度的最大值；t為根據(jù)δ設(shè)定的閾值；ρ為平衡因子。

當(dāng)δ≥t時(shí)，因數(shù)據(jù)項(xiàng)可以反映樣本塊所處區(qū)域特性，故提高數(shù)據(jù)項(xiàng)的占比ρ，以優(yōu)先修復(fù)圖像的結(jié)構(gòu)部分，根據(jù)經(jīng)驗(yàn)分析將ρ取值為0.7；當(dāng)δ

球形收斂修復(fù)過(guò)程見(jiàn)圖1。Ω為優(yōu)先修復(fù)圖像結(jié)構(gòu)部分后剩余的未知區(qū)域，假設(shè)Ψp′為以p′為中心點(diǎn)的當(dāng)前待修復(fù)塊，則下一個(gè)待修復(fù)塊Ψp″將根據(jù)max{dS(Ψp′,Ψp″),p″∈?Ω}確定；Ψp′被填充完畢之后再以Ψp″為當(dāng)前待修復(fù)塊，重復(fù)上述過(guò)程，直至破損區(qū)域完全被填充。對(duì)于待修復(fù)區(qū)域有多個(gè)時(shí)的情形，比如文字或劃痕破損，優(yōu)先修復(fù)結(jié)構(gòu)部分后，將剩余的破損區(qū)域當(dāng)作一個(gè)整體進(jìn)行修復(fù)。

圖1 球形收斂的修復(fù)過(guò)程

1.2 基于斯特林理論的置信度更新準(zhǔn)則

根據(jù)置信度的定義[5]可知，隨著填充過(guò)程的進(jìn)行，置信度值會(huì)迅速衰減并趨近于0。置信度的快速衰減將破壞填充順序的穩(wěn)定性，出現(xiàn)結(jié)構(gòu)不連貫現(xiàn)象。

受到斯特林公式的啟發(fā)，同時(shí)為抑制置信度項(xiàng)的迅速衰減，將斯特林公式與指數(shù)項(xiàng)eλn結(jié)合，提出基于斯特林理論的置信度更新準(zhǔn)則為

(2)

式中：C(q)為更新后的置信度值；λ為平衡參數(shù)。若λ取值較大，會(huì)使更新后的置信度值大于1；若λ取值較小，則衰減速度較快；根據(jù)經(jīng)驗(yàn)本文λ取0.08。

為測(cè)試本節(jié)提出的基于斯特林理論置信度更新準(zhǔn)則的有效性，對(duì)圖2(a)進(jìn)行目標(biāo)移除，掩模圖像見(jiàn)圖2(b),其修復(fù)效果見(jiàn)圖2(c)和圖2(d)。其中，圖2(c)為使用文獻(xiàn)[5]算法的修復(fù)結(jié)果；圖2(d)為使用本文置信度更新準(zhǔn)則的修復(fù)結(jié)果；圖2(e)為圖2(c)和圖2(d)中第140行所有像素點(diǎn)的置信度值曲線。

圖2 置信度項(xiàng)更新準(zhǔn)則對(duì)圖像修復(fù)效果的影響

從圖2(e)中可以看出，采用文獻(xiàn)[5]算法修復(fù)后圖像的一些置信度值趨于0，這時(shí)將極度削弱優(yōu)先權(quán)法則中數(shù)據(jù)項(xiàng)的作用，不能很好地優(yōu)先修復(fù)結(jié)構(gòu)部分，出現(xiàn)了圖2(c)中結(jié)構(gòu)部分的不連貫。利用本文提出的置信度更新準(zhǔn)則修復(fù)后圖像的置信度值未趨近于0，使得優(yōu)先權(quán)更為穩(wěn)定，并未出現(xiàn)結(jié)構(gòu)不連貫的現(xiàn)象，見(jiàn)圖2(d)。這說(shuō)明本文提出的基于斯特林理論的更新準(zhǔn)則能有效抑制置信度項(xiàng)的衰減速度，保證優(yōu)先填充結(jié)構(gòu)部分，使得填充次序更為穩(wěn)定。

1.3 基于結(jié)構(gòu)一致性的匹配準(zhǔn)則

由于圖像信息的多樣性和復(fù)雜性，傳統(tǒng)樣本塊修復(fù)算法僅采用顏色信息度量樣本塊間的差異性是不夠的，易產(chǎn)生錯(cuò)誤匹配，且由于填充過(guò)程的貪婪性，從而產(chǎn)生誤差累積現(xiàn)象。為減輕誤匹配現(xiàn)象，引入樣本標(biāo)準(zhǔn)偏差以尋找最佳匹配塊。標(biāo)準(zhǔn)偏差用于度量數(shù)據(jù)集分布的分散程度，是衡量數(shù)據(jù)值偏離算術(shù)平均值的程度。樣本塊間標(biāo)準(zhǔn)偏差定義為

(3)

基于結(jié)構(gòu)一致性的匹配準(zhǔn)則為

d(Ψp,Ψq)=a×dE(Ψp,Ψq)+(1-a)×

dstd(Ψp,Ψq)

(4)

式中：dE(Ψp,Ψq)為樣本塊Ψp與Ψq在顏色空間上的歐氏距離；a為權(quán)重系數(shù)，其作用是平衡歐氏距離和樣本標(biāo)準(zhǔn)偏差值。

2 實(shí)驗(yàn)結(jié)果與分析

本文所有實(shí)驗(yàn)均采用Matlab2015b和Visual Studio2015作為工具，在Intel Core i5-7500 CPU 3.40 GHz的計(jì)算機(jī)上進(jìn)行。實(shí)驗(yàn)分為3個(gè)部分，分別為參數(shù)取值討論、小區(qū)域破損修復(fù)及目標(biāo)移除實(shí)驗(yàn)。實(shí)驗(yàn)采用的數(shù)據(jù)為含有豐富結(jié)構(gòu)和紋理信息的圖像。因峰值信噪比PSNR值的大小表明了修復(fù)后圖像與原始真實(shí)圖像相似程度的高低，故采用PSNR作為客觀評(píng)價(jià)指標(biāo)以衡量修復(fù)效果的優(yōu)劣。

2.1 參數(shù)討論

包含復(fù)雜結(jié)構(gòu)和紋理區(qū)域的小尺度破損圖像見(jiàn)圖3。

圖3 破損圖像

為探討閾值t及權(quán)重系數(shù)a對(duì)修復(fù)性能的影響，選擇不同的參數(shù)值對(duì)圖3中各種圖像進(jìn)行修復(fù)。

(1)測(cè)試t變化時(shí)對(duì)修復(fù)效果的影響。t取不同值時(shí)修復(fù)后圖像PSNR值的變化見(jiàn)圖4。從圖4(a)中看出，當(dāng)t開(kāi)始逐漸增大時(shí)，修復(fù)后圖像的PSNR值幾乎沒(méi)有變化；但當(dāng)t進(jìn)一步增大時(shí)，PSNR值急劇下降。因t=0.6時(shí)平均PSNR最大(如圖4(b)中所示)，故閾值t取0.6。

圖4 不同t值對(duì)修復(fù)后圖像PSNR值的影響

由于t取值較小時(shí)PSNR值的變化較小是因小區(qū)域破損中結(jié)構(gòu)部分的破損也較少，故選擇對(duì)破損圖像進(jìn)行填充以驗(yàn)證閾值t選擇的合理性。閾值t取不同值時(shí)的修復(fù)結(jié)果對(duì)比見(jiàn)圖5。從圖5可以看出，t=0.6時(shí)的修復(fù)效果最優(yōu)，修復(fù)后圖像的連貫性較好，且沒(méi)有在填充區(qū)域內(nèi)出現(xiàn)錯(cuò)誤填充的情形。

圖5 不同閾值t對(duì)修復(fù)效果的影響

(2)測(cè)試a變化時(shí)對(duì)修復(fù)效果的影響。a取不同值時(shí)修復(fù)后圖像的PSNR值變化曲線見(jiàn)圖6。由圖6(a)可見(jiàn)，不同修復(fù)后圖像的PSNR值變化趨勢(shì)并不完全一致，但大致上先是隨著a的增大有增大的趨勢(shì)，而后隨著a的繼續(xù)增大呈下降趨勢(shì)。因在圖6(b)中a=0.3時(shí)平均PSNR值最大，故在本文實(shí)驗(yàn)中a取0.3。

圖6 不同a值對(duì)修復(fù)結(jié)果的影響

2.2 小尺度破損修復(fù)

為說(shuō)明本文算法能有效修復(fù)劃痕等小區(qū)域破損圖像，選擇4幅具有較為豐富結(jié)構(gòu)和紋理信息的圖像作為測(cè)試對(duì)象，見(jiàn)圖7(a)。分別用本文算法，以及適合小區(qū)域修復(fù)的算法[3]、樣本塊修復(fù)算法[5,13]對(duì)其破損圖像進(jìn)行修復(fù)，見(jiàn)圖7(b)。修復(fù)結(jié)果對(duì)比見(jiàn)圖7(c)～圖7(f)，修復(fù)后圖像的PSNR值見(jiàn)表1。

從圖7中可以看出：文獻(xiàn)[3]留下了明顯的平滑痕跡，且破損區(qū)域稍大時(shí)出現(xiàn)了結(jié)構(gòu)不連貫現(xiàn)象，如圖7(c)中第二行所示；Criminisi算法[5]的修復(fù)結(jié)果中出現(xiàn)了邊緣不連貫現(xiàn)象，如圖7(d)中第2行所示，且出現(xiàn)了錯(cuò)誤延伸現(xiàn)象，如圖7(d)中第1、2、4行所示；文獻(xiàn)[13]出現(xiàn)了些微的紋理過(guò)度延伸和結(jié)構(gòu)不連貫現(xiàn)象，如圖7(e)所示。從圖7(f)可以看出，本文算法取得了良好的修復(fù)效果，并未出現(xiàn)結(jié)構(gòu)不連貫和誤差累積現(xiàn)象。且由表1可知，本文算法均獲得了最高的PSNR值，說(shuō)明本文算法修復(fù)效果最優(yōu)，誤匹配現(xiàn)象最低。綜上所述，從主觀評(píng)價(jià)和客觀評(píng)價(jià)指標(biāo)均可說(shuō)明本文算法的有效性。

圖7 小尺度破損修復(fù)結(jié)果對(duì)比

表1 不同修復(fù)算法的修復(fù)結(jié)果對(duì)比(PSNR值) dB

2.3 目標(biāo)移除

選擇4幅圖像作為目標(biāo)移除的測(cè)試圖像見(jiàn)圖8(a)，其破損模板圖像見(jiàn)圖8(b)，對(duì)比樣本塊修復(fù)算法[5,12-13]與本文算法的修復(fù)結(jié)果見(jiàn)圖8(c)～圖8(f)。

圖8 目標(biāo)移除結(jié)果對(duì)比

從圖8(c)和圖8(e)可以看出，Criminisi算法[5]和文獻(xiàn)[13]的修復(fù)結(jié)果中均出現(xiàn)了結(jié)構(gòu)不連貫現(xiàn)象，以及紋理錯(cuò)誤延伸現(xiàn)象，這是由于填充順序不穩(wěn)定及匹配準(zhǔn)則不合理造成的。文獻(xiàn)[12]雖基本上未出現(xiàn)錯(cuò)誤填充現(xiàn)象，但其修復(fù)結(jié)果中也出現(xiàn)了結(jié)構(gòu)不連貫的情形，見(jiàn)圖8(d)，這是搜索區(qū)域有限導(dǎo)致的，未能找到更為合適的匹配塊。從圖8(f)中可以看出，本文算法較好地保持了結(jié)構(gòu)部分的連貫性和紋理信息連續(xù)性，修復(fù)效果優(yōu)于文獻(xiàn)[5, 12-13]算法。這是因?yàn)楸疚乃惴ú捎玫膬?yōu)先權(quán)法則和置信度更新準(zhǔn)則能獲得更穩(wěn)定的填充順序，且利用基于結(jié)構(gòu)一致性的匹配準(zhǔn)則能獲得更合適的匹配塊。

3 結(jié)論

本文從填充次序和匹配準(zhǔn)則入手以獲得良好的圖像修復(fù)結(jié)果，可得出以下結(jié)論：

(1)通過(guò)區(qū)分圖像位于結(jié)構(gòu)區(qū)域或是紋理區(qū)域，確定采用結(jié)構(gòu)優(yōu)先比例計(jì)算優(yōu)先權(quán)值或是按照球形收斂法則確定填充順序，使得填充次序更加穩(wěn)定。

(2)將斯特林理論引入置信度項(xiàng)更新準(zhǔn)則以減緩其衰減速度，進(jìn)一步提高填充順序的穩(wěn)定性。

(3)將結(jié)構(gòu)一致性與顏色信息加權(quán)來(lái)衡量樣本塊間的相似性，以獲得與鄰域一致性更高的匹配塊，有效地削弱誤匹配現(xiàn)象。

實(shí)驗(yàn)結(jié)果表明本文算法較對(duì)比算法可以獲得更高的PSNR值，并且很好地保持了修復(fù)后圖像結(jié)構(gòu)部分的連貫自然及與鄰域信息的連續(xù)一致性。但本文算法存在些微的塊效應(yīng)和接縫效應(yīng)，未來(lái)希望基于破損區(qū)域特征來(lái)確定搜索區(qū)域，以進(jìn)一步提升修復(fù)效果。