李志丹,陳 嬌,茍慧玲,程吉祥
(西南石油大學(xué) 電氣信息學(xué)院,四川 成都 610500)
數(shù)字圖像修復(fù)概念由Bertalmio等[1]在2000年的SIGGRAPH會議上提出,也被稱為圖像補全或圖像去遮擋。數(shù)字圖像修復(fù)是利用待修復(fù)圖像內(nèi)已知信息對未知信息進行估計并恢復(fù)補全,達到修復(fù)后圖像看起來連貫自然的目標(biāo)。經(jīng)過近些年的發(fā)展,圖像修復(fù)技術(shù)的研究越來越廣泛和深入,已成為計算機視覺和圖像處理領(lǐng)域的研究熱點。
根據(jù)修復(fù)算法的適用對象,可將現(xiàn)有圖像修復(fù)算法粗略地分為兩類:適合于修復(fù)小區(qū)域破損圖像和適合于修復(fù)大區(qū)域破損圖像。在適合于小區(qū)域破損圖像修復(fù)方面,主要包括基于擴散的方法[1-2]和基于稀疏表示[3-4]的方法。基于擴散的方法是根據(jù)合適的偏微分方程對丟失區(qū)域進行建模,然后將已知信息根據(jù)所建模型擴散到丟失區(qū)域。這類方法易引入平滑效應(yīng),不能較好地保持修復(fù)后圖像結(jié)構(gòu)紋理信息的清晰性?;谙∈璞硎镜男迯?fù)算法是假定待修復(fù)圖像的已知信息和未知信息在某個基上具有相同的稀疏表示,通過迭代優(yōu)化能量方程以重構(gòu)丟失信息。這類方法僅可較好地修復(fù)文字劃痕等小區(qū)域破損類型的圖像,而對包含復(fù)雜信息的圖像易產(chǎn)生平滑現(xiàn)象。在適合于修復(fù)大面積破損圖像方面,主要包括基于樣本塊的修復(fù)算法[5]和基于深度學(xué)習(xí)的方法[6-7]?;谏疃葘W(xué)習(xí)的方法利用神經(jīng)網(wǎng)絡(luò)訓(xùn)練已有數(shù)據(jù),根據(jù)訓(xùn)練模型生成缺失部分。這類方法訓(xùn)練時間長,且極大地依賴于數(shù)據(jù)集的選擇。
Criminisi等[5]提出的樣本塊修復(fù)算法主要包括兩個部分,一是根據(jù)優(yōu)先權(quán)法則確定當(dāng)前待填充塊,另一是選擇匹配塊及填充方式。為提高修復(fù)效果,學(xué)者們對這兩個方面進行了研究并提出大量改進算法[8-18]。如Hesabi等[8]引入梯度和散度信息以構(gòu)造匹配準(zhǔn)則;文獻[9]利用基于多方向特征的結(jié)構(gòu)稀疏度函數(shù)構(gòu)造更魯棒的優(yōu)先權(quán)法則,同時引入多方向特征以構(gòu)造合適的匹配準(zhǔn)則;文獻[10]引入邊緣特征以優(yōu)先填充結(jié)構(gòu)部分,并將加權(quán)巴氏距離與歐氏距離融合以尋找匹配塊;Kumar等[11]在優(yōu)先權(quán)法則中引入邊緣長度項以期獲得穩(wěn)定的填充順序;Lee等[12]利用拉普拉斯金字塔分離紋理和結(jié)構(gòu)區(qū)域,增強了對邊緣信息的識別能力;文獻[13]采用空間變化策略更新置信度項以獲得穩(wěn)定的填充順序;Alilou等[14]對目標(biāo)塊利用奇異值分解方法構(gòu)造填充信息并進行填充,獲得了良好的修補結(jié)果;Cho等[15]引入水平正則化項和背景項來獲得穩(wěn)定的填充順序,并綜合拉格朗日乘子項和方差信息尋找匹配塊;文獻[16]在匹配準(zhǔn)則中引入結(jié)構(gòu)相似性信息來選擇匹配塊;Ding等[17]提出高斯加權(quán)非局部紋理相似性以獲得候選塊;文獻[18]使用動態(tài)建模方法確定填充順序,以確保紋理和邊界的可靠傳播。
雖然上述算法在一定程度上提升了樣本塊修復(fù)算法性能,但對于較大區(qū)域破損的圖像仍不能較好的保持其結(jié)構(gòu)完整性,且易出現(xiàn)錯誤延伸現(xiàn)象。為提高樣本塊圖像修復(fù)性能,本文從填充次序和匹配準(zhǔn)則兩個方面入手。首先為獲得穩(wěn)定的填充次序,將球形收斂準(zhǔn)則和基于斯特林理論的置信度更新準(zhǔn)則融合,構(gòu)造魯棒的優(yōu)先權(quán)法則,以優(yōu)先修復(fù)圖像結(jié)構(gòu)信息,同時適度延伸紋理;其次為選擇更優(yōu)的匹配塊進行填充,將結(jié)構(gòu)一致性引入以構(gòu)造更合適的匹配準(zhǔn)則。實驗結(jié)果表明,本文算法能保持修復(fù)后圖像的結(jié)構(gòu)連貫性,且有效地減輕了誤差累積現(xiàn)象。
填充順序的穩(wěn)定性是保持修復(fù)后圖像結(jié)構(gòu)連貫性的前提。在修復(fù)過程中,樣本塊圖像修復(fù)算法若不能較好區(qū)分結(jié)構(gòu)與紋理信息,則易導(dǎo)致紋理信息過度延伸而不能較好保持修復(fù)后圖像的結(jié)構(gòu)連貫性。為提高修復(fù)性能,本節(jié)提出基于球形收斂的優(yōu)先權(quán)法則,其主要思想是首先優(yōu)先修復(fù)結(jié)構(gòu)部分,而后按照球形收斂規(guī)則逐漸向內(nèi)填充破損區(qū)域,以保證填充順序的穩(wěn)定性。優(yōu)先權(quán)法則P(p)描述為
(1)
式中:C(p)和D(p)分別為樣本塊Ψp的置信度項和數(shù)據(jù)項,定義同Criminisi算法[5];pi為填充邊界?Ω上的像素點;Ψpi為根據(jù)max{dS(Ψp,Ψpi),pi∈?Ω}確定的下一個待修復(fù)塊,Ψp為當(dāng)前待修復(fù)塊;dS(Ψp,Ψpi)為樣本塊Ψp和Ψpi的空間距離;δ=max{C(pi),pi∈?Ω},為填充邊界上所有置信度的最大值;t為根據(jù)δ設(shè)定的閾值;ρ為平衡因子。
當(dāng)δ≥t時,因數(shù)據(jù)項可以反映樣本塊所處區(qū)域特性,故提高數(shù)據(jù)項的占比ρ,以優(yōu)先修復(fù)圖像的結(jié)構(gòu)部分,根據(jù)經(jīng)驗分析將ρ取值為0.7;當(dāng)δ 球形收斂修復(fù)過程見圖1。Ω為優(yōu)先修復(fù)圖像結(jié)構(gòu)部分后剩余的未知區(qū)域,假設(shè)Ψp′為以p′為中心點的當(dāng)前待修復(fù)塊,則下一個待修復(fù)塊Ψp″將根據(jù)max{dS(Ψp′,Ψp″),p″∈?Ω}確定;Ψp′被填充完畢之后再以Ψp″為當(dāng)前待修復(fù)塊,重復(fù)上述過程,直至破損區(qū)域完全被填充。對于待修復(fù)區(qū)域有多個時的情形,比如文字或劃痕破損,優(yōu)先修復(fù)結(jié)構(gòu)部分后,將剩余的破損區(qū)域當(dāng)作一個整體進行修復(fù)。 圖1 球形收斂的修復(fù)過程 根據(jù)置信度的定義[5]可知,隨著填充過程的進行,置信度值會迅速衰減并趨近于0。置信度的快速衰減將破壞填充順序的穩(wěn)定性,出現(xiàn)結(jié)構(gòu)不連貫現(xiàn)象。 受到斯特林公式的啟發(fā),同時為抑制置信度項的迅速衰減,將斯特林公式與指數(shù)項eλn結(jié)合,提出基于斯特林理論的置信度更新準(zhǔn)則為 (2) 式中:C(q)為更新后的置信度值;λ為平衡參數(shù)。若λ取值較大,會使更新后的置信度值大于1;若λ取值較小,則衰減速度較快;根據(jù)經(jīng)驗本文λ取0.08。 為測試本節(jié)提出的基于斯特林理論置信度更新準(zhǔn)則的有效性,對圖2(a)進行目標(biāo)移除,掩模圖像見圖2(b),其修復(fù)效果見圖2(c)和圖2(d)。其中,圖2(c)為使用文獻[5]算法的修復(fù)結(jié)果;圖2(d)為使用本文置信度更新準(zhǔn)則的修復(fù)結(jié)果;圖2(e)為圖2(c)和圖2(d)中第140行所有像素點的置信度值曲線。 圖2 置信度項更新準(zhǔn)則對圖像修復(fù)效果的影響 從圖2(e)中可以看出,采用文獻[5]算法修復(fù)后圖像的一些置信度值趨于0,這時將極度削弱優(yōu)先權(quán)法則中數(shù)據(jù)項的作用,不能很好地優(yōu)先修復(fù)結(jié)構(gòu)部分,出現(xiàn)了圖2(c)中結(jié)構(gòu)部分的不連貫。利用本文提出的置信度更新準(zhǔn)則修復(fù)后圖像的置信度值未趨近于0,使得優(yōu)先權(quán)更為穩(wěn)定,并未出現(xiàn)結(jié)構(gòu)不連貫的現(xiàn)象,見圖2(d)。這說明本文提出的基于斯特林理論的更新準(zhǔn)則能有效抑制置信度項的衰減速度,保證優(yōu)先填充結(jié)構(gòu)部分,使得填充次序更為穩(wěn)定。 由于圖像信息的多樣性和復(fù)雜性,傳統(tǒng)樣本塊修復(fù)算法僅采用顏色信息度量樣本塊間的差異性是不夠的,易產(chǎn)生錯誤匹配,且由于填充過程的貪婪性,從而產(chǎn)生誤差累積現(xiàn)象。為減輕誤匹配現(xiàn)象,引入樣本標(biāo)準(zhǔn)偏差以尋找最佳匹配塊。標(biāo)準(zhǔn)偏差用于度量數(shù)據(jù)集分布的分散程度,是衡量數(shù)據(jù)值偏離算術(shù)平均值的程度。樣本塊間標(biāo)準(zhǔn)偏差定義為 (3) 基于結(jié)構(gòu)一致性的匹配準(zhǔn)則為 d(Ψp,Ψq)=a×dE(Ψp,Ψq)+(1-a)× dstd(Ψp,Ψq) (4) 式中:dE(Ψp,Ψq)為樣本塊Ψp與Ψq在顏色空間上的歐氏距離;a為權(quán)重系數(shù),其作用是平衡歐氏距離和樣本標(biāo)準(zhǔn)偏差值。 本文所有實驗均采用Matlab2015b和Visual Studio2015作為工具,在Intel Core i5-7500 CPU 3.40 GHz的計算機上進行。實驗分為3個部分,分別為參數(shù)取值討論、小區(qū)域破損修復(fù)及目標(biāo)移除實驗。實驗采用的數(shù)據(jù)為含有豐富結(jié)構(gòu)和紋理信息的圖像。因峰值信噪比PSNR值的大小表明了修復(fù)后圖像與原始真實圖像相似程度的高低,故采用PSNR作為客觀評價指標(biāo)以衡量修復(fù)效果的優(yōu)劣。 包含復(fù)雜結(jié)構(gòu)和紋理區(qū)域的小尺度破損圖像見圖3。 圖3 破損圖像 為探討閾值t及權(quán)重系數(shù)a對修復(fù)性能的影響,選擇不同的參數(shù)值對圖3中各種圖像進行修復(fù)。 (1)測試t變化時對修復(fù)效果的影響。t取不同值時修復(fù)后圖像PSNR值的變化見圖4。從圖4(a)中看出,當(dāng)t開始逐漸增大時,修復(fù)后圖像的PSNR值幾乎沒有變化;但當(dāng)t進一步增大時,PSNR值急劇下降。因t=0.6時平均PSNR最大(如圖4(b)中所示),故閾值t取0.6。 圖4 不同t值對修復(fù)后圖像PSNR值的影響 由于t取值較小時PSNR值的變化較小是因小區(qū)域破損中結(jié)構(gòu)部分的破損也較少,故選擇對破損圖像進行填充以驗證閾值t選擇的合理性。閾值t取不同值時的修復(fù)結(jié)果對比見圖5。從圖5可以看出,t=0.6時的修復(fù)效果最優(yōu),修復(fù)后圖像的連貫性較好,且沒有在填充區(qū)域內(nèi)出現(xiàn)錯誤填充的情形。 圖5 不同閾值t對修復(fù)效果的影響 (2)測試a變化時對修復(fù)效果的影響。a取不同值時修復(fù)后圖像的PSNR值變化曲線見圖6。由圖6(a)可見,不同修復(fù)后圖像的PSNR值變化趨勢并不完全一致,但大致上先是隨著a的增大有增大的趨勢,而后隨著a的繼續(xù)增大呈下降趨勢。因在圖6(b)中a=0.3時平均PSNR值最大,故在本文實驗中a取0.3。 圖6 不同a值對修復(fù)結(jié)果的影響 為說明本文算法能有效修復(fù)劃痕等小區(qū)域破損圖像,選擇4幅具有較為豐富結(jié)構(gòu)和紋理信息的圖像作為測試對象,見圖7(a)。分別用本文算法,以及適合小區(qū)域修復(fù)的算法[3]、樣本塊修復(fù)算法[5,13]對其破損圖像進行修復(fù),見圖7(b)。修復(fù)結(jié)果對比見圖7(c)~圖7(f),修復(fù)后圖像的PSNR值見表1。 從圖7中可以看出:文獻[3]留下了明顯的平滑痕跡,且破損區(qū)域稍大時出現(xiàn)了結(jié)構(gòu)不連貫現(xiàn)象,如圖7(c)中第二行所示;Criminisi算法[5]的修復(fù)結(jié)果中出現(xiàn)了邊緣不連貫現(xiàn)象,如圖7(d)中第2行所示,且出現(xiàn)了錯誤延伸現(xiàn)象,如圖7(d)中第1、2、4行所示;文獻[13]出現(xiàn)了些微的紋理過度延伸和結(jié)構(gòu)不連貫現(xiàn)象,如圖7(e)所示。從圖7(f)可以看出,本文算法取得了良好的修復(fù)效果,并未出現(xiàn)結(jié)構(gòu)不連貫和誤差累積現(xiàn)象。且由表1可知,本文算法均獲得了最高的PSNR值,說明本文算法修復(fù)效果最優(yōu),誤匹配現(xiàn)象最低。綜上所述,從主觀評價和客觀評價指標(biāo)均可說明本文算法的有效性。 圖7 小尺度破損修復(fù)結(jié)果對比 表1 不同修復(fù)算法的修復(fù)結(jié)果對比(PSNR值) dB 選擇4幅圖像作為目標(biāo)移除的測試圖像見圖8(a),其破損模板圖像見圖8(b),對比樣本塊修復(fù)算法[5,12-13]與本文算法的修復(fù)結(jié)果見圖8(c)~圖8(f)。 圖8 目標(biāo)移除結(jié)果對比 從圖8(c)和圖8(e)可以看出,Criminisi算法[5]和文獻[13]的修復(fù)結(jié)果中均出現(xiàn)了結(jié)構(gòu)不連貫現(xiàn)象,以及紋理錯誤延伸現(xiàn)象,這是由于填充順序不穩(wěn)定及匹配準(zhǔn)則不合理造成的。文獻[12]雖基本上未出現(xiàn)錯誤填充現(xiàn)象,但其修復(fù)結(jié)果中也出現(xiàn)了結(jié)構(gòu)不連貫的情形,見圖8(d),這是搜索區(qū)域有限導(dǎo)致的,未能找到更為合適的匹配塊。從圖8(f)中可以看出,本文算法較好地保持了結(jié)構(gòu)部分的連貫性和紋理信息連續(xù)性,修復(fù)效果優(yōu)于文獻[5, 12-13]算法。這是因為本文算法采用的優(yōu)先權(quán)法則和置信度更新準(zhǔn)則能獲得更穩(wěn)定的填充順序,且利用基于結(jié)構(gòu)一致性的匹配準(zhǔn)則能獲得更合適的匹配塊。 本文從填充次序和匹配準(zhǔn)則入手以獲得良好的圖像修復(fù)結(jié)果,可得出以下結(jié)論: (1)通過區(qū)分圖像位于結(jié)構(gòu)區(qū)域或是紋理區(qū)域,確定采用結(jié)構(gòu)優(yōu)先比例計算優(yōu)先權(quán)值或是按照球形收斂法則確定填充順序,使得填充次序更加穩(wěn)定。 (2)將斯特林理論引入置信度項更新準(zhǔn)則以減緩其衰減速度,進一步提高填充順序的穩(wěn)定性。 (3)將結(jié)構(gòu)一致性與顏色信息加權(quán)來衡量樣本塊間的相似性,以獲得與鄰域一致性更高的匹配塊,有效地削弱誤匹配現(xiàn)象。 實驗結(jié)果表明本文算法較對比算法可以獲得更高的PSNR值,并且很好地保持了修復(fù)后圖像結(jié)構(gòu)部分的連貫自然及與鄰域信息的連續(xù)一致性。但本文算法存在些微的塊效應(yīng)和接縫效應(yīng),未來希望基于破損區(qū)域特征來確定搜索區(qū)域,以進一步提升修復(fù)效果。1.2 基于斯特林理論的置信度更新準(zhǔn)則
1.3 基于結(jié)構(gòu)一致性的匹配準(zhǔn)則
2 實驗結(jié)果與分析
2.1 參數(shù)討論
2.2 小尺度破損修復(fù)
2.3 目標(biāo)移除
3 結(jié)論