張君　常霞　王利娟

摘 要 基于樣本塊的圖像修復(fù)方法是圖像修復(fù)中常用的方法，有修復(fù)速度快，處理效果好，尤其可以處理大面積破損區(qū)域的圖像等優(yōu)點?；跇颖緣K的圖像修復(fù)方法在進行修復(fù)時，置信度項逐漸衰減為零，使得優(yōu)先權(quán)計算的準(zhǔn)確性明顯降低，導(dǎo)致后期樣本塊的修復(fù)順序發(fā)生較大的誤差，產(chǎn)生圖像局部模糊等情況。針對以上問題，本文引入引導(dǎo)因子和改用L1距離作為新的匹配準(zhǔn)則。根據(jù)實驗處理結(jié)果，本文改進的圖像修復(fù)方法具有更佳的視覺效果和更強的魯棒性，縮短了修復(fù)所用時間，取得了較好的修復(fù)效果。

關(guān)鍵詞 圖像修復(fù);樣本塊;優(yōu)先權(quán);置信度項;匹配準(zhǔn)則

中圖分類號： TP391.41 文獻標(biāo)識碼： A

DOI：10.19694/j.cnki.issn2095-2457.2020.02.006

0 引言

圖像修復(fù)是圖像處理的一個熱點問題，已用于文藝作品修護、醫(yī)學(xué)影像診斷、刑事偵查、日常修圖等方面。圖像修復(fù)技術(shù)根據(jù)圖像未破損區(qū)域的先驗信息，來處理圖像中破損區(qū)域，滿足人眼視覺連續(xù)性并符合當(dāng)前圖像場景的方法。圖像修復(fù)是根據(jù)圖像先驗信息的幾何特征和紋理結(jié)構(gòu)模擬出來的結(jié)果，可能與原圖像差別較大，但視覺上不會有明顯違和感，且與當(dāng)前圖像場境搭配融洽。因此，主觀方面上感知效果佳和客觀評價指標(biāo)相吻合的修復(fù)方法，都可視為最佳修復(fù)方法。

2000年Bertalmio和Sapiro等人[1]提出了數(shù)字圖像修復(fù)問題，使得圖像修復(fù)引起人們的普遍關(guān)注。他們模仿流體力學(xué)方程，將等照度線方向進行延伸和擴散，進而將圖像受損部分填補。該修復(fù)方法是一個連續(xù)迭代并不斷光滑擴散的圖像變換（BCSB模型）過程。為改善該模型的缺陷，研究者在偏微分方程的基礎(chǔ)上，又相繼提出了整體變分模型（TV模型）和曲率驅(qū)動擴散模型（CDD模型）。當(dāng)修復(fù)區(qū)域面積較大時，以上三種修復(fù)方法會出現(xiàn)修復(fù)效果過度平滑、偽影延伸過度的現(xiàn)象。因此，基于偏微分方程的修復(fù)模型適用于處理破損面積相對較小的圖像。

2004年Criminisi等人[2]提出了基于樣本塊的圖像修復(fù)模型。該方法可修復(fù)破損面積較大的圖像，改善了基于偏微分方程圖像修復(fù)的不足。基于樣本塊的圖像修復(fù)方法是將完整的圖像信息以樣本塊為基本單元，通過一定的匹配準(zhǔn)則，復(fù)制到圖像受損區(qū)域，完成整個圖像修復(fù)的過程。以置信度項和數(shù)據(jù)項的乘積構(gòu)成優(yōu)先權(quán)函數(shù)，經(jīng)過計算優(yōu)先權(quán)函數(shù)大小，確定圖像修復(fù)順序，進而完成填充修復(fù)過程。隨著樣本塊填充的進行，置信度項逐漸衰減為零，就造成填充后期圖像模糊等問題。為解決這一問題，諸多學(xué)者進行不同方向的算法改進。例如，改善優(yōu)先權(quán)性能[3-6]，自適應(yīng)調(diào)節(jié)樣本塊的大小[7-9]，優(yōu)化匹配準(zhǔn)則[10-11]，改進樣本塊搜索原則和樣本塊的填充方式[12]。本文從優(yōu)先權(quán)函數(shù)的性能和匹配準(zhǔn)則這兩個方面進行改進和優(yōu)化。將原始算法中數(shù)據(jù)項和置信度項乘積改為三項之和，規(guī)避了置信度項急劇衰減為零和數(shù)據(jù)項中等照度線方向正交于法線方向而降為零等這兩種情況，更好的減緩了各項因素的制約關(guān)系，擴大了數(shù)值的變化范圍，更有利于處理復(fù)雜結(jié)構(gòu)的圖像。另外采用L1距離作為匹配準(zhǔn)則，降低計算的復(fù)雜度，提高了匹配的準(zhǔn)確性。

1 基于樣本塊的圖像修復(fù)模型

基于樣本塊的圖像修復(fù)方法是在圖像破損區(qū)域?qū)ふ覂?yōu)先權(quán)函數(shù)值最大的樣本塊，然后通過SSD準(zhǔn)則，在完好的圖像區(qū)域找到與之最匹配的源樣本塊，將源樣本塊中的紋理信息和結(jié)構(gòu)信息復(fù)制給待修復(fù)的樣本塊，完成一次填充。

整個圖像區(qū)域為I，Φ為圖像的源區(qū)域，Ω為圖像的待修復(fù)區(qū)域，其中I=Φ+Ω。p為待修復(fù)邊緣上的像素點，Ψp是以p為中心的待修復(fù)樣本塊。

基于樣本塊的圖像修復(fù)算法步驟如下：

（1）計算優(yōu)先權(quán)。首先確定待修復(fù)區(qū)域的邊緣，然后計算待修復(fù)區(qū)域邊緣上樣本塊的優(yōu)先權(quán)值，并找出優(yōu)先權(quán)值最大的像素點p所在的樣本塊Ψp。

m和n分別表示樣本塊的長和寬，R，G和B分別表示紅綠藍色素帶，p和q分別表示待修復(fù)樣本塊中心點和匹配塊中心點。

（3）置信度項的更新。目標(biāo)樣本塊被填充后，則變成已知像素點，此時置信度值需要重新更新，使得C（p）=C（q），并重新計算新的優(yōu)先權(quán)值。如此完成一次填充，循環(huán)進行以上步驟，直至完成全部區(qū)域填充。

在基于樣本塊的圖像修復(fù)算法中，優(yōu)先權(quán)函數(shù)是由置信度項和數(shù)據(jù)項這兩項相乘得到的，根據(jù)優(yōu)先權(quán)函數(shù)值的大小確定需要填充的樣本塊順序。樣本塊填充順序決定著圖像修復(fù)質(zhì)量的好壞。而由置信度項和數(shù)據(jù)項構(gòu)成的優(yōu)先權(quán)函數(shù)，就具有至關(guān)重要的決定性作用。隨著后期填充的進行，置信度項的可信度會越來越低，導(dǎo)致填充順序出現(xiàn)越來越大的累積誤差。甚至可能還未完成破損區(qū)域填充，就已經(jīng)出現(xiàn)邊緣模糊不清晰的情況。

2 改進的優(yōu)先權(quán)函數(shù)

基于樣本塊圖像修復(fù)算法中，優(yōu)先權(quán)函數(shù)由兩項組成：置信度項C（p）和數(shù)據(jù)項D（p）。修復(fù)過程中，樣本塊的填充順序由填充前緣的優(yōu)先權(quán)函數(shù)大小決定的。隨著填充的進行，置信度項逐漸衰減為零，且累積誤差越來越大，比想象中更容易達到零，即在原始圖像修復(fù)過程中，圖像后期的填充效果不佳，局部圖像模糊，偽影情況比較明顯，與圖像場景不融合，肉眼可見修復(fù)效果不理想。考慮到這些情況，本文提出一種新的優(yōu)先權(quán)函數(shù)

P（p）=C（p）+D（p）+7*τ（6）

其中，τ為引導(dǎo)因子。首先優(yōu)先權(quán)函數(shù)由之前的兩項數(shù)乘變?yōu)槿椣嗉?，將置信度項的大小變化更?xì)膩化，在一定程度上延拓置信度項衰減程度，相比之前的數(shù)乘，有了很大的改善。另外，填充順序并非只受置信度項衰減影響，填充前緣的線性結(jié)構(gòu)對此也有著至關(guān)重要的影響，因此將線性結(jié)構(gòu)的變化進一步加強和放大也可以緩沖數(shù)據(jù)項的影響。而本文設(shè)計的引導(dǎo)因子τ正好利用了圖像填充前緣結(jié)構(gòu)的變化，即類似于梯度，對填充順序的選擇起到了一定的引導(dǎo)作用和加強優(yōu)先權(quán)函數(shù)的篩選優(yōu)先樣本塊的填充順序的準(zhǔn)確性。其中τ的計算如下：

從數(shù)學(xué)表達式上看，優(yōu)先權(quán)函數(shù)兼顧了數(shù)據(jù)項和置信度項的變化情況及影響效果，可以較好地適應(yīng)圖像的局部變化情況。另外從圖中也可以看出隨著修復(fù)過程的進行，置信度項的變化相較之前，大小變化明顯緩慢了很多，面對相同的圖片修復(fù)過程，在把握圖像紋理信息和結(jié)構(gòu)信息的細(xì)節(jié)變化上，更勝一籌。

圖1（a）為原圖，圖1（b）為受損圖，圖1（c）為原始算法修復(fù)圖，圖1（d）為以置信度項和數(shù)據(jù)項之和為優(yōu)先權(quán)函數(shù)的算法修復(fù)圖，圖1（e）為本文改進優(yōu)先權(quán)的算法修復(fù)圖。由表1可以看出改進優(yōu)先權(quán)函數(shù)的算法是三種算法中效率最高的。

3 匹配原則設(shè)計

基于樣本塊圖像修復(fù)的原始算法中，根據(jù)像素差的平方和原則（SUM OF SQUARED DIFFERENCES）尋找最佳匹配塊。本文采用L1距離作為最佳匹配塊的尋找原則，將原來的像素差的平方和改為像素差的絕對值和。在計算方面，將原來的二次改為一次，降低了運算的復(fù)雜度，縮短了圖像處理的運行時間，精確度上也得到了明顯的改善。下圖為處理結(jié)果對比：

圖2（1）為原圖，圖2（2）為受損圖，圖2（3）為原始算法修復(fù)圖，圖2（4）為SSD匹配準(zhǔn)則和L1距離結(jié)合的修復(fù)圖，圖2（5）為以L1距離為匹配準(zhǔn)則的修復(fù)圖。從表2中可以看到，以L1為匹配準(zhǔn)則的修復(fù)圖像的峰值信噪比是最高的，且所用時間也是最短的，也因此證明了L1距離的有效性和運算的高效率性。

4 實驗結(jié)果

下面是三組實驗處理結(jié)果，字母標(biāo)號的圖為程序運行結(jié)果圖。其中，A1、B1、C1為原始基于樣本塊圖像修復(fù)方法的處理結(jié)果圖，A2、B2、C2為文獻[4]中算法處理結(jié)果圖，A3、B3、C3為本文算法處理結(jié)果圖。表3為三組實驗結(jié)果的運行數(shù)據(jù)。第一組魚群實驗組，原始算法和文獻[4]算法處理結(jié)果圖中，都可以明顯看到有偽影情況，本文算法結(jié)果圖畫面比較清晰無偽影情況出現(xiàn)，且與周圍環(huán)境比較契合。結(jié)合表3中的數(shù)據(jù)，可以看到本文算法要比文獻[4]算法運行速度快，峰值信噪比是三種算法中最大的，也充分說明本文在應(yīng)對復(fù)雜背景破損圖時，也可以很好地修復(fù)圖像。第二組牛群實驗組，原始算法處理圖中，在路和草叢的銜接處不自然，路的拐彎處有些僵直生硬。參考文獻[4]算法修復(fù)結(jié)果圖中在拐角處草叢和路銜接有斷缺，路中間的黑點和周圍環(huán)境不協(xié)調(diào)，視覺上略有不自然。本文算法修復(fù)結(jié)果圖中，草叢處修復(fù)比較自然，且草叢的葉也比較茂盛，修復(fù)效果細(xì)膩。第三組冰川實驗圖中，破損修復(fù)圖中，補全部分雪塊、雪塊與流水的連接以及水面波紋的修復(fù)是難點，這三種算法修復(fù)各有不同，但從處理結(jié)果圖中可以看出，本文算法在水面波紋修復(fù)上修復(fù)效果更好。

從這三組實驗中不難發(fā)現(xiàn)，若原圖像受損部分與未受損部分顏色差別較大，則修復(fù)后的圖像與原圖像計算后得到的峰值信噪比會降低很多。第一組和第二組實驗缺損部分與原圖像色彩差別不大，所以整體修復(fù)后的峰值信噪比要高一點，但第二組實驗缺損的牛與周圍色彩差別較大，所以修復(fù)后的圖像與原圖像計算得到的峰值信噪比相對要低很多。所以峰值信噪比作為圖像修復(fù)的客觀評價指標(biāo)是有一定的局限性的，與主觀評價指標(biāo)存在一定的差異性。

5 結(jié)束語

本文改進的算法中，增加了引導(dǎo)因子，最大限度改善置信度項驟降為零的情況。通過實驗對比，驗證了本文改進的算法具有更強適應(yīng)性和填充的準(zhǔn)確性。本文算法的缺點是針對太復(fù)雜的圖像背景，修復(fù)的情況還存在一定的缺憾，因此需要進一步研究修復(fù)過程中細(xì)節(jié)信息的處理和利用，進一步提高修復(fù)效果和修復(fù)效率。另外，圖像修復(fù)的客觀評價指標(biāo)還需要進一步研究，主觀評價指標(biāo)更加一致的客觀評價函數(shù)。

參考文獻

[1]Bertalmio M，Sapiro G，Caselles V，et al.Image inpainting. Proceedings of the 27th annual conference on Computer graphics and interactive techniques.2000.

[2]A. Criminisi，P. Perez，K. Toyama.Region filling and object removal by exemplar-based image inpainting. IEEE Transactions on Image Processing.2004.

[3]李開宇，孫玉剛.引入連續(xù)性強度和置信度因子的快速圖像修復(fù)[J].中國圖象圖形學(xué)報，2012，17（4）：23-28.

[4]梁淑芬，郭敏，梁湘群.改進的Criminisi算法的數(shù)字圖像修復(fù)技術(shù)[J].計算機工程與設(shè)計，2016，37（5）.

[5]張申華，王克剛，祝軒.局部特征信息約束的改進Criminisi算法[J].計算機工程與應(yīng)用，2014（8）.

[6]侯玉婷[1]，彭進業(yè)[1]，韓東辰[1].改進的Criminisi圖像修復(fù)算法研究[J].計算機工程與應(yīng)用，2015，51（11）：135-138.

[7]孟春芝，何凱，焦青蘭.自適應(yīng)樣本塊大小的圖像修復(fù)方法[J].中國圖象圖形學(xué)報，2012（03）：40-44.

[8]朱園珠，朱曉臨，陳嫚，李雪艷.基于改進優(yōu)先級的自適應(yīng)圖像修復(fù)算法[J].合肥工業(yè)大學(xué)學(xué)報：自然科學(xué)版，2014（37）：689.

[9]陳美玲，朱鋁芬，張云，et al.一種改進的Criminisi新算法的圖像復(fù)原技術(shù)[J].現(xiàn)代信息科技，2019（18）.

[10]常晨，尹立新，方寶龍.一種改進的Criminisi圖像修復(fù)算法[J].計算機應(yīng)用與軟件，2012（09）：246-248+273.

[11]李志丹，茍慧玲，程吉祥，et al.結(jié)合梯度特征與色彩一致性的圖像修復(fù)[J].光學(xué)精密工程，2019，27（01）：256-264.

[12]劉華明，畢學(xué)慧，葉中付，王維蘭.樣本塊搜索和優(yōu)先權(quán)填充的弧形推進圖像修復(fù)[J].中國圖象圖形學(xué)報（8期）：993-1003.