張君　常霞　王利娟

【摘 要】圖像修復(fù)是圖像處理的一個重要研究部分，圖像修復(fù)方法是試圖估計原圖像信息， 對破損區(qū)域進行修補和改善，提高圖像視覺質(zhì)量的技術(shù)?；跇颖緣K的圖像修復(fù)方法以修復(fù)速度快，處理效果好，且對破損面積較大的圖像修復(fù)效果佳等顯著優(yōu)點，成為當(dāng)前圖像修復(fù)的熱點方向之一。本文詳細(xì)介紹了基于樣本塊圖像修復(fù)方法的優(yōu)缺點和改進方向，為研究者在圖像修復(fù)上提供了相關(guān)的理論依據(jù)，同時也為圖像修復(fù)方法創(chuàng)新提供了研究思路。文章最后給出了圖像修復(fù)的發(fā)展方向，對深入學(xué)習(xí)圖像修復(fù)方法具有重要的指導(dǎo)意義。

【關(guān)鍵詞】圖像修復(fù);樣本塊;優(yōu)先權(quán);置信度;數(shù)據(jù)項

中圖分類號： TP391.41文獻標(biāo)識碼： A文章編號： 2095-2457（2019）33-0021-003

DOI：10.19694/j.cnki.issn2095-2457.2019.33.009

Image Inpainting Method Based on Sample Patch

ZHANG Jun CHANG Xia WANG Li-juan

（The Key Laboratory of Intelligent Information and Big Data Processing of Ningxia Province，

North Minzu University，Yinchuan Ningxia 750021，China）

【Abstract】Image inpainting is one of the important contents in image processing.The image inpainting method is a technique that attempts to estimate the original image information，repair and improve the damaged area，and improve the visual quality of the original picture.The image inpainting method based on sample patchs has obvious advantages such as fast restoration speed，good processing effect and good image restoration effect for images with large damage area，becoming one of the hot spots of image restoration at present.In this paper，the advantages，disadvantages and improvement directions of image restoration methods based on sample blocks are introduced in detail，which provides relevant theoretical basis for researchers in image inpainting and research ideas for image restoration method innovation.At the end of this paper，the development direction of image restoration is given，which has important guiding significance for further study of image restoration methods.

【Key words】Image inpainting;Sample patch;Priority;Data term;Confidence data;Matching patch

0 引言

早期的圖像修復(fù)主要應(yīng)用于文藝復(fù)興時期藝術(shù)作品的修復(fù)，現(xiàn)階段圖像修復(fù)在生物醫(yī)療圖像、壁畫修補、視頻處理等方面有著廣泛的應(yīng)用。圖像修復(fù)是利用圖像原有的先驗信息，去估計和修復(fù)破損區(qū)域的缺失信息，使修復(fù)后的圖像符合人眼視覺的連續(xù)性和合理性，最終達到改善圖像的視覺效果。圖像修復(fù)結(jié)果不具有唯一性，滿足修復(fù)后圖像視覺質(zhì)量得到改善的結(jié)果，都是修復(fù)問題的解。

圖像修復(fù)方法中常見的兩種方法：基于偏微分方程的圖像修復(fù)方法及基于紋理的圖像修復(fù)方法?；谄⒎址匠痰膱D像修復(fù)方法是在建立合適的修復(fù)模型下，通過解方程來實現(xiàn)圖像的修復(fù)，該方法雖然可以穩(wěn)定地保持圖像自身的線性結(jié)構(gòu)信息，但是對圖像的細(xì)節(jié)信息卻并不能很好地保留。在處理含有大面積破損區(qū)域的圖像時，基于偏微分方程的圖像修復(fù)方法在擴散過程中會不斷引入模糊，模糊程度隨著破損區(qū)域尺度的增加而增加，因此該方法適用于修復(fù)尺度較小的圖像?；诩y理的圖像修復(fù)方法是通過原圖像及完好的區(qū)域信息去估計和填充破損區(qū)域信息，尋找最佳匹配塊，并將完好的匹配塊信息填充到對應(yīng)破損區(qū)域的位置上，逐次迭代完成整幅圖像的填充。圖像大多是由結(jié)構(gòu)和紋理細(xì)節(jié)組成，而針對紋理細(xì)節(jié)明顯的圖像更適合用基于紋理的修復(fù)方法進行填充。若圖像的破損區(qū)域尺度較大，內(nèi)外紋理信息可能差別會很大，顯然基于紋理圖像修復(fù)方法更合適此種修復(fù)情況?；跇颖緣K的圖像修復(fù)方法是基于紋理的圖像修復(fù)方法中最具有代表性的方法。在填補紋理信息方面，基于樣本塊的圖像修復(fù)方法更優(yōu)，尤其當(dāng)破損區(qū)域面積較大時。

本文首先介紹了基于樣本塊的圖像修復(fù)方法的基本原理，以及最新研究進展，結(jié)合算法的局限性，討論了改進思路和方法，并對圖像修復(fù)的發(fā)展趨勢進行了展望。

1 基于樣本塊的圖像修復(fù)算法

基于樣本塊的圖像修復(fù)方法是以樣本塊為基本單元，分別給予待填充樣本塊的中心像素一個灰度值和一個置信度值。臨時對填充邊緣的樣本塊賦予一個的優(yōu)先權(quán)值，通過優(yōu)先權(quán)值的大小順序來確定樣本塊被填充的順序。再通過SSD匹配原則，尋找與之最為相似的源匹配塊，將最佳匹配塊的紋理信息和結(jié)構(gòu)信息復(fù)制填充到待修復(fù)塊中，已填充像素塊的置信度值需要重新更換，以此完成一次修復(fù)。按照同樣方法，逐步對破損區(qū)域進行推進式填充，直至最后完成整幅圖像的填充。

算法步驟處理如下：

1）計算優(yōu)先權(quán)并確定待修復(fù)樣本塊。在圖像待修復(fù)前緣選擇一點p，則p點的優(yōu)先權(quán)為：

其中，C（p）為p點的置信度項，D（p）為p點的數(shù)據(jù)項。

通過計算填充邊緣點的優(yōu)先權(quán)函數(shù)值的大小，確定優(yōu)先權(quán)函數(shù)值最大的那個點所在的樣本塊，作為最先需要填充的樣本塊。處于連續(xù)邊緣上和被高置信度像素包圍的圖像塊，其優(yōu)先權(quán)值較大，將最先被填充，因此會更好地保持圖像的結(jié)構(gòu)信息和紋理信息。

2）確定最佳匹配塊和填充待修復(fù)塊。根據(jù)SSD（sum of squared difference）匹配原則，在圖像整個完好區(qū)域內(nèi)找出與樣本塊最相似的匹配塊，并將最佳匹配塊的結(jié)構(gòu)信息和紋理信息復(fù)制給待填充樣本塊。

3）更新置信度項。優(yōu)先權(quán)值最大的樣本塊被填充之后，更新已填充樣本塊的置信度項重復(fù)以上三個步驟，直至最終填充完畢。

2 基于樣本塊的圖像修復(fù)方法的改進分析

綜合分析基于樣本塊的圖像修復(fù)方法的基本原理，我們從該算法所涉及的影響像素運算的因素，得出四個可改進的方面：優(yōu)先權(quán)函數(shù)、匹配原則、更新原則和自適應(yīng)原則。

2.1 優(yōu)先權(quán)函數(shù)

優(yōu)先權(quán)函數(shù)的計算在圖像修復(fù)的整個過程中尤為重要。優(yōu)先權(quán)值決定著圖像樣本塊填充的次序，影響著圖像的最終視覺效果。圖像修復(fù)過程中，隨著填充的進行，置信度項的可信度值越來越小，甚至出現(xiàn)驟降為零的情況，進而使得圖像塊填充次序混亂，后期填充圖像嚴(yán)重模糊，而修復(fù)面積越大出現(xiàn)置信度驟降為零的概率越大。即使遇到線性結(jié)構(gòu)豐富的區(qū)域，圖像塊也不能被優(yōu)先填充，嚴(yán)重影響了圖像修復(fù)的效果。另外，若樣本塊處等照度線方向與該中心像素塊的法線方向垂直，不管此時的置信度項值多大，數(shù)據(jù)項和優(yōu)先權(quán)值都為零，失去了填充的意義。Criminisi等[1]人最早提出基于樣本塊的圖像修復(fù)算法，尤其針對大面積破損圖像具有很好的修復(fù)效果。但因其在圖像填充后期，置信度項的驟降，導(dǎo)致修復(fù)后期出現(xiàn)嚴(yán)重的偽影和振鈴效應(yīng)。為此，研究者們將研究重點放于改善優(yōu)先權(quán)函數(shù)上面。Zhou Yatong等[2]人建議將優(yōu)先權(quán)函數(shù)表示為P（p）=C（p）D（p）+nD（p），適當(dāng)增加函數(shù)中數(shù)據(jù)項的比重，平衡置信度項驟降的限制。歐先鋒等[3]人提出將優(yōu)先權(quán)函數(shù)改為P（p）=C（p）D（p）+C（p）α。此改進方法從置信度項入手，減緩置信度項驟降趨勢，增加置信度項的比重，使優(yōu)先權(quán)函數(shù)在整個變化中，有著平穩(wěn)的變化過程，減緩變化的速度，同時也增加填充順序的可信度?？祫P等[4]人提出將數(shù)據(jù)項改為D（p）=|np|×（ξ×Iξξ+k×η×Iηη），置信度項不做任何變動，從數(shù)據(jù)項方面出發(fā)，鼓勵優(yōu)先填充與np夾角較小的邊緣結(jié)構(gòu)，并且鼓勵優(yōu)先填充圖像中破損的突變區(qū)域，具有更強的識別能力和糾錯能力。侯玉婷等[5]人提出將優(yōu)先權(quán)函數(shù)改為P（p）=C（p）+（1-λ）·D（p）+λ·δS2，將采用數(shù)據(jù)項和置信度項的相加運算，具有更強的識別紋理區(qū)域和邊緣區(qū)域的能力，防止置信度迅速衰減帶來的錯誤填充次序。曾接賢等[6]人將置信度項的計算重新定義，采用棋盤全包圍的方法計算置信度項，增加樣本塊置信度項的充分利用，降低置信度項的驟變速度，較好地緩解了填充誤差。劉業(yè)妃等[7]人采用指數(shù)函數(shù)加權(quán)的形式將優(yōu)先權(quán)函數(shù)改進為P（p）=α×ec（p）+β×D（p），增加了優(yōu)先權(quán)函數(shù)的可靠性和變化范圍，使算法運行具有更強的穩(wěn)定性。

2.2 匹配原則

基于樣本塊的圖像修復(fù)算法步驟的第二部分是匹配塊的選擇與填充。確定待填充的樣本塊后，下一步是在源區(qū)域?qū)ふ易罴哑ヅ鋲K。匹配原則的設(shè)計具有至關(guān)重要的作用，原算法中是根據(jù)SSD（sum of squared difference）匹配原則篩選最佳匹配塊，隨著對算法的深入研究，學(xué)者們紛紛對匹配原則進行改進和豐富，使得匹配塊的確定更加精準(zhǔn)，大大地降低了填充誤差，修復(fù)效果也有一定改善?？祫P等[4]人在原有的SSD匹配原則的基礎(chǔ)上增加了距離計算，根據(jù)SSD和距離因素，尋找最佳匹配塊。往往距離近的區(qū)域，相似性更高一點，就近原則也有一定的理論意義。原算法初期進行了全局搜索，后期再進行全局搜索，相對來說有些浪費時間，侯玉婷等[5]人重新設(shè)計了匹配塊搜索范圍，重新定義一個新的相似性函數(shù)，實現(xiàn)最佳匹配塊的尋找。此改進方法兼顧搜索效率和匹配原則設(shè)計的合理性。曾接賢等[6]人使用相似塊的劃分原則，將RGB圖像轉(zhuǎn)化成HSV圖像，將三維像素合成一維特征向量，提取圖像塊顏色特征，計算像素塊特征的歐氏距離，由紋理特征和顏色特征共同決定最佳匹配塊的選擇。此設(shè)計具有更強的適應(yīng)性和穩(wěn)定性，對像素塊特征的抓取更完整，可以降低修復(fù)過程中產(chǎn)生的誤差。任澎等[8]人引入像素點誤差平方和的平均值A(chǔ)SSD（average sum of squared differences）。在初期SSD的判斷下找到匹配塊后，通過ASSD的再判斷，進一步尋找不良匹配塊，對其再重新修復(fù)，盡量保證修復(fù)的準(zhǔn)確性，深入修正誤差匹配塊。何雨亭等[9]人在原有匹配原則的基礎(chǔ)上增加了結(jié)構(gòu)張量相干因子，兩個原則共同約束匹配塊的滿足條件，使得修復(fù)準(zhǔn)確性有了進一步的提升。Wang Jing等[10]人在匹配塊的尋找過程中進行了二次篩選，第一次篩選根據(jù)原有的SSD匹配原則，第二次進行NCC歸一化原則篩選，即以一種色彩定義距離的物理量進行篩選。兩輪篩選的策略，在準(zhǔn)確性上有了一定可信度，但是時間耗費上可能要多一些。

2.3 更新原則

樣本塊被修復(fù)后，置信度項要進行重新更新，避免修復(fù)區(qū)被二次識別修復(fù)，以保證后續(xù)圖像修復(fù)的順利進行。延續(xù)優(yōu)先權(quán)的變化趨勢問題，研究者不斷地在更新置信度項上尋求改善，盡可能使得更新后的置信度項降低趨勢減緩，避免過快出現(xiàn)為零的情況。李愛菊等[11]人提出在更新置信度項時，設(shè)定一個顏色閾值，按實際圖像處理情況區(qū)別對待需要更新的樣本塊，更符合圖像修復(fù)的具體情況。李尊等[12]人采用FDIM算法，圖像修復(fù)后，針對出現(xiàn)圖像不連續(xù)的邊緣區(qū)域，采用無縫處理對其進行進一步的更新和修復(fù)，提高了圖像修復(fù)的質(zhì)量。萬寶龍等[13]人重新定義更新的置信度項，引入相似度系數(shù)，使更新的置信度項在數(shù)量級上比未修改的置信度項大，減緩置信度項的劇變。相似度系數(shù)保證了在合適的范圍內(nèi)適當(dāng)放大數(shù)值，置信度也具有更強的可信度。

2.4 自適應(yīng)原則

原始的基于樣本塊的圖像修復(fù)算法，樣本塊的大小是固定的。隨著學(xué)者們的深入研究，提出自適應(yīng)的圖像修復(fù)策略。自適應(yīng)策略具有更強的適應(yīng)性，針對不同的圖像結(jié)構(gòu)情況，自適應(yīng)調(diào)整待修復(fù)樣本塊的大小，更細(xì)膩化的修復(fù)圖像。歐先鋒等[3]人提出自適應(yīng)樣本塊，以像素點處的梯度作為判斷條件，根據(jù)梯度值大小分成三個區(qū)間，進而將樣本塊分成三種不同大小的類型。三種類型的樣本塊比較貼合圖像修復(fù)的實際紋理和結(jié)構(gòu)情況，更好地保證了修復(fù)的視覺效果。曾接賢等[6]人根據(jù)圖像局部自相似性，將圖像自適應(yīng)地劃分為不同圖像塊，根據(jù)圖像塊的不相似性決定劃分樣本大小。引入濾波器，對圖像塊進行處理，提取紋理特征，進而確定圖像的不相似性，保證匹配和填充的準(zhǔn)確性。任澎等[8]人根據(jù)結(jié)構(gòu)張量特征值，將圖像劃分為邊緣區(qū)域、紋理區(qū)域和平坦區(qū)域，定義新物理量平均相干因子，以此識別三種不同區(qū)域，進而根據(jù)三種區(qū)域的紋理特征確定樣本塊的大小。此設(shè)計方法對紋理復(fù)雜的破損區(qū)域也能把握好細(xì)節(jié)，魯棒性更強，修復(fù)的視覺效果更佳。孟春芝等[14]人也是根據(jù)像素點的梯度值確定填充邊緣的紋理結(jié)構(gòu)，在對其進行做結(jié)構(gòu)差異性檢測，滿足最小差異性約束條件，保證樣本塊自適應(yīng)調(diào)節(jié)大小和填充的精確性。朱園珠等[15]人對通過局部梯度場的變化衡量局部結(jié)構(gòu)特征的變化，局部結(jié)構(gòu)特征值的設(shè)定是重新定義的，巧妙地保證了像素塊與填充邊緣的融合效果，最后通過局部結(jié)構(gòu)特征的變化確定樣本塊的大小。鄭晚秋等人引入像素點的二階微分量，進而利用曲率確定樣本塊的大小，相對具有一定的準(zhǔn)確性，對結(jié)構(gòu)變化具有更強的適應(yīng)性。何凱等人定義梯度相似度函數(shù)和結(jié)構(gòu)相似度函數(shù)，結(jié)合紋理特征，設(shè)定誤差限制準(zhǔn)則，進而自適應(yīng)調(diào)整樣本塊大小。

3 總結(jié)與展望

本文分析了基于樣本塊的圖像修復(fù)方法改進的四個方面，后續(xù)仍需要對更多細(xì)節(jié)問題進行深入探討，針對不同圖像類型的進一步分析和研究具體改進策略。目前圖像修復(fù)的破損區(qū)域基本靠人工標(biāo)注，而針對一些顏色豐富的破損圖像，人眼無法察覺出圖像的缺失顏色，人工標(biāo)注將受到限制。所以未來的研究工作可從自動獲取破損圖像區(qū)域方向入手，擴大圖像修復(fù)方法的適用范圍。另外圖像修復(fù)效果的客觀評價指標(biāo)較為單一，得到的有效信息受限，未來工作也可從圖像修復(fù)效果的客觀評價指標(biāo)方面進行創(chuàng)新。

【參考文獻】

[1]Criminisi A，Pérez P，Toyama K.Region filling and object removal by exemplar-based image inpainting[J].IEEE Transactions on Image Processing， 2004，13（9）：1200-1212.

[2]Zhou Y，Li L，Xia K.Research on weighted priority（下轉(zhuǎn)第3頁） （上接第23頁）of exemplar-based image inpainting[J].Journal of Electronics（China），2012，29（1-2）：166-170.

[3]歐先鋒，晏鵬程，郭龍源.一種改進的Criminisi圖像修復(fù)算法[J].成都工業(yè)學(xué)院學(xué)報，2018，21（1）：27-30.

[4]康凱，尹東，張榮.一種基于樣圖的圖像修復(fù)改進算法[J].計算機工程與應(yīng)用，2014，50（13）：187-190.

[5]侯玉婷，彭進業(yè)，韓東辰.改進的Criminisi圖像修復(fù)算法研究[J].計算機工程與應(yīng)用，2015，51（11）：135-138.

[6]曾接賢，王璨.基于優(yōu)先權(quán)改進和塊劃分的圖像修復(fù)[J]. 中國圖象圖形學(xué)報，2017，22（9）：1183-1193.

[7]改進的Criminisi圖像修復(fù)算法[J].小型微型計算機系統(tǒng)，2014，35（12）：2754-2758.

[8]任澍，唐向宏，康佳倫.紋理和邊緣特征相結(jié)合的圖像修復(fù)算法[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報，2013，25（11）：1682-1693.

[9]何雨亭，唐向宏，張越，et al.結(jié)構(gòu)張量的改進Criminisi修復(fù)[J].中國圖象圖形學(xué)報，2018，23（10）：64-79.

[10]Wang J，Lu K，Pan D，et al.Robust object removal with an exemplar-based image inpainting approach[J].Neurocomputing， 2014，123：150-155.

[11]李愛菊，鈕文良.基于改進Criminisi算法的圖像修復(fù)[J]. 計算機工程與應(yīng)用，2014，50（18）：167-170.

[12]李尊，吳謹(jǐn)，劉勁.基于邊緣結(jié)構(gòu)的Criminisi圖像修復(fù)[J].液晶與顯示，2014（5）：756-760.

[13]方寶龍，尹立新，常晨.改進的基于樣例的圖像修復(fù)方法[J].計算機工程與應(yīng)用，2014（8）：143-146.

[14]何凱，?？』?，沈成南，et al.一種自適應(yīng)樣本塊圖像修復(fù)方法[J].中國圖象圖形學(xué)報.

[15]朱園珠，朱曉臨，陳嫚，et al.基于改進優(yōu)先級的自適應(yīng)圖像修復(fù)算法[J].合肥工業(yè)大學(xué)學(xué)報（自然科學(xué)版），2014（6）：683-689.

[16]鄭晚秋，廖勝輝.紋理結(jié)構(gòu)引導(dǎo)的自適應(yīng)圖像修復(fù)算法[J].計算機技術(shù)與發(fā)展，2016，26（6）.

[17]何凱，?？』?，沈成南，et al.基于SSIM的自適應(yīng)樣本塊圖像修復(fù)算法[J].天津大學(xué)學(xué)報（自然科學(xué)與工程技術(shù)版）， 2018，v.51;No.329（07）：101-105.