張君　常霞　王利娟

【摘 要】圖像修復是圖像處理的一個重要研究部分，圖像修復方法是試圖估計原圖像信息， 對破損區(qū)域進行修補和改善，提高圖像視覺質(zhì)量的技術(shù)?；跇颖緣K的圖像修復方法以修復速度快，處理效果好，且對破損面積較大的圖像修復效果佳等顯著優(yōu)點，成為當前圖像修復的熱點方向之一。本文詳細介紹了基于樣本塊圖像修復方法的優(yōu)缺點和改進方向，為研究者在圖像修復上提供了相關(guān)的理論依據(jù)，同時也為圖像修復方法創(chuàng)新提供了研究思路。文章最后給出了圖像修復的發(fā)展方向，對深入學習圖像修復方法具有重要的指導意義。

【關(guān)鍵詞】圖像修復;樣本塊;優(yōu)先權(quán);置信度;數(shù)據(jù)項

中圖分類號： TP391.41文獻標識碼： A文章編號： 2095-2457（2019）33-0021-003

DOI：10.19694/j.cnki.issn2095-2457.2019.33.009

Image Inpainting Method Based on Sample Patch

ZHANG Jun CHANG Xia WANG Li-juan

（The Key Laboratory of Intelligent Information and Big Data Processing of Ningxia Province，

North Minzu University，Yinchuan Ningxia 750021，China）

【Abstract】Image inpainting is one of the important contents in image processing.The image inpainting method is a technique that attempts to estimate the original image information，repair and improve the damaged area，and improve the visual quality of the original picture.The image inpainting method based on sample patchs has obvious advantages such as fast restoration speed，good processing effect and good image restoration effect for images with large damage area，becoming one of the hot spots of image restoration at present.In this paper，the advantages，disadvantages and improvement directions of image restoration methods based on sample blocks are introduced in detail，which provides relevant theoretical basis for researchers in image inpainting and research ideas for image restoration method innovation.At the end of this paper，the development direction of image restoration is given，which has important guiding significance for further study of image restoration methods.

【Key words】Image inpainting;Sample patch;Priority;Data term;Confidence data;Matching patch

0 引言

早期的圖像修復主要應用于文藝復興時期藝術(shù)作品的修復，現(xiàn)階段圖像修復在生物醫(yī)療圖像、壁畫修補、視頻處理等方面有著廣泛的應用。圖像修復是利用圖像原有的先驗信息，去估計和修復破損區(qū)域的缺失信息，使修復后的圖像符合人眼視覺的連續(xù)性和合理性，最終達到改善圖像的視覺效果。圖像修復結(jié)果不具有唯一性，滿足修復后圖像視覺質(zhì)量得到改善的結(jié)果，都是修復問題的解。

圖像修復方法中常見的兩種方法：基于偏微分方程的圖像修復方法及基于紋理的圖像修復方法?；谄⒎址匠痰膱D像修復方法是在建立合適的修復模型下，通過解方程來實現(xiàn)圖像的修復，該方法雖然可以穩(wěn)定地保持圖像自身的線性結(jié)構(gòu)信息，但是對圖像的細節(jié)信息卻并不能很好地保留。在處理含有大面積破損區(qū)域的圖像時，基于偏微分方程的圖像修復方法在擴散過程中會不斷引入模糊，模糊程度隨著破損區(qū)域尺度的增加而增加，因此該方法適用于修復尺度較小的圖像?；诩y理的圖像修復方法是通過原圖像及完好的區(qū)域信息去估計和填充破損區(qū)域信息，尋找最佳匹配塊，并將完好的匹配塊信息填充到對應破損區(qū)域的位置上，逐次迭代完成整幅圖像的填充。圖像大多是由結(jié)構(gòu)和紋理細節(jié)組成，而針對紋理細節(jié)明顯的圖像更適合用基于紋理的修復方法進行填充。若圖像的破損區(qū)域尺度較大，內(nèi)外紋理信息可能差別會很大，顯然基于紋理圖像修復方法更合適此種修復情況?；跇颖緣K的圖像修復方法是基于紋理的圖像修復方法中最具有代表性的方法。在填補紋理信息方面，基于樣本塊的圖像修復方法更優(yōu)，尤其當破損區(qū)域面積較大時。

本文首先介紹了基于樣本塊的圖像修復方法的基本原理，以及最新研究進展，結(jié)合算法的局限性，討論了改進思路和方法，并對圖像修復的發(fā)展趨勢進行了展望。

1 基于樣本塊的圖像修復算法

基于樣本塊的圖像修復方法是以樣本塊為基本單元，分別給予待填充樣本塊的中心像素一個灰度值和一個置信度值。臨時對填充邊緣的樣本塊賦予一個的優(yōu)先權(quán)值，通過優(yōu)先權(quán)值的大小順序來確定樣本塊被填充的順序。再通過SSD匹配原則，尋找與之最為相似的源匹配塊，將最佳匹配塊的紋理信息和結(jié)構(gòu)信息復制填充到待修復塊中，已填充像素塊的置信度值需要重新更換，以此完成一次修復。按照同樣方法，逐步對破損區(qū)域進行推進式填充，直至最后完成整幅圖像的填充。

算法步驟處理如下：

1）計算優(yōu)先權(quán)并確定待修復樣本塊。在圖像待修復前緣選擇一點p，則p點的優(yōu)先權(quán)為：

其中，C（p）為p點的置信度項，D（p）為p點的數(shù)據(jù)項。

通過計算填充邊緣點的優(yōu)先權(quán)函數(shù)值的大小，確定優(yōu)先權(quán)函數(shù)值最大的那個點所在的樣本塊，作為最先需要填充的樣本塊。處于連續(xù)邊緣上和被高置信度像素包圍的圖像塊，其優(yōu)先權(quán)值較大，將最先被填充，因此會更好地保持圖像的結(jié)構(gòu)信息和紋理信息。

2）確定最佳匹配塊和填充待修復塊。根據(jù)SSD（sum of squared difference）匹配原則，在圖像整個完好區(qū)域內(nèi)找出與樣本塊最相似的匹配塊，并將最佳匹配塊的結(jié)構(gòu)信息和紋理信息復制給待填充樣本塊。

3）更新置信度項。優(yōu)先權(quán)值最大的樣本塊被填充之后，更新已填充樣本塊的置信度項重復以上三個步驟，直至最終填充完畢。

2 基于樣本塊的圖像修復方法的改進分析

綜合分析基于樣本塊的圖像修復方法的基本原理，我們從該算法所涉及的影響像素運算的因素，得出四個可改進的方面：優(yōu)先權(quán)函數(shù)、匹配原則、更新原則和自適應原則。

2.1 優(yōu)先權(quán)函數(shù)

優(yōu)先權(quán)函數(shù)的計算在圖像修復的整個過程中尤為重要。優(yōu)先權(quán)值決定著圖像樣本塊填充的次序，影響著圖像的最終視覺效果。圖像修復過程中，隨著填充的進行，置信度項的可信度值越來越小，甚至出現(xiàn)驟降為零的情況，進而使得圖像塊填充次序混亂，后期填充圖像嚴重模糊，而修復面積越大出現(xiàn)置信度驟降為零的概率越大。即使遇到線性結(jié)構(gòu)豐富的區(qū)域，圖像塊也不能被優(yōu)先填充，嚴重影響了圖像修復的效果。另外，若樣本塊處等照度線方向與該中心像素塊的法線方向垂直，不管此時的置信度項值多大，數(shù)據(jù)項和優(yōu)先權(quán)值都為零，失去了填充的意義。Criminisi等[1]人最早提出基于樣本塊的圖像修復算法，尤其針對大面積破損圖像具有很好的修復效果。但因其在圖像填充后期，置信度項的驟降，導致修復后期出現(xiàn)嚴重的偽影和振鈴效應。為此，研究者們將研究重點放于改善優(yōu)先權(quán)函數(shù)上面。Zhou Yatong等[2]人建議將優(yōu)先權(quán)函數(shù)表示為P（p）=C（p）D（p）+nD（p），適當增加函數(shù)中數(shù)據(jù)項的比重，平衡置信度項驟降的限制。歐先鋒等[3]人提出將優(yōu)先權(quán)函數(shù)改為P（p）=C（p）D（p）+C（p）α。此改進方法從置信度項入手，減緩置信度項驟降趨勢，增加置信度項的比重，使優(yōu)先權(quán)函數(shù)在整個變化中，有著平穩(wěn)的變化過程，減緩變化的速度，同時也增加填充順序的可信度。康凱等[4]人提出將數(shù)據(jù)項改為D（p）=|np|×（ξ×Iξξ+k×η×Iηη），置信度項不做任何變動，從數(shù)據(jù)項方面出發(fā)，鼓勵優(yōu)先填充與np夾角較小的邊緣結(jié)構(gòu)，并且鼓勵優(yōu)先填充圖像中破損的突變區(qū)域，具有更強的識別能力和糾錯能力。侯玉婷等[5]人提出將優(yōu)先權(quán)函數(shù)改為P（p）=C（p）+（1-λ）·D（p）+λ·δS2，將采用數(shù)據(jù)項和置信度項的相加運算，具有更強的識別紋理區(qū)域和邊緣區(qū)域的能力，防止置信度迅速衰減帶來的錯誤填充次序。曾接賢等[6]人將置信度項的計算重新定義，采用棋盤全包圍的方法計算置信度項，增加樣本塊置信度項的充分利用，降低置信度項的驟變速度，較好地緩解了填充誤差。劉業(yè)妃等[7]人采用指數(shù)函數(shù)加權(quán)的形式將優(yōu)先權(quán)函數(shù)改進為P（p）=α×ec（p）+β×D（p），增加了優(yōu)先權(quán)函數(shù)的可靠性和變化范圍，使算法運行具有更強的穩(wěn)定性。

2.2 匹配原則

基于樣本塊的圖像修復算法步驟的第二部分是匹配塊的選擇與填充。確定待填充的樣本塊后，下一步是在源區(qū)域?qū)ふ易罴哑ヅ鋲K。匹配原則的設計具有至關(guān)重要的作用，原算法中是根據(jù)SSD（sum of squared difference）匹配原則篩選最佳匹配塊，隨著對算法的深入研究，學者們紛紛對匹配原則進行改進和豐富，使得匹配塊的確定更加精準，大大地降低了填充誤差，修復效果也有一定改善?？祫P等[4]人在原有的SSD匹配原則的基礎上增加了距離計算，根據(jù)SSD和距離因素，尋找最佳匹配塊。往往距離近的區(qū)域，相似性更高一點，就近原則也有一定的理論意義。原算法初期進行了全局搜索，后期再進行全局搜索，相對來說有些浪費時間，侯玉婷等[5]人重新設計了匹配塊搜索范圍，重新定義一個新的相似性函數(shù)，實現(xiàn)最佳匹配塊的尋找。此改進方法兼顧搜索效率和匹配原則設計的合理性。曾接賢等[6]人使用相似塊的劃分原則，將RGB圖像轉(zhuǎn)化成HSV圖像，將三維像素合成一維特征向量，提取圖像塊顏色特征，計算像素塊特征的歐氏距離，由紋理特征和顏色特征共同決定最佳匹配塊的選擇。此設計具有更強的適應性和穩(wěn)定性，對像素塊特征的抓取更完整，可以降低修復過程中產(chǎn)生的誤差。任澎等[8]人引入像素點誤差平方和的平均值ASSD（average sum of squared differences）。在初期SSD的判斷下找到匹配塊后，通過ASSD的再判斷，進一步尋找不良匹配塊，對其再重新修復，盡量保證修復的準確性，深入修正誤差匹配塊。何雨亭等[9]人在原有匹配原則的基礎上增加了結(jié)構(gòu)張量相干因子，兩個原則共同約束匹配塊的滿足條件，使得修復準確性有了進一步的提升。Wang Jing等[10]人在匹配塊的尋找過程中進行了二次篩選，第一次篩選根據(jù)原有的SSD匹配原則，第二次進行NCC歸一化原則篩選，即以一種色彩定義距離的物理量進行篩選。兩輪篩選的策略，在準確性上有了一定可信度，但是時間耗費上可能要多一些。

2.3 更新原則

樣本塊被修復后，置信度項要進行重新更新，避免修復區(qū)被二次識別修復，以保證后續(xù)圖像修復的順利進行。延續(xù)優(yōu)先權(quán)的變化趨勢問題，研究者不斷地在更新置信度項上尋求改善，盡可能使得更新后的置信度項降低趨勢減緩，避免過快出現(xiàn)為零的情況。李愛菊等[11]人提出在更新置信度項時，設定一個顏色閾值，按實際圖像處理情況區(qū)別對待需要更新的樣本塊，更符合圖像修復的具體情況。李尊等[12]人采用FDIM算法，圖像修復后，針對出現(xiàn)圖像不連續(xù)的邊緣區(qū)域，采用無縫處理對其進行進一步的更新和修復，提高了圖像修復的質(zhì)量。萬寶龍等[13]人重新定義更新的置信度項，引入相似度系數(shù)，使更新的置信度項在數(shù)量級上比未修改的置信度項大，減緩置信度項的劇變。相似度系數(shù)保證了在合適的范圍內(nèi)適當放大數(shù)值，置信度也具有更強的可信度。

2.4 自適應原則

原始的基于樣本塊的圖像修復算法，樣本塊的大小是固定的。隨著學者們的深入研究，提出自適應的圖像修復策略。自適應策略具有更強的適應性，針對不同的圖像結(jié)構(gòu)情況，自適應調(diào)整待修復樣本塊的大小，更細膩化的修復圖像。歐先鋒等[3]人提出自適應樣本塊，以像素點處的梯度作為判斷條件，根據(jù)梯度值大小分成三個區(qū)間，進而將樣本塊分成三種不同大小的類型。三種類型的樣本塊比較貼合圖像修復的實際紋理和結(jié)構(gòu)情況，更好地保證了修復的視覺效果。曾接賢等[6]人根據(jù)圖像局部自相似性，將圖像自適應地劃分為不同圖像塊，根據(jù)圖像塊的不相似性決定劃分樣本大小。引入濾波器，對圖像塊進行處理，提取紋理特征，進而確定圖像的不相似性，保證匹配和填充的準確性。任澎等[8]人根據(jù)結(jié)構(gòu)張量特征值，將圖像劃分為邊緣區(qū)域、紋理區(qū)域和平坦區(qū)域，定義新物理量平均相干因子，以此識別三種不同區(qū)域，進而根據(jù)三種區(qū)域的紋理特征確定樣本塊的大小。此設計方法對紋理復雜的破損區(qū)域也能把握好細節(jié)，魯棒性更強，修復的視覺效果更佳。孟春芝等[14]人也是根據(jù)像素點的梯度值確定填充邊緣的紋理結(jié)構(gòu)，在對其進行做結(jié)構(gòu)差異性檢測，滿足最小差異性約束條件，保證樣本塊自適應調(diào)節(jié)大小和填充的精確性。朱園珠等[15]人對通過局部梯度場的變化衡量局部結(jié)構(gòu)特征的變化，局部結(jié)構(gòu)特征值的設定是重新定義的，巧妙地保證了像素塊與填充邊緣的融合效果，最后通過局部結(jié)構(gòu)特征的變化確定樣本塊的大小。鄭晚秋等人引入像素點的二階微分量，進而利用曲率確定樣本塊的大小，相對具有一定的準確性，對結(jié)構(gòu)變化具有更強的適應性。何凱等人定義梯度相似度函數(shù)和結(jié)構(gòu)相似度函數(shù)，結(jié)合紋理特征，設定誤差限制準則，進而自適應調(diào)整樣本塊大小。

3 總結(jié)與展望

本文分析了基于樣本塊的圖像修復方法改進的四個方面，后續(xù)仍需要對更多細節(jié)問題進行深入探討，針對不同圖像類型的進一步分析和研究具體改進策略。目前圖像修復的破損區(qū)域基本靠人工標注，而針對一些顏色豐富的破損圖像，人眼無法察覺出圖像的缺失顏色，人工標注將受到限制。所以未來的研究工作可從自動獲取破損圖像區(qū)域方向入手，擴大圖像修復方法的適用范圍。另外圖像修復效果的客觀評價指標較為單一，得到的有效信息受限，未來工作也可從圖像修復效果的客觀評價指標方面進行創(chuàng)新。

【參考文獻】

[1]Criminisi A，Pérez P，Toyama K.Region filling and object removal by exemplar-based image inpainting[J].IEEE Transactions on Image Processing， 2004，13（9）：1200-1212.

[2]Zhou Y，Li L，Xia K.Research on weighted priority（下轉(zhuǎn)第3頁） （上接第23頁）of exemplar-based image inpainting[J].Journal of Electronics（China），2012，29（1-2）：166-170.

[3]歐先鋒，晏鵬程，郭龍源.一種改進的Criminisi圖像修復算法[J].成都工業(yè)學院學報，2018，21（1）：27-30.

[4]康凱，尹東，張榮.一種基于樣圖的圖像修復改進算法[J].計算機工程與應用，2014，50（13）：187-190.

[5]侯玉婷，彭進業(yè)，韓東辰.改進的Criminisi圖像修復算法研究[J].計算機工程與應用，2015，51（11）：135-138.

[6]曾接賢，王璨.基于優(yōu)先權(quán)改進和塊劃分的圖像修復[J]. 中國圖象圖形學報，2017，22（9）：1183-1193.

[7]改進的Criminisi圖像修復算法[J].小型微型計算機系統(tǒng)，2014，35（12）：2754-2758.

[8]任澍，唐向宏，康佳倫.紋理和邊緣特征相結(jié)合的圖像修復算法[J].計算機輔助設計與圖形學學報，2013，25（11）：1682-1693.

[9]何雨亭，唐向宏，張越，et al.結(jié)構(gòu)張量的改進Criminisi修復[J].中國圖象圖形學報，2018，23（10）：64-79.

[10]Wang J，Lu K，Pan D，et al.Robust object removal with an exemplar-based image inpainting approach[J].Neurocomputing， 2014，123：150-155.

[11]李愛菊，鈕文良.基于改進Criminisi算法的圖像修復[J]. 計算機工程與應用，2014，50（18）：167-170.

[12]李尊，吳謹，劉勁.基于邊緣結(jié)構(gòu)的Criminisi圖像修復[J].液晶與顯示，2014（5）：756-760.

[13]方寶龍，尹立新，常晨.改進的基于樣例的圖像修復方法[J].計算機工程與應用，2014（8）：143-146.

[14]何凱，?？』?，沈成南，et al.一種自適應樣本塊圖像修復方法[J].中國圖象圖形學報.

[15]朱園珠，朱曉臨，陳嫚，et al.基于改進優(yōu)先級的自適應圖像修復算法[J].合肥工業(yè)大學學報（自然科學版），2014（6）：683-689.

[16]鄭晚秋，廖勝輝.紋理結(jié)構(gòu)引導的自適應圖像修復算法[J].計算機技術(shù)與發(fā)展，2016，26（6）.

[17]何凱，?？』郏虺赡?，et al.基于SSIM的自適應樣本塊圖像修復算法[J].天津大學學報（自然科學與工程技術(shù)版）， 2018，v.51;No.329（07）：101-105.