楊文霞，張 亮

(武漢理工大學(xué) 理學(xué)院，武漢 430070)(*通信作者電子郵箱wenxiayang@163.com)

0 引言

圖像修復(fù)技術(shù)在文物修復(fù)、圖像糾錯和目標(biāo)隱藏等領(lǐng)域具有廣泛的應(yīng)用。由于圖像待修復(fù)區(qū)域的內(nèi)容未知，理論上的修復(fù)結(jié)果并不唯一，故圖像修復(fù)屬于一種無監(jiān)督方法[1]。目前，無監(jiān)督圖像修復(fù)方法大致分為基于偏微分方程和變分法的圖像修復(fù)[2-3]和基于圖像塊樣例的修復(fù)[4]以及一些混合方法[5]。偏微分框架下的圖像修復(fù)只適用于小面積非紋理受損圖像(如寬度小于5個像素點的細(xì)長條毀損)，此時，圖像修復(fù)問題轉(zhuǎn)化為一個使用變分法求解的泛函極值問題，其極值條件為一組偏微分方程，使用數(shù)值迭代方法求得穩(wěn)態(tài)解。

當(dāng)待修復(fù)區(qū)域較大時，Criminisi等[4]提出基于樣例的修復(fù)方法(Exemplar-Based Inpainting)，其基本思想是：首先計算待修復(fù)區(qū)域的邊緣上各像素點的修復(fù)優(yōu)先度，按貪心算法的機制，得到具有最高優(yōu)先度的待修復(fù)像素點，并以此像素點為圖像塊中心，統(tǒng)計全圖中和該圖像塊相似性測度最大的圖像塊，將該圖像塊復(fù)制并拷貝到待修補區(qū)域，然后更新待修復(fù)區(qū)域，開始下一輪修復(fù)，直至待修復(fù)區(qū)域被全部填充完畢。由于該修復(fù)方法的“復(fù)制-粘貼”模式避免了偏微分修復(fù)框架的局部模糊效應(yīng)，能較好地保持圖像的結(jié)構(gòu)和紋理信息，因此被廣泛應(yīng)用于大面積的圖像修復(fù)應(yīng)用中。影響該算法修復(fù)性能的關(guān)鍵點為：1)優(yōu)先度的計算；2)圖像塊相似性的度量；3)最優(yōu)匹配圖像塊的搜索和選擇。其中2)和3)互相影響。

國內(nèi)外學(xué)者針對以上三點提出了很多改進算法。Wexler等[6]提出采用金字塔模式和期望最大化算法，通過最小化一致性參數(shù)進行圖像修復(fù);Buyssens等[7]引入圖像塊的局部結(jié)構(gòu)張量，將RGB三個通道方向的局部張量加權(quán)和與法向的內(nèi)積作為衡量數(shù)據(jù)項的因素;Xu等[8]將結(jié)構(gòu)稀疏度引入優(yōu)先權(quán)計算中;Cao等[9]通過引入圖像的局部結(jié)構(gòu)特征來引導(dǎo)填充區(qū);He等[10]通過統(tǒng)計圖像己知區(qū)域中相似圖像塊的偏移量，形成一個候選匹配塊集合，構(gòu)造KD樹(K-Dimension tree)搜索以減少計算時間和降低匹配錯誤概率;Kumar等[11]將圖像修復(fù)轉(zhuǎn)換為度量標(biāo)記優(yōu)化問題，使用模擬退火算法求解;Chen等[12]利用圖像塊的梯度模值對優(yōu)先項中的數(shù)據(jù)項進行改進，并通過大量實驗，得出圖像塊窗口的最優(yōu)尺寸為9到17之間的奇數(shù)這一結(jié)論;劉華明等[13]通過對待修復(fù)圖像進行均值濾波并引入自適應(yīng)梯度分析以及分級搜索策略，保持自然圖像的邊緣光滑性;于文靜等[14]通過統(tǒng)計相同結(jié)構(gòu)偏移量的分布特征獲取最優(yōu)匹配信息;李夢雪等[15]通過對圖像進行特征子區(qū)域劃分搜索子區(qū)域，提高修復(fù)速度。

受以上模型和思想啟發(fā)，本文提出了一個基于結(jié)構(gòu)-紋理分解和局部總變分最小化的圖像修復(fù)模型。首先利用對數(shù)總變分最小化模型將待修復(fù)圖像進行結(jié)構(gòu)-紋理分解，利用卡通圖像中的大尺度和顯著性結(jié)構(gòu)邊緣信息來計算修復(fù)優(yōu)先權(quán)的數(shù)據(jù)項；其次，按局部總變分最小化原則，將圖像塊的最佳匹配轉(zhuǎn)換成一個0-1優(yōu)化問題，使匹配原則有利于保持圖像結(jié)構(gòu)和紋理的一致性，更符合人眼視覺特性。

1 基于樣例的修復(fù)方法及存在的問題

1.1 基于樣例的修復(fù)方法

(1)

此處ψ(p)所在區(qū)域用Np表示。分母|Np|代表圖像塊ψ(p)中的像素點數(shù)。C(q)代表q點的置信度：如果是待修復(fù)區(qū)域，則為0；如果是源圖像區(qū)，則為1。因此，式(1)中的分子代表在圖像塊ψ(p)中的不需要修復(fù)的數(shù)據(jù)點數(shù)(真實數(shù)據(jù))。這一項的含義是，如果待修補的p點所在圖像塊中有足夠多的真實數(shù)據(jù)，那么該圖像塊所提供的真實信息越多(即可信度越高)，應(yīng)該優(yōu)先被修復(fù)。

數(shù)據(jù)項D(p)的計算公式為:

(2)

圖1為待修復(fù)灰度圖像的一個局部放大區(qū)域。其中，斜線填充的像素點表示待修復(fù)區(qū)域邊界?Ω上的像素點，p1、p2、p3和p4點分別是待修復(fù)的幾個特殊點。設(shè)圖像塊大小為5×5,由式(1)不難算出，這四個點的置信項分別是C(p1)=23/25，C(p2)=2/25，C(p3)=10/25，C(p4)=13/25。p1和p2分別擁有最大和最小的置信項；而p3的等照度方向和邊緣法向量的方向(與水平方向的夾角為45°)是重合的，因此該點擁有最大的數(shù)據(jù)項；p4的等照度方向為水平方向，但邊緣法向量的方向與水平方向的夾角為90°，因此p4點擁有最小的數(shù)據(jù)項0。

圖1 圖像的局部待修復(fù)區(qū)域邊界

1.2 算法特性與不足

首先，由1.1節(jié)中的算法原理可知，優(yōu)先權(quán)的設(shè)置和計算對修復(fù)結(jié)果有著重大的影響。如圖2(a)所示，空白區(qū)域為待修復(fù)區(qū)域，從視覺合理性出發(fā)，要求修復(fù)后的圖像，其幾何結(jié)構(gòu)和邊緣信息等保持完整性和連續(xù)性,因此，期望得到如圖2(d)的修復(fù)效果。圖2(b)和(c)分別是采取由上向下和由下向上的修復(fù)順序得到的修復(fù)結(jié)果，圖2(d)則是按式(1)和(2)計算修復(fù)順序后的修復(fù)結(jié)果，其優(yōu)先順序大致為從待修復(fù)區(qū)域的左右兩側(cè)往中心地帶修復(fù)，顯然圖2(d)更具視覺合理性。

圖3是圖2(a)按照式(1)和(2)在修復(fù)迭代過程中的C(p)、D(P)及P(p)的變化，其中橫坐標(biāo)為迭代次數(shù)?？梢?，置信項C(p)在修復(fù)過程中的迅速下降主導(dǎo)著優(yōu)先權(quán)P(p)的變化；D(p)雖然在迭代過程中出現(xiàn)幾次突變型高峰值，但由于此時對應(yīng)的C(p)非常小，由于乘積效應(yīng)，使得數(shù)據(jù)項D(p)將不再發(fā)揮重要作用，導(dǎo)致優(yōu)先權(quán)的計算背離結(jié)構(gòu)一致性優(yōu)先的初衷。圖2中只有一條明顯的邊緣結(jié)構(gòu)，尚能得到較好的修復(fù)效果。若對復(fù)雜結(jié)構(gòu)的圖像進行修復(fù)，修復(fù)積累誤差將對視覺可信性造成較大影響。

圖2 待修復(fù)圖像及按不同優(yōu)先順序得到的修復(fù)結(jié)果

圖3 圖2(d)修復(fù)過程中的置信項、數(shù)據(jù)項和優(yōu)先權(quán)項變化

其次，最優(yōu)匹配塊的選取原則也對修復(fù)效果有重大的影響。對于待修復(fù)圖像塊ψ(p),經(jīng)典的衡量兩個圖像塊的相似度的度量是差值平方和(Sum of Square Differences，SSD)。 SSD越小，圖像塊越相似。

(3)

但按此規(guī)則計算的SSD最小的匹配塊可能不止一個，算法在實際處理時可能會隨機取一個塊，或者程序在循環(huán)過程中以搜尋到的第一個或最后一個作為最優(yōu)匹配塊，這樣就忽略了圖像塊內(nèi)的局部結(jié)構(gòu)。圖4是待修補塊ψ(p)及兩個SSD最小的匹配塊ψq1與ψq2,不難算出ψq1和ψq2分別與ψ(p)有相同的SSD，但是ψq1和ψq2卻有著差異非常大的局部結(jié)構(gòu)，這顯然會導(dǎo)致誤差及積累誤差，因此搜尋原則和匹配原則必須進行改進。

圖4 與待修復(fù)圖像塊的SSD相同的兩個圖像塊

2 本文模型

為解決1.2節(jié)中提出的問題，本文首先采用文獻(xiàn)[16]提出的對數(shù)函數(shù)總變分最小化模型對待修復(fù)圖像進行結(jié)構(gòu)-紋理分解，使用結(jié)構(gòu)分量來獲得圖像的等照度方向等信息，以減少等照度方向的噪聲和保持大結(jié)構(gòu)的一致性；并修改優(yōu)先權(quán)函數(shù)，提高計算魯棒性和可靠性。然后構(gòu)建局部總變分最小化模型，選取最優(yōu)匹配塊，以保證圖像的局部結(jié)構(gòu)一致性和視覺可信性。

2.1 圖像的結(jié)構(gòu)-紋理分解模型及優(yōu)先權(quán)計算

本文通過對數(shù)總變分最小化模型獲得圖像的結(jié)構(gòu)成分u。u是圖像f的分片光滑部分，包含f的幾何結(jié)構(gòu)和等照度信息；而紋理分量包含圖像中的小尺寸細(xì)節(jié)及隨機噪聲等[17]。

假設(shè)原圖像f的結(jié)構(gòu)分量為u,紋理分量為v, 則u可以表示為一個有界變分(Bounded Variation)BV(Ω),它保留了圖像的銳利邊界和等高線信息，去掉了紋理和噪聲成分。殘差v=f-u為定義在L2(Ω)上的泛函。對圖像的結(jié)構(gòu)-紋理分解可以由如下的凸最小化問題求解：

(4)

(5)

圖5、6中，(a)和(c)分別是待修復(fù)原始圖像和經(jīng)過結(jié)構(gòu)-紋理分解后的結(jié)構(gòu)圖像，(b)和(d)分別是方框內(nèi)的放大細(xì)節(jié)，圖(e)和(f)分別是放大細(xì)節(jié)中的一部分的等照度矢量圖。由圖(b)和(d)可以看出，圖像的紋理部分保留了圖像的大邊緣結(jié)構(gòu)信息而去掉了紋理細(xì)節(jié)；由圖(e)和(f)可見，原始圖像的等照度方向矢量存在許多局部雜亂，而經(jīng)過結(jié)構(gòu)紋理分解后的圖像，其等照度方向更加清晰、一致，保留了大尺度結(jié)構(gòu)，而小尺度細(xì)節(jié)紋理被去掉，可以更好地反映圖像的全局結(jié)構(gòu)信息。

在得到待修復(fù)圖像的結(jié)構(gòu)圖像后，直接在結(jié)構(gòu)圖像u上計算優(yōu)先權(quán)，為克服乘積效應(yīng)的影響，將優(yōu)先權(quán)計算規(guī)則修改為：

P(p)=ξC(p)+(1-ξ)D(p)

(6)

其中，權(quán)值ξ控制C(p)和D(p)的側(cè)重，這里選擇ξ=0.5。這樣，首先在結(jié)構(gòu)圖像上計算置信項，去掉了一些局部細(xì)小紋理噪聲的干擾，同時避免了當(dāng)置信項很高而數(shù)據(jù)項非常小時的優(yōu)先權(quán)很小這一缺點，使優(yōu)先項的計算更為可信，此外，和參考文獻(xiàn)中的改進算法相比，優(yōu)先權(quán)計算公式中沒有引入額外的計算量，簡單方便。

圖5 待修復(fù)舊照片原圖和結(jié)構(gòu)圖及其等照度矢量圖

圖6 待修復(fù)圖像原圖和結(jié)構(gòu)分量及其局部等照度矢量

2.2 基于局部總變分最小化的0-1優(yōu)化匹配策略

目標(biāo)函數(shù)：

決策變量：

ci,i=1,2,…,k

ci={0,1},i=1,2,…,k

對于具有多個最小SSD的匹配區(qū)，此時不再是隨機選擇圖像塊，或者是選擇在循環(huán)查找中遇到的第一個或最后一個圖像塊，避免了1.2節(jié)中所述的缺點。而與文獻(xiàn)[18]不同的是，本文的最優(yōu)匹配圖像塊是根據(jù)局部總變分最小這一合理準(zhǔn)則從k個圖像塊中選出一個，而不是簡單的這k個備選圖像塊的加權(quán)平均，從而避免了人為造成圖像模糊的可能。

2.3 本文算法步驟與復(fù)雜度分析

綜上所述，本文算法步驟描述如下：

算法 基于圖像結(jié)構(gòu)-紋理分解及局部總變分最小化的圖像修復(fù)模型。

步驟1 讀入待修復(fù)圖像f及待修復(fù)區(qū)域掩膜M。

步驟2 根據(jù)對數(shù)總變分模型得到f的結(jié)構(gòu)圖像u。

步驟3 確定待修復(fù)邊界?Ω上像素點的集合S。

步驟4 對結(jié)構(gòu)圖像u及待修補點p,對于每個以p∈?Ω為中心的圖像塊，根據(jù)式(1)計算置信項C(p)，根據(jù)式(2)計算數(shù)據(jù)項D(p)，根據(jù)式(6)計算優(yōu)先權(quán)P(p)。

步驟5 確定優(yōu)先權(quán)最大的點p,以及對應(yīng)的f中的待修復(fù)圖像塊ψp,并記錄下ψp所在位置信息。

步驟7 更新掩膜M,更新ψp置信度。

步驟8 判斷掩膜M是否為空，若為空，則算法結(jié)束；否則轉(zhuǎn)步驟3。

計算時間復(fù)雜度和待修復(fù)區(qū)域總像素數(shù)及形狀、圖像塊大小patchsize及Wp和k相關(guān)。因為要存儲輔助的圖像結(jié)構(gòu)分量，本文和經(jīng)典Criminisi算法相比，空間復(fù)雜度增加一倍；時間復(fù)雜度多了一個求解總變分最小化優(yōu)化過程，設(shè)共有N個點需要修復(fù)，則時間復(fù)雜度約為O(N*Wp*patchsize*k)。

3 實驗結(jié)果與分析

3.1 參數(shù)設(shè)置

利用對數(shù)總變分最小化模型進行圖像的結(jié)構(gòu)-紋理分解時，參數(shù)λ=0.15， 圖像塊ψp的patchsize不宜太大或太小。patchsize太大，會造成SSD的計算不具備參考性，容易出現(xiàn)誤判；而patchsize太小則計算耗時長，且難以捕捉到圖像的結(jié)構(gòu)信息。根據(jù)文獻(xiàn)[12]的建議，本文選取patchsize=9。在非局部總變分最小化模型中，計算的非局部總變分窗口，即Wp的尺寸為27×27。

計算SSD最小的前k個備選圖像塊區(qū)域ψ1,ψ2,…,ψk時：k值太小，ψ1,ψ2,…,ψk的區(qū)域可能會發(fā)生重疊；k太大，又會增加不必要的優(yōu)化模型計算量。經(jīng)過大量實驗，在綜合考慮計算量和計算可信度基礎(chǔ)上，實驗選取k=10。

3.2 實驗結(jié)果與比較分析

為測試本文模型的修復(fù)效果，根據(jù)圖像修復(fù)的不同應(yīng)用目的，選取5幅具有不同典型結(jié)構(gòu)紋理特性及待修復(fù)區(qū)域的圖像進行修復(fù)。其中各修復(fù)圖像的黑色部分為待修復(fù)區(qū)域。將本文方法和文獻(xiàn)[4]、文獻(xiàn)[7]及文獻(xiàn)[13]的算法進行對比。其中圖7～10的待修復(fù)圖片來自圖片庫http://yokoya.naist.jp/research2/inpainting/，大小為200×200。

實驗計算機主板為Inter i7-4600,2.10 GHz, 內(nèi)存為8.00 GB,操作系統(tǒng)為Windows 10。程序采用Matlab 2017(b)編寫，在步驟2中，使用矩陣整體運算進行加速。

3.2.1 實驗圖片及主觀視覺效果比較分析

圖7用來測試具有簡單大結(jié)構(gòu)和局部細(xì)小紋理的大面積受損圖像修復(fù)結(jié)果，方框內(nèi)是一些重點對比區(qū)域。從圖7(b)～(e)的實驗結(jié)果可以看出，路面小徑和草地之間的邊界被很好地修復(fù)，視覺效果非常自然?？梢娀跇永男迯?fù)算法及該框架下的改進算法，對于具有簡單大邊界結(jié)構(gòu)的圖像可以獲得非常好的修復(fù)結(jié)果。此外，修復(fù)結(jié)果也和源區(qū)圖像的結(jié)構(gòu)相關(guān)。若源區(qū)是大片的同質(zhì)細(xì)小紋理結(jié)構(gòu)，各算法都可以獲得自然的修復(fù)結(jié)果。

圖8用來測試跨越多個不同結(jié)構(gòu)的受損區(qū)域及帶局部細(xì)節(jié)毀損的圖像修復(fù)效果。可以看出，各算法都能很好地保留大結(jié)構(gòu)邊緣(上面兩個方框內(nèi)的斜向山體和白云、植被柵欄與草坪)，但文獻(xiàn)[4]、[7]算法的柵欄修復(fù)缺少一根小柵欄，文獻(xiàn)[4]算法的山修復(fù)順序與實際情況不符，帶來了一些假邊緣；文獻(xiàn)[13]算法修復(fù)的藍(lán)天和柵欄處都有些微視覺不自然的地方；而本文算法對這三個關(guān)鍵部位都獲得了比較好的效果。同時注意到，視覺效果的好壞與圖像本身的特性是高度相關(guān)的，如圖8(d)中最左邊的橢圓內(nèi)，雖然明顯誤匹配到樹葉，可由于背景是山體和白云，人眼感覺仿佛是山的一角露出在白云之外，并沒有感覺是明顯的瑕疵。

圖9用來測試具有大幾何結(jié)構(gòu)及局部結(jié)構(gòu)與小尺度重復(fù)紋理的大面積受損圖像修復(fù)。由實驗結(jié)果可以看出，隨著受損面積的增大，各算法的修復(fù)效果都有一些不盡如人意的瑕疵。如窗子部分的修復(fù)結(jié)果明顯受優(yōu)先權(quán)影響，文獻(xiàn)[4]算法修復(fù)結(jié)果的臺階擴張到了草坪上，文獻(xiàn)[7]、[13]算法修復(fù)結(jié)果的窗子邊框都出現(xiàn)明顯的視覺不連續(xù)，而本文算法的修復(fù)結(jié)果中最下面的窗戶邊框能獲得和橫向規(guī)律一致的效果。

圖10用來測試具有復(fù)雜結(jié)構(gòu)和紋理跳變的待修復(fù)圖像的效果。由于待修復(fù)區(qū)域包含多種不一樣的材質(zhì)(墻壁、地面、樹干、門框、臺階線)，修復(fù)后的效果都具有人眼可見的比較明顯的瑕疵。如文獻(xiàn)[4]算法修復(fù)結(jié)果的樹干明顯被橫向截斷，文獻(xiàn)[4]和文獻(xiàn)[13]算法修復(fù)結(jié)果的窗子邊緣及地面紋理都不自然，文獻(xiàn)[7]和本文算法對墻壁的豎線能獲得非常好的修復(fù)結(jié)果，但是文獻(xiàn)[7]和[13]算法修復(fù)結(jié)果的臺階線處瑕疵較明顯，左側(cè)地面白線出現(xiàn)了不合理走向，門框內(nèi)的修復(fù)瑕疵較多?？傮w而言，本文算法對樹干、墻壁及門框與墻壁交界處都獲得了較好的效果。

圖11(大小為344×416)用來測試對兼具均勻漸變(皮膚)和大結(jié)構(gòu)漸變(臉的輪廓、眼球、嘴唇)的圖像修復(fù)效果。從眼珠、嘴巴、右側(cè)臉頰和眉毛等結(jié)構(gòu)邊緣的整體修復(fù)可以看出，本文算法的效果相對是最好的。但同時也必須承認(rèn)，各類算法在人臉皮膚的修復(fù)上存在很多誤匹配和馬賽克效應(yīng)，可見基于樣例的修復(fù)算法不適用于均勻漸變的圖像修復(fù)。

3.2.2 客觀參數(shù)對比

采用峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)和結(jié)構(gòu)相似性指數(shù) (Structural SIMilarity index, SSIM)[19]來衡量不同算法的圖像修復(fù)結(jié)果。其中SSIM越大，代表兩幅圖像的結(jié)構(gòu)相似度越強，即修復(fù)效果越好。計算SSIM時的滑動窗口大小也為7×7,SSIM的其余參數(shù)和文獻(xiàn)[11]的設(shè)置一樣。

表1為各圖修復(fù)前后的SSIM及PSNR值的結(jié)果，表2給出了各待修復(fù)圖像的待修復(fù)區(qū)像素點數(shù)和面積百分比。數(shù)據(jù)表明，本文模型各項指標(biāo)亦優(yōu)于各對比模型,與各對比模型的最好結(jié)果相比，SSIM分別提高了0.014、0.016、0.023、0.016及0.022，PSNR分別提高了2.22 dB、 2.07 dB、 1.81 dB、 1.32 dB及1.12 dB。

圖7 移除小動物的修復(fù)結(jié)果

圖8 移除電線桿的修復(fù)結(jié)果

圖9 移除人像的修復(fù)結(jié)果

圖10 移除板凳的修復(fù)結(jié)果

圖11 移除鐵絲網(wǎng)的修復(fù)結(jié)果

4 結(jié)語

本文針對基于樣例的修復(fù)方法進行改進，在待修復(fù)圖像的結(jié)構(gòu)分量上進行優(yōu)先權(quán)計算，以更好地提取出等照度信息，提高算法跟蹤和修復(fù)邊緣結(jié)構(gòu)完整性的能力，并利用圖像的局部總變分最小化來確保匹配結(jié)果的視覺一致性最優(yōu)。實驗結(jié)果表明，視覺效果的好壞與圖像本身的特性及待修復(fù)區(qū)域周圍的局部特性相關(guān)性較大。當(dāng)待修復(fù)圖像包含簡單大結(jié)構(gòu)，且待修復(fù)區(qū)域和源區(qū)包含很多細(xì)小紋理區(qū)域時，基于樣例的修復(fù)框架下的修復(fù)算法均能取得較好的修復(fù)效果；當(dāng)待修復(fù)區(qū)域較大，以及待修復(fù)區(qū)域包含復(fù)雜結(jié)構(gòu)的圖像時，修復(fù)結(jié)果會存在較多積累誤差；而當(dāng)待修復(fù)區(qū)域為漸變平緩區(qū)域(如皮膚)時，修復(fù)結(jié)果存在較明顯的局部馬賽克效應(yīng)，視覺效果較差，這時可以和基于偏微分框架下的修復(fù)算法結(jié)合起來使用。此外，式(6)

中的權(quán)值ξ和式(7)中的非局部窗口Wp尺寸都可以考慮根據(jù)圖像的局部特征進行自適應(yīng)選擇，也是下一步的研究方向。

表1 各修復(fù)模型的PSNR和SSIM值對比

表2 各待修復(fù)圖像的修復(fù)區(qū)域參數(shù)