鄭晚秋，廖勝輝

(中南大學(xué) 信息科學(xué)與工程學(xué)院，湖南 長沙 410083)

紋理結(jié)構(gòu)引導(dǎo)的自適應(yīng)圖像修復(fù)算法

鄭晚秋，廖勝輝

(中南大學(xué) 信息科學(xué)與工程學(xué)院，湖南 長沙 410083)

利用約束紋理合成的方法來解決大面積缺損圖像的修復(fù)問題，可以在視覺上獲得比較好的效果。而修復(fù)過程中的合成順序，對最后的結(jié)果有很大影響。Criminisi提出的基于樣本圖像的圖像修復(fù)算法，在前人基礎(chǔ)上，對合成順序給出了解決方案。文中首先對決定合成順序的優(yōu)先級進一步做了改進，在數(shù)據(jù)項中加入結(jié)構(gòu)張量，使圖像修復(fù)從結(jié)構(gòu)區(qū)域向無結(jié)構(gòu)區(qū)域填充。其次，根據(jù)原圖像區(qū)域紋理結(jié)構(gòu)信息，使得每一次合成的塊的大小自適應(yīng)變化，這在一定程度上避免了紋理塊過小或過大帶來的弊端，從而使合成效果更為自然。經(jīng)過對比實驗，文中算法取得了較好的效果。

圖像修復(fù)；紋理合成；結(jié)構(gòu)張量；自適應(yīng)

0 引 言

圖像修復(fù)技術(shù)，是指針對圖像中缺損的部分，根據(jù)圖像中完好部分的結(jié)構(gòu)和紋理信息，按一定方法進行填補的技術(shù)。早期，一般利用偏微分方程法來進行圖像修復(fù)，采用的思想是擴散機制，典型的有基于高次偏微分方程的BSCB模型[1]、基于變分泛函的TV模型[2]和CDD模型[3]。文獻[4-5]分別利用TV模型和CDD模型針對西藏壁畫進行了圖像修復(fù)。上述方法在原理上存在著固有的局限性，對于小面積的圖像缺失效果顯著，但是對大尺度破損區(qū)域的修復(fù)易產(chǎn)生模糊。

圖像修復(fù)的實質(zhì)思想是利用圖像中已知的圖像信息，對缺失信息進行填充或替換，這與紋理合成的思想有著異曲同工之妙。實際中多采用的是基于塊拼接的紋理合成。文獻[6]通過混沌變換得到合成紋理，Efros提出了一種Image Quilting的紋理合成方法[7]。文獻[8]由于在紋理合成中應(yīng)用了Graph Cut算法，因此，合成過程中的紋理塊不再局限為矩形，可以是任意形狀。

在有缺損的圖像上，可以將缺損部分看成待合成區(qū)域，完好的部分看成是樣本，這可以稱為約束紋理合成。通常采用的順序是掃描線順序，但是這種順序沒有利用紋理特征，難以得到更加優(yōu)良的效果。

2004年，Criminisi等受CDD模型[3]以及關(guān)于人類視覺相關(guān)研究[9]的啟發(fā)，首次對基于紋理合成圖像修復(fù)的合成順序給出了包含置信度和數(shù)據(jù)項的優(yōu)先級公式。只是其在修復(fù)過程中欠缺魯棒性，容易將紋理部分和邊緣部分混淆，從而導(dǎo)致修復(fù)順序的錯誤偏差。文中采用結(jié)構(gòu)張量對優(yōu)先級數(shù)據(jù)項進行了改進。

在以塊為單位進行拼接的紋理合成過程中，塊的大小對合成效果也有很大的影響。如果單元塊小于紋理單元，則可能會破壞結(jié)構(gòu)信息；如果單元塊比紋理單元大太多，又可能導(dǎo)致合成效果模糊[10]。而現(xiàn)實中的圖像紋理結(jié)構(gòu)通常是不規(guī)則的，所以文中根據(jù)圖像結(jié)構(gòu)信息在合成過程中自適應(yīng)地改變單元塊的大小。

1 基于紋理合成的圖像修復(fù)算法

1.1 紋理合成算法

基于樣圖的紋理合成技術(shù)，可以依據(jù)給定的小塊樣本紋理，生成新的大塊紋理圖案。它根據(jù)小面積樣圖的紋理特征，生成大面積的曲面紋理，并使得合成的紋理具有連續(xù)性以及非重復(fù)的相似性。二維圖像的紋理合成，針對處理基本單元分類，可以分為基于像素點以及基于紋理塊的紋理合成兩種。在紋理合成中以像素點為單位，不僅速度慢，而且會嚴重破壞紋理結(jié)構(gòu)；以紋理塊為單位提高了合成效率，并且能夠更好地保持紋理圖像的結(jié)構(gòu)特征。以經(jīng)典算法Image Quilting[5]為例，簡要介紹基于塊的紋理合成的思想。該算法按照掃描線的順序進行紋理合成，合成過程中的基本單元為固定大小的紋理塊，每次在樣本紋理圖像中，選取與輸出紋理圖末尾重疊區(qū)域像素值的累計誤差最小的紋理塊添加到已合成紋理塊中；同時，對早先合成和新合成紋理塊的重疊區(qū)域進行接縫處理。

1.2 約束紋理合成

基于樣本的紋理合成算法可以用來合成任意大小的與樣本類似的紋理圖像，同時，也可以用來進行紋理圖像的缺失塊修復(fù)[11]。比如有時照片或其他圖像上可能會包含一些在感官上有缺陷的區(qū)域，也可能是在掃描照片時出現(xiàn)了模糊區(qū)域，或者是圖片上存在不想要的物體，想要將多余的物體移除而又不想影響整幅圖像的完整性，這時可以利用基于樣本的紋理合成的方法來進行修復(fù)。只需把圖像中完好部分看作是紋理圖像樣本，把缺失區(qū)域看作待合成目標塊，可以用掃描線順序進行修復(fù)。由于是在限定范圍內(nèi)進行紋理合成，所以稱為約束紋理合成。不過簡單的機械式的修復(fù)順序，很可能造成修復(fù)效果不佳。因此，需要對約束紋理合成算法進行相關(guān)的改進，比如在合成過程中采用可變大小的樣本塊以及改善合成順序等。

1.3 Criminisi算法

Criminisi等于2004年提出了一種采用紋理合成思想的圖像修復(fù)算法[12]，主要對圖像修復(fù)中的合成順序作了比較大的改進，獲得了不錯的合成效果。

該算法主要分為以下三個步驟：

1)計算待修復(fù)塊的優(yōu)先權(quán)重。

優(yōu)先權(quán)的計算關(guān)系到圖像修復(fù)的順序，是該算法的關(guān)鍵。對于待修復(fù)邊緣上的每一個像素點，都設(shè)定一小塊以該像素為中心的區(qū)域，優(yōu)先權(quán)最大的目標塊最先進行修復(fù)。優(yōu)先權(quán)的大小由兩個因素決定：(1)目標塊內(nèi)像素的置信度大??；(2)目標塊中心點周圍結(jié)構(gòu)信息的強弱。示意圖如圖1所示。

圖1 Criminisi算法示意圖

圖中，Ω表示待修復(fù)區(qū)域；?Ω表示其邊界輪廓；Φ表示已知區(qū)域。

對于以輪廓上的點p為中心的目標塊，其優(yōu)先權(quán)定義為：

P(p)=C(p)?D(p)

(1)

其中，C(p)表示已知像素在目標塊中的比例，稱之為置信度項；D(p)表示p點沿著等照度線方向到達邊界點的強度量化函數(shù)，稱之為數(shù)據(jù)項。

分別定義如下：

(2)

(3)

其中，Ψp表示目標塊的大??；C(q)表示目標塊中已知像素點的個數(shù)；np為垂直與邊緣線?Ω上p點的法向量；為點p的等照度線的方向和強度；α為歸一化因子。

2)搜索最佳匹配塊并填充。

(4)

傳統(tǒng)基于塊的紋理合成計算指定寬度區(qū)域的SSD，是為了找到最佳接縫路徑。而此算法中，由于修復(fù)順序打亂，不再是規(guī)則地拼接，故計算兩個塊區(qū)域的SSD，直接利用最佳匹配塊的對應(yīng)位置對目標塊缺失部分進行復(fù)制填充。

3)更新待修復(fù)邊緣的優(yōu)先權(quán)。

完成第二步后，目標塊內(nèi)的未知像素點變?yōu)橐阎袼攸c，邊界點發(fā)生了變化，需要將待修復(fù)區(qū)域邊緣的優(yōu)先權(quán)進行更新，對于將新加入的已知像素，姑且將其置信度設(shè)置為與剛剛處理的p點相同。然后，再讀取位于邊界上的像素點，確定下一個優(yōu)先級最高的像素點p，再次執(zhí)行一次目標塊的合成。如此循環(huán)，直至存儲邊界點的鏈表為空。

2 結(jié)構(gòu)張量引導(dǎo)合成順序

為了使合成效果更加滿足視覺要求，需要重點抓住人類感知敏感的內(nèi)容。人類視覺對紋理中的結(jié)構(gòu)信息更加敏感，簡單來講，要獲取像素點處的方向信息，只需計算該點處的梯度向量即可。然而，僅僅通過單個像素點計算得到的梯度向量，不足以表示圖像的局部結(jié)構(gòu)特性。通過計算結(jié)構(gòu)張量，可以獲得更加豐富的局部結(jié)構(gòu)信息。根據(jù)結(jié)構(gòu)張量能夠識別圖像中的邊緣、角點以及平坦區(qū)域。借助結(jié)構(gòu)張量的圖像處理應(yīng)用廣泛，文獻[13]基于廣義結(jié)構(gòu)張量進行了虹膜分割算法的研究，文獻[14]則利用結(jié)構(gòu)張量進行了變分多源圖像融合。

最初，由DiZenzo[15]和F?rstner[16]先后提出了結(jié)構(gòu)張量的定義，并將其融入了實際應(yīng)用。

首先定義圖像I的梯度為：

(5)

式中，Ix、Iy分別為x、y方向的偏導(dǎo)數(shù)，Ix=?xIσ，Iy=?yIσ。其中，Iσ=Gσ*I，里面的*是卷積算子，此操作在上述的求導(dǎo)運算中，具有抗噪聲作用，可以提高算法魯棒性。

初始張量內(nèi)積Υ0的定義如下:

Υ0=I?

(6)

其中，u12=u21；?是笛卡爾內(nèi)積(CartesianProduct)。

由此可知，矩陣Υ0對稱且半正定。

下面通過公式對Υ0的特點進行進一步的分析：

(7)

(8)

從上面的推導(dǎo)公式可見，圖像的邊緣強度大，可以量化為Υ0較大的特征值；而邊緣的梯度方向，可以用數(shù)學(xué)表示為Υ0的特征向量。

鑒于僅僅利用單個像素點的梯度向量來獲取方向信息，不足以表示圖像局部特性，因此，選擇利用結(jié)構(gòu)張量來進行完善。通過對結(jié)構(gòu)張量Υ進行深入剖析，不僅可以得到圖像中更為細致的局部結(jié)構(gòu)特征，而且還能夠獲取像素點鄰域內(nèi)結(jié)構(gòu)特征的各向異性等更加豐富的信息。

為提取結(jié)構(gòu)相關(guān)信息，對Υ進行如下的主軸變換(principalaxistransformation)：

(9)

其中，Λ=diag(λm)的對角元素是Υ的特征值，稱之為對角矩陣，組成矩陣S的各行向量即為Υ的特征向量γ1、γ2，其中γ2⊥γ1。

(10)

(11)

其中，γ1表示邊緣的法向，γ2表示邊緣的切向，并且γ1可由下式計算得到：

(12)

另外，結(jié)構(gòu)張量Υ的跡可以表征結(jié)構(gòu)強度St，即

St=trace(Υ)=Υ11+Υ12=λ1+λ2

(13)

而2D圖像數(shù)據(jù)的相干性(coherence)H通常由下式表征：

H=(λ1-λ2)2

(14)

基于上述公式進行進一步分析，從而通過結(jié)構(gòu)張量Υ得到目標圖像的數(shù)字化的局部結(jié)構(gòu)特征描述。

假設(shè)導(dǎo)數(shù)的加權(quán)期望值Ex(Ix)=Ex(Iy)=0，則有：

(15)

從式中可以看到，結(jié)構(gòu)張量可以近似為兩個偏導(dǎo)數(shù)的聯(lián)合分布，又由于協(xié)方差矩陣對稱正定，可知結(jié)構(gòu)張量有兩個特征值且均為非負數(shù)，在幾何意義上，特征值可以用來表示橢圓主軸的長度，則其相應(yīng)的特征向量可用來描述主軸方向。

基于上述幾何意義，目標圖像的局部結(jié)構(gòu)信息可以根據(jù)特征值分三種情況進行討論：

(1)λ1≈λ2≈0。這種情況表示結(jié)構(gòu)強度St以及相干性H都很小，此時在圖像中該像素點附近，無論沿著任何方向，像素的灰度值變化都不大，因此，可以判定為平坦區(qū)域。

(2)λ1?λ2≈0。這種情況表示結(jié)構(gòu)強度St以及相干性H都比較大，此時圖像中該像素點附近，沿某一方向的變化率遠大于沿垂直于此方向的變化率，表現(xiàn)出明顯的邊緣特征，可以判定為邊緣區(qū)域。

(3)λ1≈λ2?0。這種情況表示結(jié)構(gòu)強度St大而相干性H較小，此時圖像中該像素點附近，沿著兩個互相垂直的方向，像素灰度值變化都比較快，可以判定為角點區(qū)域。

在上述定性分析的基礎(chǔ)上，進一步利用結(jié)構(gòu)張量Υ的特征值λ1和λ2來對目標圖像的局部結(jié)構(gòu)信息進行定量分析：

(1)邊強度，即方向一致性信息量：

E=(λ1-λ2)2

(16)

(2)角強度，即角點信息量：

C=(λ1?λ2)/(λ1+λ2)

(17)

于是，為得到從結(jié)構(gòu)區(qū)域向無結(jié)構(gòu)區(qū)域填充的效果，將圖像的局部結(jié)構(gòu)測度納入決定優(yōu)先權(quán)因素之一的數(shù)據(jù)項中。

(18)

其中，α為歸一化因子。

同時，優(yōu)先權(quán)公式修改為：

P(p)=mC(p)+nD(p)

(19)

其中，m、n分別為C(p)和D(p)兩項的權(quán)重，根據(jù)具體的圖像進行調(diào)整。

3 自適應(yīng)紋理塊大小

現(xiàn)實中紋理圖像中所包含的紋理元通常是多種多樣的。在合成過程中，如果每次合成都采用相同大小的合成塊，就會引起紋理塊尺寸選擇不當(dāng)?shù)膯栴}。紋理塊選擇過小會破壞紋理結(jié)構(gòu)，紋理塊選擇過大則會引起邊界模糊以及不連續(xù)的問題。因此，需要對圖像局部特征進行研究，以解決紋理塊尺寸動態(tài)選取的問題。

僅僅提取圖像的一階微分量——梯度，不足以表征圖像的結(jié)構(gòu)特征；隨著研究的深入，發(fā)現(xiàn)通過提取二階微分量可以得到更為豐富的圖像結(jié)構(gòu)信息。其中，二階微分量中的等照度線的曲率，作為等照度線形態(tài)學(xué)特征的一個非常重要的描述，在很大程度上反映了目標圖像的形狀信息[17]。曲率的倒數(shù)就是曲率半徑，曲率半徑在一定程度上可以反映紋元的大小。

假設(shè)圖像u(x,y)在任一像素點處有一條等值線，其灰度值為C(常量)，則該等值線可以表示為u(x,y)=C。

其中，縱坐標y可以看作自變量為橫坐標x的函數(shù)，方程兩邊同時對x求導(dǎo)可得：

ux+uyy'=0

(20)

計算得到該等值線上縱坐標對橫坐標的一階導(dǎo)數(shù)：

y'=-(ux/uy)

(21)

下面進一步計算縱坐標對橫坐標的二階導(dǎo)數(shù)，再對式(21)兩邊同時對x求導(dǎo)：

(22)

將計算所得一階和二階導(dǎo)數(shù)帶入下面的曲率公式：

(23)

由此，便得到了圖像二元函數(shù)，在任意像素點的等照度線的曲率表達式為：

(24)

(25)

其中，w為可調(diào)參數(shù)。

4 實驗結(jié)果

文中對圖1～6分別進行了修復(fù)實驗，并且將修復(fù)效果與Criminisi算法修復(fù)結(jié)果進行對比，證明了文中算法的有效性。

圖2 大理石修復(fù)圖

在圖2(c)中，Criminisi算法進行大理石修復(fù)時，圖像紋理結(jié)構(gòu)出現(xiàn)紊亂現(xiàn)象；如圖2(d)所示，文中算法在一定程度上對紋理結(jié)構(gòu)的處理更好。

在圖3(c)中，利用Criminisi算法修復(fù)時，紋理結(jié)構(gòu)邊緣出現(xiàn)變形缺陷；如圖3(d)所示，文中算法由于合成順序更為合理，雖然邊緣稍有毛刺，但是實現(xiàn)了圖像的較為理想的修復(fù)。

圖3 花朵修復(fù)圖

在圖4(c)中，Criminisi算法修復(fù)時，出現(xiàn)了很明顯的邊界斷層和參差不齊的現(xiàn)象；如圖4(d)所示，文中算法由于合成時采用自適應(yīng)大小的紋理塊，同時合成順序更加合理，比較有效地解決了圖像修復(fù)中的層次不連續(xù)的問題。

圖4 田野修復(fù)圖

在圖5(c)中，原Criminisi算法修復(fù)時造成了圖像結(jié)構(gòu)的紊亂，修復(fù)效果非常不理想；如圖5(d)所示，文中算法在修復(fù)中圖像的整體結(jié)構(gòu)性沒有受到損壞，有較好的視覺效果。

圖5 湘江岸邊修復(fù)圖

在圖6(c)中，Criminisi算法修復(fù)時，單一大小的修復(fù)塊不能保持紋理的連續(xù)性，使得修復(fù)結(jié)果的紋理嚴重失真；如圖6(d)所示，文中算法進行修復(fù)時，根據(jù)圖像特點選擇相對合適大小的紋理模板塊，同時優(yōu)化了合成順序，合成效果有了顯著的改善。修復(fù)結(jié)果中的小瑕疵，可以利用濾波[18]等方法進行完善。

圖6 眼睛修復(fù)圖

5 結(jié)束語

文中采用了紋理合成的思想，來解決大面積缺損圖像的修復(fù)問題。在Criminisi修復(fù)算法的基礎(chǔ)上，利用結(jié)構(gòu)張量對決定合成順序的優(yōu)先級做了進一步的改進，同時，在合成過程中，根據(jù)紋理結(jié)構(gòu)信息自適應(yīng)地改變紋理模板塊大小。實驗結(jié)果表明，算法優(yōu)先保證了結(jié)構(gòu)信息的合理填充，較好地保持了修復(fù)邊界的完整，在一定程度上解決了圖像修復(fù)的紋理斷層現(xiàn)象，獲得了比較好的視覺效果。下一步關(guān)鍵性的改進是：在尋找最佳匹配塊時，進行旋轉(zhuǎn)不變特征匹配，然后進行相應(yīng)的復(fù)制合成。

[1]BertalmioM,SapiroG,CasellesV,etal.Imageinpainting[C]//Proceedingsofthe27thannualconferenceoncomputergraphicsandinteractivetechniques.Anaheim,USA:ACMPress,2000:417-424.

[2]ChanT,ShenJ.Mathematicalmodelsforlocalnon-textureinpaintings[J].SIAMJournalonAppliedMathematics,2002,62(3)：1019-1043.

[3]ChanTF,ShenJ.Non-textureinpaintingbycurvature-drivendiffusions(CDD)[J].JournalofVisualCommunicationandImageRepresentation,2001,12(4)：436-449.

[4] 姜 軍,卓 嘎,王朝霞,等.以TV模型為例的西藏壁畫數(shù)字圖像修復(fù)技術(shù)研究[J].電子技術(shù)工程，2013,21(3)：136-139.

[5] 姜 軍,王龍業(yè),王朝霞,等.基于CDD模型的西藏壁畫數(shù)字圖像修復(fù)技術(shù)研究[J].電子設(shè)計工程，2014,22(2)：177-179.

[6]XuY,GuoB,ShumHY.Chaosmosaic:fastandmemoryefficienttexturesynthesis[R].[s.l.]:MicrosoftResearch,2000.

[7]EfrosAA,FreemanWT.Imagequiltingfortexturesynthesisandtransfer[C]//Proceedingsofthe28thannualconferenceoncomputergraphicsandinteractivetechniques.Anaheim,USA:ACMPress,2001:341-346.

[8]KwatraV,SchodlA,EssaI,etal.Graph-cuttextures:imageandvideosynthesisusinggraphcuts[J].ACMTransactionsonGraphics,2003,22(2)：277-286.

[9]KanizsaG.Organizationinvision[M].NewYork:Praeger,1979.

[10] 孟春芝,何 凱,焦青蘭. 自適應(yīng)樣本塊大小的圖像修復(fù)方法[J].中國圖象圖形學(xué)報，2012，17(3)：337-341.

[11] 蘇良飛.基于樣圖的約束紋理合成研究[D].杭州：浙江大學(xué)，2008.

[12]CriminisiA，PerezP，ToyamaK.Regionfillingandobjectremovalbyexemplar-basedimageinpainting[J].IEEETransactionsonImageProcessing,2004,13(9)：1200-1212.

[13]Alonso-FernandezF,BigunJ.Irisboundariessegmentationusingthegeneralizedstructuretensor[C]//ProcofIEEEfifthinternationalconferenceonbiometricscompendiumbiometrics.[s.l.]:IEEE,2012:426-431.

[14] 許 娟,孫王寶,韋志輝.基于結(jié)構(gòu)張量的Non-LocalMeans去噪算法研究[J].計算機工程與應(yīng)用，2010,46(28)：178-180.

[15]Di-ZenzoS.Anoteonthegradientofamulti-image[J].ComputerVision,Graphics,andImageProcessing,1986,33(1):116-125.

[16]F?rstnerW,GülchE.Afastoperatorfordetectionandpreciselocationofdistinctpoints,cornersandcentresofcircularfeatures[C]//ProceedingsofISPRS.[s.l.]:[s.n.],1987：281-305.

[17] 雷文娟,祝 軒,賈義亭,等.梯度與曲率變形力相結(jié)合的圖像配準方法[J].計算機工程與應(yīng)用，2012,48(5)：204-206.

[18] 徐 勇.邊緣結(jié)構(gòu)保持型的圖像濾波算法研究[D].合肥：合肥工業(yè)大學(xué)，2011.

Adaptive Image Inpainting Algorithm Based on Texture Structure

ZHENG Wan-qiu，LIAO Sheng-hui

(College of Information Science and Engineering,Central South University,Changsha 410083,China)

Taking into account the large defect area of images，the constrained texture synthesis is used to image inpainting.The filling order is important because it has a great influence on the final result.Based on the previous studies,Criminisi algorithm gives a solution to the filling order.Firstly,an improvement is made on the priority of the filling order in this paper.Structure tensor is added to the data term in order to make the filling order is from the structural region to the non-structural region.Secondly,according to the texture structural information,it makes the size of template block change adaptively.To some extent,it avoids the disadvantages caused by the block of fixed size,so that the result is more natural.The contrast experiment shows that the algorithm obtains better visual appearance.

image inpainting；texture synthesis；structure tensor；adaptive

2015-09-08

2015-12-11

時間：2016-05-25

國家自然科學(xué)基金資助項目(60903136)

鄭晚秋(1991-)，女，碩士研究生，CCF會員，研究方向為圖形圖像處理；廖勝輝，副教授，碩士研究生導(dǎo)師，研究方向為計算機圖形學(xué)、生物仿真建模、醫(yī)學(xué)圖像處理。

http://www.cnki.net/kcms/detail/61.1450.TP.20160525.1706.030.html

TP301.6

A

1673-629X(2016)06-0040-06

10.3969/j.issn.1673-629X.2016.06.009