唐寶燕

(濰坊工程職業(yè)學(xué)院 信息工程系，山東 青州 262500)

對圖像中已知信息的充分分析，并找出圖像中破損區(qū)域殘留的紋理特征，在已知的圖像信息中尋找出與破損圖像紋理特征最相似的圖像塊對破損區(qū)域進(jìn)行填充，從而達(dá)到圖像修復(fù)的效果，這就是圖像修復(fù)技術(shù)[1-2]的主要目的。

近年來，不少專家學(xué)者都提出了自己的圖像修復(fù)方法。例如，Qian等人[3]提出通過引入自適應(yīng)圖像塊調(diào)節(jié)的方法來計(jì)算圖像塊的稀疏度，從而改變圖像塊的大小。然后計(jì)算不同旋轉(zhuǎn)角度下的最大相似性，搜索出最相似的旋轉(zhuǎn)不變匹配塊。此方法對于紋理豐富的圖像中存在破壞區(qū)域?qū)挾容^大的圖像修復(fù)效果較好，不僅能夠?qū)ζヅ湎袼貕K的選取有了更加精準(zhǔn)的分析，并且能夠保持合理的視覺效果。但是對于紋理平滑的破損圖像修復(fù)質(zhì)量較差，容易出現(xiàn)振鈴效應(yīng)。Pierre等人[4]利用特定的數(shù)學(xué)模型加入到模糊的圖像中進(jìn)行深度地修復(fù)，從而解決模糊圖像紋理不清晰的問題，并且對彩色的破損區(qū)域采用基于深度引導(dǎo)的修補(bǔ)方式進(jìn)行替換，以此來完成破損圖像的全面修復(fù)。此方法是將模糊圖像的信息深度解析后再進(jìn)行重建模型的，從修復(fù)質(zhì)量上來看還是很有效果，修復(fù)后的紋理清晰順滑，流暢自然，但是此方法修復(fù)耗時(shí)太高，效率低下，對于需要時(shí)效性的圖像修復(fù)而言不太理想。Sridevi等人[5]通過建立分?jǐn)?shù)階變分模型對破損圖像進(jìn)行分化解析，從而消除圖像修復(fù)過程中常出現(xiàn)的修復(fù)模糊現(xiàn)象，這種利用非線性擴(kuò)散的魯棒特征修復(fù)算法能夠?qū)ζ茡p圖像的模糊邊緣進(jìn)行優(yōu)化處理，從而獲得較好的邊緣修復(fù)效果，但是修復(fù)后的圖像會(huì)出現(xiàn)修復(fù)殘留現(xiàn)象，修復(fù)質(zhì)量不理想。Huang等人[6]提出借助紋理分割對待修復(fù)圖像進(jìn)行分劃的修復(fù)算法。通過分水嶺圖像分割算法將破損圖像采取分劃的預(yù)處理，利用紋理特征中的曲率特征量來加強(qiáng)數(shù)據(jù)項(xiàng)的權(quán)重，從而優(yōu)化優(yōu)先權(quán)的計(jì)算，通過將搜索區(qū)域縮小到圖像分劃區(qū)域內(nèi)的辦法快速匹配最優(yōu)匹配塊，減少修復(fù)耗時(shí)。此方法利用了圖像分割方式帶來的便利性和高效性，能夠快速完成對破損圖像的修復(fù)，但是由于縮小了匹配范圍，也就意味著失去更多的匹配選擇，很有可能出現(xiàn)匹配塊選取對象少的原因，導(dǎo)致誤匹配概率大大增加，修復(fù)效果難以提升。Deng等人[7]提出通過對匹配塊匹配過程的研究，引入了一種獨(dú)立的策略。首先定義一個(gè)新的分離優(yōu)先權(quán)算法來計(jì)算幾何結(jié)構(gòu)的優(yōu)先權(quán)，優(yōu)先修復(fù)圖像的幾何結(jié)構(gòu)，然后再計(jì)算紋理信息的優(yōu)先權(quán)來合成圖像的紋理，通過分別計(jì)算不同的優(yōu)先權(quán)來更好地恢復(fù)圖像的幾何和紋理。此方法在修復(fù)效果上有所提升，但是修復(fù)過程須要花費(fèi)過多的時(shí)間，時(shí)效性較差。

上述方法各有利弊，本文提出一種紋理萃取耦合U型更新的圖像修復(fù)算法。本方法通過對圖像中的破損區(qū)域進(jìn)行紋理萃取處理，利用小波變換的方法去噪再結(jié)合角點(diǎn)檢測分析，萃取出破損區(qū)域的紋理指標(biāo)，這樣能有效地彌補(bǔ)了傳統(tǒng)修復(fù)算法沒有對破損區(qū)域進(jìn)行合理有效預(yù)先處理的短板。紋理指標(biāo)可以有效反應(yīng)破損區(qū)域圖像與匹配圖像的相似度，在優(yōu)先權(quán)計(jì)算時(shí)結(jié)合萃取的紋理指標(biāo)可以增加對最優(yōu)匹配塊優(yōu)先選取的可靠性，減少錯(cuò)誤匹配的發(fā)生，避免紋理延伸。本文利用U型計(jì)算方式對修復(fù)塊的置信度進(jìn)行強(qiáng)化從而抑制置信度的快速衰減，避免傳統(tǒng)Criminisi算法中置信度值因?yàn)椴粩嗟牡鷷?huì)快速趨0的現(xiàn)象出現(xiàn)，解決了修復(fù)圖像連貫性差的問題，優(yōu)化了圖像修復(fù)的視覺效果。通過實(shí)驗(yàn)表明，本文所提修復(fù)方法具有更加穩(wěn)定修復(fù)效果，更加符合肉眼在對圖像觀察時(shí)的視覺要求。

1 破損圖像紋理萃取處理

為了對圖像破損區(qū)域內(nèi)的紋理信息實(shí)現(xiàn)準(zhǔn)確分析和萃取，首先需要對該區(qū)域進(jìn)行紋理分割，從而獲取破損圖像邊界指標(biāo)。紋理的多尺度分割方式為：

(1)

式中，α1、α2為破損區(qū)域中的任意2個(gè)不同像素點(diǎn)，d(α1,α2)為像素點(diǎn)α1、α2之間的幾何距離，L為紋理被分割的層數(shù)，Z(α1)表示破損圖像邊界指標(biāo)，表達(dá)式為：

(2)

獲得破損圖像邊界指標(biāo)后，接著對破損圖像邊緣進(jìn)行小波去噪處理和角點(diǎn)檢測。通過對破損圖像邊緣小波去噪處理[8]可以獲得破損區(qū)域圖像灰度直方圖C(α1)；通過對破損圖像邊緣進(jìn)行角點(diǎn)檢測[9]可以獲得圖像破損區(qū)域邊緣特征約束函數(shù)dα1,α2

mn(x,y)。

令Pα1(α2)為破損圖像灰度值，則破損區(qū)域圖像灰度直方圖C(α1)和邊緣特征約束函數(shù)dα1,α2

mn(x,y)計(jì)算公式如下：

(3)

(4)

其中，x、y分別為偏導(dǎo)數(shù)梯度，θα1,α2

m為圖像破損區(qū)域邊緣強(qiáng)度，β為常數(shù)。

根據(jù)圖像破損區(qū)域邊緣特征約束函數(shù)完成對破損圖像邊緣的檢測以及圖像融合[10]處理。處理后再進(jìn)行破損區(qū)域紋理密度計(jì)算。紋理密度計(jì)算式為：

(5)

其中，Hm,Hn表示破損圖像中m、n方向的矢量，|H|為破損區(qū)域紋理密度集合，R表示破損圖像紋理的歸一統(tǒng)計(jì)總和。

通過以上處理并累積加權(quán)可得圖像破損區(qū)域邊緣波域特征提取的不變距為：

(6)

結(jié)合邊緣波域特征分割和離散化處理得到待修復(fù)區(qū)域的矢量值a,bm，然后計(jì)算破損區(qū)域紋理的超像素級視覺特征[11]Aa(Cα1)，計(jì)算式如下：

Aa(Cα1)=Z(α1)+Aα1(Cα1)

(7)

其中，Aα1(Cα1)(α1=1,2,3,4,…，n)為圖像破損區(qū)域中的紋理結(jié)構(gòu)表征[12]。結(jié)合圖像增強(qiáng)技術(shù)手段實(shí)現(xiàn)對破損區(qū)域不同像素梯度的特征進(jìn)行匹配和融合，得到圖像破損區(qū)域的紋理萃取指標(biāo)，函數(shù)表達(dá)式如下：

(8)

經(jīng)過以上所述步驟可以得到破損圖像中的紋理萃取結(jié)果，通過這樣處理可以有效地彌補(bǔ)了傳統(tǒng)Criminisi修復(fù)算法沒有對破損區(qū)域進(jìn)行合理有效預(yù)先處理的短板。紋理指標(biāo)可以有效反應(yīng)破損區(qū)域圖像與匹配圖像的相似度，在優(yōu)先權(quán)計(jì)算時(shí)結(jié)合萃取的紋理指標(biāo)可以增加對最優(yōu)匹配塊優(yōu)先選取的可靠性，減少錯(cuò)誤匹配的發(fā)生，避免紋理延伸。

2 改進(jìn)U型函數(shù)更新置信度的Criminisi算法

2.1 Criminisi算法

利用圖像紋理信息對破損圖像進(jìn)行修復(fù)算法有很多種，其中應(yīng)用最廣泛的是Criminisi算法。

1)計(jì)算優(yōu)先權(quán)

如圖1所示，在一幅破損圖像中，已知區(qū)域?yàn)镸，待修復(fù)區(qū)域?yàn)镹。K為M區(qū)域與N區(qū)域的邊緣線，p為邊緣線上的某一個(gè)像素點(diǎn)。以p為中心點(diǎn)的待修復(fù)像素塊為Up。np為p點(diǎn)的法向量， 表示點(diǎn)p點(diǎn)的等照度線向量，C(p)為p點(diǎn)的置信項(xiàng)，D(p)為p點(diǎn)的數(shù)據(jù)項(xiàng)。Criminisi算法中通過C(p)和D(p)信息來獲取優(yōu)先權(quán)P(p),計(jì)算式如下：

P(p)=C(p)×D(p)

(9)

置信項(xiàng)C(p)數(shù)據(jù)項(xiàng)D(p)兩者的表達(dá)式分別是：

(10)

(11)

其中，q為待匹配像素點(diǎn)，|Up|為Up中像素點(diǎn)的總數(shù)，α為系數(shù)，取α=255。

經(jīng)過優(yōu)先權(quán)計(jì)算，選取計(jì)算值最大的待修復(fù)塊作為優(yōu)先修復(fù)塊。

2)搜索最優(yōu)匹配

Criminisi算法將根據(jù)SSD匹配準(zhǔn)則[13]，在已知區(qū)域中，搜索篩選出與優(yōu)先修復(fù)塊紋理結(jié)構(gòu)最相近的圖像塊作為最優(yōu)匹配塊Uq。

利用SSD匹配準(zhǔn)則獲取最優(yōu)匹配塊U(q)的計(jì)算表達(dá)式為：

Uq=arg mind(Up,Uq)

(12)

式中，d(.)是Uq與Up中對應(yīng)顏色差的平方和計(jì)算公式，其表達(dá)式如下：

(13)

3)更新置信度

Criminisi算法更新置信度C(p)的計(jì)算為：

(14)

即用Uq的圖像信息替換Up內(nèi)的信息，完成更新操作。

Criminisi算法通過重復(fù)計(jì)算優(yōu)先權(quán)、待修復(fù)塊的匹配和更新置信度這3個(gè)流程，最終完成破損圖像的修復(fù)。

2.2 改進(jìn)U型函數(shù)更新置信度

由于傳統(tǒng)Criminisi圖像修復(fù)算法中計(jì)算須要不斷迭代的原因，暴露出置信度值快速趨0的弊端，為此本文提出U型函數(shù)計(jì)算方法對置信度更新進(jìn)行改進(jìn)。

U型函數(shù)計(jì)算表達(dá)式為：

(15)

則結(jié)合U型函數(shù)改進(jìn)的置信度更新計(jì)算為：

(16)

其中，λ為調(diào)節(jié)因子，經(jīng)過多組實(shí)驗(yàn)得出，取λ=1.3時(shí)，可得到較好的修復(fù)結(jié)果。

為了較為直觀的對比，用X代表傳統(tǒng)Criminisi圖像修復(fù)算法中的C(p)，則置信度更新可以簡化表示為f(x)=x，x∈[0，1]。圖2為傳統(tǒng)Criminisi圖像修復(fù)算法中的置信度更新函數(shù)和本位所提結(jié)合U型函數(shù)改進(jìn)的置信度更新函數(shù)對比結(jié)果圖。

通過圖2中的線條陡緩可以明顯觀察出，x在0到1的取值范圍內(nèi)，y1=f(x)呈現(xiàn)出的斜線斜率比較大，而且隨著的變小而快速下降。但是同樣的x在0到1的取值范圍內(nèi)，y2=h(x)呈現(xiàn)出的斜線較為平緩。y1=f(x)與y2=h(x)在點(diǎn)(x0,y0)處相交，x在0到x0的取值范圍內(nèi)時(shí)，y1=f(x)在y2=h(x)下方并且呈現(xiàn)出的斜線斜率比較大；x在x0到1的取值范圍內(nèi)時(shí)，雖然y1=f(x)出現(xiàn)在了y2=h(x)的上方但是呈現(xiàn)出的斜線斜率依然比較大。由此說明y2=h(x)在x在0到1的取值范圍內(nèi)變化較為平緩，并且不會(huì)出現(xiàn)因?yàn)閤快速減小而快速趨于0的結(jié)果。

因此本文利用U型計(jì)算方式對修復(fù)塊的置信度進(jìn)行強(qiáng)化從而抑制置信度的快速衰減，解決修復(fù)圖像連貫性差的問題，優(yōu)化圖像修復(fù)的視覺效果。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)采用MATLAB7.0作為軟件平臺，在2.4 GHz主頻、8 GB內(nèi)存、Intel酷睿雙核計(jì)算機(jī)上進(jìn)行圖像修復(fù)對比實(shí)驗(yàn)。對所提算法進(jìn)行實(shí)驗(yàn)測試，并將與文獻(xiàn)[14]、文獻(xiàn)[15]中所用方法進(jìn)行對比。

3.1 對小狗圖像的實(shí)驗(yàn)與分析

如圖3中所示為3種算法對小狗破損圖像的修復(fù)效果對比。文獻(xiàn)[14]方法對破損圖像修復(fù)之后，在足球頂部還有微小紅色修復(fù)殘留，在小狗背部和尾巴下方存在明顯未修復(fù)到的紅色區(qū)域，在小狗前爪處原來的白色出現(xiàn)了黑色模糊塊，出現(xiàn)明顯振鈴現(xiàn)象。文獻(xiàn)[15]方法修復(fù)之后，在小狗頭部、前爪下方、尾巴上均有較小的紅色破損殘留。本文算法對破損的小狗圖像進(jìn)行修復(fù)后沒有出現(xiàn)振鈴現(xiàn)象，也未見明顯修復(fù)殘留，圖像修復(fù)質(zhì)量較為理想。

3.2 對保溫杯圖像的實(shí)驗(yàn)與分析

不同算法對保溫杯破損圖像的修復(fù)效果對比如圖4中所示。文獻(xiàn)[14]方法對破損圖像修復(fù)之后的效果為圖4(c)?？梢钥匆娸^為明顯的1處紅色修復(fù)殘留；在木板縫隙處修復(fù)效果不佳，有修復(fù)間斷的痕跡；藍(lán)色保溫杯的白色字跡修復(fù)不完整。文獻(xiàn)[15]方法修復(fù)之后，有2處紅色修復(fù)殘留，其中1處紅色斑塊面積比較大。本文算法修復(fù)后未見明顯修復(fù)殘留，但在保溫杯下方藍(lán)色標(biāo)記處有微小面積的模糊現(xiàn)象，未仔細(xì)查看較難發(fā)現(xiàn)，圖像修復(fù)視覺效果有較好的改善。

4 結(jié)論

本方法對破損區(qū)域進(jìn)行紋理萃取處理，結(jié)合小波變換去噪和角點(diǎn)檢測分析，萃取出破損區(qū)域的紋理指標(biāo)，優(yōu)先權(quán)計(jì)算時(shí)結(jié)合萃取的紋理指標(biāo)增加對了匹配塊優(yōu)先選取的可靠性。利用U型計(jì)算方式對修復(fù)塊的置信度進(jìn)行強(qiáng)化從而抑制置信度的快速衰減，解決修復(fù)圖像連貫性差的問題，優(yōu)化圖像修復(fù)的視覺效果。通過與不同的圖像修復(fù)算法進(jìn)行對比實(shí)驗(yàn)，驗(yàn)證了本文所提修復(fù)方法具有更加穩(wěn)定修復(fù)效果，更加符合肉眼在對圖像觀察時(shí)的視覺要求，說明所提方法具有更好的修復(fù)性能。