劉正男,梁美玉

(安徽信息工程學(xué)院 電氣與電子工程學(xué)院，安徽 蕪湖 241000)

0 引言

圖像修復(fù)技術(shù)歷史悠久，早在中國(guó)西漢時(shí)期就有修復(fù)畫卷的記錄，圖像修復(fù)的概念是在文藝復(fù)興時(shí)期引入的，近年來(lái)發(fā)展迅速[1-5]。目前，圖像修復(fù)可以主要分為兩個(gè)方面，一個(gè)是基于非紋理結(jié)構(gòu)的處理，另一個(gè)是基于紋理的修復(fù)。前者又可以分為變分模型和偏微分方程模型(PDE)，后者可細(xì)分為紋理合成與圖像分解的修復(fù)算法。

基于非紋理結(jié)構(gòu)的修復(fù)算法是根據(jù)已知信息進(jìn)行空白區(qū)域的填補(bǔ)修復(fù)，適用于待修復(fù)面積較小的情況。Bertalmio等人[6]于2005年在PDE的思路上提出了BSCB(Bertalmio、Sapiro、Casel Ballester)模型，算法的核心是在受損區(qū)域的邊緣上利用公式遵從一定的方向傳播至內(nèi)部，直到填補(bǔ)所有的待修復(fù)區(qū)域，此算法為圖像修復(fù)領(lǐng)域開(kāi)啟了一個(gè)全新的世界。2001年，Chan等人[7-8]提出了一種具有銳化和去噪功能的TV數(shù)學(xué)模型，該算法不僅盡可能多地保留圖像的邊緣信息，而且復(fù)雜度較低，但是存在結(jié)構(gòu)連通性比較差的問(wèn)題，導(dǎo)致修復(fù)結(jié)果與原圖之間差異較大，并且由于修復(fù)過(guò)程中沒(méi)有將圖像信息是均勻分布的這一特性考慮進(jìn)去，導(dǎo)致得到的結(jié)果存在不夠清晰的情況。隨后Chan等人[9]針對(duì)TV算法出現(xiàn)的缺點(diǎn)，又提出了將幾何信息引入算法以改進(jìn)處理效果的CDD模型。為了控制和調(diào)節(jié)圖像修復(fù)中的信息擴(kuò)散過(guò)程，該算法在考慮梯度信息之余，還利用了含有曲率k的控制函數(shù)，使仿真結(jié)果更加理想、視覺(jué)更加合理。但由于該算法本身是一個(gè)高階方程模型，帶來(lái)了很大的計(jì)算量，導(dǎo)致修復(fù)時(shí)間變長(zhǎng)的同時(shí)也存在處理后期難以收斂的問(wèn)題，從而得到的仿真圖像也會(huì)存在連通性不佳、內(nèi)容模糊的現(xiàn)象。之后也有很多研究者對(duì)這兩個(gè)模型進(jìn)行了一系列的優(yōu)化與改進(jìn)[10-13]。

基于紋理結(jié)構(gòu)的修復(fù)方法的主要思想是利用一些參數(shù)在源區(qū)域中尋找和待處理區(qū)域最接近的圖像塊進(jìn)行圖像處理，進(jìn)而達(dá)到修復(fù)的目的，該算法在大范圍受損圖像的修復(fù)方面具有明顯的優(yōu)勢(shì)。Criminisi等人[14]在2003年提出新的修復(fù)算法，首次引入了優(yōu)先權(quán)的概念，利用數(shù)據(jù)項(xiàng)與置信項(xiàng)的乘積來(lái)決定處理的先后次序，而后利用最佳匹配搜索來(lái)填補(bǔ)空白區(qū)域，考慮了目標(biāo)對(duì)象的結(jié)構(gòu)與紋理，成為圖像修復(fù)中的一個(gè)里程碑。

1 Criminisi算法分析

Criminisi算法的基本思想是利用被扣圖像的剩余部分的冗余信息來(lái)對(duì)孔洞進(jìn)行填充操作，主要分為優(yōu)先級(jí)的計(jì)算、最佳匹配塊的搜索并填充以及置信度的更新這3個(gè)部分：

1) 優(yōu)先級(jí)用于確定待修復(fù)塊的處理次序，解決結(jié)構(gòu)連通性較差的問(wèn)題；

2) 搜索即根據(jù)紋理相似距離(平方差距離和，即SSD)在已知區(qū)域中找到最佳匹配塊；

3) 復(fù)制即是將最佳匹配塊復(fù)制到對(duì)應(yīng)的目標(biāo)區(qū)域位置。

圖1展示了Criminisi算法的一次處理過(guò)程。

圖1 Criminisi算法的處理過(guò)程

P(p)=C(p)D(p)，

(1)

其中：C(p)是置信項(xiàng)，D(p)是數(shù)據(jù)項(xiàng)。C(p)和D(p)分別定義[14]3為

(2)

(3)

其中：C(q)為待修復(fù)塊ψp中像素q的置信項(xiàng)值，未對(duì)圖像操作處理前，在圖像信息已知范圍內(nèi)定義其值為1，在圖像待處理范圍內(nèi)定義其值為0；|ψp|指的是待修復(fù)塊ψp的面積。

(4)

再以目標(biāo)最優(yōu)匹配塊對(duì)空白部分進(jìn)行填充，并在此之后對(duì)置信度進(jìn)行更新，進(jìn)行下一次的修復(fù)。

圖2是Criminisi算法的仿真效果圖，其中圖2 (a)是待處理對(duì)象，圖2 (b)為經(jīng)過(guò)Criminisi算法處理得到的結(jié)果。由結(jié)果分析發(fā)現(xiàn)，對(duì)于待處理圖2(a)，本意是移除圖片中右邊男子，但是由于Criminisi算法是從完好區(qū)域?qū)ふ页雠c待處理區(qū)最為接近的圖像塊并進(jìn)行填充，于是就出現(xiàn)了圖2(b)的修復(fù)結(jié)果，僅僅是將中間的女子所在圖像塊進(jìn)行了復(fù)制，此外，還出現(xiàn)了不合理內(nèi)容的填充問(wèn)題。

圖2 Criminisi算法仿真圖

2 改進(jìn)Criminisi算法

Criminisi算法對(duì)于待處理面積較大的圖像的修復(fù)效果比較理想，然而當(dāng)目標(biāo)對(duì)象信息比較復(fù)雜時(shí)，或待修復(fù)塊涉及兩個(gè)或者多個(gè)紋理結(jié)構(gòu)截然不同的區(qū)域時(shí)，不論是優(yōu)先權(quán)計(jì)算函數(shù)，還是最佳匹配算法，就會(huì)因此出現(xiàn)修復(fù)錯(cuò)亂、仿真效果不夠理想的情況。此外，在修復(fù)圖像前，Criminisi算法需要對(duì)圖像中的待處理部分進(jìn)行掩膜操作，可是人為創(chuàng)建的掩膜與真正需要處理的修復(fù)區(qū)域還是會(huì)存在或大或小的差距。在標(biāo)記掩膜時(shí)，為了涵蓋所有的破損區(qū)域，人們通常會(huì)設(shè)計(jì)面積較大的掩膜。然而，過(guò)大地標(biāo)注掩膜，勢(shì)必會(huì)加大圖像處理過(guò)程的難度，進(jìn)而也會(huì)增加修復(fù)算法的時(shí)間成本。

針對(duì)上述問(wèn)題，本研究對(duì)原Criminisi算法進(jìn)行了改進(jìn)，現(xiàn)將本文算法記為CBC(Corrode、Block、Criminisi)，提出以下優(yōu)化方案：

1)通過(guò)腐蝕算法對(duì)圖像的掩膜進(jìn)行處理，避免人為擴(kuò)大修復(fù)區(qū)域；

2)針對(duì)優(yōu)先權(quán)函數(shù)在修復(fù)后期為零所導(dǎo)致的修復(fù)錯(cuò)亂的問(wèn)題，對(duì)優(yōu)先權(quán)函數(shù)提出了優(yōu)化；

3)通過(guò)分塊的思想對(duì)圖像進(jìn)行分塊修復(fù)，避免差距明顯的紋理區(qū)域出現(xiàn)修復(fù)錯(cuò)亂。

2.1 腐蝕處理

腐蝕屬于圖形形態(tài)學(xué)操作，其目的是消除對(duì)象的邊界點(diǎn)，使邊界向內(nèi)部收縮，同時(shí)可以消除微小的結(jié)構(gòu)元素。也就是對(duì)目標(biāo)對(duì)象中的白色區(qū)域進(jìn)行縮減的過(guò)程，經(jīng)過(guò)處理后的圖像白色區(qū)域面積要比原圖像中的白色區(qū)域面積小。腐蝕可簡(jiǎn)單地理解為取局部最小值，將對(duì)象中的結(jié)構(gòu)元素進(jìn)行四處移動(dòng)，倘若結(jié)構(gòu)元素的所有點(diǎn)都在目標(biāo)對(duì)象內(nèi)，則該點(diǎn)保留于對(duì)象中，否則就會(huì)被消除掉(即腐蝕)。

腐蝕算法仿真如圖3所示，其中圖3(a)是原始掩膜圖像，圖3(b)是經(jīng)過(guò)腐蝕處理后得到的效果圖。

圖3 腐蝕處理前后對(duì)比效果

經(jīng)過(guò)對(duì)比可以看出，白色區(qū)域變小了，即掩膜區(qū)域變小了，這在一定程度上減輕了人為擴(kuò)大修復(fù)區(qū)域的問(wèn)題，也提高了圖像修復(fù)算法的運(yùn)行效率。因此，可以在圖像修復(fù)之前進(jìn)行適當(dāng)?shù)母g預(yù)處理。

圖4是經(jīng)過(guò)腐蝕預(yù)操作后再進(jìn)行Criminisi修復(fù)的結(jié)果，其中圖4(a)是原圖，圖4(b)是所得到的結(jié)果圖像。

圖4 腐蝕處理后Criminisi算法仿真與原圖對(duì)比效果

通過(guò)圖4與圖2的結(jié)果對(duì)比分析可以看出，經(jīng)過(guò)腐蝕操作后再進(jìn)行Criminisi算法處理的結(jié)果盡管沒(méi)有達(dá)到預(yù)期的修復(fù)效果，依然是對(duì)附近類似人物的復(fù)制填充結(jié)果，但是處理后的圖像沒(méi)有出現(xiàn)破損區(qū)域，沒(méi)有發(fā)生草坪上出現(xiàn)湖水的圖像塊和水邊樹(shù)木枝干的情況，整體而言，沒(méi)有明顯的圖像處理痕跡，視覺(jué)效果更加合理。

利用時(shí)間、峰值信噪比、結(jié)構(gòu)相似性給出以上結(jié)果的評(píng)價(jià)參數(shù)。

表1 Criminisi算法與腐蝕處理后Criminisi算法的評(píng)價(jià)結(jié)果

根據(jù)表1的客觀評(píng)價(jià)結(jié)果，可以看出，經(jīng)過(guò)腐蝕處理后的修復(fù)效果更加真實(shí)自然，并且由于腐蝕的特性導(dǎo)致修復(fù)區(qū)域變小，也縮短了圖像修復(fù)的時(shí)間。

2.2 優(yōu)先權(quán)函數(shù)的改進(jìn)

由公式(2)可知，置信項(xiàng)會(huì)在修復(fù)過(guò)程中趨近于0，導(dǎo)致無(wú)法確定修復(fù)塊的優(yōu)先次序。而公式(1)僅對(duì)待修復(fù)塊的結(jié)構(gòu)信息做了一定的計(jì)算，但是并沒(méi)有考慮到信息的復(fù)雜度，因此，這里提出在進(jìn)行優(yōu)先權(quán)函數(shù)的建立時(shí)將能反映復(fù)雜程度的信息熵考慮在內(nèi)，具體函數(shù)為

(5)

其中Sp代表圖像的信息熵，定義如下：

(6)

其中pi是目標(biāo)對(duì)象中灰度值為i的像素所占的比例。

當(dāng)C(p)<0.5時(shí)，為了避免置信項(xiàng)過(guò)低導(dǎo)致數(shù)據(jù)項(xiàng)無(wú)法合理影響破損塊的優(yōu)先權(quán)的情況出現(xiàn)，本研究將Criminisi算法中的數(shù)據(jù)項(xiàng)與置信項(xiàng)的乘積運(yùn)算改為兩者相加；當(dāng)C(p)≥0.5時(shí)，由于置信項(xiàng)對(duì)于待修復(fù)塊的優(yōu)先權(quán)起著很大的作用，所以繼續(xù)保持?jǐn)?shù)據(jù)項(xiàng)與置信項(xiàng)的相乘運(yùn)算。

2.3 分塊處理

鑒于原Criminisi算法利用匹配準(zhǔn)則在整幅圖像中尋找最佳相似塊，故而導(dǎo)致在圖像中出現(xiàn)修復(fù)失誤的情況，因此提出在不同紋理區(qū)域里分別進(jìn)行修復(fù)的思路。具體思路如下：首先將待修復(fù)的對(duì)象分割成若干子對(duì)象，并且彼此之間沒(méi)有重疊的部分，隨后針對(duì)每一個(gè)子對(duì)象做并行修復(fù)處理，減小修復(fù)范圍的同時(shí)也保證了最佳匹配塊的符合度，修復(fù)效果如圖5所示。

圖5 Criminisi分塊處理仿真與原圖對(duì)比效果

從圖5可以看到，經(jīng)過(guò)分塊處理的圖像再進(jìn)行圖像修復(fù)，已經(jīng)基本上達(dá)到了去除目標(biāo)人物的要求，只是細(xì)節(jié)部分仍然有待提高。

本研究融合分塊和腐蝕算法，對(duì)Criminisi算法進(jìn)行改進(jìn)，先對(duì)圖像的掩膜部分進(jìn)行腐蝕預(yù)處理，繼而對(duì)圖像進(jìn)行分塊處理，處理結(jié)果如圖6所示。

圖6 CBC算法仿真與原圖對(duì)比效果

經(jīng)過(guò)結(jié)果對(duì)比與分析，可以發(fā)現(xiàn)本研究提出的算法不僅對(duì)修復(fù)圖像實(shí)現(xiàn)了要去除目標(biāo)人物的要求，而且修復(fù)后的圖像沒(méi)有修復(fù)痕跡，在細(xì)節(jié)方面也取得了比較好的效果。

3 實(shí)驗(yàn)結(jié)果與分析

為了檢驗(yàn)算法的性能，將CBC算法與Criminisi算法[14]、TV算法[8]、CDD算法[9]的結(jié)果進(jìn)行對(duì)比分析。在性能衡量方面，本研究不僅采用了客觀評(píng)價(jià)還另外組織了主觀評(píng)價(jià)。

3.1 客觀評(píng)價(jià)標(biāo)準(zhǔn)

本研究采用峰值信噪比(Peak Signal to Noise Ratio，PSNR)、結(jié)構(gòu)相似性(Structural similarity，SSIM)來(lái)對(duì)修復(fù)算法的效果進(jìn)行客觀評(píng)價(jià)。

1) 峰值信噪比PSNR

PSNR是使用最廣泛的一種衡量圖像質(zhì)量的客觀指標(biāo)，其值越大表明結(jié)果圖像越接近于原始圖像，PSNR的具體計(jì)算公式如下：

(7)

2) 結(jié)構(gòu)相似性SSIM

SSIM(用SSIM表示)是一個(gè)新的圖像評(píng)價(jià)指標(biāo)，用于衡量?jī)煞鶊D像的結(jié)構(gòu)相似度，SSIM的值越接近于1說(shuō)明兩幅圖像的結(jié)構(gòu)越相似，其計(jì)算步驟為

(8)

(9)

(10)

SSIM(X,Y)=L(X,Y)*C(X,Y)*S(X,Y),

(11)

3.2 主觀評(píng)價(jià)

由于原圖像與修復(fù)所得結(jié)果在結(jié)構(gòu)上存在一定的差距，直接對(duì)兩者進(jìn)行客觀評(píng)價(jià)缺乏說(shuō)服力，故在接下來(lái)的篇幅中，對(duì)原圖像進(jìn)行人為損壞，再利用本研究所提出的修復(fù)算法對(duì)其進(jìn)行處理，為了檢驗(yàn)算法的性能，對(duì)CBC算法與Criminisi算法、TV算法、CDD算法的結(jié)果進(jìn)行對(duì)比分析，修復(fù)結(jié)果如圖7所示。

圖7 CBC算法與Criminisi算法、TV算法以及CDD算法的仿真對(duì)比效果

據(jù)上述不同算法的仿真結(jié)果，可以發(fā)現(xiàn)，利用本研究方法修復(fù)后的圖像整體效果較好，基本上實(shí)現(xiàn)了殘缺部分的修復(fù)。此外，TV算法和CDD算法由于只進(jìn)行了1 000次迭代，修復(fù)效果不夠理想，沒(méi)有達(dá)到修復(fù)要求，在修復(fù)結(jié)果中能夠看到修復(fù)區(qū)域依然存在模糊區(qū)域。相較于TV算法和CDD算法，Criminisi算法對(duì)于大范圍破損圖像的處理更勝一籌，從修復(fù)結(jié)果來(lái)看，Criminisi算法在很大程度上實(shí)現(xiàn)了對(duì)殘缺部分的修復(fù)，但是修復(fù)結(jié)果有待改進(jìn)，與原圖像存在肉眼可見(jiàn)的差距。而本研究算法在Criminisi算法的基礎(chǔ)上提出改進(jìn)，對(duì)掩膜進(jìn)行腐蝕預(yù)處理從而使得修復(fù)區(qū)域減小，分塊修復(fù)的處理方式能夠區(qū)別開(kāi)不同紋理的信息，故而修復(fù)效果比較好，同時(shí)，改進(jìn)的優(yōu)先權(quán)函數(shù)對(duì)圖像處理后期出現(xiàn)的修復(fù)錯(cuò)亂情況起到了一定的抑制作用。但是，由于CBC算法沒(méi)有對(duì)最佳匹配塊的搜索范圍和匹配準(zhǔn)則進(jìn)行調(diào)整和優(yōu)化，導(dǎo)致部分修復(fù)結(jié)果仍有優(yōu)化空間，比如CBC算法對(duì)圖7(a)和圖7(f)的圖片的修復(fù)效果就出現(xiàn)了不夠理想的情況。

3.3 客觀評(píng)價(jià)

在性能衡量方面，本研究采用峰值信噪比和結(jié)構(gòu)相似性來(lái)對(duì)算法進(jìn)行分析，結(jié)果如表2所示。

表2 CBC算法與Criminisi算法、TV算法以及CDD算法的對(duì)比評(píng)價(jià)結(jié)果

由表2中實(shí)驗(yàn)數(shù)據(jù)表明：可知TV算法由于其模糊效應(yīng)，綜合評(píng)價(jià)結(jié)果比較差；CDD算法在TV算法的基礎(chǔ)上引入梯度和曲率信息，修復(fù)結(jié)果得到了改善，峰值信噪比和結(jié)構(gòu)相似性均有所提高，但對(duì)于邊緣待修復(fù)區(qū)域的處理仍然不夠理想，模糊現(xiàn)象依舊存在；CBC算法在Criminisi算法的基礎(chǔ)上提出了改進(jìn)，圖像的評(píng)價(jià)參數(shù)均有所提高。

4 結(jié)論

本研究提出的基于腐蝕和分塊處理的圖像修復(fù)算法利用腐蝕算法對(duì)圖像進(jìn)行預(yù)處理，減輕了人為擴(kuò)大修復(fù)區(qū)域的問(wèn)題；然后通過(guò)信息熵對(duì)優(yōu)先權(quán)函數(shù)進(jìn)行了優(yōu)化，抑制了修復(fù)錯(cuò)亂的問(wèn)題；最后引入分塊的思想對(duì)不同區(qū)域進(jìn)行分塊修復(fù)。通過(guò)一系列的數(shù)據(jù)對(duì)比和經(jīng)過(guò)對(duì)處理后的圖像效果進(jìn)行分析，本研究算法在邊緣破損圖像的處理效果較好，取得了比較高的峰值信噪比、結(jié)構(gòu)相似性，細(xì)節(jié)部分也得到了較好處理。但是CBC算法對(duì)于大面積破損圖像的修復(fù)效果不夠理想，原因是CBC算法未對(duì)最佳匹配塊的搜索區(qū)域和匹配準(zhǔn)則做出調(diào)整，后續(xù)工作將進(jìn)一步對(duì)其完善。