楊筱平， 劉 勍， 董 忠， 李志鋒， 王書文

(1. 天水師范學院物理與信息科學學院，甘肅 天水 741001；2. 天水師范學院化學工程與技術學院，甘肅 天水 741001；3. 西北民族大學電氣工程學院，甘肅 蘭州 730030)

基于均方差快速增強的圖像修復算法

楊筱平1， 劉 勍1， 董 忠1， 李志鋒2， 王書文3

(1. 天水師范學院物理與信息科學學院，甘肅 天水 741001；2. 天水師范學院化學工程與技術學院，甘肅 天水 741001；3. 西北民族大學電氣工程學院，甘肅 蘭州 730030)

在分析幾種關鍵圖像修復算法的實現(xiàn)原理、適用性及其優(yōu)劣的基礎上，針對目前圖像修復算法可能存在適用性有限、優(yōu)化修復算法中存在的算法復雜度較高或者未考慮破損圖像的結構信息的情況，提出了一種基于數(shù)據(jù)融合的加權均方差快速增強圖像修復算法，并將其應用于壁畫和自然圖像的修復實驗中。通過系統(tǒng)仿真實驗證明，在修復強結構紋理自然圖像和壁畫時該方法能緊密結合圖像結構信息進行有效地修復，同時，其適用性在原有的基礎上有所提高。

數(shù)據(jù)融合；均方差；圖像修復；算法

圖像修復(image inpainting)是圖像處理、計算機視覺和計算機圖形學領域研究熱點之一，其目的是利用算法對圖像中缺失部分、多余目標進行修復和去除，從而使圖像看上去自然合理，不留修復痕跡。近年來，圖像修復技術除了用于舊照片復原外，還應用于影視特效制作和文物保護等領域。文物壁畫是傳承古代文明的主要載體之一。它以繪畫方式，通過二維空間構圖，利用各種線條和色彩在墻壁上描繪出形態(tài)各異的人物畫像和場景，故被稱為“墻壁上的博物館”，具有極高的史學價值、考古價值和藝術價值。許多壁畫因常年暴露在外界環(huán)境中而嚴重受損，出現(xiàn)畫面裂隙、層狀剝落、酥粉、起甲、空鼓、煙熏黑及大面積的生物病害等物理現(xiàn)象。為了保護和修復這些壁畫，國內外研究人員致力于數(shù)字化圖像修復探討研究中，壁畫修復技術也得到快速發(fā)展，如：基于樣本塊的敦煌壁畫修復、顏色對比度增強和空白紋理合成的古畫修復等[1-2]。這些算法盡管利用破損區(qū)域周邊信息修復破損區(qū)域，可是對于較大范圍的色變壁畫則無法修復或者修復有誤。對此采用了GrabCut分割和自動采樣色彩傳遞算法[3]。在目前廣泛流行的幾種關鍵圖像修復算法(Criminisi等[4]提出的基于樣本塊紋理合成算法、Cheng等[5]提出的改進優(yōu)先權的紋理合成算法、Wang和Xu[6]提出的基于D-S數(shù)據(jù)融合優(yōu)先權改進算法)的實現(xiàn)原理、適用性及其優(yōu)劣的基礎上，本文提出了一種加權均方差(meanSquared error，MSE)模型快速增強的圖像修復算法。通過修復實驗表明，該算法首先能緊密結合圖像結構信息快速準確地找到相匹配的樣本塊；其次，其適用性有所提高，不僅可以修復強結構紋理自然圖像，還可以修復強結構紋理壁畫。

1 幾種圖像修復算法比較

1.1 文獻[4]、文獻[5]和文獻[7]算法對于自然圖像修復效果比較

為了對文獻[4]、文獻[5]和文獻[7]算法的性能進行分析，選用了自然圖像中不同類型圖像——大塊單一紋理破損圖像、大塊直線型結構和紋理破損圖像以及不同紋理破損圖像進行修復驗證。其修復效果分別如圖1~3所示。

圖1 針對大塊單一紋理的自然圖像修復

圖1是對大塊單一紋理破損的自然圖像修復實驗圖，圖1(c)中有一小塊破損區(qū)域修復有誤。經系統(tǒng)仿真實驗和圖 1(f)得出，該誤修原因是迭代次數(shù)從 350~440次優(yōu)先權值趨近于 0而隨機修復造成的。圖1(d)中有一塊比圖1(c)稍大點的破損區(qū)域修復有誤。從圖1(g)得出：該誤修原因是在修復過程中該算法優(yōu)先權值不穩(wěn)定、迭代次數(shù)比圖1(f)減少了40次以及樣本塊匹配錯誤造成的。圖1(e)修復效果較圖1(c)和圖1(d)滿意。從圖1(h)得出：文獻[7]算法在圖像修復過程中優(yōu)先權值穩(wěn)定，且其迭代次數(shù)為640次。這3種圖像修復算法對于大塊紋理自然圖像修復的實驗結果證明：文獻[7]算法較其他2種算法優(yōu)越。

圖2是針對大塊直線型結構紋理破損的自然圖像修復實驗圖，從圖2(c)中可以看出紋理部分修復有誤，但結構部分修復較為合理。圖2(d)中紋理部分修復自然、完整，不留修復痕跡，而結構部分修復不太合理。圖2(e)中紋理部分修復效果較好，結構部分修復合理、完整。從3張修復圖對比可知，文獻[7]算法對大塊直線型結構紋理自然圖像修復優(yōu)于其他2種算法。

圖 3是針對不同紋理破損自然圖像修復實驗圖。從圖3(c)~(e)可以看出，圖3(c)和圖3(d)修復較為自然，但從視覺心理學角度分析其強結構紋理部分修復有誤。圖3(e)雖然修復效果不太滿意，尤其對于強結構紋理區(qū)域的圖像修復不太完整。但從視覺心理學角度分析其 2種不同紋理修復都較為合理。這說明3種算法在修復強結構紋理的圖像方面都不太滿意，有待進一步改進。

圖2 針對大塊直線型結構紋理的自然圖像修復

圖3 針對不同紋理的自然圖像修復

1.2 文獻[4]、文獻[5]和文獻[7]圖像修復算法異同及其優(yōu)劣

結合上述修復實驗，研究人員進一步對文獻[4]、文獻[5]和文獻[7]圖像修復算法的異同及其優(yōu)劣進行分析比較。文獻[4]提出的算法利用紋理生成方法中的思想，在修復結構特征的同時修復紋理信息。但在純紋理破損區(qū)域修復方面卻存在一定的缺陷，而且在圖像修復過程中，該算法的優(yōu)先權值有可能為 0而導致修復結果有誤。文獻[5]提出的算法對Ciminisi算法做了改進，改進后的算法優(yōu)先權值很難趨近于0。并且修復紋理圖像時，其修復效果較為逼真、完整。但其修復大塊直線型結構圖像時，修復結果出現(xiàn)了明顯的不連續(xù)現(xiàn)象，同時，其優(yōu)先權值表現(xiàn)出不穩(wěn)定性。為此，文獻[7]中對文獻[5]算法做了改進，同時，將其用于壁畫修復實驗中。文中再次將其應用于自然圖像修復。多次實驗表明：文獻[7]的算法不但穩(wěn)定，而且很好地繼承了文獻[4]和文獻[5]算法的優(yōu)勢。但是，這3種算法都具有貪婪性，存在錯誤信息傳遞的問題，難以做到全局最優(yōu)，同時，一旦一個破損塊被合成修復，就無法獲得重修。本文相對于這些算法的基本思想做一比較分析，企圖去探究出較好的算法。目前幾種關鍵圖像修復算法分析如表1所示。

表1 文獻[4]、文獻[5]和文獻[7]圖像修復算法對照表

2 改進的圖像修復算法

2.1 對文獻[7]算法的改進及實現(xiàn)原理

從圖1~3中的修復圖可知：文獻[7]算法能夠修復紋理、大塊直線型結構紋理及不同紋理破損的壁畫和自然圖像。并且其修復效果明顯優(yōu)于其他2種算法。因此，文獻[7]算法的適用性和優(yōu)越性都有所提高和增強。然而，在修復強結構紋理破損區(qū)域的圖像(如圖 3)時，文獻[7]算法就存在修復效果欠佳的現(xiàn)象，與此同時，在所有圖像修復實驗中其運行機時最長。從表1可知：文獻[7]和其他2種算法在修復圖像過程中采樣方法相同，都是通過公式計算樣本塊 Ψq像素顏色值，并在未破損區(qū)域Φ中找出最接近于目標塊 Ψp(優(yōu)先級最高)的一個樣本塊 Ψq。

可以推斷，在未破損區(qū)域Φ中單憑像素顏色值找到的匹配樣本塊很多，而從中找出紋理結構最匹配的一個樣本塊 Ψq實屬不易，在這種情況下，許多圖像紋理結構修復效果欠佳。從圖3可以看出，圖像破損區(qū)域不僅是紋理和強結構紋理2種破損類型共存，而且這2種紋理的像素顏色值還較為接近。在這種復雜圖像修復過程中，算法單一地計算像素顏色值并找匹配的樣本塊就容易出錯。這就造成圖 3(c)~(e)修復有誤的原因。在此基礎上，為了減小圖像修復算法的計算復雜度并提高圖像修復效果，引進加權均方差計算像素點的顏色值，在指定窗口范圍內尋找最佳樣本塊的方法。

對文獻[7]算法改進的主要步驟為：

(1) 計算破損區(qū)域邊緣?Ω上以 p為中心 3×3的目標塊Ψp優(yōu)先權M(C)[7]：

其中，m1和m2是相同識別框架I上的2個基本概率賦值，A1,···,Ak和 B1,···,Bk分別為焦元，m1(A)2m(B)是一個歸一化因子。

(2) 快速尋找最佳樣本塊：采用加權MSE方法尋找最佳樣本塊。加權MSE的公式為[8]：

其中，fk是目標塊Ψp中每個已知像素點值，即 fk代表Φ ∩Ψ中的像素點值。以p點為中心，在X和Y方向分別以間距S進行稀疏采樣，并以每個采樣點為中心，構建w×w的窗口塊(w=1.5S，s為2個像素間距離)。gk是窗口塊中找到的最佳樣本塊 Ψq第k個像素點值，N是樣本塊像素總數(shù)。?k是窗口塊的重要性權值，其公式[9]為：

式中，n是采樣點個數(shù)，β為衰減系數(shù)，0<β<1，M(q)分別為p和q點優(yōu)先權值， tk是窗口塊被選中作為當前初始修復的先后序號，越早被選中，衰減越小。顯然，權值計算公式保證了初始修復時優(yōu)先級越高越早被選中的窗口塊權值越大。

(3) 更新信任因子m(A)，對文獻[7]改進算法的流程圖如圖4所示。

圖4 文獻[7]算法流程圖

2.2 本文改進的圖像修復算法實驗結果

為了測試算法的有效性，用matlab實現(xiàn)了本文改進算法并在Intel雙核CPU E6850 3 G上進行了實驗。并在系統(tǒng)仿真修復實驗中先后選擇了2組圖片進行實驗修復，一組是含有不同紋理破損區(qū)域的自然圖像，另一組是存在嚴重破損的復雜的不同紋理結構的壁畫圖像。

(1) 用改進后的圖像修復算法分別對自然圖像——圖1(b)、圖2(b)進行修復實驗分析：本文改進的圖像修復算法修復效果較為滿意。從視覺心理學角度分析，其修復結果自然、合理、不留修復痕跡(如同圖1(e)、圖2(e))。尤其對圖3(b)進行修復的效果比圖3(e)要自然、合理一些，修復效果圖如圖5所示。同時，本文改進的圖像修復算法計算復雜度有所減小，修復過程的運行機時也有所縮短。實驗表明：對于具有強結構紋理的圖像而言，基于像素顏色值的度量難以反映出其在結構紋理特征上的相似度，而在圖像修復中，顯著結構紋理特征的相似更加重要。本文算法不但考慮像素值的相似度，還考慮顯著結構紋理特征的相似度。

圖5 本文修復算法對大塊不同紋理自然圖像修復

(2) 用本文改進算法對多處不同紋理、大面積破損的敦煌壁畫進行修復實驗，其修復效果如圖6所示。從圖6(c)、圖6(d)的效果對比可以得出：在大面積連續(xù)破損且其周邊有效信息較少以及修復工作很難進行的情況下，本文改進算法修復效果基本達到了結構紋理的一致性，如圖6(d)中左邊第二束花朵結構紋理修復連續(xù)，中間花束下部紋理修復自然合理。因此，本文改進算法考慮了結構紋理信息后，具有較高適用性和優(yōu)越性。

圖6 針對多處破損敦煌壁畫修復

3 結 束 語

本文首先對國內外幾種圖像修復算法的適用性、優(yōu)缺點進行了詳細討論。在此基礎上，針對目前圖像修復算法可能存在適用性有限、優(yōu)化修復算法中存在的算法復雜度較高或者未考慮破損圖像的結構信息的情況，提出了多級合成的數(shù)據(jù)融合加權MSE圖像修復算法，并將其應用于壁畫和自然圖像的修復實驗中。經實驗發(fā)現(xiàn)，本文改進算法在保證結構信息強、信任度高區(qū)域被優(yōu)先修復的前提下，能夠充分修復其紋理信息。與其他合成和最優(yōu)化算法相比，本文算法在修復強結構紋理圖像時更好地保持了紋理和結構的整體一致性，其適用性也有所提高，修復效果也優(yōu)于其他修復算法，同時，其運行機時也比文獻[7]算法短。

[1] PeiS C, Zeng Yichong, Chang C H. Virtual restoration of ancient Chinese paintings using color contrast enhancement and lacuna textureSynthesis [J]. IEEE Transactions on Image Processing, 2004, 13(3):416-429.

[2] 楊筱平, 王書文. 基于馬爾可夫采樣的敦煌壁畫修復[J].計算機應用, 2010, 30(7): 1835-1837, 1840.

[3] 楊筱平, 王書文, 賈建芳, 等. 基于GrabCut分割和自動采樣的敦煌壁畫色彩修復[J]. 蘭州理工大學學報, 2010, 36(3): 114-117.

[4] Criminisi A, Perez P, Toyama K. Region filling and object removal by exemplar-based image inpainting [J]. IEEE. Transactions on Image Processing, 2004, 13(9): 1200-1212.

[5] Cheng Wenhuang, Hsieh C W, LinShengkai, et al. Robust algorithm for exemplar-based image inpainting [EB/OL]. [2009-10-13]. http://graphics.csie.ntu. edu.tw/media/publications/Cheng-2005-RAE.pdf, 2005.

[6] WangShuwen, Xu Yongsheng. Improvement of priority computation in exemplar-based image inpainting base on D-S evidence theory and TVModel [C]//Proceedings of the 2nd International Congress on Image andSignal Processing. Washington D C: IEEE ComputerSociety Press, 2009: 1-3.

[7] 楊筱平, 王書文. 基于優(yōu)先權改進算法的敦煌壁畫復雜破損區(qū)域修復[J]. 計算機輔助設計與圖形學學報, 2011, 23(2): 1-6.

[8] Anupam, Goyal P, DiwakarS. Fast and enhanced algorithm for exemplar based image inpainting [C]//2010 Fourth Pacific-RimSymposium on Image and Video Technology. Nanyang Technological University,Singapore: IEEE ComputerSociety Press, 2010: 325-330.

[9] 劉建明, 魯東明. 采用加權優(yōu)化的圖像修復[J]. 中國圖象圖形學報, 2011, 16(4): 528-532.

Fast and Enhanced Algorithm ForMeanSquared Error Based on Image Inpainting

Yang Xiaoping1, Liu Qing1, Dong Zhong1, Li Zhifeng2, WangShuwen3(1. College of Physics and InformationScience, Tianshui Normal University, Tianshui Gansu 741001, China;
2. College of Chemical Engineering and Technology, Tianshui Normal University, Tianshui Gansu 741001, China; 3. College of Electrical Engineering, Northwest University for Nationalities, Lanzhou Gansu 730030, China)

On the basis of analysis ofSeveral key image inpainting algorithms about implementation principle, applicability andSuperiority, considering their limited applicability, higher complexity and failured to take into account theStructure information of damaged images, a new faster inpainting algorithm usingStructure and texture optimization was proposed, which is based on the fastMarchingMethod for weightedMeanSquared error and data fusion of Dempster-Shafer evidence theory applications. This technique can be used in reconstruction of damaged portions of ancient painting and also in removing entire objects from natural image. Through repairing theMurals and natural images, the effectiveness of the proposed algorithm was verified byMeans of image completion andSystemSimulation experiment. The proposed algorithm considers theStructure information, achieves better repairing results and improves applicability.

data fusion;MeanSquared error; image inpainting; algorithm

TP 391

A

2095-302X(2015)02-0233-05

2014-04-16；定稿日期：2014-10-06

國家自然科學基金資助項目(61461046)；甘肅省高等學?；究蒲袠I(yè)務費資助項目(2050205)；天水市中青年科技支撐資助項目(TSK1201)；天水師范學院中青年教師科研資助項目(TSB1108)

楊筱平(1976–)，女，甘肅慶陽人，講師，碩士。主要研究方向為圖像處理、信號處理等。E-mail：xpyangtsnu@163.com