文丨王麗萍

（浙江傳媒學(xué)院，杭州 310018）

視頻馬賽克現(xiàn)象的出現(xiàn)會直接影響對于視頻內(nèi)容的理解和分析。為了恢復(fù)視頻幀信息的“合理”和“完整”性以便觀察者識別和理解，需要對這些受損的視頻幀進(jìn)行填充修復(fù)。目前，基于偏微分方程的修復(fù)模型和基于紋理合成的修復(fù)模型，各自取得了一定發(fā)展。前者對裂縫、污點(diǎn)、劃痕、文字覆蓋等小尺度破損區(qū)域的修復(fù)取得了良好的效果，后者適用于修復(fù)大尺度的破損區(qū)域，但在結(jié)構(gòu)信息方面具有弱勢，容易造成人工邊界。綜合兩者的優(yōu)缺點(diǎn)，本文采用基于偏微分方程與紋理合成的修復(fù)模型。

1 設(shè)計思路

通過了解視頻基本結(jié)構(gòu)，提取含有馬賽克缺陷的視頻幀，以人工標(biāo)識的方式對視頻的馬賽克缺陷區(qū)域進(jìn)行定位，再根據(jù)當(dāng)前幀受損區(qū)域與其外邊界的區(qū)域自相似性來完成馬賽克消除后的空白塊。用像素亮度梯度表示亮度變化方向，二次微分表示像素變化的速率，通過解基于馬賽克附近區(qū)域像素的偏微分方程，獲取修復(fù)最大適應(yīng)概率，再通過紋理合成技術(shù)填補(bǔ)馬賽克消除后所殘留的空白塊。為了提高處理速度和修復(fù)質(zhì)量，可以通過降維并迭代求精等方式來優(yōu)化處理空間，從而減少解搜索范圍。在對每一馬賽克缺陷視頻幀完成修復(fù)后，再合成為視頻序列，從而實現(xiàn)對視頻馬賽克缺陷的修復(fù)。

總體設(shè)計流程如圖1所示。

圖1 總體設(shè)計流程圖

2 本文算法的改進(jìn)

自然圖像一般都具有多種紋理區(qū)域，修補(bǔ)目標(biāo)塊應(yīng)與圖像中某種紋理區(qū)域相似而與其它紋理區(qū)域差距較大，而基于BSCB模型的算法不對圖像紋理信息進(jìn)行區(qū)分，一視同仁地采用全搜索策略在全局范圍內(nèi)“盲目”搜索并進(jìn)行修補(bǔ)，運(yùn)算速度較慢，不僅有可能導(dǎo)致錯誤的匹配塊的出現(xiàn)繼而產(chǎn)生惡性繁衍而且會影響算法的整體性能。因而，本文從以下幾個方面對算法進(jìn)行了改進(jìn)。

2.1 二階導(dǎo)數(shù)

二階導(dǎo)數(shù)表示待修復(fù)邊界梯度值的變化量，如果變化量較小時，說明該像素與領(lǐng)近像素的相關(guān)性較大，宏觀統(tǒng)計來說，即待修復(fù)區(qū)域與領(lǐng)域差異性很小，所以采用待修復(fù)區(qū)域鄰近的紋理信息進(jìn)行替代填充，以縮小匹配塊的游走范圍，避免窮盡搜索，從而達(dá)到減少搜索范圍的目的，提高了匹配搜索效率。

匹配塊的變化速度計算流程：計算窗口塊中各像素一階導(dǎo)數(shù)，獲得匹配塊各像素的變化情況；并根據(jù)各像素權(quán)重統(tǒng)計獲得匹配塊變化值；對各匹配窗的變化值求導(dǎo)，獲得各匹配塊的變化速度。

2.2 置信度

置信度反映了待修復(fù)塊中正確接收像素所占的百分比，比值越高表示該待修復(fù)塊中已知像素越多。利用紋理的相關(guān)性原理，待修復(fù)塊的置信度越高，說明它與附近區(qū)域的紋理相關(guān)性越強(qiáng)，因而可減少匹配窗的游走范圍來提高匹配搜索效率。對匹配窗的游走處理流程如圖2所示。

圖2 匹配窗游走處理流程

2.3 匹配窗大小的選擇

匹配窗的尺寸決定了輸出的紋理能否較好的保持輸入紋理的局部紋理特征。如果尺寸過小，則接近于基于像素點(diǎn)的合成，對于紋理的局部統(tǒng)計特性描述較弱；反之，則容易產(chǎn)生視覺上的拼貼效應(yīng)。因而，本文是通過對度量紋理塊的特征包容性來考察所選的匹配窗的尺寸是否合適。紋理塊的特征包容性是指復(fù)制塊所包含的紋理特征與樣本紋理所包含的紋理特征之間的差距。它們之間的差距越小，合成的紋理對樣本的全局特征保持的就越好。其算法的處理流程如圖3所示。

圖3 匹配窗大小選擇處理流程

3 實驗結(jié)果分析

本實驗采用MATLAB平臺對BSCB算法和本文算法進(jìn)行實現(xiàn)，從修復(fù)效果和用時兩方面進(jìn)行比較。

3.1 修復(fù)效果比較

在圖4中，(a)為BSCB算法的修復(fù)結(jié)果，(b)為本文算法的修復(fù)結(jié)果。仔細(xì)觀察和對比，可以發(fā)現(xiàn)(a)圖的黑色框內(nèi)，屋頂和水面上出現(xiàn)了草地，這不符合人們一般的認(rèn)識，屬于修復(fù)錯誤，產(chǎn)生的原因是BSCB算法未進(jìn)行針對圖像紋理特征的合適匹配窗大小的選擇，引發(fā)了一系列錯誤，最終導(dǎo)致不好的修復(fù)結(jié)果。本文改進(jìn)算法通過對待修復(fù)視頻幀的匹配窗口大小的合理選擇，從而更好地保證了紋理的局部特征，修復(fù)結(jié)果更加符合人們的視覺期望，提高了算法的性能。

圖4 修復(fù)效果比較

圖5 修復(fù)時間統(tǒng)計圖

3.2 用時比較

本文改進(jìn)算法通過對匹配窗二階導(dǎo)數(shù)和置信度的計算來對匹配窗的游走范圍進(jìn)行了處理，避免了在整幀圖像范圍內(nèi)的全局搜索，從而提高了匹配效率，減少了算法修復(fù)時間。圖5為采用BSCB算法和本文算法對相同的馬賽克缺陷視頻幀進(jìn)行修復(fù)所需時間的統(tǒng)計圖（橫坐標(biāo)為馬賽克缺陷視頻幀，縱坐標(biāo)為算法修復(fù)所需的時間，單位為S）。

4 結(jié)語

本文通過對BSCB模型的改進(jìn)，提出了一種基于PDE與紋理合成的圖像修復(fù)模型，實現(xiàn)了以MATLAB作為研究環(huán)境的馬賽克修復(fù)設(shè)計。但也存在不足之處，本文設(shè)計的馬賽克視頻修復(fù)采用的是半自動的方法，因為在對圖像修復(fù)前，需要由用戶給出待修復(fù)區(qū)域。希望在后續(xù)的研究中，能夠改進(jìn)該算法的性能。

[1] 陳剛等.基于偏微分方程的圖像處理[M].北京：高等教育出版社，2004.

[2] 張紅英，彭啟琮.數(shù)字圖像修復(fù)技術(shù)綜述[A].中國圖象圖形學(xué)報，2007.

[3] 朱霞.基于紋理合成的數(shù)字圖像和視頻修復(fù)研究 [D].南京：中南大學(xué)，2008.