謝丹桂 劉軍清 孫水發(fā) 雷幫軍

(三峽大學(xué)智能視覺與圖像信息研究所,湖北 宜昌 443002)

老影視資料以其獨特的方式見證并記錄了世界的歷史與現(xiàn)實、發(fā)展與進(jìn)步、苦難與輝煌,是同時代文化工作者的藝術(shù)結(jié)晶,具有重要的歷史價值與藝術(shù)價值.然而由于老影視資料膠片本身的化學(xué)物質(zhì)非常容易老化,而且以往的保存技術(shù)落后,同時老影視資料在反復(fù)播放拷貝過程中也受到了不同程度的損傷.這樣一來,現(xiàn)存的老影視資料能夠正常播放的很少,出現(xiàn)了如:斑點、閃爍、抖動、褪色、劃痕等缺陷[1-2].對保存下來的老影視資料進(jìn)行修復(fù)并且重新保存到新的存儲載體極為重要.

斑點是分布在電影畫面中大小不一、形狀各異的亮塊或暗塊.斑點作為老影視資料最主要的缺陷之一,對老影視資料畫面質(zhì)量的影響非常大,因此斑點的識別與修復(fù)具有重要的應(yīng)用價值,其中快速準(zhǔn)確識別斑點是修復(fù)的必要前提.研究表明,斑點可看作隨機(jī)噪聲.因此對斑點的檢測主要依據(jù)斑點的空間連續(xù)性以及時間不連續(xù)性兩個特征[3].

Kakaram[4]提出的斑點檢測索引法(Spike Detection Index,SDI)將運(yùn)動估計之后的前后幀與當(dāng)前幀對應(yīng)位置像素值的差值與閾值進(jìn)行比較來判斷是否為斑點.該方法僅利用了斑點時間不連續(xù)性特征,存在很多誤識別.Nadenau M J[5]提出了等級差分斑點識別法(Rank Ordered Difference,ROD),該方法與SDI方法不同的是考慮了前后幀對應(yīng)位置臨近的像素與當(dāng)前像素的差別,改善了識別效果.Tilie.S[6]采用了ROD的簡化方法—簡化的等級差分斑點識別算法(Simplified Rank Ordered Difference,SROD).該方法只用一個閾值.在閾值較小的情況下,該方法識別性能要好于 ROD,但同時誤識別率要高一些.Gullu M K[7]在 2008年提出了一種兩級SROD方法,該方法在閾值較小的情況下先采用一次SROD算法保證所有斑點都被識別出來,然后依據(jù)識別出的斑點位置矩陣,提高閾值,采用局部運(yùn)動估計的SROD斑點識別算法排除誤識別斑點像素.這種方法識別精度高,但因采用兩次SROD算法,大大增加了時間復(fù)雜度.

上述算法都要對當(dāng)前幀所有像素執(zhí)行斑點識別算法,時間復(fù)雜度非常大.本文提出了一種基于邊緣檢測的快速斑點識別方法.與以往的SDI算法[4]、ROD算法[5]、SROD算法[6]以及Gullu MK 的兩級SROD算法[7]不同,該算法利用邊緣檢測,將當(dāng)前畫面所有邊緣(包括斑點的邊緣和非斑點邊緣)檢測出來,然后依據(jù)邊緣像素點,采用本文提出的正反掃描方法與局部運(yùn)動估計的SROD算法完整地識別出所有斑點.該算法只需對邊緣及其附近像素進(jìn)行斑點識別就可以找到所有斑點,因此大大縮短了算法時間.同時斑點識別效果也有較明顯改善.

1 基于邊緣檢測的斑點識別算法

圖1 本文提出的斑點識別算法框圖

1.1 邊緣檢測算法的選取

根據(jù)斑點的特性,斑點與畫面背景之間必會形成明顯的邊緣輪廓,同時畫面其他對象也有邊緣輪廓.邊緣檢測將斑點邊緣與其他對象的邊緣檢測出來,如圖1所示.只要獲得斑點的部分邊緣,再利用本文提出的正反掃描方法,就能找到斑點其它像素,包括未檢測出來的斑點邊緣像素.因此,本文對邊緣檢測精度要求不高,不需要用定位精度高但同時復(fù)雜度也很高的邊緣檢測算法,如Canny[9]算法.而是盡量選擇時間復(fù)雜度小的檢測算法.本文選擇的是比較常用的Sobel[8]邊緣檢測算法.

1.2 局部運(yùn)動估計的SROD斑點識別算法

邊緣檢測之后,得到的是邊緣點位置的二值掩模矩陣.根據(jù)二值掩模矩陣中的邊緣點位置,不僅要判斷出斑點邊緣,還要根據(jù)斑點邊緣找到所有完整的斑點.本文采用提出的正反掃描方法結(jié)合局部運(yùn)動估計的SROD進(jìn)行斑點識別.正反掃描的過程與局部運(yùn)動估計的SROD算法同時進(jìn)行.正反掃描的思想是根據(jù)已識別到的斑點像素位置預(yù)測臨近可能的斑點像素位置,局部運(yùn)動估計的SROD算法既要從邊緣點中辨別出斑點邊緣點,又要對掃描過程中預(yù)測的斑點像素判斷是否是真正的斑點像素.

由于邊緣檢測將斑點識別的范圍縮小到邊緣點附近,在進(jìn)行斑點識別時就無需像以往的SROD算法一樣,需要在識別之前對整個前后幀進(jìn)行運(yùn)動補(bǔ)償.為進(jìn)一步節(jié)省時間上的開支,本算法采用局部運(yùn)動估計的SROD斑點識別方法.采用基于塊的運(yùn)動估計算法,這一思想首先出現(xiàn)在參考文獻(xiàn)[7]中,只需對要識別的位置在前后幀對應(yīng)的區(qū)域進(jìn)行運(yùn)動估計.與文獻(xiàn)[7]不同的是,這里采用的塊大小為3×1,而不是2×2或4×4.原因是SROD算法采用了前后幀與當(dāng)前像素位置上下相鄰的元素作為算法的輸入,因此采用3×1的塊運(yùn)動估計可以與SROD算法很好地結(jié)合起來,減少了矩陣變換過程,從而節(jié)省了時間開銷.

SROD斑點識別算法原理利用了斑點的空間連續(xù)性與時間不連續(xù)性特性.首先需要構(gòu)建一個向量p(x,y,t),p(x,y,t)由經(jīng)過運(yùn)動估計后的前后幀6個像素的像素值組成,如式(1)所示.在局部運(yùn)動估計的SROD算法中,不是前后幀所有的像素都進(jìn)行運(yùn)動補(bǔ)償,只有待識別的位置的點對應(yīng)在前后幀中的6個像素在識別時需要進(jìn)行運(yùn)動補(bǔ)償.

式中,x,y表示待識別像素值的坐標(biāo)值;t表示當(dāng)前幀,t-1,t+1分別表示前一幀和后一幀;I(?)表示對應(yīng)幀對應(yīng)像素的灰度值.對p(x,y,t)向量進(jìn)行如下操作

若SROD(x,y,t)大于閾值 T,當(dāng)前點被判為斑點,否則為非斑點像素.閾值T的設(shè)置采用自適應(yīng)的方法,即根據(jù)當(dāng)前幀圖像的灰度信息平均值與運(yùn)動量大小來自動調(diào)整 T的大小,該思想最初出自文獻(xiàn)[4].

1.3 正反掃描方法

首先,掩模矩陣存儲的是邊緣檢測之后的結(jié)果,也就是掩模矩陣中像素值為1的點對應(yīng)于當(dāng)前幀的像素是邊界點像素.正掃描過程如下:

從上往下,從左往右,依次掃描掩模矩陣.忽略掩模矩陣中值為0的點.掩模矩陣中值為1的點,對當(dāng)前幀相應(yīng)位置的像素做局部運(yùn)動估計的SROD斑點識別.若確認(rèn)當(dāng)前像素為斑點像素,則對掩模矩陣中當(dāng)前位置的鄰近像素(如圖2(a)中箭頭所指位置像素)的像素值賦1.對應(yīng)于這些位置的當(dāng)前幀中的像素作為待識別的像素.這些待識別的點,在后續(xù)的掃描過程中利用局部運(yùn)動估計的SROD算法做進(jìn)一步判斷.若局部運(yùn)動估計的SROD斑點識別算法確認(rèn)當(dāng)前像素為非斑點像素,則對掩模矩陣中當(dāng)前位置的像素值賦0.

通過不同數(shù)量處理器的反復(fù)試驗數(shù)據(jù)分析，得到的結(jié)論是處理器的數(shù)目從少到多的遞增，對應(yīng)的收斂值越小，但計算時間是先減少，后增加。在試驗中，當(dāng)處理器的數(shù)量為4時，收斂值時間花費(fèi)是最少的。處理器的數(shù)量再遞增到6，所花費(fèi)的時間并非減少，反而是增加，原因是處理器數(shù)量增加，并行蟻群算法的處理器間進(jìn)程信息傳遞及通訊時間花費(fèi)增大，因而使得總的計算花費(fèi)時間增加。對于收斂值隨著處理器的增加而減少的結(jié)果，原因是處理器數(shù)量增加，算法的搜尋區(qū)域更大，盡管花費(fèi)在搜尋的時間更多，但最優(yōu)解卻容易得到，可靠性更好。

掃描過程中,要進(jìn)行局部運(yùn)動估計的SROD斑點識別的像素包括邊緣檢測得到的邊緣點和被判斷為斑點的鄰近的待識別點.與當(dāng)前幀已被識別的區(qū)域?qū)?yīng)的掩模矩陣區(qū)域中,像素值為1的點表明當(dāng)前幀對應(yīng)點為斑點像素點.當(dāng)前幀未被識別的區(qū)域,對應(yīng)掩模矩陣中像素值為1的點,一部分是邊緣檢測之后還未經(jīng)局部運(yùn)動估計SROD算法識別是否為斑點的邊緣點,另一部分是已經(jīng)被識別為斑點的鄰近待識別點.掃描過程中,對鄰近位置斑點像素預(yù)測依據(jù)的原理是斑點的空間連續(xù)性,即斑點像素附近的像素可能是斑點像素.

一般情況下,經(jīng)過正掃描與局部運(yùn)動估計的SROD斑點識別,所有斑點基本上能完整找到.但在邊緣檢測時,若最左或者最上方的邊緣缺失,就有可能造成后面識別的斑點不完整.此時需要根據(jù)正掃描已經(jīng)得到的斑點位置,也就是正掃描之后的掩模矩陣,再做一次反掃描.從下往上,從右往左進(jìn)行掃描就能把整個斑點找出來,這時掃描的臨接像素位置如圖2(b)中箭頭所指位置所示.

圖2 掃描中的鄰近像素

圖3給出了本文提出的斑點識別算法對視頻序列“永不消失的電波”中某一斑點幀的仿真結(jié)果,包括每一步的中間結(jié)果和最終斑點識別結(jié)果.這4個圖分別是含有斑點的當(dāng)前幀、當(dāng)前幀的Sobel邊緣檢測結(jié)果的二值掩模矩陣圖像、正掃描后斑點識別結(jié)果的二值掩模矩陣圖像、反掃描后斑點識別結(jié)果的二值掩模矩陣圖像.當(dāng)前幀中用紅色圈標(biāo)記的白色不規(guī)則的亮塊就是斑點.Sobel邊緣檢測結(jié)果的二值掩模矩陣圖像中用紅色圈標(biāo)記的是相應(yīng)的斑點邊界.

圖3 老電影視頻序列“永不消失的電波”中的缺陷幀斑點識別結(jié)果

可以看出Sobel邊緣檢測出來的斑點邊緣不完整,最上與最左邊的邊緣都有缺失,因此正掃描識別到的斑點也不完整,需要反掃描才能得到完整的斑點.經(jīng)過上面Sobel邊緣檢測、正反掃描以及局部運(yùn)動估計的SROD斑點識別等步驟,最終得到本文提出的斑點識別算法的流程圖如圖4所示.

2 實驗結(jié)果及分析

本文將提出的算法與SROD斑點識別算法[6-7]中Gullu MK提出的兩級SROD斑點識別算法識別結(jié)果進(jìn)行了比較.算法在 PC機(jī)(處理器 Intel Core Duo、主頻1.83GHz、內(nèi)存1G)上實現(xiàn).表1給出了各個斑點識別算法在時間復(fù)雜度上的比較結(jié)果,所用斑點視頻幀來源于5個不同的老電影視頻序列.圖5、6中只給出了其中兩個序列的斑點幀斑點識別視覺對比效果.實驗中的所有斑點均為老電影中實際存在的斑點.

圖4 本文提出的斑點識別算法流程圖

圖5 視頻序列“劉三姐2”中斑點幀3種斑點識別算法識別視覺對比效果

圖5、6分別是劉三姐2、松花江上這兩種視頻序列中斑點幀的三種斑點識別算法識別效果的視覺對比.針對每個視頻序列,4個圖像依次為,含有斑點的當(dāng)前幀、SROD算法識別結(jié)果、Gullu MK的兩級SROD算法識別結(jié)果、提出的算法識別結(jié)果.從圖5、6可以看出,SROD算法存在很多誤識別,Gullu MK的兩級SROD算法識別精度高、效果明顯優(yōu)于SROD算法.而提出的算法的斑點識別效果幾乎可以同兩級SROD算法媲美.

圖6 視頻序列“松花江上”中斑點幀3種斑點識別算法識別視覺對比

由表1可以看出,Gullu MK提出的兩級SROD算法雖然識別效果好,但時間復(fù)雜度最高.提出的算法的時間復(fù)雜度遠(yuǎn)遠(yuǎn)小于Gullu MK的兩級SROD算法的以及SROD算法的.跟SROD算法相比,本文提出的算法所消耗的時間比SROD算法所耗時間的1/2還要少,甚至是SROD算法的1/4.

表1 3種算法時間復(fù)雜度比較(單位:s)

觀察3種算法時間復(fù)雜度以及視覺效果可以看出,SROD算法存在很多誤識別,Gullu MK的兩級SROD算法雖然取得了比較好的識別效果,但是由于采用了一次SROD算法加上一次局部運(yùn)動估計的SROD算法的模式,時間復(fù)雜度非常高.本文提出算法不僅在效果上幾乎可以達(dá)到兩級SROD的性能,而且時間復(fù)雜度遠(yuǎn)遠(yuǎn)小于SROD算法以及兩級SROD算法.

提出的算法基于邊緣檢測的思想將識別范圍集中到邊緣區(qū)域,同時也縮小了運(yùn)動估計誤差帶來的誤識別范圍,誤識別一般只會出現(xiàn)在邊緣區(qū)域.這也是從某種程度上來說,新的算法識別視覺效果要好于SROD斑點識別算法的原因之一.其次,局部運(yùn)動估計的SROD檢測算法在運(yùn)動估計的時候考慮了局部小范圍的運(yùn)動,而且本文中提出的算法運(yùn)動估計中采用3×1的塊大小,相對于SROD算法的4×4的塊匹配更精確,這也是識別效果更好的原因.

在時間復(fù)雜度上,提出的算法占絕對優(yōu)勢的原因是:一是因為基于邊緣檢測的思想將識別范圍集中到邊緣區(qū)域,縮短了識別時間;二是采用局部的運(yùn)動估計,無需對整個前后幀進(jìn)行運(yùn)動估計,只需對邊緣點及其附近的可能是斑點的像素點進(jìn)行運(yùn)動估計,進(jìn)一步縮短了時間.

3 結(jié) 論

本文提出了一種基于邊緣檢測的斑點識別算法.利用邊緣檢測將斑點識別范圍縮小到邊緣附近,并且將局部運(yùn)動估計的優(yōu)勢有效地應(yīng)用到提出的算法中,與文中的掃描方式相結(jié)合,大大減少了時間復(fù)雜度,取得了很好的斑點識別效果,非常適合應(yīng)用到工程實際中.如何進(jìn)一步減少時間復(fù)雜度,提高斑點識別性能以及基于該算法的斑點修復(fù)是下一步要研究的重點.

[1］堪安軍.數(shù)字視頻修復(fù)若干關(guān)鍵技術(shù)研究[D].北京:中國科學(xué)院研究生院,2006.

[2］陳 釗,關(guān)景火,徐 進(jìn),等.基于小波分解的電影膠片劃痕損傷數(shù)字修復(fù)技術(shù)[J].中國圖象圖形學(xué)報,2006,11(11):58-63.

[3］SaitoT,Komatsu T,Ohuchi T.Practical Nonlinear Filtering for Removal of Blotches from Old Film[M].Proc.Conf.Image Processing,1999(3):164-168.

[4］Kokaram A C,Rayner P J.A System for the Removal of Impulsive Noise in Image Sequences[M].International Conference on SPIE Visual Communications in Image Processing,Boston,M A,1992,322-331.

[5］Nadenau M J,Mitra S K.Blotch and Scratch Detection in Image Sequences Based on Rank Ordered Differences[M].Proceedings of the Fifth Internet Workshop on Time-Varying Image Processing and Moving Object Recognition.Florence,Italy,1996:1-7.

[6］Tilie S,Laborelli L,Bloch I.A Contrario False Alarms Removal for Improving Blotch Detection in Digitized Films Restoration[M].Processings of 14th Int.Workshop on Systems,Signals and Image Processing,and 6th EURASIP Conf.Focused on Speech and Image Processing,M ultimedia Communications and Services,M aribor,Sloveniar,2007:410-413.

[7］Kemal Gullu M,Oguzhan U,Sarp E.Blotch Detection and Removal for Archive Film Restoration[J].AEUInternational Journal of Electronics and Communications.2008,62(9):534-543.

[8］Jagadish P,Shambhavi D S.A novel Digital Algorithm for Sobel Edge Detection[J].Communications in Computer and Information Science,2010,70(6):91-95.

[9］Pawlak Z,Peters J F,Skowron A.Rough Measures Rough Integrals and Sensor Fusion[M].Rough Sets and Granular Computing.Berlin:Springer,2003,125(11):263-272.