趙培棟, 韓 軍, 閔友鋼, 蔣慧鈞

(1.上海大學(xué)通信與信息工程學(xué)院,上海 200072;2.上海音像資料館,上海 200051)

基于多幀參考的分塊視頻閃爍消除算法

趙培棟1, 韓 軍1, 閔友鋼2, 蔣慧鈞2

(1.上海大學(xué)通信與信息工程學(xué)院,上海 200072;2.上海音像資料館,上海 200051)

提出一種基于多幀參考的分塊視頻閃爍消除法.該方法通過(guò)多幀的時(shí)序亮度變化,估計(jì)每一個(gè)塊的閃爍增益,并通過(guò)該閃爍增益模型調(diào)整當(dāng)前幀的亮度,消除閃爍.同時(shí),設(shè)計(jì)一個(gè)針對(duì)局部塊運(yùn)動(dòng)的運(yùn)動(dòng)檢測(cè)器,來(lái)修正閃爍模型調(diào)整所帶來(lái)的運(yùn)動(dòng)模糊現(xiàn)象.該算法能有效去除視頻閃爍現(xiàn)象,并且具有復(fù)雜度低、處理速度快的特點(diǎn).

視頻修復(fù);閃爍修復(fù);分塊修復(fù);多幀修復(fù)

Abstract:Thispaper proposesa deflicker algorithm based onmulti-frame referenceof blocked video.The algorithm estimates every block’sflicker gain by considering the temporal change inmulti-frames to adjust intensity of the current frame by using this flick-gain-model.We design amotion detector to correctmotion blur caused by the adjustmentof the flickermodel.The algorithm can effectively remove video flicker and has low computation complexity therefore faster processing speed.

Key words:video restore;flicker restore;block restore;multi-frame restore

視頻畫(huà)面閃爍在 20世紀(jì)二三十年代的舊影像資料片中極為常見(jiàn).閃爍的畫(huà)面不僅降低了影像本身的質(zhì)量,同時(shí)也極易給觀賞者帶來(lái)視覺(jué)疲勞,最終可能導(dǎo)致觀賞者完全喪失繼續(xù)觀看的興趣.造成視頻畫(huà)面閃爍的原因有很多,包括膠片本身的局部退化反應(yīng)、片面的灰塵、拍攝過(guò)程中受非正常光源干擾造成的曝光不均、舊攝像機(jī)本身存在的亮度自適應(yīng)增益不均等[1-2].隨著數(shù)字視頻技術(shù)的發(fā)展,將數(shù)字技術(shù)運(yùn)用到修復(fù)閃爍污染視頻中已成為閃爍修復(fù)的主要研究方向.

仔細(xì)觀察目前的舊影像資料可以發(fā)現(xiàn),閃爍主要可分為整體閃爍和局部閃爍.整體閃爍是指,視頻場(chǎng)景中相鄰幀之間整體亮度急劇變化,以 1～2幀的時(shí)間間隔為周期連續(xù)發(fā)生明暗交替現(xiàn)象.整體閃爍是閃爍問(wèn)題在時(shí)序上的表現(xiàn)形式.局部閃爍主要是指,局部位置發(fā)生與整體畫(huà)面不協(xié)調(diào)的亮度不均變化,在舊視頻中多發(fā)生在畫(huà)面的左右兩側(cè)以及邊角區(qū)域附近.局部閃爍是閃爍問(wèn)題在空間上的表現(xiàn)形式.

1 閃爍消除研究概述

閃爍是指在整個(gè)圖像平面上分布光滑的信號(hào).從信號(hào)頻率角度分析,閃爍信號(hào)屬于一種低頻信號(hào).目前,已有的關(guān)于閃爍問(wèn)題的研究主要分為非線性模型法和線性模型法.

非線性模型是將前后兩幀圖像之間的亮度關(guān)系視為一種非線性變化關(guān)系的數(shù)學(xué)模型,通過(guò)估計(jì)表示這種非線性關(guān)系的函數(shù)來(lái)消除兩幀圖像之間存在的閃爍.Naranjo等[3]提出了一種基于直方圖匹配的灰度映射估計(jì)方法,其思路是以多幀圖像的直方圖均值為參考直方圖,并假設(shè)參考直方圖均衡后的結(jié)果與待去閃爍幀圖像直方圖均衡后的結(jié)果一致.Vlachos[4]提出了一種基于視頻圖像中曝光不均的模型估計(jì)方法,其主題思想就是分析曝光強(qiáng)度、感光密度和圖像灰度之間的關(guān)系,并建立數(shù)學(xué)模型.該方法從原始曝光問(wèn)題進(jìn)行分析,更具有物理意義.但是文獻(xiàn)[3-4]都是基于圖像整體的變化,缺點(diǎn)是對(duì)復(fù)雜圖像的局部變化魯棒性差,對(duì)斑點(diǎn)噪聲敏感,從而降低了估計(jì)精度.

更多的研究是以線性模型作為閃爍問(wèn)題的研究模型對(duì)象,對(duì)線性模型中的閃爍增益參數(shù)和閃爍偏移量參數(shù)進(jìn)行估計(jì)和修復(fù)處理.文獻(xiàn)[5]提出了以視頻鏡頭所有幀的灰度平均值為基準(zhǔn),補(bǔ)償鏡頭中每一幀與平均值的差值來(lái)直接修正亮度閃爍,這是一種最簡(jiǎn)單的基于亮度偏移量估計(jì)的線性模型.文獻(xiàn)[6]提出一種零階線性模型,該方法通過(guò)前后幀圖像的最大最小灰度值以及圖像均值來(lái)估計(jì)模型參數(shù),但該方法將單幀畫(huà)面的閃爍參數(shù)看作一個(gè)固定值,而沒(méi)有考慮它們?cè)诳臻g上的變化.文獻(xiàn) [2,7]是目前比較認(rèn)可的去閃爍方法,其中文獻(xiàn) [2]同時(shí)考慮了閃爍增益和偏移量,并利用最小均方誤差估計(jì)閃爍模型參數(shù),但該方法的缺點(diǎn)在于采用了修復(fù)幀與未修復(fù)幀的合成輸出,導(dǎo)致最終結(jié)果永遠(yuǎn)帶有輕微閃爍.此外,該方法只選用 1幀作為參考幀,同時(shí)估計(jì)增益參數(shù)和偏移量參數(shù),計(jì)算極為復(fù)雜,對(duì)于復(fù)雜的場(chǎng)景畫(huà)面,很難保證參數(shù)估計(jì)的準(zhǔn)確性.

2 基于多幀參考的分塊閃爍消除方法

根據(jù)上文的分析,目前的一些閃爍消除的算法主要有兩方面的不足:①認(rèn)為閃爍只是一種時(shí)序上的表現(xiàn),因此,將閃爍模型參數(shù)在單幀畫(huà)面中看作一個(gè)定值,而忽略了閃爍的空間特性;②在閃爍修復(fù)時(shí),只考慮前后 1幀之間的亮度變化關(guān)系,而選取單幀作為參考幀會(huì)對(duì)參數(shù)估計(jì)的準(zhǔn)確性帶來(lái)偏差.基于以上兩方面的綜合考慮,本研究提出一種基于多幀參考的分塊閃爍消除方法.

在空間上,該方法對(duì)畫(huà)面幀各個(gè)分塊的閃爍參數(shù)獨(dú)立計(jì)算,即在畫(huà)面的不同區(qū)域利用不同的參數(shù)進(jìn)行閃爍修復(fù).在時(shí)序上,以前向多幀畫(huà)面作為參考,從而提高參數(shù)估計(jì)的準(zhǔn)確性,算法流程如圖1所示.算法分為分塊預(yù)處理、閃爍修正、運(yùn)動(dòng)修正 3個(gè)步驟進(jìn)行.閃爍修正模塊在對(duì)亮度進(jìn)行調(diào)整的同時(shí),針對(duì)基于閃爍本身呈現(xiàn)的低頻特征[2,8-9]作空間和時(shí)序的平滑修正,以使視頻畫(huà)面亮度更加自然.運(yùn)動(dòng)修正模塊對(duì)閃爍修復(fù)幀各塊作運(yùn)動(dòng)檢測(cè),以修正運(yùn)動(dòng)塊區(qū)域時(shí)序平滑后產(chǎn)生的運(yùn)動(dòng)模糊現(xiàn)象.

圖1 算法流程框圖Fig.1 Algor ithm flow char t

對(duì)于閃爍污染而言,亮度增益是全局性的影響,因此,算法采用增益型閃爍線性模型,其基本形式為

2.1 視頻分塊

在消除閃爍之前,充分考慮和利用閃爍在空間上呈現(xiàn)緩慢變化的特點(diǎn),首先對(duì)視頻進(jìn)行分塊.當(dāng)圖像中的某個(gè)區(qū)域 φ足夠小時(shí),對(duì)于 I(i,j)∈φ,閃爍參數(shù)在該區(qū)域可看作一個(gè)定值,因此,將視頻幀由原來(lái)W ×H的像素矩陣分塊為 W′×H′塊矩陣.這樣,在整個(gè)圖像上,閃爍參數(shù)既是一個(gè)隨位置變化的值,同時(shí)對(duì)于指定位置的塊 φm,n,其對(duì)應(yīng)的閃爍增益am,n又為一個(gè)常數(shù),即

分塊后,對(duì)整幀畫(huà)面中各個(gè)位置的閃爍增益a(i,j)的計(jì)算,就變成了對(duì)增益矩陣中與圖像塊對(duì)應(yīng)位置的閃爍增益 am,n的計(jì)算 (其中 0≤i≤W-1,0≤j≤H-1,0≤m≤W′-1,0≤n≤H′-1).

2.2 閃爍修正

閃爍修正分為 4個(gè)步驟進(jìn)行,即參數(shù)估計(jì)、亮度調(diào)整、單幀平滑和時(shí)序平滑.前兩步可消除閃爍畫(huà)面中亮度的不自然變化;后兩步則根據(jù)閃爍低頻特性對(duì)閃爍參數(shù)以及畫(huà)面亮度進(jìn)行修正,以避免在去閃爍亮度調(diào)整時(shí)出現(xiàn)亮度突變失真或引入新的閃爍.

為了提高增益參數(shù)估計(jì)的準(zhǔn)確性,本算法采用了前向多幀參考的方法來(lái)計(jì)算閃爍增益.對(duì)于當(dāng)前幀的每一小塊 φk,m,n(其中 k為當(dāng)前幀號(hào)),按圖2所示,搜索前向多幀與其位置對(duì)應(yīng)的圖像塊.

圖2 前向幀搜索示意圖Fig.2 Previous frame search schematic d iagram

若參考的幀數(shù)為 F,塊寬和塊高分別為Wb和Hb,則該塊的亮度增益為

式中,分子代表當(dāng)前幀自身該塊亮度均值,分母代表前F-1幀加上當(dāng)前幀該位置圖像塊亮度的時(shí)序均值.

對(duì)視頻幀所有塊進(jìn)行如上計(jì)算以后,即可得到如下的一個(gè)完整的閃爍增益塊矩陣

算法運(yùn)行之初,由于 k

由于該算法針對(duì)每一個(gè)塊都作一次增益參數(shù)估計(jì),因此,直接利用式 (5)進(jìn)行調(diào)整,會(huì)破壞以遵循閃爍空間低頻特性的調(diào)整原則,勢(shì)必造成空間中局部閃爍嚴(yán)重的區(qū)域有亮度不均的情況,出現(xiàn)塊效應(yīng).為了消除這一影響,保證去閃爍的過(guò)程中遵循閃爍空間低頻特性,本研究使用 3×3平滑掩模濾波對(duì)增益參數(shù)矩陣進(jìn)行空間平滑,平滑以后的增益參數(shù)調(diào)整矩陣為

這樣,當(dāng)前幀每一塊內(nèi)各像素值可通過(guò)下式調(diào)整:

同樣地,再采用時(shí)序平滑調(diào)整[7]來(lái)保證閃爍消除后畫(huà)面的平穩(wěn),不引入新的閃爍.對(duì)于當(dāng)前幀的每個(gè)子塊都按圖3的方式進(jìn)行調(diào)整,其中 Ts為一個(gè)平滑判決門(mén)限,該門(mén)限決定了算法對(duì)圖像前后幀像素差異的敏感程度.門(mén)限越大,算法對(duì)像素差異越不敏感,可以更好地保持畫(huà)面平穩(wěn),但會(huì)更多地殘留前幀信息,使運(yùn)動(dòng)區(qū)域更為模糊.當(dāng)前一幀塊與當(dāng)前幀對(duì)應(yīng)塊的亮度差值大于 Ts時(shí),則直接輸出當(dāng)前幀塊結(jié)果;當(dāng)差值小于 Ts/2時(shí),則直接輸出前一幀塊結(jié)果;當(dāng)差值在 Ts與 Ts/2之間時(shí),以當(dāng)前幀與前一幀 3∶1的加權(quán)方式進(jìn)行時(shí)序平滑.

2.3 運(yùn)動(dòng)修正

根據(jù) 2.2節(jié)所述,由于時(shí)序平滑會(huì)對(duì)運(yùn)動(dòng)區(qū)域造成模糊現(xiàn)象,因此,有必要對(duì)運(yùn)動(dòng)區(qū)域進(jìn)行適當(dāng)修正.從信號(hào)角度分析,運(yùn)動(dòng)與閃爍的明顯區(qū)別在于,運(yùn)動(dòng)區(qū)域在時(shí)序上呈現(xiàn)高頻的特征,而閃爍在時(shí)序上呈現(xiàn)低頻特征.對(duì)于每一個(gè)塊,需添加運(yùn)動(dòng)檢測(cè)修正操作.本研究選用傳統(tǒng)的平均差值檢測(cè)法:

設(shè)置閾值門(mén)限 Td,用以區(qū)分運(yùn)動(dòng)塊和閃爍塊.若MADφm,n(k)大于 Td,則認(rèn)為該塊存在運(yùn)動(dòng),在處理中不對(duì)該塊進(jìn)行時(shí)序平滑處理;若小于 Td,再利用式 (8),(9)判斷第 k-1幀與第 k-2幀;若仍小于 Td,則認(rèn)為該塊的亮度差異是由閃爍的時(shí)序特性引起的,對(duì)該塊的像素作 2.2節(jié)中的時(shí)序平滑調(diào)整.Td越小,越能保持運(yùn)動(dòng)區(qū)域的清晰,但是對(duì)閃爍的修正也越差;Td越大,越能保證視頻亮度平穩(wěn),但對(duì)運(yùn)動(dòng)區(qū)域的檢測(cè)將變得不敏感.

圖3 時(shí)序平滑調(diào)整流程圖Fig.3 Tem poral-smooth adjustment flow char t

3 實(shí)驗(yàn)結(jié)果

根據(jù)以上的分析,本研究對(duì)三段舊視頻資料進(jìn)行實(shí)驗(yàn) (見(jiàn)表 1).取時(shí)序的平滑閾值 Ts=10,參考幀F(xiàn)=4,運(yùn)動(dòng)檢測(cè)閾值 Td=20.本算法通過(guò)和 MSU修復(fù)幀以及原始幀合成算法[9]進(jìn)行比較,來(lái)作為分析的依據(jù).

表 1 測(cè)試序列Table 1 Test sequences

3.1 花瓶序列測(cè)試結(jié)果

該視頻前后幀的平均亮度存在有規(guī)律的整體大幅周期波動(dòng),前后幀最大亮度差為 9.經(jīng)過(guò)算法處理后,可以達(dá)到較理想的穩(wěn)定效果,最大亮度差為 2.算法運(yùn)算效率可達(dá) 20幀 /s的處理速度.

時(shí)序亮度對(duì)比如圖4所示.

圖4 花瓶序列時(shí)序亮度對(duì)比Fig.4 Temporal L uma curve compare of Vase

第 84～86幀效果對(duì)比如圖5所示.

3.2 演講序列測(cè)試結(jié)果

該視頻主要存在局部閃爍,在畫(huà)面左側(cè)以及頂角附近較為明顯.雖然,經(jīng)算法處理后,圖像依然殘留了部分局部閃爍,這是由于在這些位置閃爍變化緩慢,導(dǎo)致在指定參考幀范圍內(nèi)該位置始終呈現(xiàn)欠曝光或過(guò)曝光狀態(tài) (如圖6(b)左上角所示).但是由圖7可見(jiàn),算法處理后的修復(fù)視頻亮度曲線更趨平緩,算法對(duì)序列亮度的適應(yīng)調(diào)整快于MSU算法.在576分辨率下,算法效率為 6～7幀 /s.由于采用分塊參數(shù)計(jì)算,圖像中的局部不均勻閃爍處有明顯改善.

第 32～34幀效果對(duì)比如圖6所示.

3.3 Paula序列測(cè)試結(jié)果

該視頻同樣存在周期為 1～2幀的整體大幅周期波動(dòng),同時(shí)視頻存在大的前景運(yùn)動(dòng)和鏡頭轉(zhuǎn)動(dòng).經(jīng)過(guò)算法處理,畫(huà)面亮度得到很好的穩(wěn)定,算法效率同樣可以達(dá)到 20幀 /s的準(zhǔn)實(shí)時(shí)處理速度.由圖8可見(jiàn),在保持亮度穩(wěn)定的同時(shí),與MSU算法相比,本算法更好地保證了畫(huà)面中自然亮度的變化 (例如鏡頭轉(zhuǎn)動(dòng)使畫(huà)面內(nèi)容產(chǎn)生變化而導(dǎo)致的正常畫(huà)面亮度變化).人物在運(yùn)動(dòng)中也保持了較好的清晰度,但由于只使用了簡(jiǎn)單的平均差值運(yùn)動(dòng)檢測(cè)器,在鏡頭轉(zhuǎn)動(dòng)時(shí),可以看到圖9(b)中窗臺(tái)附近依然會(huì)存在一些運(yùn)動(dòng)模糊以及分塊處理所引起的塊效應(yīng).今后,可以采用基于運(yùn)動(dòng)矢量的局部運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償來(lái)更好地進(jìn)行運(yùn)動(dòng)修正,以避免上述現(xiàn)象.

圖5 花瓶序列修復(fù)結(jié)果Fig.5 Restoration result of Vase

圖6 演講序列修復(fù)結(jié)果Fig.6 Restoration result of Speech

第 115～117幀效果對(duì)比如圖9所示.

表 2是 3個(gè)序列原始的和經(jīng)過(guò)閃爍消除處理以后的時(shí)序亮度方差對(duì)比結(jié)果.

4 結(jié) 束 語(yǔ)

本工作主要針對(duì)舊視頻資料中的亮度閃爍問(wèn)題進(jìn)行研究,分析了一些經(jīng)典算法的優(yōu)缺點(diǎn),并提出了一種基于多幀參考的分塊閃爍消除算法.從效果來(lái)看,對(duì)于前后幀在整體上亮度變化極快的閃爍損傷序列有很好的修復(fù)效果,在保持原有畫(huà)面的同時(shí),可以完全感覺(jué)不到閃爍的存在.同時(shí),算法對(duì)于每一個(gè)分塊參數(shù)僅用了極少的乘法運(yùn)算,避免了諸如文獻(xiàn)[2]中為了作均方誤差估計(jì)而引入的大量乘法以及指數(shù)對(duì)數(shù)運(yùn)算.因此,復(fù)雜度的降低使得算法在純軟件平臺(tái)上,對(duì)于小分辨率畫(huà)面也能達(dá)到準(zhǔn)實(shí)時(shí)處理速度,而大分辨率畫(huà)面的處理也有 6～7幀 /s的處理速度.對(duì)于舊視頻中左右邊緣局部閃爍的問(wèn)題,本算法也有明顯的效果,但在閃爍發(fā)生緩慢區(qū)域,空間上仍有輕微閃爍殘留.在今后的研究中,可以考慮完善算法模型,將閃爍增益與偏移量結(jié)合起來(lái)對(duì)視頻進(jìn)行修正.同時(shí),進(jìn)一步研究一種基于運(yùn)動(dòng)矢量的局部運(yùn)動(dòng)檢測(cè)修正方法,以得到更好的完善修復(fù)效果.

圖7 演講序列時(shí)序亮度對(duì)比Fig.7 Tem poral L uma curve compare of Speech

圖8 Paula序列時(shí)序亮度對(duì)比Fig.8 Temporal L uma curve com pare of Paula

圖9 Paula序列修復(fù)結(jié)果Fig.9 Restoration result of Paula

表 2 序列方差對(duì)比Table 2 Sequence var iance compare

[1] SCHALLAUER P,PINZA,HAASW.Automatic restoration algorithms for 35 mm film [J].V idere:Journal of Computer Vision Research,1999,1(3):62-63.

[2] ROOSAMALEN P.Restoration of archived film and video[D].Delft:Delft University of Technology,1999:23-44.

[3] NARANJO V,ALBIOL A.Flicker reduction in old films[C]∥Proc of the 2000 International Conference on Image Processing (ICIP-2000),Vancouver,Canada.2000:657-659.

[4] VLACHOS T. Flicker correction for archived film sequences using a nonlinear model [J]. IEEE Transactions on Circuits and Systems for Video Technology,2004,14(4):508-516.

[5] WU Y,SUTER D.Historical film p rocessing[C]∥ Proc SPIE.1995:289-300.

[6] DECENCIECE E. Restauration automatique de films anciens[D]. Paris:Ecole Nationale Superieure des M ines de Paris,1997:35-46.

[7] VATOLIN D,STRELNIKOV K.VirtualDub MSU deflicker filter[EB/OL].[2009-04-08]. http:∥www.compression.ru/video/deflicker/index_en.html.

[8] 周磊,周源華.電影膠片修復(fù)及噪聲處理關(guān)鍵技術(shù)的研究 [D].上海:上海交通大學(xué),2008:92-96.

[9] KOKARAM A C.On missing data treatment for degraded video and film archives:a survey and a new Bayesian approach[J]. IEEE Transactions on Image Processing,2004,13(3):397-415.

(編輯:趙 宇 )

Deflicker Algor ithm Based on M ulti-frame Reference of Blocked Video

ZHAO Pei-dong1, HAN Jun1, M IN You-gang2, JIANG Hui-jun2
(1.School of Communication and Information Engineering,ShanghaiUniversity,Shanghai200072,China;2.Shanghai Audio and Video Information Center,Shanghai200051,China)

TN 911.73

A

1007-2861(2010)04-0342-07

10.3969/j.issn.1007-2861.2010.04.003

2009-05-11

浙江省科技計(jì)劃重點(diǎn)科研資助項(xiàng)目 (2007C21014)

韓 軍 (1965～),男,副教授,博士,研究方向?yàn)橐曨l與圖像處理.E-mail:hanjun@shu.edu.cn