黃 曦，丁友東，吳 兵

(上海大學(xué) 上海電影學(xué)院，上海 200072)

?

老電影全局閃爍修復(fù)系統(tǒng)的設(shè)計與實現(xiàn)

黃 曦，丁友東，吳 兵

(上海大學(xué) 上海電影學(xué)院，上海 200072)

針對老電影中褪色閃爍的現(xiàn)象，研究了一種基于顏色傳遞和色彩校正的全局閃爍修復(fù)方法。該方法主要分三個步驟對視頻序列進行修復(fù)，首先對導(dǎo)入的圖像序列進行分鏡并判斷是否存在閃爍，然后對閃爍序列進行參考幀選取，如果無參考幀，則采用色彩校正來產(chǎn)生參考幀，最后通過顏色傳遞進行全局顏色閃爍修復(fù)。在VS2013中使用OpenCV實現(xiàn)了相關(guān)算法，并詳細介紹了系統(tǒng)實現(xiàn)的關(guān)鍵代碼。實驗表明，該系統(tǒng)能夠較好地完成對老電影全局閃爍的交互式修復(fù)。

老電影修復(fù)；全局閃爍；顏色傳遞；色彩校正

電影是歷史文化的縮影，也是一份極為珍貴的可視化資料，然而由于諸多原因?qū)е吕想娪俺霈F(xiàn)了不同程度的損傷，閃爍就是其中一個較為嚴重的問題。閃爍的本質(zhì)是圖像相鄰幀在色彩、亮度上發(fā)生了不自然的變化[1]，這些變化并非導(dǎo)演在拍攝時為營造某種氛圍而特意加上去的，而是由于前期拍攝操作不當(dāng)或后期保存時的諸多原因造成的。這些變化在時間和空間上是不確定的，單幀觀看不易發(fā)現(xiàn)，只有連續(xù)放映時才能檢測到這種缺陷[2-3]。

目前，大多數(shù)的修復(fù)方法都需要對圖像序列中的閃爍進行建模，然后估計該模型的閃爍參數(shù)。諶安軍等通過對圖像序列中的局部閃爍進行基于余弦基的建模和逐次超松弛迭代的方法，實現(xiàn)了對嚴重局部亮度閃爍的電影的修復(fù)[4]。周磊等設(shè)計了一種基于塊的局部區(qū)域參數(shù)估計和補償方法，通過對圖像序列進行基于塊的閃爍模型參數(shù)估計和當(dāng)前幀補償模型的設(shè)計，實現(xiàn)了參照模型下的受損圖像亮度修復(fù)[5]。趙培棟等提出了一種基于多幀參考的分塊視頻閃爍消除法，在有效去除閃爍現(xiàn)象的同時修正其帶來的運動模糊現(xiàn)象[6]。Julie Delon基于尺度空間理論使用尺度時間均衡的方法實現(xiàn)了全局亮度閃爍的修復(fù)[7]。但已有的方法大都具有局限性，并不適用于由于褪色產(chǎn)生的顏色閃爍現(xiàn)象。

本文采用Visual Studio和OpenCV圖像處理庫，將圖像領(lǐng)域的色彩校正、顏色傳遞等方法引入老電影序列的閃爍修復(fù)中，在實現(xiàn)傳統(tǒng)方法的同時，通過方案整合和考慮不同情況，很好地解決了全局褪色閃爍修復(fù)問題，并設(shè)計了一套完整的自動化修復(fù)系統(tǒng)。

1 視頻序列閃爍修復(fù)

1.1 圖像色彩校正

在圖像序列的閃爍修復(fù)前，需要找到比照修復(fù)的參考幀，但如果整個鏡頭都產(chǎn)生了或多或少的褪色，沒有符合要求的參考幀，那么就需要選定某一幀進行色彩校正，然后用其作為參考幀。Ruderman提出的lαβ空間具有通道之間最小相關(guān)性的特點，被廣泛用于自然場景圖像的色彩校正[8]。Reinhard在Ruderman的基礎(chǔ)上，提出了在lαβ空間的色彩校正算法[9]。該方法假設(shè)圖像的偏色現(xiàn)象是圖像的RGB通道數(shù)值乘以未知常量Cr,Cg,Cb所引起的。此舉不會改變圖像在lαβ空間的方差，但會改變平均值。因此，色彩校正主要依靠修正通道的平均值。白色在lαβ空間中定義為(0，0，0)，將表示色彩的α，β通道平均值調(diào)整至0，同時保留l通道的平均值和各通道的標(biāo)準(zhǔn)差，色彩校正就能實現(xiàn)。其算法的步驟為：

1)將需要校正的圖像從RGB顏色空間轉(zhuǎn)換到lαβ顏色空間。

2)計算出該圖像在α，β兩個通道的均值，記為mα，mβ。

3)計算出該圖像總共的像素點，記為N。

4)利用式(1)調(diào)整圖像的均值

(1)

式中：α，β表示lαβ顏色空間通道內(nèi)所有像素的原始值；α′，β′表示處理好之后的所有像素值；mα，mβ分別表示α，β兩個通道均值；Cα，Cβ分別表示α，β兩個通道實際需求的通道均值，若圖像僅需要色彩校正而不需額外添加色彩效果，則Cα，Cβ均為0。

5) 將處理好之后的圖像轉(zhuǎn)回RGB顏色空間。

1.2 全局顏色傳遞算法

顏色傳遞是一種改變圖像顏色的算法，通過定義提供結(jié)構(gòu)的源圖像和提供色彩布局的參考圖像，就可以得到既有源圖像的形狀又有參考圖像顏色的合成圖像。Reinhard提出了一種顏色傳遞算法，通過把圖像轉(zhuǎn)換到lαβ空間，繼而進行統(tǒng)計學(xué)計算來實現(xiàn)全局的顏色傳遞[5]，此種方法處理數(shù)據(jù)少，計算復(fù)雜度低，非常適合于大批量圖像的處理。顏色傳遞算法具體步驟如下：

1) 將源圖像和參考圖像均從RGB顏色空間轉(zhuǎn)換到lαβ顏色空間，這樣就可以去除兩圖像之間的相關(guān)性。

3) 按式(2)將各個通道的所有像素值分別減去其均值，達到弱化源圖像的整體色彩信息的目的。

(2)

4)將源圖像與參考圖像標(biāo)準(zhǔn)差之比作為通道值偏移量的系數(shù)，按式(3)將參考圖像的細節(jié)信息映射到源圖像中。

(3)

式中：l′，α′，β′表示合成圖像在lαβ顏色空間的三通道的所有像素值。

5) 在所得合成圖的基礎(chǔ)上按式(4)加上參考圖像各通道的均值，添加參考圖像的整體信息以完成最終合成效果。

(4)

式中：l，α，β是合成圖像最后得到的三通道所有像素值。

6) 完成顏色傳遞后將合成圖像由lαβ顏色空間轉(zhuǎn)換到RGB顏色空間。

2 算法的實現(xiàn)

2.1 修復(fù)方法的流程

本文通過對彩色老電影中的全局閃爍情況的分析，設(shè)計了一種采用彩色校正和顏色傳遞的閃爍校正方法，并設(shè)計了自動修復(fù)系統(tǒng)，方法的流程如圖1所示。

圖1 老電影全局閃爍修復(fù)系統(tǒng)流程圖

由于本文所提方法適用于同一個鏡頭下的閃爍修復(fù)，對于導(dǎo)入的序列存在多個鏡頭的情況，需要進行分鏡處理。在同一組鏡頭序列中，選擇合適的一幀圖像作為參考幀，若無恰當(dāng)?shù)倪x擇則使用色彩校正算法處理褪色情況較輕的一幀，將處理后的結(jié)果作為參考幀。然后使用顏色傳遞算法將參考幀的顏色特性依次傳遞給同組每一幀圖像。當(dāng)同一組分鏡處理好之后，重復(fù)上述過程直至導(dǎo)入序列的每一幀均處理完畢。

2.2 修復(fù)方法的實現(xiàn)

本文的系統(tǒng)采用VisualStudio2013作為開發(fā)工具，制作界面選擇了基于對話框的MFC，同時配置了OpenCV2.4.9來支持算法的編寫。

利用VC++和OpenCV實現(xiàn)的系統(tǒng)的具體過程和部分代碼如下：

1)初始化

圖像序列默認以uint8的格式導(dǎo)入系統(tǒng)，為了確保后續(xù)數(shù)據(jù)處理的精確度，將圖像改為float格式，把圖像數(shù)值從(0，255)映射到(0.0，1.0)區(qū)間：

src.convertTo(src，CV_32FC3，1.0f/255.0f)；

2)RGB到lαβ顏色空間的轉(zhuǎn)換

對于判定有閃爍特性的分鏡序列，在整組序列找不到合適的參考幀時，選擇一幀偏色情況較輕的圖像進行色彩校正處理，將處理后的圖像作為參考幀。

在色彩校正之前，需要將圖像從RGB顏色空間轉(zhuǎn)換到lαβ空間。轉(zhuǎn)換的參考公式各異，對于本系統(tǒng)，選擇了Reinhard等人提供的公式[9]，其優(yōu)點在于公式簡潔，無需數(shù)值分段處理。核心代碼如下：

L=0.3811*R+0.5783*G+0.0402*B；

M=0.1967*R+0.7244*G+0.0782*B；

S=0.0241*R+0.1288*G+0.8444*B；

l=(L+M+S)/sqrt(3.0)；

a=(L+M-2*S)/sqrt(6.0)；

b=(L-M)/sqrt(2.0)；

3)色彩校正

對于轉(zhuǎn)換到lαβ顏色空間的圖像求取其平均值：

ScalarsrcMeans；

srcMeans=mean(srcLab)；

再用上文提到的色彩校正公式進行計算：

Data[i]=Data[i]-srcMeans[0]+A/N；

Data[i+1]=Data[i+1]-srcMeans[1]+B/N；

4)顏色傳遞

對于轉(zhuǎn)換到lαβ顏色空間的待處理幀和參考幀，首先求取每個通道的平均值和標(biāo)準(zhǔn)差：

meanStdDev(srcLab，srcMeans，srcVariances)；

meanStdDev(refLab，refMeans，refVariances)；

再用上文提到的顏色傳遞公式進行計算：

for(intchanel=0；chanel<3；chanel++)

{

dataTemp[chanel]=refVariances[chanel]/srcVariances[chanel]；

}

Data[i]=dataTemp[0]*(Data[i]-srcMeans[0])+refMeans[0]；

Data[i+1]=dataTemp[1]*(Data[i+1]-srcMeans[1])+refMeans[1]；

Data[i+2]=dataTemp[2]*(Data[i+2]-srcMeans[2])+refMeans[2]；

5)lαβ到RGB顏色空間的轉(zhuǎn)換

處理好后的圖像幀需從lαβ空間轉(zhuǎn)回RGB空間，其計算過程是RGB到lαβ顏色空間轉(zhuǎn)換的逆過程：

L=l/sqrt(3.0)+a/sqrt(6.0)+b/sqrt(2.0)；

M=l/sqrt(3.0)+a/sqrt(6.0)-b/sqrt(2.0)；

S=l/sqrt(3.0)-2*a/sqrt(6.0)；

R=4.4679*L-3.5873*M+0.1193*S；

G=-1.2186*L+2.3809*M-0.1624*S；

B=0.0497*L-0.2439*M+1.2045*S；

值得注意的是，在顏色傳遞的過程中，單個像素的值可能會超出原定范圍，故圖像在轉(zhuǎn)回RGB空間后，需檢查值的溢出問題：

if(Data[i]>1.0)

Data[i]=1.0；

elseif(Data[i]<0.0)

Data[i]=0.0；

6)后處理

將最后的處理結(jié)果的格式轉(zhuǎn)回uint類型，用于顯示及存儲：

dst.convertTo(dst，CV_8UC3，255)

3 系統(tǒng)界面和實驗分析

3.1 系統(tǒng)界面

本系統(tǒng)由兩個主界面組成，圖2是整個系統(tǒng)的主界面，此界面主要用于展示使用顏色傳遞算法對整個序列的處理效果。界面分為3個區(qū)域，界面左邊的2個圖形框分別用于顯示同一幀圖像處理前與處理后的對比效果。界面右側(cè)下部的2個圖形框用于統(tǒng)計該序列處理前和處理后所有圖像的RGB均值，用以說明顏色傳遞算法的實用性。右側(cè)上部的按鈕用以實現(xiàn)不同的功能。

圖2 系統(tǒng)主界面1(截圖)

圖3是本系統(tǒng)針對單幀圖像處理結(jié)果的界面。相對于主界面只能處理固定文件夾下的整個圖像序列，此界面能對靈活載入計算機內(nèi)任意位置的圖像進行處理，并且該界面主要用于顏色傳遞算法與色彩校正算法的對比。界面分為2個區(qū)域，左邊的4個圖形框為展示區(qū)域，分別展現(xiàn)了源圖像、參考圖像、運用顏色傳遞進行處理后的合成圖像，以及源圖像經(jīng)過色彩校正之后的圖像。界面的右側(cè)區(qū)域主要是算法的選取，當(dāng)選取色彩校正時，需手動輸入α、β通道的均值。

圖3 系統(tǒng)主界面2(截圖)

3.2 實驗分析

本文選用動畫電影《沒頭腦和不高興》中的一組鏡頭序列作為實驗用例，圖像大小為2 048×1 556，該序列共有50幀圖像，褪色閃爍現(xiàn)象較為嚴重。

由于實驗序列中沒有合適的參考幀，故選擇偏色情況相對較輕的一幀圖像，在色彩校正之后作為整段序列的參考幀。圖4a選自實驗序列第33幀圖像，偏色不太嚴重，在進行色彩校正后如圖4b所示，兩幅圖前后對比可見，經(jīng)過校正后圖像偏紅的現(xiàn)象得到明顯改善。

圖4 色彩校正結(jié)果對比

將圖4b所示結(jié)果作為實驗序列的參考幀，在lαβ顏色空間內(nèi)計算出參考幀及序列中其他待處理幀的顏色特性，按照本文第一部分給出的式(2)～(4)依次將參考幀的顏色特性傳遞給其他幀。圖5b展示了經(jīng)過顏色傳遞算法處理后序列的第30～35幀結(jié)果，相對于圖5a的原始圖像序列，褪色現(xiàn)象得到明顯改善，圖像的色彩基本達到一致。

圖5 全局閃爍修復(fù)效果

圖6a為實驗序列原始圖像的RGB通道均值的統(tǒng)計結(jié)果，總計共50幀。圖6b為經(jīng)過色彩校正和顏色傳遞處理后的統(tǒng)計結(jié)果。相對原始均值統(tǒng)計，處理后序列的均值曲線平滑，從客觀上證明了顏色傳遞算法在處理褪色閃爍上有明顯效果。

圖6 處理前后序列均值統(tǒng)計對比

4 結(jié)束語

本文采用基于顏色傳遞和色彩校正的方法實現(xiàn)了對老電影中全局閃爍的自動修復(fù)。在VS2013中利用OpenCV2.4.9實現(xiàn)了視頻序列處理的相關(guān)算法。針對分鏡后老電影序列，在修復(fù)序列無參考幀的情況下，

采用色彩校正修復(fù)一幀圖像，將修復(fù)后的圖像作為參考幀，再使用顏色傳遞算法對該序列進行修復(fù)。實驗證明，本方法對全局褪色閃爍的去除效果顯著。

[1] 李志永，杜坤.電影數(shù)字修復(fù)中全局閃爍的去除[J].現(xiàn)代電影技術(shù)，2010(2)：15-17.

[2]PITIEF，DAHYOTR，KELLYF，etal.Statisticalmethodsinvideoprocessing[M].Heidelberg：Springer， 2004： 153-164.

[3] 張然然，吳冏，丁友東，等.電影檔案中亮度閃爍的修正[J].計算機工程，2010，36(5)：272-273.

[4] 諶安軍，滕升華，鄒謀炎.圖像序列中亮度閃爍去除[J].電子與信息學(xué)報，2007，29(1)：39-42.

[5] 周磊.電影膠片修復(fù)及噪聲處理關(guān)鍵技術(shù)的研究[D].上海：上海交通大學(xué)，2008.

[6] 趙培棟，韓軍，閔友鋼，等.基于多幀參考的分塊視頻閃爍消除算法[J].上海大學(xué)學(xué)報：自然科學(xué)版，2010，16(4)：342-348.

[7]JULIED.Movieandvideoscale-timeequalizationapplicationtoflickerreduction[J].IEEEtransactionsonimageprocessing， 2006， 15(1)：241-248.

[8]RUDERMANDL，CRONINTW，CHIAOCC.Statisticsofconeresponsestonaturalimages：implicationsforvisualcoding[J].OpticalsocietyofAmerica，1998(15)：2036-2045.

[9]REINHARDE，ASHIKHMINM，GOOCHB，etal.Colortransferbetweenimages[J].IEEEcomputergraphicsandapplications， 2001(9)：34-41.

黃 曦(1992— )，碩士生，主研圖形圖像處理；

丁友東(1967— )，博士，教授，博士生導(dǎo)師，主要研究方向為計算機圖形學(xué)、數(shù)字影視技術(shù)等；

吳 兵(1983— )，博士生，主要研究方向為圖形圖像處理。

責(zé)任編輯：閆雯雯

Implementation and design of old film global flicker restoration system

HUANG Xi， DING Youdong， WU Bing

(ShanghaiFilmAcademy，ShanghaiUniversity，Shanghai200072，China)

Aiming at flicker phenomenon in old films， a method based on color transform and hue correction is presented. There are three key steps to remove flicker on the video sequence. Firstly， the imported sequence is grouped and then each group is judged whether there is flicker. Secondly， reference frame is chosen in each group. If there is no appropriate one， a frame is corrected with hue correction algorithm. Finally， global flicker is removed by using color transform algorithm in each sequence group. The relevant algorithm is designed by VS2013 and OpenCV， key codes are given as well. Results show that the method can effectively remove global flicker in old films， and is suitable for automated interactive restoration system.

old film restoration； global flicker； color transform； hue correction

黃曦，丁友東，吳兵.老電影全局閃爍修復(fù)系統(tǒng)的設(shè)計與實現(xiàn)[J]. 電視技術(shù)，2016，40(12)：125-129. HUANG X， DING Y D， WU B. Implementation and design of old film global flicker restoration system [J]. Video engineering，2016，40(12)：125-129.

TP391.4

A

10.16280/j.videoe.2016.11.024

國家自然科學(xué)基金項目(61402278：61303093)；上海市自然科學(xué)基金項目(14ZR1415800)；上海市科委科技攻關(guān)項目(14511108400)；上海市教委科研創(chuàng)新項目(14YZ023)；2015年度上海大學(xué)電影學(xué)高峰學(xué)科

2016-03-11