于冰,丁友東,董蓀,黃曦

(1.上海大學(xué)上海電影學(xué)院,上海 200072; 2.上海大學(xué)上海電影特效工程技術(shù)研究中心,上海 200072)

?數(shù)字影視技術(shù)?

基于分組魯棒主成分分析的老電影修復(fù)

于冰1,2,丁友東1,2,董蓀1,2,黃曦1,2

(1.上海大學(xué)上海電影學(xué)院,上海 200072; 2.上海大學(xué)上海電影特效工程技術(shù)研究中心,上海 200072)

以老電影視頻為研究對象,針對序列中存在的多種損傷類別,提出一種基于分組魯棒主成分分析(robust principal component analysis,RPCA)的統(tǒng)一修復(fù)方法.采用鏡頭分割和去閃爍實現(xiàn)對視頻序列的預(yù)處理.在多分辨率金字塔框架下,采用時空域分組的方式在最粗糙層構(gòu)造觀測矩陣,依次執(zhí)行基于交替線性法的RPCA變換后,根據(jù)幀間誤差信息得到大面積破損位置;利用上采樣方式構(gòu)造初步修復(fù)結(jié)果序列、破損掩模序列以及最近鄰偏移矩陣集合,繼而對原始序列進(jìn)行修改,重復(fù)時空域分組RPCA變換,實現(xiàn)對老電影視頻序列的修復(fù).實驗結(jié)果證明,該方法能夠同時修復(fù)畫面中的不同損傷,并取得良好的效果.

老電影;視頻修復(fù);魯棒主成分分析

電影膠片自誕生之日起已百年有余,經(jīng)過長時間的存放,現(xiàn)存影片大多會出現(xiàn)不同程度的多種損傷,主要有顏色退化、畫面閃爍、撕裂變形、劃痕、斑塊、臟點、顆粒噪聲等視覺問題,亟需修復(fù)保護(hù).數(shù)字視頻去噪、修復(fù)、顏色校正等增強方法由于能夠移除多余內(nèi)容、恢復(fù)丟失信息、改善畫面質(zhì)量而被廣泛用于老電影數(shù)字化修復(fù)[1].

經(jīng)過數(shù)十年的研究,老電影的數(shù)字化修復(fù)技術(shù)取得了長足發(fā)展.Sadhar等[2]針對影片中的顆粒噪聲,提出一種基于粒子濾波的退化圖像恢復(fù)方法,利用時空上下文信息完成損傷序列的去噪.劃痕的修復(fù)關(guān)鍵在于確定其在每幀畫面中的位置,Gullu等[3]首先通過建立豎直方向的一維亮度特征模型確定劃痕候選集合,然后利用制定的分塊匹配策略剔除誤檢,最后結(jié)合優(yōu)先權(quán)和亮度變換規(guī)則完成缺損修復(fù).針對斑塊的檢測和修復(fù),Ren等[4]結(jié)合時空域信息和區(qū)域增長實現(xiàn)位置標(biāo)記,Ahmed等[5]將損傷序列看作是原始部分和污損部分的連續(xù)混合,并采用一種貝葉斯框架完成對畫面中斑塊的修復(fù).隨后,Elgharib等[6]運用半透明退化模型擴(kuò)展了該框架,以同時去除豎直劃痕和斑點兩類破損.在老電影中,各種損傷的大小、位置、退化程度各異,而上述的修復(fù)方案往往只針對一種或兩種損傷,對于每幀畫面均需重復(fù)應(yīng)用多種修復(fù)方案,這在很大程度上降低了工程實踐效率.

近年來,魯棒主成分分析(robust principal component analysis,RPCA)理論備受關(guān)注,已成功應(yīng)用于視頻背景建模[7]、人臉圖像對齊[8]、光度立體重建[9]等計算機(jī)圖形學(xué)和圖像處理領(lǐng)域.RPCA衍生于壓縮感知中的恢復(fù)技術(shù),故又被稱為低秩矩陣恢復(fù)(low-rank matrix recovery).該方法在滿足誤差稀疏性的假設(shè)下,旨在把一個矩陣分解為低秩矩陣部分和誤差矩陣部分.

視頻序列在時空域均存在較強的相關(guān)性和冗余性,這就為幀間聯(lián)合修復(fù)提供了有利條件.基于塊的非局部視頻去噪[10]取得了卓有成效的成果,通過圖像分塊聚合分組的方式,在充分挖掘視頻幀間和幀內(nèi)相似性和冗余性的基礎(chǔ)上,利用稀疏三維變換域協(xié)同濾波實現(xiàn)去噪.在相似框架下,Ji等[11]提出了一種聯(lián)合稀疏和低秩矩陣近似的方法,通過分組求解核范數(shù)最小化問題,完成視頻去噪和修復(fù).該方法可以看作是文獻(xiàn)[10]和文獻(xiàn)[7]思想的綜合,將視頻中的每幀畫面分塊并按相似規(guī)則聚合后,每組的圖像塊修復(fù)問題實質(zhì)上和文獻(xiàn)[7]中的背景和前景分離問題是一致的,污損圖像塊的有效信息和損傷信息分別對應(yīng)于視頻中的靜態(tài)背景和動態(tài)前景.在大多數(shù)情況下,如果把每一個圖像塊按列拉伸后組合成一個觀測矩陣,則該矩陣可通過RPCA變換分解為低秩矩陣和稀疏矩陣[12],從而可實現(xiàn)損傷元素的位置檢測和誤差恢復(fù)同步進(jìn)行.該方法在無需噪聲和損傷類型假設(shè)的前提下,實現(xiàn)了老電影序列的有效修復(fù),但仍存在如下問題：首先,由于該方法的塊分組策略只是簡單地將視頻中各幀的相似塊組合在一起,對于鏡頭中場景內(nèi)容變換較大的序列,往往造成結(jié)果模糊;其次,對于斑塊、臟點等損傷,該方法能修復(fù)的損傷面積往往取決于劃分圖像塊的大小,無法保證全面的修復(fù)效果;再次,該方法中RPCA的求解方法采用了較為耗時的加速逼近梯度(accelerated proximal gradient,APG)算法[11],影響了算法的應(yīng)用推廣.

針對老電影破損特征以及上述修復(fù)方案的不足,本工作提出了一種基于分組魯棒主成分分析的修復(fù)算法.本算法在基于塊的多幀聯(lián)合修復(fù)框架中加入大面積破損檢測步驟,利用RPCA變換分解出的誤差矩陣結(jié)合時空域信息定位破損區(qū)域位置;在修復(fù)過程中,引入交替線性法(alternating linearization method,ALM)對RPCA模型進(jìn)行求解,實現(xiàn)低秩矩陣和誤差矩陣的分離.相比傳統(tǒng)的APG算法,本算法在時間效率和計算準(zhǔn)確度方面均有提高.

1 算法框架

本工作設(shè)計的老電影修復(fù)算法主要分為3個處理階段,總體框架如圖1所示.首先,需要將整部電影按鏡頭劃分為若干序列,為了避免分組誤差,又需對鏡頭內(nèi)的序列去閃爍.然后,在不同分辨率下進(jìn)行檢測和修復(fù)步驟.檢測步驟用到的是金字塔的最粗糙層,通過分組RPCA變換的方式,輸出低分辨率的修復(fù)序列和損傷序列,并結(jié)合時空域信息,篩選得到損傷掩模序列;修復(fù)步驟用到的是金字塔的最高層,而處理的對象是經(jīng)過檢測步驟輸出結(jié)果修改后的視頻序列,重復(fù)分組RPCA變換.最終通過分塊聚合方式輸出修復(fù)后的老電影序列.

圖1 總體框架圖Fig.1 Overall framework

2 算法描述

2.1 預(yù)處理

老電影視頻包含多個場景,每個場景又包含多個鏡頭,而一個鏡頭表示內(nèi)容上連續(xù)的視頻片段,鏡頭內(nèi)各幀存在顯著的時間相關(guān)性.鑒于此,為了防止出現(xiàn)內(nèi)容劇烈變化,本工作采用文獻(xiàn)[13]中的方法將序列分割為多個鏡頭.因本工作采用基于塊的分組方法,而塊匹配對于圖像的亮度變化反應(yīng)敏感,故需在修復(fù)前對視頻中存在的閃爍進(jìn)行校正和消除.具體采用文獻(xiàn)[14]中的顏色傳遞算法,通過選擇參考幀并對其他幀分別作相對于參考幀的顏色傳遞,實現(xiàn)鏡頭內(nèi)序列的閃爍消除.

2.2 塊分組

對于有T幀的視頻序列F={It}將其按空域分為若干有重疊的圖像塊,大小為N×N,用Pt(q)表示任意幀It中以像素q=(x,y)為左上角元素的矩形圖像塊.選定It中的任意塊Pt(qR)為參考塊.在這里,下標(biāo)R∈X表示圖像空間域中的一個坐標(biāo),集合X?Z2.那么,兩個塊之間的距離可以表示為

式中,距離D(·,·)是兩圖像塊中像素平方差之和(sum of squared differences,SSD),u∈[0,N]×[0,N]是圖像塊大小范圍內(nèi)像素橫縱坐標(biāo)偏移,Υ表示自適應(yīng)中值濾波操作[11],用來減少塊匹配誤差.如果D(Pt(qR),Pi(qj))是Ii所有塊中相對于Pt(qR)距離最小的,則稱Pi(qj)為Pt(qR)在幀Ii中的最近鄰塊,記為NN(Pt(qR),Pi(qj)).依此類推,目標(biāo)是找到參考塊在其他幀{I1,I2,…,It?1,It+1,…,IT}中的最近鄰塊,如果其他幀中的某個圖像塊滿足條件

則將該圖像塊和Pt(qR)放在一起構(gòu)成集合.式(2)中,下標(biāo)i=1,2,…,t?1,t+1,…,T,閾值τ表示Pt(qR)與其他幀所有最近鄰塊距離從小到大排序后τ%位置的值.設(shè)置閾值τ是為了防止出現(xiàn)由于塊之間相似度不高而造成結(jié)果中出現(xiàn)實際內(nèi)容誤消除.隨后,對集合內(nèi)的每個圖像塊向量化,并按順序排列構(gòu)成矩陣M,大小為m×n,這里,m為圖像塊中的元素數(shù)目,n為集合NtR中的元素數(shù)目.

如果用φ(Pt(qR),Pi(qj))=Pi(qj)?Pt(qR)表示參考塊相對于其最近鄰塊的偏移量,可以看出搜索NN(·,·)等同于搜索φ(·,·),而所有偏移量的集合就構(gòu)成了幀It相對于幀Ii的最近鄰域(nearest neighbor field,NNF).為了提高計算速度,采用PatchMatch方法[15]求取近似最近鄰域偏移.本算法是基于多幀聯(lián)合的分組修復(fù)方法,故需計算參考幀相對于所有其他幀的最近鄰域偏移集合,然后將該集合存放在一個三維矩陣中,用φt∈Rm×n×(T?1)表示,稱作最近鄰偏移矩陣.

2.3 魯棒主成分分析

本工作采用RPCA變換從圖像塊中分離出稀疏誤差,從而實現(xiàn)逐塊修復(fù)的目的.模型假定原始矩陣結(jié)構(gòu)良好(低秩),而且只有小部分元素被破壞,即誤差是稀疏的.可以用以下優(yōu)化模型來描述RPCA變換問題：

式中,M∈Rm×n是觀測矩陣,A∈Rm×n是低秩矩陣,對應(yīng)于視頻塊修復(fù)后的內(nèi)容,E∈Rm×n是稀疏部分,對應(yīng)于數(shù)據(jù)中的噪聲、誤差等.對核范數(shù)f(A)=∥A∥?和?1范數(shù)g(E)= ρ∥E∥1利用Nesterov平滑技術(shù)[16]進(jìn)行處理得到兩個平滑函數(shù),分別用fσ(A)和gσ(E)表示,σ> 0表示平滑參數(shù).而fσ(A)和gσ(E)的最優(yōu)解Wσ(A)和Zσ(E)[17]為

式中,U Diag(γ)VT是A/σ的奇異值分解.這樣就把式(3)轉(zhuǎn)化為以下平滑問題：

本工作采用交替線性法[17]對上述約束問題進(jìn)行求解,由于同時極小化A和E較為困難,因此采用交替迭代的策略.首先,初始化懲罰參數(shù)μ,在第k+1次迭代時,Ak+1和Ek+1分別可以表示為

2.4 大面積損傷檢測

通過對老電影的損傷特征進(jìn)行分析,可以發(fā)現(xiàn)畫面損傷呈現(xiàn)出大小不定性,有些幀中會出現(xiàn)大面積的損傷,如果只使用文獻(xiàn)[11]的修復(fù)框架,往往會因為若干包含在破損區(qū)域內(nèi)部的圖像塊無法正確找到匹配塊而造成錯誤修復(fù)結(jié)果.因此,本工作在修復(fù)前加入了大面積損傷檢測步驟.對視頻序列F={It}下采樣構(gòu)造一組金字塔,第1層為原始圖像層,第L層為最粗糙層.第L層的序列用FL={表示,檢測步驟對該層視頻進(jìn)行操作.首先,選定ItL為參考幀,采用按塊分組的方式構(gòu)造觀測矩陣,對每一組觀測矩陣依次執(zhí)行RPCA變換,實現(xiàn)低秩矩陣和誤差矩陣的分離;然后,對每組中的低秩矩陣和誤差矩陣分別反變換為修復(fù)塊組和誤差塊組,并按記錄的坐標(biāo)放置到原始位置.由于本工作是按可重疊圖像塊劃分的,因此采用相加取平均的聚合方式得到每個坐標(biāo)位置的像素值.最終得到兩個視頻序列,分別是修復(fù)序列其中誤差序列包含了影片中的破損部分和由于目標(biāo)運動、誤匹配等原因造成的冗余誤差.

分析大面積破損區(qū)域的特點可以發(fā)現(xiàn),如果某幀有損傷,則其前后同一位置往往并不存在破損.據(jù)此,先通過選定的閾值對參考幀及其前后幀進(jìn)行二值化,得到的二值圖像分別表示為然后計算參考幀的初始破損掩模,式中,(x,y)表示參考幀中坐標(biāo)(x,y)處的初始掩模圖像值.在此之后,通過形態(tài)學(xué)膨脹和腐蝕運算,連接臨近封閉區(qū)域、平滑邊界、去除細(xì)小區(qū)域,得到參考幀最終破損掩模圖像,記為.對視頻序列中的每幀圖像重復(fù)執(zhí)行此過程,得到集合并在執(zhí)行的同時記錄各幀最近鄰偏移矩陣,從而形成集合

在完成最粗糙層的分組RPCA變換后,采用最近鄰插值的上采樣方法得到金字塔最高分辨率層的修復(fù)序列最近鄰域偏移矩陣集合至此完成了檢測步驟的執(zhí)行.

2.5 視頻序列修復(fù)

本算法的修復(fù)階段同樣是應(yīng)用檢測步驟的分組修復(fù)方式,對輸入的視頻序列選定It為參考幀,計算其最近鄰偏移矩陣?t,這樣就可以結(jié)合由檢測步驟得出的破損掩模,實現(xiàn)對參考幀的修改.具體方式如下：

式中,It,m表示被修改后的參考幀.然后,還需對最近鄰域偏移矩陣進(jìn)行修改,

式中,?t,m表示被修改后的最近鄰偏移矩陣.在修復(fù)步驟中執(zhí)行如上修改操作,主要是針對畫面中存在的大面積破損的視頻序列進(jìn)行修復(fù).這樣,一旦某幀中出現(xiàn)大的損傷區(qū)域,在塊分組構(gòu)造觀測矩陣后,通過以上方式修改后的幀在執(zhí)行RPCA變換時,由于保證了每列均被采用,就會避免矩陣無法有效低秩分解的情況出現(xiàn).圖2是利用破損掩模修改參考幀的示例,可以看出通過修改操作,破損區(qū)域中被填充了部分采樣信息.

圖2 參考幀修改過程Fig.2 Reference frame modification process

利用本工作提出的基于關(guān)鍵幀的分組修復(fù)方法,通過遍歷參考幀空間域所有重疊圖像塊,完成一幀的修復(fù),這樣依次進(jìn)行,直到完成對所有時間域各幀的遍歷.在完成第一個參考幀的修復(fù)后,其他幀只有少部分塊未被匹配,未實現(xiàn)分解.本工作把每一幀均作為關(guān)鍵幀,但除第一個關(guān)鍵幀外,對以后關(guān)鍵幀中的圖像塊設(shè)置了是否已被修復(fù)的標(biāo)志;對已被修復(fù)的塊,在接下來的循環(huán)操作中,不作RPCA變換,這樣就在最大程度節(jié)省算法執(zhí)行時間的前提下實現(xiàn)了老電影序列多幀聯(lián)合修復(fù).

3 實驗結(jié)果分析

為了驗證所提出算法的可行性,針對老電影中常見損傷的修復(fù)問題進(jìn)行仿真實驗,并分別與其他算法的修復(fù)效果進(jìn)行對比.采用Matlab 2012a作為編程工具,實驗環(huán)境為Intel Xeon 2.9 GHz處理器以及16 GB內(nèi)存的計算機(jī).本工作對合成的降質(zhì)視頻序列和真實老電影序列分別進(jìn)行了實驗驗證,合成數(shù)據(jù)選用標(biāo)準(zhǔn)視頻序列“foreman”和“mother-daughter”,大小均為288×352像素,視頻幀數(shù)均為T=50,并添加混合噪聲和人為損傷;真實數(shù)據(jù)選用有代表性的黑白和彩色老電影《馬路天使》和《孫悟空三打白骨精》中的某個鏡頭,分辨率分別為720×576和704×512像素,鏡頭中視頻幀數(shù)分別為T=100和24.以上實驗數(shù)據(jù)均來自互聯(lián)網(wǎng).

對合成數(shù)據(jù)進(jìn)行實驗,并采用峰值信噪比(peak signal to noise ratio,PSNR)作為修復(fù)效果的評價指標(biāo).本算法設(shè)置遍歷空間域圖像塊的采樣步長為s_r=4,塊大小為p_s=32×32,閾值τ為90%.圖3顯示了采用不同算法對“foreman”序列中某一幀的修復(fù)結(jié)果,合成幀是由圖3(b)中的損傷掩模、σ=10的高斯噪聲、s=20的椒鹽噪聲混合而成.可以看出,文獻(xiàn)[10]的算法雖然能在一定程度上改善畫面質(zhì)量,但并不能實現(xiàn)損傷修復(fù),而本算法結(jié)果與文獻(xiàn)[11]的修復(fù)效果相當(dāng).圖4顯示了采用3種算法修復(fù)大面積損傷的結(jié)果,合成幀是由圖4(b)中的損傷掩模、σ=5的高斯噪聲、s=10的椒鹽噪聲混合而成.可見,文獻(xiàn)[11]的算法由于未考慮損傷的大小,而只使用固定大小的劃分圖像塊方式,不能有效實現(xiàn)破損區(qū)域的塊匹配,從而造成如圖4(e)所示的“塊效應(yīng)”修復(fù)結(jié)果,而本算法則能夠有效實現(xiàn)修復(fù).表1列出了在使用相同掩模和不同噪聲強度的情況下,不同算法在兩個視頻幀上的PSNR值,可見本算法優(yōu)于文獻(xiàn)[10]和[11]的算法.

圖3 “foreman”的修復(fù)實驗結(jié)果Fig.3 Experimental results of“foreman”

圖4 “mother-daughter”的修復(fù)實驗結(jié)果Fig.4 Experimental results of“mother-daughter”

表1 不同算法的PSNR值Table 1 PSNR values of different algorithms

對兩組真實影片鏡頭進(jìn)行實驗,采用不同的參數(shù)設(shè)定.對于黑白老電影視頻序列,采用本算法遍歷空間域圖像塊的采樣步長設(shè)置為s r=16,塊大小為ps=32×32,閾值τ為50%, RPCA變換迭代次數(shù)為30.圖5顯示了兩種算法在序列同一幀上的修復(fù)結(jié)果,可以看出,原始幀中存在顆粒噪聲、斑點、劃痕等多種損傷,采用基于分組RPCA變換的方法能夠很好地完成畫面修復(fù).而同等參數(shù)設(shè)置下文獻(xiàn)[11]的算法雖然完成了損傷去除,但存在模糊和過修復(fù)現(xiàn)象,一方面是因為基于APG的RPCA變換在迭代次數(shù)較少的情況下會產(chǎn)生較大的分解誤差,另一方面是由于分組規(guī)則中未設(shè)置閾值而產(chǎn)生聚合模糊后果.對于彩色老電影視頻序列,采用本算法遍歷空間域圖像塊的采樣步長設(shè)置為sr=4,塊大小為ps=32×32,閾值τ為100%, RPCA變換迭代次數(shù)為50.圖6顯示了兩種算法的修復(fù)結(jié)果,可以看出,雖然文獻(xiàn)[11]的算法能有效解決劃痕、臟點等問題,但明顯的大面積斑塊依然存在;而本算法在借助檢測步驟生成的有效輔助數(shù)據(jù)基礎(chǔ)上,實現(xiàn)了畫面的有效修復(fù).

表2是文獻(xiàn)[11]的算法和本算法的執(zhí)行時間比較.可見,本算法基于交替線性法的RPCA變換擁有較快的收斂速度,故在迭代次數(shù)較少的情況下,即可實現(xiàn)較好的修復(fù)效果.另外,通過引入PatchMatch近似最近鄰分組方法,本算法還克服了文獻(xiàn)[11]中三步分級搜索(three step search,TSS)算法塊匹配耗時多的缺點.所以,本算法在不同參數(shù)設(shè)定情況下的時間效率均較文獻(xiàn)[11]算法有明顯提高.

圖5 黑白老電影的修復(fù)實驗結(jié)果Fig.5 Experimental results of the black-white vintage film

圖6 彩色老電影的修復(fù)實驗結(jié)果Fig.6 Experimental results of the colour vintage with

表2 不同算法執(zhí)行時間比較Table 2 Comparison of execution time of different algorithms

4 結(jié)束語

本工作提出了一種基于分組魯棒主成分分析的老電影修復(fù)方法,將視頻修復(fù)問題轉(zhuǎn)化為時空域的分塊RPCA變換問題,通過基于迭代線性求解的方式,實現(xiàn)了修復(fù)序列和誤差序列的分離;同時,考慮到畫面中的損傷分布大小不一的特點,設(shè)計了一種先檢測后修復(fù)的框架,較好地完成了對不同損傷類型視頻的修復(fù).在未來的工作中,將重點研究更加快速的RPCA求解算法和魯棒性更強的破損區(qū)域檢測方法,從而實現(xiàn)對老電影的高效準(zhǔn)確修復(fù).

[1]Simone C,Tunc O A,Nikolce S,et al.Advanced tools and framework for historical film restoration[J].Journal of Electronic Imaging,2017,26(1)：11-21.

[2]Sadhar S I,Rajagopalan A N.Image estimation in film-grain noise[J].IEEE Signal Processing Letters,2005,12(3)：238-241.

[3]Gullu M K,Urhan O,Erturk S.Scratch detection via temporal coherency analysis and removal using edge priority based interpolation[C]//IEEE International Symposium on Circuits and Systems.2006：1-4.

[4]Ren J,Vlachos T.Efficient detection of temporally impulsive dirt impairments in archived films[J].Signal Processing,2007,87(3)：541-551.

[5]Ahmed M A,Pitie F,Kokaram A C.Extraction of non-binary blotch mattes[C]//IEEE International Conference on Image Processing.2009：2757-2760.

[6]Elgharib M A,Pitie F,Kokaram A.Blotch and scratch removal in archived film using a semi-transparent corruption model and a ground-truth generation technique[J].Current Opinion in Hematology,2013,2013(11)：1-20.

[7]Bouwmans T,Zahzah E H.Robust PCA via principal component pursuit：a review for a comparative evaluation in video surveillance[J].Computer Vision&Image Understanding, 2014,122(4)：22-34.

[8]Wu K K,Wang L,Soong F K,et al.A sparse and low-rank approach to efficient face alignment for photo-real talking head synthesis[C]//IEEE International Conference on Acoustics.2011： 1397-1400.

[9]Wu L,Ganesh A,Shi B,et al.Robust photometric stereo via low-rank matrix completion and recovery[C]//Computer Vision—ACCV 2010.2010：703-717.

[10]Dabov K,Foi A,Egiazarian K.Video denoising by sparse 3D transform-domain collaborative filtering[C]//Signal Processing Conference.2007：145-149.

[11]Ji H,Huang S,Shen Z,et al.Robust video restoration by joint sparse and low rank matrix approximation[J].SIAM Journal on Imaging Sciences,2011,4(4)：1122-1142.

[12]Wright J,Ganesh A,Rao S,et al.Robust principal component analysis：exact recovery of corrupted low-rank matrices via convex optimization[C]//23rd Annual Conference on Neural Information Processing Systems.2009：20-56.

[13]Adjeroh D A,Lee M C.Scene-adaptive transform domain video partitioning[J].IEEE Transactions on Multimedia,2004,6(1)：58-69.

[14]Hacohen Y,Shechtman E,Dan B G,et al.Non-rigid dense correspondence with applications for image enhancement[J].ACM Transactions on Graphics,2011,30(4)：70-79.

[15]Barnes C,Shechtman E,Finkelstein A,et al.PatchMatch：a randomized correspondence algorithm for structural image editing[J].ACM Transactions on Graphics,2009,28(3)：24-33.

[16]Nesterov Y.Smooth minimization of non-smooth functions[J].Mathematical Programming, 2005,103(1)：127-152.

[17]Goldfarb D,Ma S,Scheinberg K.Fast alternating linearization methods for minimizing the sum of two convex functions[J].Mathematical Programming,2013,141(1)：349-382.本文彩色版可登陸本刊網(wǎng)站查詢：http：//www.journal.shu.edu.cn

Group-based vintage film inpainting using robust principal component analysis

YU Bing1,2,DING Youdong1,2,DONG Sun1,2,HUANG Xi1,2
(1.Shanghai Film Academy,Shanghai University,Shanghai 200072,China; 2.Shanghai Engineering Research Center of Motion Picture Special Effects,Shanghai University, Shanghai 200072,China)

In this paper,a new group-based method using robust principal component analysis(RPCA)is proposed to deal with multiple categories of damage in vintage film sequences.Pre-processing of the video sequence is achieved by shot segmentation and flicker elimination.In a framework of multi-resolution pyramid,an observation matrix is constructed on the coarsest level by space-time domain grouping.After performing RPCA transform based on the alternating linear method in sequence,locations of large area damage are obtained based on inter-frame error information.An initial inpainting result sequence,a break mask sequence,and a nearest neighbor offset matrix set using an upsampling method are constructed.The original sequence is then modified.By repeating the space-time grouping RPCA transform,inpainting of the vintage film sequence is realized.Experimental results show that the method can simultaneously repair differentdamages in the screen with good performance.

vintage film;video inpainting;robust principal component analysis(RPCA)

TP 391.41

A

1007-2861(2017)03-0315-09

10.12066/j.issn.1007-2861.1923

2017-03-17

國家自然科學(xué)基金資助項目(61402278);上海市自然科學(xué)基金資助項目(14ZR1415800);上海大學(xué)電影學(xué)高峰學(xué)科和上海電影特效工程技術(shù)研究中心資助項目(16dz2251300);上海市科委科技攻關(guān)資助項目(16511101302)

丁友東(1967—),男,教授,博士生導(dǎo)師,博士,研究方向為計算機(jī)圖形學(xué)、數(shù)字影視動技術(shù). E-mail：ydding@shu.edu.cn