陳 鈺 丁友東 于 冰 徐 敏

(1.上海大學(xué)上海電影學(xué)院, 上海 200072;2.上海大學(xué)上海電影特效工程技術(shù)研究中心, 上海 200072)

視頻彩色化作為視頻處理的一個重要方向, 有著十分廣泛的應(yīng)用.為黑白電影上色是視頻彩色化的一個典型應(yīng)用.傳統(tǒng)的黑白電影彩色化一般采用手工的方式, 這是一項費時費力的工作.20 世紀70 年代, 借助計算機技術(shù), 數(shù)字上色加速了彩色化流程, 但如何提升彩色化的效率仍然是當(dāng)前研究的重點.視頻彩色化的另外一個重要應(yīng)用是為紅外視頻(如監(jiān)控視頻、車載夜視視頻)著色.紅外攝像頭能主動發(fā)射紅外線來夜視成像, 然而只能得到灰度圖像.通過給夜視視頻著色, 能更加直觀地展示視頻中的物體, 方便觀看者做出更準確的判斷.此外, 視頻彩色化還應(yīng)用在視頻壓縮、視頻追蹤等領(lǐng)域.

視頻彩色化方法可以分成兩類: 第一類是手繪樣條在3 維(2 維圖像+時間)中傳遞, 稱為3維手繪傳遞; 第二類是使用關(guān)鍵幀給相鄰幀或所有視頻序列幀傳遞顏色, 稱為幀到幀傳遞.

(1) 3 維手繪傳遞.Levin 等[1]提出了圖像彩色化方法并延展到視頻彩色化, 利用Lucas-Kanade 光流估計[2]將用戶的手繪樣條在時間維度上傳遞以完成所有幀的傳遞.受Irohy 等[3]工作的啟發(fā), Zhen 等[4]利用參考圖像自動生成樣條來進行顏色傳遞.Lang 等[5]基于能量方程最小化提出計算更加魯棒的估計進而改善彩色化的結(jié)果.Yatziv 等[6]根據(jù)一個像素到彩色樣條的時空測地距離來為像素著色.Sheng 等[7]用基于Gabor 特征[8]的函數(shù)替換空間距離, 同時把光流也拓展到Gabor 特征空間中, 該方法能更好地處理紋理和噪點問題.Heu 等[9]通過定義每個像素的顏色精確度計算非源像素(非用戶輸入顏色像素點)的優(yōu)先級, 按照優(yōu)先級對非源像素上色, 其中對于視頻來說, 顏色精確度通過幀間塊匹配方法運算得到.Paul 等[10]使用3D 可操縱金字塔分解的主方向代替運動矢量來指導(dǎo)手繪樣條顏色的傳遞.

(2) 幀到幀傳遞.Welsh 等[11]開創(chuàng)性地提出了基于參考圖像的彩色化方法, 并將其拓展到視頻幀中, 但該方法不能保持空間及時間上的一致性.Sykora 等[12]提出基于塊比較的方法并應(yīng)用于黑白卡通動畫, 但由于塊之間不是稠密對應(yīng)關(guān)系, 該方法不適用于包含復(fù)雜運動的自然視頻.Pan 等[13]使用運動估計將顏色轉(zhuǎn)移到相鄰幀.Teng 等[14]使用優(yōu)化的塊匹配算法進行顏色傳遞.Xia 等[15]使用多幀作為參考幀給目標(biāo)幀著色, 并通過計算序列幀的光流分配著色幀的優(yōu)先級.為了增加視頻彩色化的魯棒性, Pierre 等[16]結(jié)合塊匹配、光流、正則化技術(shù)設(shè)計了一個交互式可變模型.Jampani 等[17]提出一個視頻傳遞模型, 包括一個可以將顏色信息轉(zhuǎn)換到高維空間中進行卷積的時間雙邊網(wǎng)絡(luò)和一個可以提煉特征的空間網(wǎng)絡(luò).Liu 等[18]使用圖像對雙向訓(xùn)練得到可轉(zhuǎn)換的空間傳遞網(wǎng)絡(luò), 該網(wǎng)絡(luò)可以傳遞高動態(tài)范圍、分割、顏色等信息.Meyer等[19]設(shè)計了一個顏色傳遞的深度學(xué)習(xí)框架, 結(jié)合了幀到幀傳遞的局部策略和利用語義信息來解決時間跨度長導(dǎo)致彩色化效果衰減問題的全局策略.

視頻彩色化可以看作是將關(guān)鍵幀中的顏色信息在時間維度上傳遞, 如何尋找視頻序列幀間的對應(yīng)信息是關(guān)鍵.傳統(tǒng)的視頻彩色化方法依賴運算光流來傳遞用戶手繪彩色樣條或者彩色幀中的顏色信息, 然而光流的估計十分耗時而且不能很好解決遮擋問題.此外, 采用前幀給后幀逐幀傳遞顏色的方式, 使得基于傳統(tǒng)光流方法導(dǎo)致的錯誤顏色信息隨著幀的增加而逐步疊加, 彩色化的結(jié)果衰減嚴重.近年來, 研究人員使用深度學(xué)習(xí)解決傳統(tǒng)圖像處理問題, 如圖像去噪[20]、圖像修復(fù)[21]、圖像增強[22]等, 當(dāng)前一些基于卷積神經(jīng)網(wǎng)絡(luò)的視頻插幀算法[23-24]有著不錯的表現(xiàn), 表明這些網(wǎng)絡(luò)學(xué)習(xí)到了幀間像素的運動關(guān)系.本工作將基于像素流的插幀方法[24]應(yīng)用在視頻彩色化中, 構(gòu)建了一個新的視頻彩色化模型.本模型由典型的編碼器-解碼器構(gòu)成, 通過大量視頻幀數(shù)據(jù)的訓(xùn)練, 能較好地學(xué)習(xí)到視頻幀間像素的對應(yīng)關(guān)系.像素流彩色化方法直接從參考幀中拷貝顏色到目標(biāo)幀, 因此得到的彩色圖像避免了欠飽和度的問題.本模型還能一定程度上解決傳統(tǒng)光流不能很好地處理物體遮擋的問題.另外, 相對于傳統(tǒng)光流, 本方法的運算時間大幅減少.

1 視頻彩色化模型框架

基于像素流的視頻彩色化模型的整體框架如圖1 所示.模型采用全卷積的編解碼結(jié)構(gòu), 包含卷積層、池化層和上采樣層.為了解決隨著網(wǎng)絡(luò)層的增加導(dǎo)致的梯度彌散問題, 類似于殘差網(wǎng)絡(luò)ResNet[25]在上采樣層加入了跳轉(zhuǎn)連接.模型的前2 個和后3 個卷積層的卷積核大小為5×5, 更大的感受野使模型能夠處理更大幅度的運動關(guān)系, 其余卷積層的卷積核為3×3.除了最后一層使用Tanh 激活函數(shù), 其余層均使用Leaky ReLU[26]激活函數(shù).

圖1 基于像素流的視頻彩色化模型Fig.1 Video colorization model based on voxel flow

在模型訓(xùn)練階段, 首先將彩色的參考幀和目標(biāo)幀圖像轉(zhuǎn)換到Lab 顏色空間, 并將其亮度通道送入模型, 輸出得到2 個通道的像素流, 2 個通道分別包含水平和豎直2 個方向上的偏移坐標(biāo)值, 該偏移坐標(biāo)值指示了目標(biāo)幀某一坐標(biāo)處的顏色應(yīng)該取參考幀中同一坐標(biāo)偏移后的位置的顏色; 然后使用像素流將參考幀的顏色傳遞到目標(biāo)幀中, 再將傳遞得到的顏色與目標(biāo)幀真實顏色的差值作為損失函數(shù), 通過梯度下降法訓(xùn)練模型參數(shù)以減少二者的差異.在測試階段, 將彩色參考幀及灰度目標(biāo)幀作為模型的輸入, 得到目標(biāo)幀的顏色通道后再加上目標(biāo)幀的亮度通道得到最終彩色目標(biāo)幀圖像.

2 方法描述

2.1 像素流彩色化

將參考幀與目標(biāo)幀的亮度通道及顏色通道分別表示為LR,LT,CR,CT, 模型預(yù)測得到的目標(biāo)圖像顏色通道記為.首先, 將參考幀與目標(biāo)幀的亮度通道LR,LT輸入像素流網(wǎng)絡(luò), 經(jīng)過1 個典型的編解碼器的網(wǎng)絡(luò)結(jié)構(gòu), 輸出得到包含2 個通道的像素流Fx,y, 每個通道分別代表了所有坐標(biāo)的水平和垂直偏移值x,y, 其過程如圖2 所示.Fx,y= (x,y)x,y表示目標(biāo)幀坐標(biāo)(x,y) 處的顏色值應(yīng)該取參考幀中坐標(biāo)(x,y) 偏移了(x,y) 后的絕對坐標(biāo)(Px,Py)=(x+x,y+y)處的顏色值CR, 即可以用CR表示:

圖2 參考幀顏色傳遞到目標(biāo)幀F(xiàn)ig.2 Transferring color from reference frame to target frame

需要指出的是, 對于顏色通道a,b, 本工作均使用同一像素流Fx,y.由于模型訓(xùn)練得到的x和y一般為浮點數(shù), 即(Px,Py)不是整數(shù)值, 無法得到整數(shù)坐標(biāo), 因此需要對絕對坐標(biāo)(Px,Py)周圍的4 個整頂點位置做雙線性插值.(Px,Py)周圍的4 個頂點可表示為

式中:V00,V10,V01,V11分別代表左上、右上、左下、右下4 個頂點的坐標(biāo)位置;和分別表示向下取整和向上取整函數(shù).這樣目標(biāo)幀的顏色值可表示為

式中:Wij為雙線性插值的權(quán)重;W00,W10,W01,W11分別對應(yīng)V00,V10,V01,V114 個頂點,

2.2 模型訓(xùn)練

無論是圖像還是視頻的彩色化, 一般把模型得到的目標(biāo)圖像多通道顏色值與參考圖像的多通道顏色值進行比較作為損失函數(shù).本工作使用的是L1 誤差損失函數(shù),L1 相較于L2 能得到更加清晰的邊緣[23,27],

式中:D代表所有參考幀和目標(biāo)幀的顏色通道;N為所有圖像對的數(shù)量.

本工作的訓(xùn)練數(shù)據(jù)集包括DAVIS 數(shù)據(jù)集[28-29]、240-fps 數(shù)據(jù)集[30]及Youtube 視頻.為使模型能更加準確地訓(xùn)練得到幀間的運動關(guān)系, 本工作從這些數(shù)據(jù)集中過濾了一些存在大量的運動模糊、物體運動幅度過大的視頻素材, 最后得到了大約20 000 幀圖像作為訓(xùn)練數(shù)據(jù).對于視頻幀序列, 第一幀和第二幀作為一個圖像對, 第二幀和第三幀作為一個圖像對, 依此類推.同時, 本工作還使用了一些數(shù)據(jù)增強的手段擴充數(shù)據(jù), 如隨機裁剪256×256 的圖像塊、隨機翻轉(zhuǎn)等; 考慮像素流彩色化的可逆性, 隨機變換參考圖像與目標(biāo)圖像的位置.

模型訓(xùn)練時首先使用標(biāo)準差為0.01 的高斯分布對網(wǎng)絡(luò)參數(shù)進行初始化, 使用Adam 方法[31]更新網(wǎng)絡(luò)參數(shù), 學(xué)習(xí)率設(shè)置為0.000 5, 批處理圖像大小為40, 使用深度學(xué)習(xí)框架Pytorch訓(xùn)練了200 代.本工作的模型訓(xùn)練及實驗對比硬件如下: Intel?Xeon E5-2620 V4 CPU;TITAN Xp GPU; 64 GB 內(nèi)存.

3 實驗分析

本工作中測試數(shù)據(jù)集的劃分和文獻[17]相同.另外, UCF 101 數(shù)據(jù)集[32]主要使用峰值信噪比(peak signal to noise ratio, PSNR)作為客觀評價標(biāo)準.

依賴視頻幀中的光流信息來傳遞顏色是視頻彩色化最常用的方法.Xia 等[15]利用半稠密光流先傳遞大部分區(qū)域顏色再使用優(yōu)化算法傳遞其他區(qū)域顏色, 同時還加入了重排列優(yōu)化, 即通過計算視頻幀間的光流得到運動幅度來決定彩色化圖像的順序.Jampani 等[17]設(shè)計的視頻傳遞網(wǎng)絡(luò)在雙邊算子的基礎(chǔ)上加入了一個空間網(wǎng)絡(luò)來優(yōu)化結(jié)果, 該網(wǎng)絡(luò)可以在視頻中傳遞蒙版、顏色信息.為了更加明顯地展現(xiàn)本方法學(xué)習(xí)到了幀間像素的運動關(guān)系, 本工作將直接拷貝參考幀顏色信息到目標(biāo)幀作為參照.考慮到幀到幀的彩色化也可以看作是風(fēng)格遷移的一種, 本工作也選取了照片級圖像風(fēng)格化論文[33]作為對比.

3.1 連續(xù)單幀彩色化

圖3 為本方法與文獻[15,17,33]方法的對比.圖中第一行為DAVIS 數(shù)據(jù)集中soapbox 第70 幀給第71 幀上色, 第二行為football 素材第3 幀給第4 幀上色, 第三行為DAVIS 數(shù)據(jù)中scooter-gray 第49 幀給第50 幀上色.可以看到, 本方法與文獻[15]方法在不同的測試數(shù)據(jù)集上均能得到不錯的彩色化結(jié)果, 尤其在在運動幅度不大的情況下, 本方法的彩色化結(jié)果幾乎與真實圖像無差異; 文獻[15]方法在遮擋物體的邊緣出現(xiàn)了錯誤的上色(第一、二行)或未上色(第三行); 文獻[17]方法的彩色化結(jié)果偏欠飽和度, 色彩邊緣模糊; 文獻[33]方法由于主要目標(biāo)是彩色圖像的風(fēng)格遷移, 故將彩色圖像的風(fēng)格應(yīng)用于黑白照片效果欠佳.

圖3 連續(xù)單幀彩色化方法的比較Fig.3 Comparisons of consecutive single frame colorization methods

為了給彩色化結(jié)果做量化評估, 本工作將彩色化結(jié)果與真實圖像轉(zhuǎn)換到Lab 色彩空間并計算PSNR 平均值, 測試數(shù)據(jù)集為DAVIS 測試數(shù)據(jù)集中的15 個視頻幀.表1 顯示了4 種連續(xù)單幀彩色化方法的平均PSNR 和平均運算時間.本方法可以得到接近文獻[15]方法的PSNR值, 且本方法基于卷積神經(jīng)網(wǎng)絡(luò), 利用GPU 并行運算使得運算時間大幅減少.例如, 計算一幅256×256 的圖片, 本方法平均只需要0.41 s, 而文獻[15]方法需要416.00 s, 文獻[17]和[33]方法分別為1.80 s 和0.85 s.

表1 連續(xù)單幀彩色化平均PSNR 以及平均運算時間Table 1 Average PSNR and average runtime of consecutive frame colorization

3.2 視頻序列彩色化

本工作中幀到幀的彩色化方式可以方便地運用到視頻序列中, 第一幀給第二幀上色, 得到的第二幀給第三幀上色, 以此類推.本工作從測試數(shù)據(jù)集中選取了30 組視頻幀, 每組視頻取前22 幀, 每隔11 幀作為帶有顏色的關(guān)鍵幀, 即第一幀和第十二幀為關(guān)鍵幀.由于文獻[15]中的多幀參與彩色化方法時運算時間過長, 視頻序列彩色化部分未將其作為比較.圖4 展示了隨幀數(shù)的增加3 種方法得到的PSNR 值的變化.文獻[17]和文獻[33]的彩色化方法是全局的, 它們使用同一參考幀給多個目標(biāo)幀上色, 因此得到的PSNR 值較穩(wěn)定; 本方法采用的是幀到幀連續(xù)傳遞顏色的方式, 若中間出現(xiàn)瑕疵, 則將導(dǎo)致后面的彩色化幀PSNR 值逐步減小.但是, 本方法總體表現(xiàn)優(yōu)于對比文獻的方法.圖5 為3 種方法在視頻序列上的彩色化實例對比.可以看出: 在使用關(guān)鍵幀k=0 給目標(biāo)幀k=1 彩色化時, 突然出現(xiàn)的木樁無法在第0 幀找到對應(yīng)的顏色信息, 本方法未能正確上色; 再使用得到的彩色化結(jié)果給目標(biāo)幀k= 5 上色, 木樁仍舊無法正確上色.

圖4 隨目標(biāo)幀幀數(shù)的增加PSNR 值的變化Fig.4 PSNR values change as the number of frames increase

圖5 視頻序列彩色化Fig.5 Colorization of video sequence

3.3 黑白電影彩色化

給黑白電影上色是視頻彩色化的一個應(yīng)用, 本工作選取黑白電影《地道戰(zhàn)》作為實驗案例.首先, 使用基于用戶手繪的半自動的圖像彩色化方法[34]對視頻片段的參考幀k= 0 進行手動上色; 然后, 使用k=0 給后續(xù)連續(xù)幀進行上色.圖6 為3 種方法對黑白電影彩色化的結(jié)果.從圖6 可以看出: 文獻[17]方法的彩色化結(jié)果不穩(wěn)定, 對原始顏色進行了修改; 文獻[33]方法表現(xiàn)出欠飽和度情況; 本方法保留了參考幀的顏色, 較穩(wěn)定地對連續(xù)幀進行了顏色傳遞.

圖6 黑白電影的彩色化Fig.6 Colorization of black and white film

4 結(jié)束語

本工作提出了基于像素流的視頻彩色化方法, 通過一個深度學(xué)習(xí)框架學(xué)習(xí)到幀間像素的運動關(guān)系.由于采用了從參考圖像中直接拷貝顏色信息的方式, 故得到的彩色圖像邊緣清晰.相較于基于傳統(tǒng)稠密、半稠密光流的視頻彩色化方法, 本方法效率更高.不同于使用神經(jīng)網(wǎng)絡(luò)直接生成像素的方式, 本方法避免了欠飽和度的問題.另外, 本工作還探索了彩色化方法在黑白電影的應(yīng)用, 對于運動幅度不大的畫面, 本方法能有效提高彩色化效率.需要指出的是, 隨著幀數(shù)的增加, 本工作幀到幀的彩色化方式在傳遞過程中若產(chǎn)生了瑕疵, 則將影響后續(xù)所有幀的彩色化效果.另外, 本方法無法處理運動幅度較大的畫面, 這些都是未來改進的方向.