龍古燦，張小虎，于起峰

(1.國防科技大學(xué) 航天科學(xué)與工程學(xué)院， 湖南 長沙 410073；2.國防科技大學(xué) 湖南省圖像測量與視覺導(dǎo)航重點實驗室， 湖南 長沙 410073)

?

用于視頻圖像幀間運動補償?shù)纳疃染矸e神經(jīng)網(wǎng)絡(luò)*

龍古燦1, 2，張小虎1, 2，于起峰1, 2

(1.國防科技大學(xué) 航天科學(xué)與工程學(xué)院， 湖南 長沙 410073；2.國防科技大學(xué) 湖南省圖像測量與視覺導(dǎo)航重點實驗室， 湖南 長沙 410073)

為探索深度學(xué)習(xí)理論在視頻圖像幀間運動補償問題中的應(yīng)用，提出一種用于視頻圖像幀間運動補償?shù)纳疃染矸e神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)由卷積模塊和反卷積模塊構(gòu)成，可以處理不同分辨率輸入圖像并具備保持較完整圖像細節(jié)的能力。利用具有時序一致性的視頻圖像序列構(gòu)造訓(xùn)練樣本，采用隨機梯度下降法對設(shè)計的深度卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練。視覺效果和數(shù)值評估實驗表明，訓(xùn)練得到的網(wǎng)絡(luò)較傳統(tǒng)方法能更有效地進行視頻圖像幀間運動補償。

深度學(xué)習(xí)；卷積神經(jīng)網(wǎng)絡(luò)；時序一致性；運動補償幀插值

視頻圖像幀間運動補償又稱運動補償幀插值[1-2](motion compensated frame interpolation)，指利用視頻序列中連續(xù)兩幀圖像進行運動插值以合成中間幀圖像的過程。作為圖像與視頻處理領(lǐng)域的經(jīng)典問題之一，其在視頻幀率提升、慢速視頻制作以及虛擬視圖合成等場合具有廣泛應(yīng)用。目前常用的視頻圖像幀間運動補償方法首先基于光流場估計算法對輸入圖像對進行密集匹配，然后利用獲得的密集匹配信息逐像素對輸入圖像進行內(nèi)插以合成中間幀圖像。由于光流場估計本身是一個病態(tài)問題，尤其在圖像紋理較弱或存在遮擋等情況下易效果不佳，現(xiàn)有方法在實際應(yīng)用中常面臨困難。

近年來，基于深度學(xué)習(xí)的方法得到了廣泛關(guān)注，在如目標分類[3-4]、人臉識別[5]等眾多計算機視覺問題中取得了顯著優(yōu)于傳統(tǒng)方法的效果。注意到該類方法成功的關(guān)鍵在于利用海量訓(xùn)練樣本對合適的深度神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練。對于本文關(guān)注的視頻圖像幀間運動補償問題，由于可以利用現(xiàn)有的海量視頻數(shù)據(jù)構(gòu)造訓(xùn)練樣本，適合采用基于深度學(xué)習(xí)的相關(guān)方法進行求解，但文獻中尚未見相關(guān)報道。本文對深度學(xué)習(xí)在視頻圖像幀間運動補償問題中的應(yīng)用進行探索，利用具有時序一致性的視頻圖像序列構(gòu)造訓(xùn)練樣本，對設(shè)計的深度卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練以實現(xiàn)運動插值圖像的合成，在兩組包含大量弱紋理區(qū)域的測試圖像序列中取得了優(yōu)于傳統(tǒng)方法的效果。

以下將首先介紹本文設(shè)計的用于視頻圖像幀間運動補償?shù)木矸e神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；然后從訓(xùn)練數(shù)據(jù)、目標函數(shù)設(shè)計以及訓(xùn)練過程等方面介紹對設(shè)計的神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練的情況；最后將基于本文深度卷積神經(jīng)網(wǎng)絡(luò)的方法與傳統(tǒng)采用逐像素插值策略的運動補償幀插值方法進行比較。

1 深度卷積神經(jīng)網(wǎng)絡(luò)設(shè)計

相較于設(shè)計傳統(tǒng)面向視覺目標分類的深度神經(jīng)網(wǎng)絡(luò)[3-4]，設(shè)計用于視頻圖像幀間運動補償?shù)木矸e神經(jīng)網(wǎng)絡(luò)需要針對以下三個問題進行特別考慮：

1)不同于用于目標分類的網(wǎng)絡(luò)輸出僅為目標分類概率，面向本文任務(wù)的網(wǎng)絡(luò)輸出應(yīng)為與輸入圖像分辨率相同的一幅完整圖像；

2)考慮到不同應(yīng)用場合中采用的圖像長寬比通常各不相同的實際情況，用于運動補償幀插值的神經(jīng)網(wǎng)絡(luò)應(yīng)具備處理不同長寬比圖像的能力；

3)設(shè)計的網(wǎng)絡(luò)應(yīng)當(dāng)具備保持良好圖像細節(jié)的能力；同時應(yīng)當(dāng)考慮在網(wǎng)絡(luò)層數(shù)較多的情況下如何通過優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)以降低梯度彌散現(xiàn)象(gradient vanishing)的影響，使得可以采用隨機梯度下降法對其進行有效訓(xùn)練。

本文設(shè)計的用于視頻圖像幀間運動補償?shù)木矸e神經(jīng)網(wǎng)絡(luò)總體結(jié)構(gòu)如圖1所示。構(gòu)成該網(wǎng)絡(luò)的基本組件為卷積模塊(conv block)和反卷積模塊(dconv block)，其具體組成如圖2所示。卷積模塊參考標準的卷積神經(jīng)網(wǎng)絡(luò)進行設(shè)計，由卷積層(convolution layer)和激活函數(shù)層(activation layer)交替重復(fù)排列三次，并在最后加上池化層(pooling layer)組成。對于卷積層，本文采用VGG-Net[6]的建議，將感受野(receptive field)尺寸、跨步(stride)和內(nèi)邊距(padding)依次設(shè)為3, 1, 1。 激活函數(shù)層則采用參數(shù)化修正線性單元(Parametric Rectified Linear Unit，PReLU)[7]作為激活函數(shù)；池化層的感受野尺寸為3，跨步為1。

從圖1各模塊右側(cè)表示其輸出數(shù)據(jù)維數(shù)的數(shù)字可見，數(shù)據(jù)每經(jīng)過一次卷積模塊處理，空間尺寸減半?？紤]本節(jié)開頭提出的第一個問題，為使整個網(wǎng)絡(luò)的輸出與輸入圖像保持同一空間分辨率，本文網(wǎng)絡(luò)的后半部分采用反卷積模塊進行構(gòu)建。如圖2所示，每個反卷積模塊包含一個卷積轉(zhuǎn)秩層(CONVolution Transpose layer, CONVT)和兩個卷積層。其中卷積層的參數(shù)與卷積模塊中的卷積層參數(shù)一致，卷積轉(zhuǎn)秩層的感受野尺寸為4，跨步為1，內(nèi)邊距為1，其具體組成形式請參見文獻[8-9]。數(shù)據(jù)每經(jīng)過一次反卷積模塊處理，空間尺寸增加一倍。如此，輸入數(shù)據(jù)經(jīng)過本文網(wǎng)絡(luò)的5個卷積模塊和5個反卷積模塊后，空間尺寸保持不變。

注：各模塊之間的箭頭表示信息流向；各模塊右側(cè)數(shù)字表示其輸出數(shù)據(jù)的維數(shù)。圖1 網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.1 Architecture of the designed convolutional neural network

針對本節(jié)開頭提出的問題三，為使得輸出圖像保持足夠的圖像細節(jié)，本文借鑒文獻[10]的思路進行網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計。如圖1左側(cè)箭頭所示，將卷積模塊2的輸出同時作為卷積模塊3和反卷積模塊2的輸入。并以同樣的方式使用卷積模塊3和卷積模塊4的輸出。由于圖像數(shù)據(jù)輸入卷積神經(jīng)網(wǎng)絡(luò)后，隨著處理層數(shù)的增加，得到的特征描述更抽象，同時圖像細節(jié)損失越嚴重。將較淺層的輸出作為較深層的額外輸入，有利于最終輸出結(jié)果保持豐富的圖像細節(jié)。同時，類似于Highway Network[11]和Deep Residual Network[12]的設(shè)計原理，在網(wǎng)絡(luò)中引入如圖1左側(cè)箭頭所示的信息流，有助于幫助克服網(wǎng)絡(luò)訓(xùn)練中的梯度彌散現(xiàn)象，使得隨機梯度下降算法取得更好的訓(xùn)練效果。

圖2 卷積模塊和反卷積模塊Fig.2 Conv block and dconv block

對于本節(jié)開頭提出的問題二，即網(wǎng)絡(luò)應(yīng)能對不同長寬比的輸入圖像進行處理的問題，本文設(shè)計的網(wǎng)絡(luò)為一個全卷積神經(jīng)網(wǎng)絡(luò)。這種網(wǎng)絡(luò)的優(yōu)點一方面在于充分利用了圖像數(shù)據(jù)的空間關(guān)聯(lián)性，網(wǎng)絡(luò)層數(shù)雖然很多，但其中包含大量共享參數(shù)，有利于避免過擬合(over fitting)問題并有效降低運算的時間和空間復(fù)雜度。另一方面，全卷積網(wǎng)絡(luò)的特點使得本文網(wǎng)絡(luò)能夠處理不同長寬比的輸入圖像。只需輸入圖像的高和寬方向尺寸分別為16的整數(shù)倍(即能被2整除5次)，即可采用本文網(wǎng)絡(luò)進行處理。

2 深度卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

2.1 訓(xùn)練數(shù)據(jù)

如前文所述，可以利用現(xiàn)有的海量自然視頻數(shù)據(jù)對上節(jié)設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，而不需要對數(shù)據(jù)進行費時費力的人工標注。這是因為自然視頻圖像序列通常具有時序一致性，即短時間內(nèi)可以認為攝像機和拍攝物體均僅進行速度均勻的運動，十分適合于對本文網(wǎng)絡(luò)的訓(xùn)練。

本文采用文獻[13]提供的KITTI原始數(shù)據(jù)和Durian開源電影項目Sintel視頻構(gòu)造訓(xùn)練樣本。KITTI視頻由安裝在汽車上的攝像機采集于德國Karlsruhe，其作為公開數(shù)據(jù)集主要面向自動駕駛應(yīng)用，如光流場計算、Stereo、視覺里程計以及圖像分割等。Sintel視頻原本由文獻[14]進行改編以構(gòu)造用于評估光流場估計算法的公開測試集。對于KITTI和Sintel數(shù)據(jù)，本文均僅使用其原始視頻數(shù)據(jù)提取訓(xùn)練樣本。

KITTI數(shù)據(jù)集包含56個序列共16 951幀圖像。在每個序列中，取每連續(xù)三幀圖像(正序或反序)構(gòu)成一個訓(xùn)練樣本，第一幀和第三幀作為輸入圖像，第二幀作為運動插值圖像的真值。同時采用對各訓(xùn)練樣本中包含的圖像進行左右翻轉(zhuǎn)、上下翻轉(zhuǎn)以及鏡像的方式構(gòu)造增廣樣本，共生成133 921個訓(xùn)練樣本。對于Sintel視頻，根據(jù)時序一致性標準共采集63個圖像序列，包含5670幀圖像。采用與KITTI數(shù)據(jù)類似的方式共構(gòu)造44 352個訓(xùn)練樣本。對于KITTI數(shù)據(jù)，輸入圖像被降采樣為384×128，對于Sintel數(shù)據(jù)，采用的圖像大小為256×128。

2.2 目標函數(shù)與訓(xùn)練過程

(1)

(2)

式中ε設(shè)為0.1。

本文采用修改后的Caffe[18]在安裝有兩片NVIDIA Tesla K40c顯卡的高性能工作站上進行實驗。在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中，首先采用文獻[19]的方法對待優(yōu)化參數(shù)w進行初始化，然后采用Adam方法[20]迭代優(yōu)化求解式(2)描述的最優(yōu)化問題。Momentum設(shè)為0.9；初始學(xué)習(xí)率(learning rate)設(shè)為0.001，并在優(yōu)化過程中當(dāng)觀察到目標函數(shù)不再下降后手動對學(xué)習(xí)率進行調(diào)整。訓(xùn)練時使用的批(batch)大小為16。 整個訓(xùn)練過程耗時約5 d。

3 實驗與分析

本節(jié)對上文設(shè)計和訓(xùn)練的用于視頻圖像幀間運動補償?shù)木矸e神經(jīng)網(wǎng)絡(luò)進行實驗。采用文獻[21]提供的方法作為對插值結(jié)果進行評估的基準算法，其中光流場計算部分采用目前在公開數(shù)據(jù)集[22]上排名靠前且提供源代碼的DeepFlow方法[23]進行。以下將采用本文提出的基于深度卷積神經(jīng)網(wǎng)絡(luò)的方法(Deep Convolutional Neural Network, DCCN)；將采用傳統(tǒng)逐像素插值策略(并基于DeepFlow計算密集圖像匹配)的方法簡稱為DeepFlow方法。

參與本節(jié)實驗評估的數(shù)據(jù)分為兩部分：第一部分為從2.1節(jié)描述的KITTI數(shù)據(jù)和Sintel數(shù)據(jù)中隨機抽取的各一個圖像序列(下文簡稱為KITTI序列和Sintel序列)，注意這兩個圖像序列在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時僅作為用于監(jiān)控網(wǎng)絡(luò)訓(xùn)練的驗證數(shù)據(jù)使用；第二部分為MiddleBurry數(shù)據(jù)集[21]中RubbleWhale序列以及一組用于醫(yī)學(xué)目的的DICOM圖像[24]。這兩組圖像序列(下文簡稱為Rubble序列和DICOM序列)主要用于評估本文訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的泛化能力(generalization ability)。采用與2.1節(jié)類似的方法構(gòu)造用于評估算法性能的圖像樣本：取序列中每連續(xù)三幀構(gòu)造一個評估樣本，其中第一幀和第三幀圖像作為輸入圖像，第二幀圖像作為真值圖像。

3.1 視覺效果評估

首先從視覺效果方面評估分別由DCNN方法和DeepFlow方法進行視頻圖像幀間運動補償?shù)慕Y(jié)果。圖3展示了兩種方法對KITTI，Sintel和Rubble序列的代表性圖像進行運動補償即生成插值幀的效果，可見兩種方法均較好地對輸入圖像進行了運動插值。注意到DeepFlow方法雖然較DCNN方法保持了更多的圖像細節(jié)，但是存在部分錯誤插值的情況(如圖3中用矩形框標注的區(qū)域)。圖4展示了兩種方法在DICOM圖像序列上的效果，與圖3展示的結(jié)果類似，DCNN方法雖然較DeepFlow方法在圖像細節(jié)方面稍有損失，但是不存在如圖4矩形框中標出的DeepFlow方法明顯發(fā)生錯誤的情況。

從視覺效果評估結(jié)果看，DCNN方法不但能對與訓(xùn)練數(shù)據(jù)類似的KITTI和Sintel圖像序列進行正確的運動插值，而且對與訓(xùn)練圖像差別較大的圖像序列，如Rubble和DICOM序列，仍能進行正確的運動插值圖像生成，這表明訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)具有較好的泛化能力。

3.2 數(shù)值評估

采用文獻[21]提出的運動插值圖像評價準則對DCNN和DeepFlow方法生成的運動插值圖像進行數(shù)值評估。插值圖像I與真值圖像IGT之間的插值誤差(Interpolation Error, IE)由式(3)定義：

(3)

圖3 KITTI，Sintel和Rubble序列上的運動補償幀插值效果Fig.3 Example interpolated images in KITTI, Sintel and Rubble sequence

圖4 DICOM序列上的運動補償幀插值效果Fig.4 Example interpolated images in DICOM sequence

歸一化插值誤差(Normalized interpolation Error, NE)由式(4)定義：

(4)

對參與實驗的四組圖像序列分別采用DCNN和DeepFlow方法進行運動補償幀插值并計算插值誤差I(lǐng)E和歸一化插值誤差NE，得到的結(jié)果如表1所示。

表1 插值圖像的插值誤差和歸一化插值誤差(均值)

從表1中可見，在Sintel和Rubble序列上，以IE和NE評價，DCNN插值效果差于DeepFlow；對于Sintel序列，經(jīng)過分析，發(fā)現(xiàn)導(dǎo)致DCNN插值誤差增大的原因在于該序列中某些幀之間運動過大；而對于Rubble序列，其幀與幀之間運動很小，插值誤差較大主要反映了DCNN保持圖像細節(jié)的能力弱于DeepFlow。

在KITTI和DICOM序列上，DCNN插值效果優(yōu)于DeepFlow。觀察到這兩組序列圖像中包含大量弱紋理區(qū)域，采用DeepFlow方法估計幀間圖像運動即計算光流場難度較大，而DCNN 方法直接基于卷積神經(jīng)網(wǎng)絡(luò)進行插值圖像生成，不需顯式計算精確的光流場，取得了較好的效果。同時，在DICOM序列上取得的良好數(shù)值評估效果進一步驗證了DCNN方法具備良好的泛化性能。

4 結(jié)論

設(shè)計并訓(xùn)練了一個深度卷積神經(jīng)網(wǎng)絡(luò)，對深度學(xué)習(xí)方法在視頻圖像幀間運動補償問題中的應(yīng)用進行了探索。實驗結(jié)果表明，本文深度卷積神經(jīng)網(wǎng)絡(luò)具備良好的泛化能力，能有效生成運動插值圖像，尤其適用于存在較多弱紋理區(qū)域的圖像序列。針對實驗中發(fā)現(xiàn)的問題，后續(xù)工作將圍繞以下三個方面展開：①深入分析現(xiàn)有卷積神經(jīng)網(wǎng)絡(luò)適用于處理存在多大運動量的圖像序列；②研究具有更好保持圖像細節(jié)能力的網(wǎng)絡(luò)結(jié)構(gòu)；③探索對全尺寸圖像進行運動插值的方法。

References)

[1] Choi B T, Lee S H, Ko S J. New frame rate up-conversion using bi-directional motion estimation [J]. IEEE Transactions on Consumer Electronics, 2000, 46(3): 603-609.

[2] Park D, Jeong J. Motion compensated frame rate up conversion using modified adaptive extended bilateral motion estimation [J]. Journal of Automation and Control Engineering, 2014, 2(4): 371-375.

[3] Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks [C]//Proceedings of Advances in Neural Information Processing Systems, 2012.

[4] Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions [C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015.

[5] Schroff F, Kalenichenko D, Philbin J. Facenet: a unified embedding for face recognition and clustering [C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015.

[6] Chatfield K, Simonyan K, Vedaldi A, et al.Return of the devil in the details: delving deep into convolutional nets[C]//Proceedings of BMVC, arXiv preprint arXiv:1405.3531, 2014.

[7] He K M, Zhang X Y, Ren S Q, et al. Delving deep into rectifiers: surpassing human-level performance on imagenet classification [C]//Proceedings of the IEEE International Conference on Computer Vision, 2015.

[8] Vedaldi A, Lenc K.MatConvNet-convolutional neural networks for MATLAB[R]. arXiv preprint arXiv:1412.4564, 2014.

[9] Zeiler M D, Fergus R. Visualizing and understanding convolutional networks [C]//Proceedings of Computer Vision-ECCV 2014. Springer International Publishing, 2014: 818-833.

[10] Dosovitskiy A, Fischery P, Ilg E, et al. Flownet: learning optical flow with convolutional networks [C]//Proceedings of IEEE International Conference on Computer Vision, 2015:2758 - 2766.

[11] Srivastava R K, Greff K, Schmidhuber J. Training very deep networks[C]//Proceedings of Advances in Neural Information Processing Systems, 2015.

[12] He K M, Zhang X Y, Ren S Y, et al. Deep residual learning for image recognition [R]. arXiv preprint arXiv: 1512.03385, 2015.

[13] Geiger A, Lenz P, Stiller C, et al. Vision meets robotics: the KITTI dataset [J]. International Journal of Robotics Research, 2013, 32(11): 1231-1237.

[14] Butler D J, Wulff J, Stanley G B, et al. A naturalistic open source movie for optical flow evaluation [C]//Proceedings of European Conference on Computer Vision,Springer-Verlag, 2012: 611-625.

[15] Wang X L, Gupta A.Unsupervised learning of visual representations using videos [C]//Proceedings of IEEE International Conference on Computer Vision,IEEE, 2015:2794-2802.

[16] Goroshin R, Mathieu M, LeCun Y. Learning to linearize under uncertainty[R]. arXiv preprint arXiv: 1506.03011, 2015.

[17] Sun D, Roth S, Black M J. A quantitative analysis of current practices in optical flow estimation and the principles behind them [J]. International Journal of Computer Vision, 2014, 106(2): 115-137.

[18] Jia Y Q, Shelhamer E, Donahue J, et al. Caffe: convolutional architecture for fast feature embedding [C]//Proceedings of the ACM International Conference on Multimedia, ACM, 2014.

[19] Glorot X, Bengio Y. Understanding the difficulty of training deep feedforward neural networks [J].Journal of Machine Learning Research, 2010, 9: 249-256.

[20] Kingma D, Ba J. Adam: a method for stochastic optimization[R]. arXiv preprint arXiv:1412.6980, 2014.

[21] Baker S, Scharstein D, Lewis J P, et al. A database and evaluation methodology for optical flow [J]. International Journal of Computer Vision, 2007, 92(1): 1-31.

[22] Andreas G, Lenz P, Urtasun R. Are we ready for autonomous driving? the KITTI vision benchmark suite [C]//Proceedings of the IEEE International Conference on Computer Vision, 2012: 3354-3361.

[23] Weinzaepfel P, Revaud J, Harchaoui Z,et al. Deepflow: large displacement optical flow with deep matching [C]//Proceedings of the IEEE International Conference on Computer Vision, 2013.

[24] DICOM sample image sets [EB/OL]. [2016-04-20] http://www.osirix-viewer.com/datasets/.

Deep convolutional neural network for motion compensated frame interpolation

LONG Gucan1, 2, ZHANG Xiaohu1, 2, YU Qifeng1, 2

(1. College of Aerospace Science and Engineering, National University of Defense Technology, Changsha 410073, China;2. Hunan Key Laboratory of Videometrics and Vision Navigation, National University of Defense Technology, Changsha 410073, China)

In order to explore the application of deep learning theory in the problem of motion compensated frame interpolation, a DCNN (deep convolutional neural network) built with convolutional blocks and deconvolutional blocks was proposed. The proposed DCNN is capable of processing input images with different resolutions and preserving fine-grained image details. The temporal coherent image sequences were used to construct the training sample and the stochastic gradient descent method was adopted to train the designed DCNN. Qualitative and quantitative experiments show that the trained DCNN obtains better interpolated images than the traditional approach in two testing images sequences.

deep learning; convolutional neural network; temporal coherence; motion compensated frame interpolation

10.11887/j.cn.201605022

http://journal.nudt.edu.cn

2016-04-27

國家重點基礎(chǔ)研究發(fā)展計劃資助項目(2013CB733100)

龍古燦(1988—)，男，湖南瀏陽人，博士研究生，E-mail：longgucan@163.com；張小虎(通信作者)，男，研究員，博士，博士生導(dǎo)師，E-mail:zxh1302@hotmail.com

TP391

A

1001-2486(2016)05-143-06