崔鵬濤， 張 倩， 劉敬懷， 周 超， 王 斌， 司 文

1.上海師范大學(xué)信息與機(jī)電工程學(xué)院，上海200234

2.上海商學(xué)院商務(wù)信息學(xué)院，上海201400

近年來(lái)，隨著多媒體技術(shù)的不斷發(fā)展，3D 視頻逐漸受到了人們的青睞。3D 視頻在給觀眾帶來(lái)極佳的視覺(jué)盛宴的同時(shí)也帶來(lái)數(shù)據(jù)量過(guò)大、存儲(chǔ)要求高、傳輸難度大等問(wèn)題。為了更好地滿足大眾的需求，立體視頻編碼聯(lián)合工作組在HEVC 的基礎(chǔ)上提出了新一代高效立體視頻編碼標(biāo)準(zhǔn)，即3D-HEVC[1]。3D-HEVC 采用了多視點(diǎn)視頻加深度圖的編碼格式，可以同時(shí)對(duì)多個(gè)視點(diǎn)的紋理圖以及相應(yīng)的深度圖進(jìn)行編碼，從而提高了3D 視頻的編碼性能。在幀內(nèi)編碼中，3D-HEVC 不僅保留了原有HEVC 的四叉樹(shù)的編碼結(jié)構(gòu)和35 種幀內(nèi)預(yù)測(cè)模式，而且針對(duì)深度圖的幀內(nèi)預(yù)測(cè)增加了深度建模模式（depth modeling mode, DMM），從而更有效地提高了編碼性能。但由于3D-HEVC 使用的四叉樹(shù)結(jié)構(gòu)即要對(duì)所有編碼單元（coding uint, CU）進(jìn)行遞歸計(jì)算，又要計(jì)算多個(gè)預(yù)測(cè)模式的最小率失真代價(jià)以確定最優(yōu)的編碼模式及CU 深度，因此大大提升了編碼的復(fù)雜度。

為了提高深度圖編碼效率，減少DMM 模式的編碼時(shí)間，文獻(xiàn)[2] 利用梯度濾波器探索深度圖特征，檢測(cè)DMM 最佳位置，從而提出了一種基于梯度的空間探索算法。文獻(xiàn)[3] 通過(guò)角點(diǎn)特征來(lái)判別深度圖的邊緣信息，以此對(duì)CU 進(jìn)行劃分，無(wú)需探索DMM 編碼模式的過(guò)程。文獻(xiàn)[4] 提出了一種基于平滑度的DMM 模式快速?zèng)Q策算法，根據(jù)當(dāng)前塊的平滑度來(lái)判斷是否提前終止DMM 模式的探索，避免對(duì)DMM 模式進(jìn)行不必要的評(píng)估。文獻(xiàn)[5] 提出了一種基于灰度共生矩陣（gray-level co-occurrence matrix, GLCM）的優(yōu)化編碼算法，使用GLCM 檢測(cè)同類區(qū)域，將編碼單元?jiǎng)澐譃椴煌愋停瑥亩^(guò)一些模式的探索，減少DMM 模式的編碼時(shí)間。文獻(xiàn)[6] 基于紋理特征和空間特征，提出一種基于K-Means 的DMM 模式快速?zèng)Q策算法，從而降低DMM 模式的復(fù)雜度。文獻(xiàn)[7] 提出了一種基于角點(diǎn)特征的DMM 模式快速算法，根據(jù)特征角點(diǎn)來(lái)評(píng)估邊緣的朝向，從而加快DMM 模式的探索。文獻(xiàn)[8] 提出了一種基于方差的快速模式選擇算法，根據(jù)方差來(lái)評(píng)估DMM 模式的代價(jià)值，降低計(jì)算復(fù)雜度。文獻(xiàn)[9]通過(guò)計(jì)算PU 的梯度值，提出了基于梯度信息的幀內(nèi)模式快速算法，利用PU 的梯度信息，省去部分幀內(nèi)DMM 模式的探索，降低計(jì)算復(fù)雜度。這些方法雖然降低了編碼時(shí)間，但是卻增加了3D-HEVC 編碼和解碼的復(fù)雜性。

由于3D-HEVC 采用了四叉樹(shù)形式的CU 劃分結(jié)構(gòu)，在編碼過(guò)程中耗費(fèi)了大量的時(shí)間。文獻(xiàn)[10] 通過(guò)為不同大小的CU 設(shè)置相應(yīng)的恰可察覺(jué)失真（just noticeable difference, JND）值來(lái)判斷CU 是否需要進(jìn)一步劃分為更小的CU，從而降低CU 劃分過(guò)程中的計(jì)算復(fù)雜度。文獻(xiàn)[11] 把CU 分為前景、不均勻背景以及均勻背景，對(duì)于均勻的背景可以提前終止CU 劃分。同時(shí)，隨著機(jī)器學(xué)習(xí)和人工智能技術(shù)的不斷發(fā)展，很多機(jī)器學(xué)習(xí)的方法都將用在視頻編碼中，文獻(xiàn)[12] 使用大數(shù)據(jù)聚類，提取用于3D-HEVC 編碼中紋理圖CU 深度的決策模型，對(duì)CU遞歸劃分進(jìn)行預(yù)測(cè)。文獻(xiàn)[13] 使用數(shù)據(jù)挖掘，建立決策樹(shù)，來(lái)判定當(dāng)前深度圖CU 是否需要再劃分。文獻(xiàn)[14] 使用機(jī)器學(xué)習(xí)方法，根據(jù)HEVC 紋理圖CU 的復(fù)雜度，構(gòu)建了基于SVM 的復(fù)雜度分類模型，來(lái)確定CU 的最優(yōu)深度，從而跳過(guò)部分CU 的計(jì)算。但是傳統(tǒng)的機(jī)器學(xué)習(xí)方法還存在弊端，需要手工選取和提取特征來(lái)選擇性能最佳的特征進(jìn)行學(xué)習(xí)，這大大提高了復(fù)雜度。同時(shí)這些方法的可移植性較差，只適用于特定的系統(tǒng)或者模型環(huán)境。而近年來(lái)，深度學(xué)習(xí)的出現(xiàn)和快速發(fā)展克服了這些弊端。

深度學(xué)習(xí)是自端到端的學(xué)習(xí)過(guò)程，它具有很強(qiáng)大的分類處理能力，同時(shí)適應(yīng)性強(qiáng)。在HEVC 編碼中，文獻(xiàn)[15] 將深度學(xué)習(xí)用于HEVC 紋理圖CU 的劃分中，引入了卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network, CNN）和長(zhǎng)短期記憶網(wǎng)絡(luò)（long short-term memory,LSTM）來(lái)預(yù)測(cè)紋理圖CU 的劃分，從而跳過(guò)了部分計(jì)算，降低了HEVC 編碼復(fù)雜度。文獻(xiàn)[16] 在HEVC 的CU 劃分中加入了CNN 網(wǎng)絡(luò)以確定紋理圖CU 的最優(yōu)候選模式，減少了LCU 中CU 候選模式的最大數(shù)目，降低了計(jì)算復(fù)雜度。文獻(xiàn)[17] 在HEVC 編碼中引入了CNN 網(wǎng)絡(luò)，將LCU 分為簡(jiǎn)單CU 和復(fù)雜CU，然后預(yù)測(cè)紋理圖LCU 的最佳劃分范圍，跳過(guò)了不必要的CU 計(jì)算，降低了計(jì)算復(fù)雜度。文獻(xiàn)[18] 也在HEVC 的編碼中，采用一種多輸入的CNN 網(wǎng)絡(luò)架構(gòu)來(lái)預(yù)測(cè)紋理圖CU 的劃分。文獻(xiàn)[19] 通過(guò)殘差、宏塊劃分和位分配等特性，提出了一種使用LSTM 來(lái)預(yù)測(cè)CU 劃分的方法，降低了編碼復(fù)雜度。以上文獻(xiàn)說(shuō)明深度學(xué)習(xí)在視頻紋理圖編碼上有著巨大潛力。

這些現(xiàn)有的深度學(xué)習(xí)技術(shù)主要集中在如何提高紋理圖編碼性能，以使視頻的編碼效率得到最大限度的提高，而沒(méi)有充分考慮3D 視頻序列深度圖的特點(diǎn)和編碼復(fù)雜度，于是本文在深度圖LCU 的快速劃分算法中引入了擁有強(qiáng)大特征提取能力的卷積神經(jīng)網(wǎng)絡(luò)，構(gòu)建相應(yīng)的Cu 深度快速選擇卷積神經(jīng)網(wǎng)絡(luò)（fast selecting Cu’s depth-convolutional neural network,FSCD-CNN），從而降低了幀內(nèi)編碼的復(fù)雜度并減少了編碼時(shí)間。

1 基于FSCD-CNN 的深度圖像快速幀內(nèi)預(yù)測(cè)模式選擇算法

1.1 算法設(shè)計(jì)思想

在3D-HEVC 中，深度圖和紋理圖的主要編碼過(guò)程基本一致，但在紋理圖編碼框架的基礎(chǔ)上加入了一些新的編碼模式來(lái)提高性能。本文從視頻序列“Newspaper”中取出的紋理圖和深度圖如圖1 所示，可以看到：相比于紋理圖，深度圖有大量的平緩區(qū)域以及少量的不均勻區(qū)域，且深度圖中LCU 最優(yōu)劃分深度大多為0。

圖1 “Newspaper”視點(diǎn)2 深度圖Figure 1 Depth map of “Newspaper” viewpoint 2

經(jīng)“Newspaper”等視頻序列的深度圖測(cè)試分析發(fā)現(xiàn)，平均94.53% 的LCU 是以64×64或32×32 的尺寸進(jìn)行編碼的，只有5.45% 的LCU 以16×16 或8×8 的尺寸進(jìn)行編碼，如表1 所示。

表1 各視頻序列的LCU 尺寸劃分占比Table 1 LCU size partition proportion of different video sequence %

因此，當(dāng)CU 達(dá)到最優(yōu)深度的時(shí)候，如果通過(guò)算法檢測(cè)并終止CU 的繼續(xù)劃分，則可以提高編碼性能。卷積神經(jīng)網(wǎng)絡(luò)在預(yù)測(cè)、分類等方面有著非常優(yōu)良的性能，它克服了傳統(tǒng)機(jī)器學(xué)習(xí)中人工提取特征的弊端，實(shí)現(xiàn)了端對(duì)端的學(xué)習(xí)。將卷積神經(jīng)網(wǎng)絡(luò)與編碼器相結(jié)合，應(yīng)用于HEVC 的紋理圖編碼以及3D-HEVC 的運(yùn)動(dòng)估計(jì)，以達(dá)到提升編碼效率的目的?；谏鲜鏊枷?，本文將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于3D-HEVC 的深度圖LCU 遞歸劃分中，搭建了適用于深度圖劃分的FSCD-CNN 框架，借助于卷積神經(jīng)網(wǎng)絡(luò)優(yōu)秀的特征提取性能，將3D-HEVC 編碼與深度學(xué)習(xí)相結(jié)合，提出了一種基于FSCD-CNN 的深度圖像快速幀內(nèi)預(yù)測(cè)模式選擇算法，對(duì)深度圖LCU 的最優(yōu)劃分深度進(jìn)行預(yù)測(cè)，得到最優(yōu)深度值depth_pre，從而提前終止CU 劃分，跳過(guò)了預(yù)測(cè)范圍外的RD-cost 計(jì)算。實(shí)驗(yàn)結(jié)果表明：本文所提方法在減少編碼復(fù)雜度的同時(shí)，編碼質(zhì)量幾乎保持不變。

1.2 FSCD-CNN 模型搭建與訓(xùn)練

1.2.1 訓(xùn)練數(shù)據(jù)的獲取

本文訓(xùn)練數(shù)據(jù)來(lái)自3D-HEVC 標(biāo)準(zhǔn)視頻序列（包括“Balloons”“Kendo”“Poznan Street”），算法不需要進(jìn)行人工提取特征，而是直接構(gòu)建具有代表性和概括性的訓(xùn)練數(shù)據(jù)集就可以獲得優(yōu)良的分類預(yù)測(cè)模型。將每個(gè)深度序列前6 幀的LCU 作為深度圖LCU 的訓(xùn)練集，由于編碼采用的是雙視點(diǎn)合成，取出的LCU 約10 728 個(gè)，如表2 所示。

表2 訓(xùn)練樣本Table 2 Training samples 個(gè)

對(duì)于取出的LCU 數(shù)據(jù)集，根據(jù)其編碼后的最優(yōu)深度結(jié)果貼上標(biāo)簽D，D的取值為{D1，D2，D3，D4}，分別對(duì)應(yīng)4 層CU 劃分深度。

1.2.2 FSCD-CNN 模型

本文搭建的適合深度圖LCU 分類的深度框架如圖2 所示，模型通過(guò)對(duì)深度圖LCU 的分類進(jìn)行學(xué)習(xí)，加快了視頻編碼的速度。

圖2 FSCD-CNN 模型Figure 2 FSCD-CNN model

整個(gè)深度學(xué)習(xí)框架是由10 層組成，其中包括5 個(gè)卷積層、2 個(gè)池化層以及3 個(gè)全連接層。FSCD-CNN 的第1 層具有64 個(gè)特征圖的卷積層，輸入是從視頻序列獲得的大量64×64像素的圖像及與之相應(yīng)的深度標(biāo)簽。第1 層的卷積核大小是3×3，其特征圖的尺寸是62×62。然后進(jìn)行批規(guī)范化（batch normalization, BN）以更好地提高訓(xùn)練速度，同時(shí)防止過(guò)擬合，使模型性能更加優(yōu)良。對(duì)比訓(xùn)練集上的實(shí)驗(yàn)發(fā)現(xiàn)，在第1 層卷積層后面使用BN 能得到更好的模型精度，獲得了更好的分類結(jié)果。第2 層卷積層具有64 個(gè)60×60 的特征圖，其卷積核大小也是3×3。第3 層是2×2 的池化層，具有64 個(gè)30×30 的特征圖。然后是卷積核為3×3的連續(xù)3 層卷積層，它們分別具有64 個(gè)28×28 的特征圖、64 個(gè)26×26 的特征圖以及64 個(gè)24×24 的特征圖。連續(xù)的3 層卷積層獲得了更大的感受野，可以更好地總結(jié)卷積層信息，讓決策函數(shù)性能得以提升。第7 層是2×2 的池化層，具有64 個(gè)12×12 的特征圖。第8 層和第9 層都是具有256 個(gè)神經(jīng)元的全連接層，同時(shí)為了防止過(guò)擬合，將隨機(jī)丟棄50% 的特征。第10 層是具有4 個(gè)單元的層，它是整個(gè)模型的輸出層，用以輸出分類結(jié)果。輸出層使用softmax激活函數(shù)，對(duì)輸入的數(shù)據(jù)進(jìn)行分類判定，給出每個(gè)深度圖的最優(yōu)預(yù)測(cè)分類結(jié)果。

模型采用的損失函數(shù)是交叉熵?fù)p失函數(shù)，公式為

式中：a為實(shí)際輸出，y為期望輸出，L為損失值，N為數(shù)據(jù)總數(shù)，x為訓(xùn)練輸入。

3D-HEVC 使用了四叉樹(shù)結(jié)構(gòu)對(duì)CU 進(jìn)行遞歸計(jì)算，并且對(duì)多個(gè)預(yù)測(cè)模式計(jì)算最小率失真代價(jià)，由此帶來(lái)了大量復(fù)雜度。本文提出基于FSCD-CNN 的深度圖像快速幀內(nèi)預(yù)測(cè)模式選擇算法，預(yù)測(cè)CU 劃分深度，提前終止CU 遞歸劃分。本文所提出的深度決策算法流程圖如

1.3 基于FSCD-CNN 的深度圖像快速幀內(nèi)預(yù)測(cè)模式選擇算法

圖3 所示。該算法主要分為以下3 個(gè)模塊：首先是讀取模塊，從視頻序列中獲取深度圖LCU，并將其傳給CNN 網(wǎng)絡(luò)，用于識(shí)別預(yù)測(cè)；其次是預(yù)測(cè)模塊，使用已訓(xùn)練的CNN 網(wǎng)絡(luò)對(duì)輸入的深度圖LCU 進(jìn)行預(yù)測(cè)，將其分為4 類，分別是深度D1、D2、D3、D4，同時(shí)把初步的分類預(yù)測(cè)結(jié)果輸入到模式?jīng)Q策模塊；最后由模式?jīng)Q策模塊對(duì)這個(gè)數(shù)據(jù)進(jìn)行判定再處理，進(jìn)而得到CU的最佳決策深度，如果當(dāng)前深度圖LCU 預(yù)測(cè)的深度是0，則遍歷35 種幀內(nèi)模式，將最大可能模式（most possible modes, MPM）加入到候選模式，同時(shí)跳過(guò)DMM 模式，停止CU 遞歸劃分，確定最佳預(yù)測(cè)模式與CU 深度。如果預(yù)測(cè)的深度不為0，則繼續(xù)幀內(nèi)模式遍歷、DMM 探索以及CU 的遞歸劃分，直到當(dāng)前CU 深度等于預(yù)測(cè)CU 深度為止。實(shí)驗(yàn)結(jié)果表明，本文提出的算法相對(duì)于3D-HEVC 的測(cè)試序列，其LCU 深度預(yù)測(cè)平均節(jié)省了42.58% 的時(shí)間，對(duì)編碼性能影響很少，可以實(shí)現(xiàn)編碼效率的大幅提升。

2 算法實(shí)現(xiàn)

在3D-HEVC 幀內(nèi)預(yù)測(cè)中，有37 種預(yù)測(cè)模式，分別是PLANAR 模式、DC 模式、33 種角度模式以及2 種DMM 模式，如表3 所示。

表3 幀內(nèi)預(yù)測(cè)模式Table 3 Intra-frame prediction modes

DMM 模式是3D-HEVC 在HEVC 基礎(chǔ)上設(shè)計(jì)的。加入DMM 模式是為了更準(zhǔn)確地描繪深度圖CU 的邊緣情況。對(duì)于這些FSCD-CNN 預(yù)測(cè)最優(yōu)深度為0 的深度圖LCU，直接跳過(guò)DMM 搜索，節(jié)省了編碼時(shí)間。對(duì)于那些預(yù)測(cè)深度小于3 的LCU，提前終止該CU 的劃分。

基于FSCD-CNN 的深度圖像快速幀內(nèi)預(yù)測(cè)模式選擇算法的流程如圖3 所示。

圖3 基于FSCD-CNN 的深度圖像快速幀內(nèi)預(yù)測(cè)模式選擇算法Figure 3 Fast intra prediction mode selection algorithm for depth images based on FSCD-CNN

具體的算法步驟如下：

步驟1輸入深度圖序列；

步驟2使用FSCD-CNN 模型對(duì)輸入的深度圖LCU 進(jìn)行最佳深度預(yù)測(cè)；

步驟3如果模型預(yù)測(cè)的最優(yōu)分類結(jié)果是深度0，那么就遍歷35 種幀內(nèi)模式，同時(shí)把MPM 放進(jìn)候選列表，跳過(guò)DMM 模式搜索，然后進(jìn)入步驟5，否則進(jìn)入步驟4；

步驟4遍歷35 種幀內(nèi)模式，同時(shí)把MPM 放進(jìn)候選列表以進(jìn)行DMM 模式搜索；

步驟5決定LCU 最佳劃分深度，從候選列表選擇最佳模式；

步驟6對(duì)下一個(gè)LCU 進(jìn)行判定，直至全部判定完。

3 實(shí)驗(yàn)結(jié)果和分析

為了評(píng)估所提算法的性能，對(duì)該算法和3D-HEVC 的視頻編碼平臺(tái)HTM-13.0 進(jìn)行了對(duì)比實(shí)驗(yàn)。測(cè)試序列是官方的5 個(gè)視頻序列，分別是“Balloon”“Kendo”“Newspaper”“Poznan Hall2”“Poznan street”。這些視頻采用的是雙視點(diǎn)編碼，視頻序列信息如表4 所示。本文的4 組量化參數(shù)分別設(shè)置為(25,34)、(30,39)、(35,42)、(40,45)，相應(yīng)的實(shí)驗(yàn)配置如表5 所示。實(shí)驗(yàn)所采用的硬件設(shè)備為2.8GHZ 的CPU，16G 的內(nèi)存以及GTX1060 顯卡。

表4 序列信息Table 4 Sequence information

表5 編碼配置Table 5 Encoding configuration

使用相同峰值信噪比下的碼率差異（Bjontegaard delta bitrate, BDBR）和相同碼率下的峰值信噪比差異（Bjontegaard delta peak signal-to-noise rate, BDPSNR）來(lái)評(píng)估視頻編碼性能，則節(jié)省的時(shí)間比率為

式中：T0為HTM13 原始編碼運(yùn)行時(shí)間，T1為所提出算法運(yùn)行時(shí)間。

對(duì)合成視點(diǎn)的BDBR、BDPSNR 和節(jié)省的時(shí)間T進(jìn)行評(píng)估的實(shí)驗(yàn)結(jié)果如表6 所示，可以看出，所提算法與原編碼器相比平均節(jié)省了42.6% 的編碼時(shí)間，同時(shí)性能損失可以忽略不計(jì)。

如圖4 所示，“Newspaper”和“Kendo”視頻序列在HTM13 原始編碼平臺(tái)下以及所提出的算法下的RD 曲線幾乎一致，因此編碼性能的損失幾乎可以忽略不計(jì)，而本文所提出的算法分別減少了41.6% 和47.6% 的時(shí)間復(fù)雜度。為了進(jìn)一步對(duì)所提算法進(jìn)行評(píng)估，將本算法與文獻(xiàn)[20] 及文獻(xiàn)[21] 的算法進(jìn)行比較。文獻(xiàn)[20-21] 都針對(duì)深度圖CU 四叉樹(shù)劃分中復(fù)雜度過(guò)高問(wèn)題給出了優(yōu)化方法和解決方案，文獻(xiàn)[20] 是對(duì)LCU 的最優(yōu)劃分深度進(jìn)行預(yù)測(cè)，文獻(xiàn)[21]是對(duì)當(dāng)前CU 是否劃分進(jìn)行判定，旨在CU 劃分部分進(jìn)行優(yōu)化以降低編碼復(fù)雜度。

圖4 視頻序列RD 曲線Figure 4 RD curves of video sequence

由表6 可以發(fā)現(xiàn)，文獻(xiàn)[20] 在序列“Newspaper”以及序列“Kendo”上分別節(jié)省23.5%和23.1% 的編碼時(shí)間，所有序列平均節(jié)省了25.2% 編碼時(shí)間；文獻(xiàn)[21] 所提算法在序列“Newspaper”和“Kendo”上分別節(jié)省了21.1% 和22.7% 的編碼時(shí)間。而本文算法在上述序列上分別節(jié)省了41.6% 和47.6% 的編碼時(shí)間，所有序列平均節(jié)省了42.6% 的編碼時(shí)間。

表6 實(shí)驗(yàn)結(jié)果對(duì)比Table 6 Comparison of experimental results

實(shí)驗(yàn)結(jié)果表明，相比于文獻(xiàn)[20-21] 所提的算法，本文算法進(jìn)一步節(jié)省了近15% 的編碼時(shí)間，而編碼性能卻幾乎一致。由此可見(jiàn)，本文提出的基于FSCD-CNN 的深度圖像快速幀內(nèi)預(yù)測(cè)模式選擇算法可以有效提高3D-HEVC 深度圖編碼性能。

4 結(jié) 語(yǔ)

本文提出了一種基于FSCD-CNN 的深度圖像快速幀內(nèi)預(yù)測(cè)模式選擇算法，用以減少3D-HEVC 的幀內(nèi)編碼時(shí)間。深入研究了深度圖的平滑程度與CU 深度劃分之間的關(guān)系，探討了基于深度學(xué)習(xí)的CU 提前終止劃分的問(wèn)題，進(jìn)而提出了FSCD-CNN 框架，并借助CNN出色的特征提取及分類能力對(duì)LCU 的最優(yōu)劃分深度進(jìn)行預(yù)測(cè)。實(shí)驗(yàn)結(jié)果表明，相比于原始HTM13.0 編碼平臺(tái)，本文算法幾乎沒(méi)有性能的損失，且能減少42.6% 的編碼時(shí)間。與文獻(xiàn)[20-21] 中的算法相比，本文算法節(jié)省時(shí)間更多。在未來(lái)的研究中將進(jìn)一步優(yōu)化和提升網(wǎng)絡(luò)結(jié)構(gòu)。

(編輯：管玉娟)