李躍，楊高波，丁湘陵，朱亞培

（1. 南華大學計算機學院，湖南 衡陽 421001；2. 湖南大學信息科學與工程學院，湖南 長沙 410082；3. 湖南科技大學計算機科學與工程學院，湖南 湘潭 411201；4. 衡陽師范學院物理與電子學院，湖南 衡陽 421002）

1 引言

隨著3D內容獲取和顯示技術的快速發(fā)展，3D視頻因其能提供更真實的視覺體驗越來越受觀眾歡迎。3D視頻數(shù)據(jù)由多個紋理視點及其相應的深度圖（紋理視點的幾何信息）組成。然而，與單個紋理視頻相比，3D視頻數(shù)據(jù)更多、更復雜。因此，高效壓縮對于3D視頻數(shù)據(jù)實時傳輸?shù)膽梅浅Ｖ匾猍1]。

HEVC（high efficiency video coding）由 JCT-VC（joint collaborative team on video coding）開發(fā)并用于單個紋理視點壓縮[2]，為了進一步壓縮 3D視頻數(shù)據(jù)，JCT-3V（joint collaborative team on 3D video coding）在 HEVC的基礎上進一步推出了針對 3D視頻壓縮的3D-HEVC壓縮標準[3]。3D-HEVC編碼的預測結構如圖1所示。圖1中，View軸表示編碼的視點，Temporal軸表示每個視點在時序上的編碼幀，基本視點（V0）為獨立視點，其余視點（V1、V2）為非獨立視點，Ti（i=0,1,2）為紋理視點，Di（i=0,1,2）為在Ti之后編碼的深度圖，P、B、I表示采用了不同技術的編碼幀。為了進一步提高壓縮效率，3D-HEVC采用了一些新的編碼技術。例如，為減少視點間相關性，非獨立視點編碼采用了視差補償預測（DCP, disparity compensated prediction）技術，特別對于深度圖，它由銳利邊緣分開的光滑區(qū)域組成。為了保護銳利邊緣質量，進一步提高深度圖編碼的效率，采用了幾種額外的編碼工具，如DMM（depth modeling mode）[4]、DIS（depth intra skip）[5]、SDC（segment-wise DC coding）[6]和 VSO（view synthesis optimization）等。雖然這些先進的編碼技術可以提高3D-HEVC紋理視點和深度圖的壓縮效率，但同時也增加了3D-HEVC的編碼復雜度。因此，有必要研究快速編碼方法以降低3D-HEVC編碼器復雜度，同時保持編碼性能基本不下降。

為了使3D-HEVC能應用于實時需求場景或者計算資源有限的場景，學者們提出了許多快速編碼方法以降低3D-HEVC的編碼復雜度，主要分為2種類型：幀內快速編碼方法和幀間快速編碼方法。

1) 幀內快速編碼方法

已提出的幀內快速 3D-HEVC編碼方法主要分為幀內快速 CU大小決策方法和幀內預測模式快速決策方法，主要采用基于相關性分析和基于機器學習的方法，進行快速CU大小和預測模式決策[7-8]。

圖1 3D-HEVC預測編碼結構

2) 幀間快速編碼方法

3D-HEVC幀間快速方法同樣可分為幀間快速CU大小決策方法和幀間預測模式快速決策方法，采用的方法主要是基于相關性分析和編碼信息進行快速決策，相關性分析主要包括模式相關性、時空相關性、視點間相關性等，編碼信息主要包括率失真代價（RD cost, rate distortion cost）、運動矢量（MV, motion vector）、編碼塊標記（CBF, coded block flag）等[9-17]。

例如，Shen等[10]提出利用時空相關性、視點間相關性、紋理深度相關性和層間相關性來加速3D-HEVC中的模式決策。類似地，Zhang等[11]根據(jù)空間-時間和視點間相關性來建立編碼復雜度模型，然后根據(jù)復雜度模型提出2個低復雜度方法來降低3D-HEVC編碼的復雜度。Tohidypour等[12]利用運動信息和RD cost，提出了一種用于3D-HEVC非獨立紋理視點的復雜度降低方法。Zhang等[13]提出了一種基于運動同一性的快速方法，以降低3D-HEVC紋理視頻編碼復雜度，該方法包括提前CU大小決策、提前SKIP/Merge模式決策和自適應運動搜索范圍調整。Li等[14]通過利用RD cost、CBF等編碼信息相關性建立混合終止模型用于降低3D-HEVC非獨立紋理視頻編碼復雜度。Chen等[15]利用視點間的紋理相關性，提出了一種快速3D-HEVC幀間模式決策方法。Lei等[16]利用灰度相似度和視點間相關性，提出了一種用于 3D-HEVC深度圖編碼的快速模式決策方法。Liao等[17]利用時空相關性及視點間相關性，提出了一種有效的幀間預測方法以降低3D-HEVC深度圖編碼復雜度。

由于在HEVC或3D-HEVC中，SKIP/ Merge模式是一種特殊的幀間預測模式，通常在背景或運動緩慢區(qū)域被選為最優(yōu)模式，并且其不需要進行復雜的運動估計（ME, motion estimation）[18]以獲得預測信息。因此，研究者提出了一些提前SKIP/Merge模式決策方法以降低編碼復雜度。例如，Yang等[19]提出了一種提前 SKIP模式決策方法，該方法首先計算Inter_2N×2N和Merge模式，如果當前編碼CU滿足運動矢量差（MVD, motion vector difference）和Inter_2N×2N模式的殘差都為零的條件，則跳過當前CU深度其余模式計算。其中，SKIP模式為Merge模式的一種特殊情況，既不計算ME也不編碼殘差。Li等[20]提出了一種單峰停止模型用于HEVC提前SKIP模式決策。Pan等[21]利用全零塊（AZB, all zero block）和 Inter_2N×2N模式的運動信息，提出了一種提前Merge模式決策方法。利用視點間相關性，研究者提出了一些提前 Merge模式決策方法，分別用于3D-HEVC的非獨立紋理視點[22-24]和非獨立深度圖[25]。Li等[26]通過建立概率模型，提出了一種提前Merge模式決策方法以降低3D-HEVC非獨立視點編碼復雜度。

然而，現(xiàn)有3D-HEVC提前Merge模式決策方法仍未充分探索所有紋理視點、深度圖的獨立視點和非獨立視點的Merge模式提前決策。本文提出了一種基于殘差的學習模型，用于所有紋理視點和深度圖提前Merge模式決策，以降低3D-HEVC的編碼復雜度。本文的主要貢獻包括：1) 提取紋理視點和深度圖的預測殘差信號作為特征，其與傳統(tǒng)的量化后殘差系數(shù)不同；2) 建立學習模型，為每個P幀和B幀選擇自適應閾值；3) 針對 3D-HEVC中的紋理視點和深度圖，提出了提前Merge模式決策方法，該方法在保持編碼性能的同時降低了編碼復雜度。

2 問題分析

為了分析3D-HEVC中預測單元（PU, prediction unit）的預測模式的分布，采用 2個不同運動特性的視頻序列進行測試，“GT_Fly”（1 920×1 088）為緩慢運動視頻序列，“ Poznan_Hall2”（1 920×1 088）為快速運動視頻序列。測試條件為：對于紋理視點和深度圖，量化參數(shù)（QP, quantization parameter）分別設置為25、30、35和40，編碼樹單元（CTU,coding tree unit）大小為64×64。圖2給出了紋理視點和深度圖在不同QP下的Merge模式分布情況。從圖2中可以看出，在紋理視點和深度圖編碼中，大部分Merge模式被選擇為最優(yōu)模式。隨著QP的增加，對于紋理視點和深度圖編碼，Merge模式的百分比也逐漸增加。同時，對于不同的運動特性視頻序列，非獨立視點的Merge模式的百分比大于獨立視點的Merge模式的百分比。特別地，對于具有緩慢運動的“GT_Fly”視頻序列，超過75%和77%的CU分別選擇Merge模式作為紋理視點和深度圖編碼中的最優(yōu)模式。由于“Poznan Hall2”視頻序列中包含快速運動對象，因此，在 QP=25時，僅有34%和54%的獨立和非獨立深度圖選擇Merge模式為最優(yōu)模式。但是，在較大的 QP編碼中，Merge模式的百分比仍然相對較高。在3D-HEVC的模式決策過程中，Merge模式都在其他模式之前進行計算，并且紋理和深度圖視頻序列中都存在大量的靜止或運動緩慢區(qū)域，而這些區(qū)域大多選擇Merge模式作為最優(yōu)模式。因此，如果可以準確地提前終止Merge模式，則將跳過幀間和幀內的剩余模式計算過程，從而減少編碼的計算復雜度。因此，可以設計合理的條件提前終止Merge模式決策，以減少編碼時間。

圖2 不同QP下紋理視點和深度圖的Merge模式百分比

3 提前Merge模式決策方法

3.1 整體框架

本文提出的方法基于學習框架，其目標是提前終止Merge模式決策并且保持3D-HEVC紋理視點和深度圖的編碼性能基本不變。與傳統(tǒng)的基于相關性分析方法不同，本文提出了一種新的基于殘差的學習方法提前終止Merge模式決策。具體地，本文將提前Merge模式決策的過程建模為二元分類問題。因此，本文建立了一個基于殘差的學習模型以確定Merge模式是否為最優(yōu)模式。圖3為針對每個CU深度i的提前Merge模式決策方法的流程。首先，計算每個CU深度i的Merge模式。然后，提取Merge模式的殘差信號特征值，將其與學習模型的判定參數(shù)值進行比較，以確定當前CU深度i的Merge模式是否為最優(yōu)模式。學習模型的決策參數(shù)值從先前已編碼的最優(yōu) Merge模式中學習。

圖3 提前Merge模式決策方法的流程

3.2 特征分析和提取

為每一個 CU深度i獲得最優(yōu)模式，所有預測模式m都需要通過式(1)計算其RD cost，即

其中，RDm、Dm、Bm和λ分別表示模式m的 RD cost、預測失真、編碼比特率和拉格朗日因子。Q表示所有的幀間幀內預測模式。在式(1)中，編碼比特率Bm也可以分為兩部分，頭部比特率和殘差系數(shù)比特率。因此，式(1)可以重寫為

其中，RS表示殘差信號，f(D)和g(B)分別表示失真和殘差系數(shù)比特率的正相關系數(shù)。然后，結合式(2)～式(4)，模式m的RD cost計算可以重寫為

根據(jù)式(5)可以得出結論，模式m的RD cost與殘差信號具有很強的正相關關系。由于最優(yōu)模式決策是基于模式的RD cost的大小進行判斷的，因此將殘差信號用作評估提前Merge模式決策的有效特征是合理的。本文將提前Merge模式決策過程建模為二元分類問題，分類方法是通過特征提取和決策參數(shù)學習更新。其中預測殘差r(i,j)定義為

其中，ori(i,j)和pre(i,j)表示原始亮度像素值和預測模式亮度像素值，W和H分別表示 CU的寬和高。由于方差越小，該組中的數(shù)據(jù)越穩(wěn)定；方差越大，該組中的數(shù)據(jù)越不穩(wěn)定。因此，選擇殘差信號的方差2σ作為特征，計算式為

根據(jù)式(7)可知，當前預測模式的2σ值越小，原始像素值和預測像素值之間的失真越小。相反，當前預測模式的2σ值越大，原始像素值和預測像素值之間的失真越大。因此，如果當前預測模式的2σ很小，則可以提前終止當前模式。通常提出的方法中，采用量化后的殘差信號進行快速模式選擇，從式(2)可以看出，當量化殘差信號時，它不能很好地反映失真Dm。同時，量化后的大部分殘差信號將等于 0。因此，本文在量化之前使用殘差信號，可以更好地表示預測失真。

3.3 基于學習的決策參數(shù)更新

提前Merge模式決策被定義為一個二元分類問題，需要預先設置決策參數(shù)以預測Merge模式的殘差信號是否為最優(yōu)預測殘差信號，如果Merge模式的預測殘差信號滿足提前終止模式決策參數(shù)條件，則它將提前終止。通常，可以通過基于統(tǒng)計學習或機器學習方法來選擇決策參數(shù)但是，決策參數(shù)需要大量的原始樣本進行訓練，這將會進一步增加編碼的計算復雜度，同時也增加了編碼硬件設計的難度。因此，本文提出了一種簡單的學習方法來實現(xiàn)決策參數(shù)更新，它不需要統(tǒng)計實驗，只采用一個原始編碼的最優(yōu)Merge模式數(shù)據(jù)進行訓練，并且的值為自適應更新。圖4給出了學習決策參數(shù)獨立更新框架。為了避免不同QP的影響，決策參數(shù)在每個編碼幀中重新進行更新，即在每個新編碼幀的開始處初始化決策參數(shù)。不同CU深度i獨立地更新決策參數(shù)即

圖5 殘差信號方差

3.4 基于學習模型的提前Merge模式決策

圖4 學習決策參數(shù)獨立更新框架

由于量化后的Merge模式的殘差信號通常等于0，為了進一步提高提前Merge模式決策的準確性，將編碼塊標記（CBF）與式(10)進行組合，作為3D-HEVC中紋理視點和深度圖編碼的提前 Merge模式決策條件。根據(jù)文獻[16]，如果模式的CBF=0，則表示當前模式很有可能為最優(yōu)模式。因此，紋理視點和深度圖編碼的提前Merge模式決策條件可表示為

4 實驗結果及分析

4.1 測試條件

為了驗證本文提出的提前Merge模式決策算法對 3D-HEVC中紋理視點和深度圖編碼性能的影響，將提出的算法集成到 3D-HEVC參考軟件HTM16.2上實現(xiàn)，快速編碼決策方法[22]和 DIS模式始終開啟。采用通用測試條件進行評估[27]，其中包括JCT-3V推薦的8個測試視頻序列，用于評估所提出算法的效率，視頻序列包括2個分辨率，分別是 1 024×768（Balloons、Kendo、Newspaper）和1 920×1 088（GT_Fly、Poznan_Hall2、Poznan_Street、Undo_Dancer、Shark）。每個測試視頻序列包括3個紋理視點及其對應的深度圖，測試序列的細節(jié)如表1所示。編碼時間節(jié)約計算為

4.2 實驗結果

表2～表4給出了本文提出的用于3D-HEVC紋理視點和深度圖的提前Merge模式決策方法的編碼性能，其通過紋理視點和深度圖的編碼時間減少和 Bjontegaard（BD-Rate）來測量[28]。表 2～表4中，video0、video1和video2分別表示單個紋理視點的BD-Rate編碼結果，video PSNR/ videobitrate（V/V）表示所有編碼紋理視點的BD-Rate編碼結果，video PSNR/total bitrate（V/T）表示編碼紋理視點和深度圖的比特率之和的BD-Rate編碼結果，synth PSNR/total bitrate（S/T）表示合成視點的 BD-Rate編碼結果，TStexture、TSdepth和TStotal分別表示紋理視點編碼時間節(jié)約、深度圖編碼時間節(jié)約和總編碼（紋理視點和深度圖）時間節(jié)約。

表1 測試視頻序列

表2 本文提出方法的編碼性能

表2給出了本文提出方法的編碼性能。從表2可以看出，本文提出的方法可以有效地節(jié)省紋理視點和深度圖的編碼時間，同時保持所有測試紋理視點和深度圖的相似的編碼效率。對于紋理視點，本文提出方法的編碼時間節(jié)約為 31.2%～50.1%，平均為 41.9%。同時，video0、video1和video2的BD-Rate平均增加了0.7%、0.8%和0.7%。對于深度圖編碼，編碼時間節(jié)約為8.2%～30.6%，平均減少 24.3%。同時，總編碼時間節(jié)約為28.9%～39.7%，平均為34.4%。V/V、V/T和S/T的BD-Rate平均增加了為0.8%、0.7%和0.8%。以上實驗結果表明，本文提出的基于學習模型的提前 Merge模式決策方法可以有效地提前終止3D-HEVC中紋理視點和深度圖的Merge模式決策。

為了進一步評估本文提出方法的性能，將其與提前Merge模式決策方法PanTB[20]、組合快速方法CBF+ESD[9,19]用于編碼性能的客觀比較。表3給出了PanTB方法與原始測試平臺HTM16.2相比的性能。從表3可以看出，PanTB方法的紋理視點、深度圖和總編碼時間平均節(jié)約了 25.7%、12%和20.6%，video0、video1和video2的BD-Rate平均增加了0.3%、0.5%和0.5%，V/V、V/T和S/T的BD-Rate平均增加了0.7%、0.5%和0.5%。與PanTB算法相比，本文提出的方法可以進一步節(jié)約紋理視點、深度圖和總編碼16.2%、12.3%和13.8%的編碼時間，同時保持相似的BD-Rate增加。

表3 PanTB方法的編碼性能

表4 CBF+ESD方法的編碼性能

表4給出了CBF+ESD[9,19]方法與原始測試平臺HTM16.2相比的性能。從表4可以看出，CBF+ESD方法對紋理視點、深度圖和總編碼的編碼復雜度平均降低了34.6%、5.7%和22.7%，video0、video1和video2的BD-Rate平均增加了0.6%、1.6%和1.7%，V/V、V/T和S/T的BD-Rate平均增加了1.0%、1.0%和0.8%。與CBF+ESD方法相比，本文提出的方法可以進一步節(jié)約紋理視點、深度圖和總編碼7.3%、18.6%和11.7%的編碼時間，同時獲得了更好的編碼性能。

為了更直觀地體現(xiàn)獨立和非獨立視點的編碼時間節(jié)約，圖6給出了PanTB、CBF+ESD和本文提出方法之間的編碼時間節(jié)約對比。從圖6中可以看出，本文提出的基于學習殘差模型的提前Merge模式決策方法節(jié)約了更多的獨立視點和非獨立視點編碼的編碼時間。對于獨立紋理視點編碼，這些方法減少了幾乎相同的編碼時間。然而，對于獨立和非獨立的深度圖編碼，與PanTB和CBF+ESD方法相比，本文提出的方法可以為每個測試視頻序列節(jié)約更多編碼時間。特別是對于非獨立紋理視點編碼，PanTB方法增加了Poznan_Hall2的編碼時間，原因在于PanTB方法中首先計算CU深度0處的Inter_2N×2N模式，然而，集成在3D-HEVC中的快速算法首先計算Merge模式并提前終止，這可能導致 Merge模式應該提前終止而沒有提前終止，而PanTB方法中需要進一步計算Inter_2N×2N模式，從而增加編碼時間。

為了驗證本文提出的方法單獨用于 3D-HEVC深度圖的編碼性能影響，表5給出了在深度圖編碼下不同快速方法的編碼性能對比，其中文獻[16]方法（測試平臺為HTM13.0）和文獻[17]方法（測試平臺為HTM15.1）都可用于降低3D-HEVC深度圖的編碼復雜度。從表5中可以看出，本文提出的方法能降低較多的編碼時間，得到很好的合成視點編碼質量。相比文獻[16]方法，本文提出的方法在相似的時間節(jié)約下，還降低了2.1%的編碼碼率。相比于文獻[17]方法，本文提出的方法可以進一步節(jié)約20.8%的深度編碼時間，同時降低了0.2%的編碼碼率。綜上所述，將本文提出的方法用于所有3D-HEVC紋理視點和深度圖編碼以及只用于3D-HEVC深度圖編碼，相比于其他先進的快速3D-HEVC編碼方法，都能得到更好的編碼性能。

圖6 編碼時間節(jié)約對比

表5 在深度圖編碼下不同快速方法的編碼性能對比

5 結束語

本文提出了一種提前Merge模式終止方法，用于3D-HEVC紋理視點和深度圖，通過使用基于殘差的學習模型來降低3D-HEVC編碼器的計算復雜度。首先，基于每個最優(yōu)Merge模式中的原始亮度像素和預測亮度像素來提取殘差信號。其次，基于學習殘差的提前Merge模式決策方法采用所提出的殘差信號特征來提前預測最優(yōu)模式是否為Merge模式。實驗結果表明，該方法可以有效地減少編碼時間，在復雜度降低方面優(yōu)于最先進的算法。此外，基于學習的方法還有幾個獨特的優(yōu)點。首先，與傳統(tǒng)的基于統(tǒng)計的方法相比，本文提出的方法可以在紋理視點和深度圖編碼中實現(xiàn)。其次，學習模型簡單易實現(xiàn)，適用于3D-HEVC和HEVC的提前Merge模式決策。