劉子龍，羅小龍

(上海理工大學(xué) 光電信息與計算機(jī)工程學(xué)院，上海 200444)

1 引 言

隨著超高清影音享受的消費升級，視頻傳輸?shù)臄?shù)據(jù)量急劇增大.人們對于低延時的視頻傳輸需求也與日俱增，Joint Collaborate Team on Video Coding(JCT-VC)已經(jīng)提出了新一代的高效率視頻編碼標(biāo)準(zhǔn)(High Efficiency Video Coding，HEVC)[1].在保證視頻質(zhì)量大致相同的前提下，該標(biāo)準(zhǔn)與其上一代壓縮標(biāo)準(zhǔn)H.264/AVC相比，壓縮率提高了2倍.這主要借助其混合編碼框架來實現(xiàn)，并引入許多更加靈活的新方法.為進(jìn)一步減少時空冗余，編碼冗余和視覺冗余，HEVC將通過四叉樹劃分得到的編碼樹單元(CTU)作為獨立的編碼單元.目的是一個CTU可以被編碼成不同的塊，以適應(yīng)不同的視頻內(nèi)容.對每個不同深度的編碼單元(CU)而言，都可以結(jié)合各自不同的最佳預(yù)測單元(PU)和變換單元(TU)實現(xiàn)編碼.通過率失真(RD)代價遍歷計算所有可能的CU，PU和TU組合，其中RD代價值最小的組合即為最佳組合.顯而易見，該策略極大地增加了計算復(fù)雜度，使其無法在低延時的視頻傳輸中應(yīng)用.

因此，為解決這個難點，本文引入機(jī)器學(xué)習(xí)方法，用聚類方法去代替耗時的預(yù)測編碼模式遍歷選擇.減少幀間預(yù)測候選模式數(shù)量，從而降低復(fù)雜度.本文主要貢獻(xiàn)在于探索多視圖聚類方法，在視頻幀間編碼中的應(yīng)用.

2 研究現(xiàn)狀

為解決這一難題，許多快速編碼算法已經(jīng)被提出.有的學(xué)者在文獻(xiàn)[2]中提出基于解碼輔助的HEVC幀間預(yù)測算法，并結(jié)合絕對雙向預(yù)測差之和與模板匹配運算，幫助合并模式?jīng)Q策和幀間模式?jīng)Q策.在文獻(xiàn)[3]中作者提出提前選中跳過(SKIP)模式的快速幀間模式?jīng)Q策算法，具體通過使用SKIP模式，合并(Merge)模式，幀間2Nx2N的PU模式的率失真代價值來判斷.在文獻(xiàn)[4]中，作者提出基于分層分類的HEVC幀間編碼算法，用來降低復(fù)雜度.

近來，諸多學(xué)者還通過引入機(jī)器學(xué)習(xí)的方法來降低HEVC編碼復(fù)雜度.在文獻(xiàn)[5]中，降維和分類技術(shù)，包括逐步回歸，隨機(jī)森林，變量選擇，主成分分析，多項式分類器，被用于快速CU分割.在文獻(xiàn)[6]中提出基于RD代價優(yōu)化的模糊支持向量機(jī)快速CU決策算法，其中多級分類的級聯(lián)過程指的是CU劃分.在文獻(xiàn)[7]中提出應(yīng)用支持向量機(jī)(SVM)在減少計算復(fù)雜度的同時維持較高的編碼質(zhì)量.主要通過減少CU尺寸劃分決策和PU模式?jīng)Q策的計算量來達(dá)到目的.

同樣，深度學(xué)習(xí)在提高壓縮效率方面也取得了顯著的成果.在文獻(xiàn)[8]中，考慮到只有時間信息被CNN利用去進(jìn)行幀間預(yù)測，這無疑降低了它的預(yù)測精度.所以學(xué)者提出基于時空信息的幀間預(yù)測神經(jīng)網(wǎng)絡(luò).該神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)主要由一個全鏈接網(wǎng)絡(luò)和一個CNN組成.在文獻(xiàn)[9]中，基于CNN的快速CU模式?jīng)Q策算法被提出，用于HEVC幀間預(yù)測編碼.

已知，HEVC支持4種CU模式：64×64，32×32，16×16，8×8.每種CU模式又對應(yīng)11種候選PU模式：跳過模式(2N×2N)，2種幀內(nèi)模式(2N×2N，N×N)以及8種幀間模式(2N×2N，2N×N，N×2N，N×N，nL×2N，nR×2N，2N×nU，2N×nD).每種PU模式都會進(jìn)行復(fù)雜和耗時的運動估計和運動補(bǔ)償.通過實驗可以證明，視頻序列中存在大量時域冗余且對同一物體而言，相鄰幀間的變化很小.尤其對于運動緩慢相對靜止的物體或紋理平滑的背景區(qū)域而言，幾乎沒有變化.所以如果我們可以識別出它們的類別信息，那么待編碼塊通過復(fù)用鄰近幀的同類已編碼塊的CU和PU模式信息，就可以大大減少最佳CU和PU模式的選擇匹配過程，從而顯著提升編碼效率.

由于HEVC編碼的高分辨率視頻信息是未處理的無標(biāo)簽信息，且本身數(shù)據(jù)量較大.使用單一視圖聚類方法，難免陷入“管中窺豹，盲人摸象”的境地，很難達(dá)到預(yù)期分類效果.因此，本文引入多視圖聚類的方法來解決之一難題.視頻流中包含著某一特定物體在不同時間下的狀態(tài)，包括不同的運動姿態(tài)，由光線等環(huán)境因素引起的不同明暗變化，近遠(yuǎn)景切換導(dǎo)致的多角度刻畫等等.以上各幀中反應(yīng)同一物體的每個不同特征稱為一個視圖.將表達(dá)同一實例的不同視圖進(jìn)行歸類分析，使學(xué)到的信息更完整，即為對無標(biāo)簽數(shù)據(jù)的無監(jiān)督多視圖聚類學(xué)習(xí).該方法已被廣泛應(yīng)用于醫(yī)學(xué)影像輔助診斷，自然語音處理，視頻監(jiān)控和人臉識別等領(lǐng)域.文獻(xiàn)[10-12]HEVC幀間預(yù)測的第一幀只能采用幀內(nèi)預(yù)測，這樣的設(shè)定無疑為多視圖聚類提供了便利條件.由于CU劃分模式只有4種，在劃分過程中，不可避免的會包含其他類別的部分信息，對最終的聚類結(jié)果造成干擾.為此本文又引入特征選擇以及賦予不同權(quán)重值的方法，輔助聚類實現(xiàn).

在文獻(xiàn)[13]中，提出了基于多視圖聚類的HEVC快速幀內(nèi)模式?jīng)Q策算法.主要應(yīng)用無監(jiān)督的加權(quán)多視圖聚類方法，來減少幀內(nèi)預(yù)測候選模式數(shù)量.但該方法只利用了空域相關(guān)性，并未考慮時域相關(guān)性.且特征選擇條件單一，其聚類算法計算量也相對較大.本文針對以上3點，都做出了不同程度的合理優(yōu)化.

3 本文算法的提出

本文沿襲文獻(xiàn)[13]的基本思路，在文獻(xiàn)[14]的基礎(chǔ)上，通過加權(quán)多視圖聚類算法的提出，以特征值的選擇作為輔助，不僅使相關(guān)運動實例的視圖獲得更大的權(quán)重，還可以輔助聚類算法更好的實現(xiàn).在文獻(xiàn)[7]的基礎(chǔ)上，新增了合并標(biāo)簽(Merge Flag)，與原有的運動矢量(Motion Vector)，跳過標(biāo)簽(SKIP Flag)和率失真優(yōu)化比率(RDO ratio)共同作為本文的特征值，用于PU模式?jīng)Q策.更進(jìn)一步的突出與其相關(guān)的聚類信息，用以實現(xiàn)快速幀間模式?jīng)Q策選擇.算法的核心思想是探索視頻幀間結(jié)構(gòu)信息和相應(yīng)模式?jīng)Q策的相關(guān)性.

核心算法是基于一種快速和高效的基于核的K均值聚類算法[13]，核函數(shù)如公式(1)所示：

(1)

(2)

其中j=1，…，Nk=1，…，K；Nk代表第k個聚類中的數(shù)據(jù)個數(shù).

因為對于特定核函數(shù)，相對應(yīng)的非線性映射φ是無法明確計算的.為了計算公式(1)中的歐幾里德平方距離，文獻(xiàn)[13]中引入核矩陣的方法來計算距離.為提高計算速度，本文采用文獻(xiàn)[14]的方法，通過條件正定核函數(shù)簡化歐幾里德平方距離：

(3)

為了將該算法更好的應(yīng)用于多視圖聚類中，借鑒參考文獻(xiàn)[13]的研究思路，提出加權(quán)多視圖聚類算法.通過為視圖增加權(quán)重，剔除完全無信息量的視圖并自動根據(jù)視圖信息量的重要性，成正比的為其賦予不同大小的權(quán)重值.具體推導(dǎo)過程如下：

(4)

(5)

(6)

限制條件：

結(jié)合公式(3)和公式(4)，公式(5)可重寫如下：

(7)

(8)

為更進(jìn)一步提高該算法在HEVC幀間模式預(yù)測中的表現(xiàn)，在進(jìn)行多視圖學(xué)習(xí)的同時，還引入了特征選擇算法.本文主要選取合并標(biāo)簽，運動矢量，跳過標(biāo)簽和率失真優(yōu)化比率這4個特征值：

(9)

其次為了在運行編碼決策時最小化率失真性能下降，還需引入以下?lián)p失函數(shù)：

(10)

在編碼過程中，對于給定的帶有特征向量x的PU，通過下式計算它每個候選模式的得分：

(11)

然后通過上文所提到的多視圖聚類算法目標(biāo)函數(shù)，預(yù)測得分最低的模式.

4 實驗驗證

本次試驗中使用的HM參考軟件版本為16.8，因為本文目標(biāo)是通過多視圖聚類的機(jī)器學(xué)習(xí)方法，來預(yù)測編碼模式從而降低延時.所以采用統(tǒng)一配置：低延時編碼—編碼幀只有第一幀是幀內(nèi)方式編碼，并作為及時解碼刷新(Instantaneous Decoding Refresh，IDR)幀和一系列后續(xù)的普通P和B幀(Generalized P and B Picture，GPB)組成，因為編碼幀序列維持不變，所以減少了延時.其他所有的環(huán)境設(shè)置都遵守官方初始化的HM測試狀態(tài)進(jìn)行.實驗所用CPU是Inter Core I5-4200，2.80GHz×4核，8GB運行內(nèi)存搭載Windows 10操作系統(tǒng).

官方測試序列中5類共20條測試序列被用來衡量所提算法的優(yōu)劣，詳情見表1.編碼復(fù)雜度由平均編碼時間節(jié)省(TS)參數(shù)來衡量，因HM16.8統(tǒng)計的編碼時間精確到了毫秒級，所以每次測試結(jié)果都略有不同，所以采用測試3次求平均值的方法，具體參見公式(12).

表1 測試序列屬性

(12)

量化步長(QP)分別選取22，27，32和37.編碼視頻質(zhì)量通過BDBR參數(shù)來衡量.

本文算法對上述視頻序列處理的過程中，對關(guān)鍵物體的多視圖信息進(jìn)行了準(zhǔn)確的提取.現(xiàn)將部分提取結(jié)果展示在圖1中.

圖1 部分多視圖提取結(jié)果

幾個典型相關(guān)算法的編碼表現(xiàn)對比，在表2中呈現(xiàn).為了更進(jìn)一步對比，每一類的平均表現(xiàn)和所有測試序列的平均表現(xiàn)，本文分別做出統(tǒng)計.對比的算法有文獻(xiàn)[4]—基于分層分類的HEVC幀間編碼算法；文獻(xiàn)[7]—支持向量機(jī)算法；文獻(xiàn)[13]—基于多視圖聚類的HEVC快速幀內(nèi)模式?jīng)Q策算法.

分析表2中每一類的平均表現(xiàn)可得，大部分算法都可以在E類實現(xiàn)最大的時間節(jié)約.因為E類序列大部分是簡單紋理內(nèi)容和緩慢移動的物體.所以各種算法都可以在E類實現(xiàn)更大的CU劃分策略，也就意味著可節(jié)省更多的時間.而D類恰恰相反，一是因為該類大部分都是復(fù)雜文理內(nèi)容和快速移動的物體.還有一個不容忽視的原因，是該類本身的分辨率最小，所以HEVC原本的編碼時間與其他類相比就是最短，自然各種算法的節(jié)約時間有限.

表2 典型相關(guān)算法實驗對比結(jié)果

分析表2中總的平均表現(xiàn)，文獻(xiàn)[13]獲得了最快的壓縮速度，分別比文獻(xiàn)[4，7]和本文所提算法提高了8.751%；24.505%和13.841%，但它的碼率損耗比它們分別多出0.048%；1.323%和1.143%．所以綜合來看，文獻(xiàn)[13]并沒有很明顯得優(yōu)勢.況且文獻(xiàn)[13]是全幀內(nèi)預(yù)測模式，本身相對于幀間預(yù)測模式就會節(jié)省更多的編碼時間.本文所提算法的壓縮速度雖然排名第3，分別比文獻(xiàn)[4，7，13]提高了-5.09%；10.664%和-13.841%；但碼率損耗分別比它們節(jié)省1.095%；-0.18%和1.143%.綜合來看，本文所提算法獲得了較好的效果，達(dá)到優(yōu)于同目標(biāo)各類算法的目的.當(dāng)然，實驗結(jié)果再一次證實——更多編碼時間的節(jié)省是以犧牲視頻壓縮質(zhì)量為代價的.

5 結(jié) 論

本文提出將加權(quán)多視圖聚類方法用于HEVC幀間模式預(yù)測的想法，主要通過將一種快速和高效基于核的K均值聚類算法擴(kuò)展到多視圖情況下，并通過不同權(quán)重值量化視圖信息的重要性.再結(jié)合合并標(biāo)簽，運動矢量，跳過標(biāo)簽和率失真優(yōu)化比率的特征選擇，進(jìn)一步優(yōu)化無監(jiān)督機(jī)器學(xué)習(xí)得到的各類性能指標(biāo).從而更全面的學(xué)習(xí)視頻幀間的時間相關(guān)性，達(dá)到減少幀間預(yù)測候選模式數(shù)量的目的，顯著降低視頻編碼的復(fù)雜度，大大減少視頻傳輸?shù)难舆t.經(jīng)過理論分析和數(shù)學(xué)推導(dǎo)，證明本文所提算法可以有效降低編碼計算復(fù)雜度；之后經(jīng)過實驗的進(jìn)一步驗證，得出可以節(jié)省高達(dá)36.690%的編碼時間，但只造成0.278%的碼率增加.并且通過與同類型和同目標(biāo)算法的橫向比較，也證實所提算法的綜合優(yōu)勢明顯，達(dá)到預(yù)期目標(biāo).