沙 月，楊 靜

（上海海事大學(xué)信息工程學(xué)院，上海 201306）

0 概述

作為最新一代的視頻編碼技術(shù)，H.266/VVC 始于2016 年并于2020 年7 月完成了version 1 版本的定稿。從整體上而言，H.266 依然沿襲了H.265 中基于塊的混合編碼框架，但是對于不同的編碼部分，H.266 標準都在不同程度上引入了一些新技術(shù)，如在圖形劃分方面，H.266 的編碼樹單元CTU 的最大尺寸從64×64 擴展到128×128，從而匹配更大的圖像尺寸。此外，H.266 采用基于四叉樹并嵌套多類型樹的劃分方式，包括二叉樹和三叉樹，從而將HEVC 中的編碼單元（CU）、預(yù)測單元（PU）、變換單元（TU）的概念進行統(tǒng)一［1-2］。H.266 幀內(nèi)預(yù)測的模式數(shù)量為67，并且支持寬角度預(yù)測［3］。在幀間預(yù)測方面，H.266 在H.265 的Merge 以 及AMVP（Advance Motion Vecter Prediction）等模式的基礎(chǔ)上拓展了一些新技術(shù)，這些新技術(shù)使得H.266 的編碼效率比H.265 提升約50%，但是與此同時，H.266 的編碼復(fù)雜度大幅提升，對于硬件資源的要求越來越高。

本文對H.266 中基于傳統(tǒng)Merge 模式的HMVP（History-based Motion Vector Prediction）技術(shù)進行優(yōu)化。通過存儲臨時的HMVP 候選列表來解決原有HMVP 候選列表在換行后無法參考之前運動信息的問題，在構(gòu)建Merge 候選列表時，通過設(shè)立相關(guān)的閾值并根據(jù)列表中已有的空時域候選數(shù)量，合理簡化HMVP 列表的去冗余過程，從而進一步提升H.266的編碼性能并降低編碼復(fù)雜度。

1 H.265 與H.266 的Merge 候選決策研究

1.1 H.265 中的Merge 候選列表構(gòu)造方式

傳統(tǒng)Merge 技術(shù)的主要思想是采用空域和時域MV（Motion Vecter）進行聯(lián)合預(yù)測，通過建立MV 候選列表并利用最小率失真（RD）準則進行率失真代價計算，從而選取一個性能最優(yōu)的MV 作為當前PU的預(yù)測MV［4］。

1.1.1 空域候選MV 構(gòu)造

空域候選MV 的構(gòu)造過程如圖1 所示。其中：A1、A0 分別表示當前PU 的左下方以及和左下方距離最近的PU；B1、B0 分別表示當前PU 右上方以及和右上方距離最近的PU。根據(jù)H.265 中的相關(guān)規(guī)定，空域最多可以提供4 個候選MV，即可以從5 個候選MV 中選擇4 個，其選擇的優(yōu)先級從高到低依次為A1→B1→B0→A0→（B2），B2 為替補選擇，當A1、B1、B0、A0 中有一個或多個不存在時才能選擇B2 作為替補。

圖1 空域候選MV 的構(gòu)造示意圖Fig.1 Construction diagram of spatial candidate MV

值得注意的是，當CU 的劃分方式為N×2N、nL×2N或nR×2N時，如圖2（a）所示，左邊預(yù)測塊可以按照正常的方式進行預(yù)測，但是對于右邊的預(yù)測塊，A1 位置的運動信息將不能再被使用，否則可能出現(xiàn)PU1 和PU2 采用相同運動信息的情況，這與2N×2N的劃分方式相同。因此，運動信息的選取順序變?yōu)锽1→B0→A0→B2。同理，如圖2（b）所示，當CU 的劃分方式為2N×N、2N×nU或2N×nD時，PU2 位置的運動矢量候選不能選擇B1 的運動信息，因此，運動信息的選取順序變?yōu)锳1→B0→A0→B2。

圖2 矩形劃分中空域候選MV 的構(gòu)造示意圖Fig.2 Construction diagram of spatial candidate MV in rectangular division

1.1.2 時域候選MV 構(gòu)造

時域候選MV 利用同位預(yù)測單元的運動信息進行構(gòu)造，如圖3 所示。需要注意的是，時域候選列表不能直接采用所選擇的預(yù)測單元的運動信息，需要根據(jù)其與參考圖像的位置關(guān)系經(jīng)過一定比例的縮放才能使用。具體過程如圖3 所示，從同位幀Col-Pic中找出2 個相當于TBR 或TCT 位置（如圖1 所示）的同位預(yù)測單元作為候選位置，選擇其一（TBR 優(yōu)先）為時域參考預(yù)測單元Col-PU，設(shè)tb是當前幀Curr_Pic與其參考幀Curr_Ref 之間的時間距離，td為同位幀Col_Pic 與其參考幀Col_Ref 之間的時間距離，則當前預(yù)測單元Curr_PU 的運動矢量MMVCurr_PU可由Col_PU 的運動矢量MMVCol_PU根據(jù)tb和td的比值進行縮放得到，即：

圖3 Merge 時域MV 的伸縮示意圖Fig.3 Expansion diagram of Merge time domain MV

此外，對于B幀而言，由于其需要確定2個候選MV，因此可以使用組合雙向預(yù)測的方法來補充Merge候選。本文考慮在List0 和List1 已導(dǎo)出的4 個候選中選取時域MV 然后進行兩兩組合，去除候選相同的組合還剩下12 種組合，擇優(yōu)選擇加入到候選列表中，最后再按需要決定是否增加零候選進入列表［5］。

1.2 H.266 中基于HMVP 候選的Merge 模式

傳統(tǒng)Merge 技術(shù)利用相鄰塊的運動信息來進行預(yù)測，但在某些特殊情況下（如圖像被物體遮擋），當前編碼塊可能與不相鄰的塊更相似，解決該問題的一種簡單方法是獲取來自非相鄰塊的運動信息，但是，這一過程對于硬件實施而言較為困難［6］。為此，H.266 提出HMVP 技術(shù)，該技術(shù)通過創(chuàng)建一個有限的緩沖區(qū)來存儲先前編碼塊的運動信息，先前編碼塊的運動信息被定義為HMVP 候選，多個HMVP 候選被存儲在HMVP 列表中，并且會對該表格在編碼和解碼過程中進行實時維護［7］。當一個塊被編解碼完成后，再按照先進先出（FIFO）的規(guī)則將該塊的運動信息添加到HMVP 列表的尾部［8］。在添加新候選的過程中，需要進行冗余度檢測以確保新進入的候選不能與列表中已有候選的運動信息重復(fù)，若出現(xiàn)重復(fù)，需要舍棄先前的候選，之后的候選逐一向前移動，最后再將新候選添加到HMVP 列表尾部［9-11］。HMVP 候選列表更新過程如圖4 所示。

圖4 HMVP 候選列表更新過程Fig.4 HMVP candidate list update process

在實際過程中，HMVP候選以編碼樹單元CTU 行為單位進行維護和更新，每當進入一個新的CTU 行時，列表就會被清空，其過程如圖5 所示。

圖5 HMVP 候選列表換行清空過程Fig.5 HMVP candidate list wrapping and clearing process

當HMVP 列表更新完成后，列表以逆序方式進入Merge 候選列表中，即按索引號從5 到0 的順序加入［12-14］。為了確保后續(xù)的運動補償過程是有意義且有效的，同樣需要對此過程進行冗余度檢查。H.266的Merge 模式候選數(shù)量為6，但空時域候選最多的可選數(shù)量與H.265 相同，仍然分別為4 個和1 個［15-16］，在空時域候選結(jié)束后，若列表未滿，則可以使用HMVP候選進行補充。為了獲得編碼復(fù)雜度和編碼性能之間的平衡，HMVP 候選列表的數(shù)量也被設(shè)為6［17-19］。值得一提的是，在更新HMVP 列表時，需要檢查當前已編解碼的塊是否可用，所謂可用是指該塊即不是幀內(nèi)預(yù)測塊也不是仿射變換塊。最終的Merge 候選列表構(gòu)建過程如圖6 所示。

圖6 基于HMVP 候選的Merge 列表建立過程Fig.6 Merge list establishment process based on HMVP candidates

2 HMVP 候選技術(shù)優(yōu)化問題

H.266 中基于HMVP 技術(shù)的候選模式存在以下問題：

1）HMVP 候選列表的更新和維護以CTU 行為單位進行，并且每個CTU 行使用同一個HMVP 候選列表。但是，在每一個CTU 行編碼完成后進入下一個CTU 行時，之前的HMVP 候選列表會被清空。因此，下一行CTU 的第一個CU 在進行編碼時無法參考之前的候選列表。這種算法模式只考慮各CTU 行之間的獨立性卻沒有考慮它們之間的相關(guān)性［20］。在幀間預(yù)測中，運動矢量的預(yù)測十分關(guān)鍵，如果某個運動信息預(yù)測不準，會給后續(xù)的預(yù)測造成很大的干擾，甚至導(dǎo)致一連串的預(yù)測錯誤。

2）在整個Merge 列表的構(gòu)建過程中，需要進行2 次冗余度檢查：一次是在更新HMVP 列表的過程中，新加入的HMVP 候選要與已經(jīng)進入的候選依次進行比較；另一次是將HMVP 候選加入到Merge 候選列表中時，要與Merge 列表中原有的空時域候選依次進行比較。本文假設(shè)Merge 列表中原有的空時域候選數(shù)量為Morigin，Merge 列表最多可以容納的HMVP 候選數(shù)為Mmax，HMVP 列表中將要進行查驗的候選數(shù)為Mcheck。本文分2 種情況來討論所需進行的冗余度檢查次數(shù)：

（1）若Mcheck≥Mmax，此時，當HMVP 候選列表的前Mmax-1 個候選（這里的“前”是指HMVP 列表中索引較大的候選）和Merge 候選列表的原有Morigin個空時域候選都不同，但其余HMVP 候選的運動信息都與Morigin個空時域候選中的某個候選一致時，所需的冗余度檢查次數(shù)最多，總數(shù)為：

（2）當Mcheck

通過計算可以看出，這種方式在構(gòu)建Merge 列表時冗余度檢查次數(shù)可以高達14 次，即這種方式比較繁瑣，有較大的優(yōu)化空間。此外，由于當Merge 候選列表中可用的候選數(shù)達到5 個時列表的構(gòu)造過程就會結(jié)束，即當HMVP 候選列表中候選的數(shù)量達到最大值6 時，處于末端的候選將無法被采用?；谏鲜龇治?，本文考慮設(shè)置某些條件，當滿足該條件時對要進行冗余度檢查的HMVP 候選數(shù)量進行相應(yīng)的限制，進而降低復(fù)雜度。

3 改進的候選決策算法

本文針對H.266 的候選決策進行如下改進：

1）對于HMVP 候選列表在換行時會清除列表而導(dǎo)致下一行CTU 的第一個CU 在編解碼時無法參考之前運動信息的問題，本文提出一種改進方案，其核心思想是：當進入一個新的CTU 行開始編碼時，使用一個臨時存儲的HMVP 候選列表，這個臨時存儲的HMVP 候選列表來自于上一個CTU 行中與其相鄰的CTU 編碼完成后所更新的HMVP 候選列表，這樣就解決了首個CU 編碼時不能參考以往HMVP 候選的問題，并且這2 個CU 之間距離較近，其運動信息具有很大的參考性。改進的HMVP 候選列表換行過程如圖7 所示。

圖7 改進的HMVP 候選列表換行過程Fig.7 Improved HMVP candidate list wrapping process

2）通過對冗余度檢查的過程進行優(yōu)化，以簡化基于HMVP 技術(shù)的Merge 候選列表，從而在盡量不影響編碼效果的情況下減少冗余度檢查次數(shù)。本文設(shè)置閾值來限制檢查次數(shù)，依據(jù)Merge 列表中已有的Morigin個空時域候選來確定將要進行冗余度檢查的HMVP 候選數(shù)量。此外，由上文分析可以得知，當HMVP 候選列表中候選數(shù)量達到最大值6 時，最多也只能有5 個候選被采用，最末端的候選來自于上一個已編碼塊，其運動信息與當前已有的空時域列表重復(fù)的概率較大，因此，本文考慮刪除最末端的候選，即只讓0 到4 索引的候選有機會加入Merge列表。對將要進行冗余度檢查的Mcheck個候選做出如下定義：

根據(jù)改進方案可知：當Merge 候選列表中原有的Morigin個空時域候選數(shù)量大于等于2 時，則無需對所有的HMVP 候選進行查驗（因為采用逆序加入的方式，所以從倒數(shù)第二個開始檢查），完成后若還可以繼續(xù)向Merge 列表補充候選，其余的HMVP 候選可以直接加入直到完成列表構(gòu)建；當Merge 候選列表中原有的空時域候選只有一個時，此時需要對除了最末端的候選外所有的候選進行檢查；當Merge列表中無可用的空時域候選時，無需進行冗余度檢查。在此方案下，根據(jù)式（2）計算出的優(yōu)化冗余度檢查次數(shù)如表1 所示。

表1 改進方案的冗余度檢查次數(shù)Table 1 Redundancy check times of improved scheme

由表1可以看出，改進方案的最大冗余度檢查次數(shù)降為6次，改進后最終的Merge列表構(gòu)建過程如圖8所示。

圖8 改進算法的Merge 候選列表構(gòu)建過程Fig.8 Merge candidate list construction process in improved algorithm

4 實驗與結(jié)果分析

本文實驗基于H.266 標準測試軟件VTM 10.0，所用計算機配置為因特爾酷睿i5-6500 CPU @3.2 GHz，內(nèi)存為8 GB，操作系統(tǒng)為Windows 10 X64，運行環(huán)境是Microsoft Visual Studio 2017。測試序列為H.266 標準測試中的A1、A2、B、C、D、E、F 共7 組序列，測試環(huán)境為隨機接入（RA）方式，量化參數(shù)（QP）依次取22、27、32、37。實驗數(shù)據(jù)中的BD-rate 表示在圖像質(zhì)量PSNR 一致的情況下碼率的平均變化情況，若其數(shù)值為負數(shù)，表示節(jié)省了碼率，編碼性能得到提升；反之，表示碼率有所損失。編解碼時間的百分比值是與標準編碼器比較的結(jié)果，其中，EncT 是改進算法的總編碼時間占標準算法總編碼時間的比例，EncT-inter 是改進算法幀間預(yù)測的時間占原算法幀間預(yù)測的時間比例。測試結(jié)果如表2 所示。

表2 改進算法對各序列的測試結(jié)果Table 2 Test results of the improved algorithm for each sequence %

由表2 可以看出：對于亮度分量Y 而言，幾乎所有測試序列的BD-rate 值都為負數(shù)，平均節(jié)省了0.46%的碼率，編碼性能有所提高，其率失真性能的提高主要來自于改進的HMVP 候選列表更新過程，使得運動信息的預(yù)測更加準確；MarketPlace、RitualDance、BlowingBubbles、BQSqure 等序列的改善效果較好，而BasketballDrive、BasketballDrill、BasketballPass、RaceHorses 等序列的改善效果較差，分析其原因可以發(fā)現(xiàn)，效果較好的幾個序列的共同特征是其紋理特性較為均質(zhì)和平坦，效果較差的幾個序列的紋理特性為非均質(zhì)且運動較為劇烈；由于改進的HMVP 列表在換行更新過程中參考了上一行中與其相鄰的CU 所使用的HMVP 列表，因此算法對于較為平坦的序列能夠進行更好地預(yù)測，對于運功較為劇烈的序列則效果較差，極少數(shù)正值是由于少數(shù)情況下簡化的去冗余過程會導(dǎo)致少許編碼損失，但幾乎可以忽略不計；對于另外2 個色度分量而言，出現(xiàn)了少量的波動情況，其主要原因是色度分量在幀間預(yù)測的過程中采取直接使用亮度分量的劃分形式和運動信息，不另外單獨進行劃分和預(yù)測，由此導(dǎo)致有時預(yù)測不夠準確，殘差較大，但總體而言，色度分量的編碼性能也有少量提升；在編碼復(fù)雜度方面，對于所有的測試序列，改進算法的編碼復(fù)雜度均有所下降，編碼總時間降低比例值在1.21%～7.72%之間，平均為4.09%，對于幀間預(yù)測過程而言，其編碼時間降低比例值在3.52%～17.54% 之間，平均為10.87%。

將本文算法與文獻［21］所提基于直接模式（DM）的統(tǒng)一色度候選優(yōu)化算法（算法1）、基于DM 的色度多核變換算法（算法2）以及文獻［22］所提分量間線性模型（CCLM）算法（算法3）、亮度幀內(nèi)模式編碼優(yōu)化算法（算法4）進行對比實驗，由于文獻［21］中未進行Class D 和Class F 的測試，因此只對Class A1、Class A2、Class B、Class C、Class E 這5 類序列進行比較，實驗結(jié)果如表3、表4 所示。從中可以看出，本文算法亮度分量的BD-rate 值均小于對比算法，編碼時間也具有明顯優(yōu)勢。

表3 5 種算法的BD-rate（Y）值比較結(jié)果Table 3 Comparison results of BD-rate（Y）values of five algorithms %

表4 5 種算法的編碼時間比較結(jié)果Table 4 Comparison results of coding time of five algorithms %

5 結(jié)束語

本文對H.265 中傳統(tǒng)的候選決策和H.266 中基于HMVP 技術(shù)的Merge 候選決策進行分析，針對HMVP 候選列表換行清空而導(dǎo)致的無法參考先前運動信息的問題，以及在構(gòu)建Merge 候選列表過程中存在的繁瑣的去冗余過程，提出一種改進的候選決策算法。該算法通過臨時存儲HMVP 列表的方法來優(yōu)化原有HMVP 候選列表中CTU 行在換行時出現(xiàn)的不足，并根據(jù)Merge 列表中已有的空時域候選來合理選擇去冗余的HMVP 候選數(shù)量，以簡化在構(gòu)建Merge 列表時的去冗余過程。實驗結(jié)果表明，該算法能夠在提升編碼性能的同時降低編碼復(fù)雜度。后續(xù)將結(jié)合基于子塊的幀間預(yù)測技術(shù)來優(yōu)化算法，以提升其編碼效率并進一步降低編碼復(fù)雜度。