黃賀焜，吳林煌，蔡江震

（福州大學(xué) 先進(jìn)制造學(xué)院，福建 泉州 362200）

0 引言

為解決國(guó)際音視頻編解碼標(biāo)準(zhǔn)壟斷問題，我國(guó)建立了自己的標(biāo)準(zhǔn)制定團(tuán)隊(duì)——數(shù)字音頻視頻編解碼技術(shù)標(biāo)準(zhǔn)工作組，于2003 年提出了第一代數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn)（Audio Video coding Standard，AVS），實(shí)現(xiàn)了與H264 標(biāo)準(zhǔn)相當(dāng)?shù)木幋a效率。隨著對(duì)高清、超高清、3D 視頻需求的增加，第二代視頻編碼標(biāo)準(zhǔn)AVS2 被提出。AVS2 標(biāo)準(zhǔn)相比AVS 標(biāo)準(zhǔn)平均減少了45%的碼率，在編碼速度與效率方面與高效率視頻編碼（High Efficiency Video Coding，HEVC）、H.265 標(biāo)準(zhǔn)相當(dāng)[1]。AVS2 采用了與HEVC[2]類似的編碼結(jié)構(gòu)，并加入了許多新的編碼工具，如內(nèi)方向預(yù)測(cè)、短距離幀內(nèi)預(yù)測(cè)、非方形四叉數(shù)變換、邏輯變換以及雙標(biāo)準(zhǔn)系數(shù)編碼等[3]。為了保證編碼壓縮率，AVS2 標(biāo)準(zhǔn)采用了9 種分式和33種方向預(yù)測(cè)[4]，以及多種類型的變換編碼，實(shí)現(xiàn)了高效視頻編碼，但也有著較大的編碼復(fù)雜度與計(jì)算量。目前，對(duì)AVS 編碼器的研究在普通平臺(tái)上已經(jīng)取得了較好的成果，滿足了大部分產(chǎn)業(yè)化應(yīng)用需求。但隨著移動(dòng)多媒體等設(shè)備的普及，現(xiàn)如今的AVS 壓縮效率和壓縮質(zhì)量已經(jīng)無(wú)法滿足低延時(shí)、輕量化、淺壓縮場(chǎng)景的需求，故需要對(duì)AVS 模塊如幀內(nèi)預(yù)測(cè)[5]、量化與反量化[6]、模式?jīng)Q策[7-8]、熵編碼[9]或碼率控制[10]中的算法進(jìn)行改進(jìn)，通過(guò)硬件實(shí)現(xiàn)加速，得到更優(yōu)化的視頻編解碼性能。

AVS 編碼器在我國(guó)的廣闊前景驅(qū)使從業(yè)者深入研究AVS、AVS2 及AVS3 編碼器的優(yōu)化與應(yīng)用，以便其更廣地實(shí)現(xiàn)產(chǎn)業(yè)化。因此，為了實(shí)現(xiàn)AVS 編碼器的在淺壓縮場(chǎng)景下的應(yīng)用，需要對(duì)其編碼過(guò)程進(jìn)行優(yōu)化。2021 年，AVS 視頻組織確認(rèn)了淺壓縮需求以及測(cè)試方案，于2022 年4 月提出淺壓縮參考軟件平臺(tái)HIM。該平臺(tái)通過(guò)低復(fù)雜度的預(yù)測(cè)、量化、模式?jīng)Q策和熵編碼方案，實(shí)現(xiàn)主觀視覺無(wú)損的高性能壓縮。因此，最新的AVS 淺壓縮編碼器的算法實(shí)現(xiàn)與優(yōu)化研究具有非常重要的理論價(jià)值。

針對(duì)上述問題，本文首先分析AVS 淺壓縮模式?jīng)Q策算法原理，其次介紹一種適配于硬件的算法實(shí)現(xiàn)方案以及系統(tǒng)整體方案設(shè)計(jì)流程，并對(duì)結(jié)果進(jìn)行分析。本文方案在VCS 平臺(tái)上進(jìn)行功能仿真驗(yàn)證并上板進(jìn)行部署，驗(yàn)證了本方案的可行性。

1 AVS 淺壓縮編碼器架構(gòu)

AVS 淺壓縮可以處理YUV 和RGB 格式的圖像和視頻，并支持YUV4 ∶0 ∶0、YUV4 ∶2 ∶0、YUV4 ∶2 ∶2、YUV4 ∶4 ∶4 和RGB4 ∶4 ∶4，支持8 bits、10 bits、12 bits 和16 bits 的輸入比特深度，并根據(jù)不同圖像格式產(chǎn)生不同的基本處理單元。圖像格式有亮度通道（Y 分量）和色度通道（U、V 分量），在YUV4 ∶0 ∶0、YUV4 ∶2 ∶0、YUV4 ∶2 ∶2、YUV4 ∶4 ∶4 和RGB4 ∶4 ∶4格式下，亮度通道為固定的16×2 像素塊，色度通道在YUV4 ∶4 ∶4 和RGB4 ∶4 ∶4 格式下為16×2 像素塊，YUV4 ∶2 ∶2 格式下為8×2 像素塊，YUV4 ∶2 ∶0 格式下為8×1 像素塊。

編碼層架構(gòu)如圖1 所示。AVS 淺壓縮編碼器頂層包含塊劃分、逐點(diǎn)預(yù)測(cè)、量化、模式?jīng)Q策、熵編碼及碼率控制等模塊，負(fù)責(zé)各個(gè)模塊之間的數(shù)據(jù)傳遞及模塊之間的工作順序安排。根據(jù)外部輸入圖像的不同格式，首先進(jìn)行圖像格式轉(zhuǎn)換，其中非YUV的圖像需要進(jìn)行顏色空間轉(zhuǎn)換，將其統(tǒng)一到Y(jié)UV顏色空間中。此時(shí)編碼器所需的編碼信息如比特深度、圖像格式及塊數(shù)量等將通過(guò)外部APB接口輸入。通過(guò)碼率控制模塊得到量化參數(shù)QP，并將量化參數(shù)QP 送入預(yù)測(cè)模塊。預(yù)測(cè)模塊通過(guò)4 種預(yù)測(cè)方式得到的殘差值需要進(jìn)行QP 調(diào)整，并將調(diào)整后的殘差送入后級(jí)的量化、反量化與重建模塊中。將量化后的殘差值送入模式?jīng)Q策模塊，模式?jīng)Q策模塊計(jì)算當(dāng)前使用到的每一種編碼塊中的各個(gè)預(yù)測(cè)模式下的編碼比特?cái)?shù)和失真代價(jià)，對(duì)求和的結(jié)果進(jìn)行比較后得到最優(yōu)的一種預(yù)測(cè)模式，將最佳預(yù)測(cè)模式下的殘差等信息傳輸至后級(jí)的熵編碼模塊進(jìn)行比特流的傳輸。

圖1 編碼層架構(gòu)

2 AVS 淺壓縮模式?jīng)Q策算法設(shè)計(jì)

在AVS 淺壓縮中，模式?jīng)Q策的準(zhǔn)則如式（1）所示，通過(guò)比特代價(jià)和絕對(duì)誤差和（Sum of Absolute Difference，SAD）值進(jìn)行求和，得到最優(yōu)的預(yù)測(cè)模式為率失真代價(jià)最小的模式。

式中：m表示模式（mode），Ψ表示所有模式的集合，λQP表示率失真優(yōu)化中的拉格朗日因子，R(m)表示不同預(yù)測(cè)模式下編碼當(dāng)前像素塊的比特代價(jià)，D(m)表示表示不同預(yù)測(cè)模式下重建像素塊與原始像素塊的SAD 值。λQP由碼率控制模塊生成的量化參數(shù)QP 導(dǎo)出，具體描述如下。

首先計(jì)算QP 對(duì)應(yīng)的Qstep。再計(jì)算碼控滿度f(wàn)ullness 對(duì)應(yīng)的系數(shù)α，計(jì)算公式為

最后計(jì)算λQP，計(jì)算公式為

R(m)為需要傳輸?shù)恼Z(yǔ)法信息所計(jì)算出的比特代價(jià)，其中需要傳遞的語(yǔ)法元素包括逐點(diǎn)預(yù)測(cè)的模式pred_mode、系數(shù)分組rpm、殘差編碼長(zhǎng)度lc 以及邊界符號(hào)trailing。

2.1 比特代價(jià)計(jì)算

2.1.1 逐點(diǎn)預(yù)測(cè)模式

逐點(diǎn)預(yù)測(cè)共有4 種預(yù)測(cè)模式，通過(guò)在模式?jīng)Q策中進(jìn)行代價(jià)比較，得到4 種預(yù)測(cè)模式最佳的預(yù)測(cè)模式，進(jìn)而輸入到后級(jí)的熵編碼模塊中進(jìn)行編碼。pred_mode 的比特代價(jià)計(jì)算方式是：定義數(shù)組pred_mode_code 用于存儲(chǔ)不同模式下的初始值，通過(guò)判斷模式類型進(jìn)行索引，取值為{3，3，0，0，2，4，4，5，5，5，6，6，0，0，2}，{0，1，0，0，3，11，10，19，18，17，33，32，0，0，1}。

2.1.2 殘差編碼長(zhǎng)度和邊界符號(hào)

在當(dāng)前最佳預(yù)測(cè)模式下，首先計(jì)算當(dāng)前通道宏塊對(duì)應(yīng)的最佳預(yù)測(cè)模式的殘差值。其次將其分組為大小為4 的子集，計(jì)算每組內(nèi)殘差最大值占用的比特?cái)?shù)，作為當(dāng)前4×1 塊內(nèi)殘差碼長(zhǎng)度。最后，檢查每組殘差值是否位于當(dāng)前殘差碼長(zhǎng)度能表示的范圍邊界上，根據(jù)具體的取值情況，對(duì)邊界符號(hào)修正符進(jìn)行相應(yīng)的設(shè)定。殘差編碼長(zhǎng)度lc的比特代價(jià)計(jì)算方式為

式中：ccl為殘差編碼長(zhǎng)度lc的代價(jià)，d是當(dāng)前圖像的比特深度。

邊界符號(hào)trailing 的比特代價(jià)為每個(gè)cl 塊的trailing 之和。

2.1.3 系數(shù)分組

當(dāng)編碼塊處于亮度通道，可采用5 種方式進(jìn)行劃分，如圖2 所示。

圖2 16×2 編碼塊系數(shù)分組方式

根據(jù)計(jì)算出的殘差編碼長(zhǎng)度lc進(jìn)行系數(shù)分組。每4 個(gè)像素為一個(gè)cl，標(biāo)記為cl00、cl01、cl02 和cl03。cl 塊兩兩相比較得出系數(shù)分組rpm 的具體方法是：當(dāng)4 個(gè)塊的殘差編碼長(zhǎng)度都相等，rpm 為PRM0；當(dāng)cl00=cl01 且cl02=cl03，rpm 為PRM1；當(dāng)cl00=cl01 且cl02 ≠cl03，rpm 為PRM2；當(dāng)cl00 ≠cl01 且cl02=cl03，rpm 為PRM3； 當(dāng)cl00 ≠cl01 且cl02 ≠cl03，rpm 為PRM4。

當(dāng)編碼塊為色度通道時(shí)，需要根據(jù)不同的圖像格式進(jìn)行不同的編碼塊大小判斷。若編碼塊大小為8×2，可采用2 種方式進(jìn)行劃分，如圖3 所示。

圖3 8×2 編碼塊系數(shù)分組方式

若編碼塊大小為8×1，可采用2 種方式進(jìn)行劃分，如圖4 所示。

圖4 8×1 編碼塊系數(shù)分組方式

rpm 的比特代價(jià)計(jì)算公式為

式中：crpm為系數(shù)分組rpm 的比特代價(jià)，mrpm表示rpm 分組模式，其中e[j]為兩種索引模式的索引，j=0,1。rpm 在亮度模式下有兩種模式，需要對(duì)兩種模式下的rpm 分別計(jì)算代價(jià)，相加得到最終的crpm。

2.2 SAD 計(jì)算

SAD 的計(jì)算公式為

式中：porg為每個(gè)編碼宏塊的各點(diǎn)原始像素，prec為該點(diǎn)對(duì)應(yīng)的重構(gòu)像素。重構(gòu)像素由模式?jīng)Q策模塊上一級(jí)的逐點(diǎn)預(yù)測(cè)模塊得到。

3 模式?jīng)Q策硬件方案

本文根據(jù)算法設(shè)計(jì)一套面向低延時(shí)的AVS 淺壓縮編碼的模式?jīng)Q策硬件方案。其中編碼器硬件的頂層架構(gòu)如圖5 所示。為加快編碼器運(yùn)行頻率，采用流水架構(gòu)設(shè)計(jì)，各模塊的啟動(dòng)信號(hào)由流水控制模塊控制，每隔12 個(gè)時(shí)鐘進(jìn)行一級(jí)模塊啟動(dòng)，收集每個(gè)模塊的結(jié)束信號(hào)以開啟下一級(jí)模塊，將每個(gè)模塊得到的結(jié)果進(jìn)行數(shù)據(jù)緩存。得到上一級(jí)逐點(diǎn)預(yù)測(cè)模塊頂層模塊輸出的預(yù)測(cè)殘差值、重建值、預(yù)測(cè)模式等信息和模式?jīng)Q策啟動(dòng)信號(hào)后，模式?jīng)Q策模塊按圖像格式所對(duì)應(yīng)的通道進(jìn)行處理，若圖像為YUV444或RGB444，則選擇的亮色度通道在16×2 編碼塊模式?jīng)Q策中進(jìn)行，否則亮度通道在16×2 編碼塊模式?jīng)Q策中進(jìn)行，色度通道則進(jìn)一步判斷，從而準(zhǔn)確送入8×2 或8×1 編碼塊模式?jīng)Q策中分別進(jìn)行，最終進(jìn)行比較后得到最佳預(yù)測(cè)模式下的殘差值、rpm、lc 等信息進(jìn)行數(shù)據(jù)緩存。

圖5 編碼器硬件頂層架構(gòu)

模式?jīng)Q策內(nèi)部硬件設(shè)計(jì)如圖6 所示。根據(jù)模塊輸入的重建值可得到SAD 代價(jià)。根據(jù)殘差值和預(yù)測(cè)模式，可得到lc、trailing，并根據(jù)lc 得到系數(shù)分組rpm，進(jìn)行編碼比特代價(jià)計(jì)算，最終進(jìn)行加權(quán)求和的總代價(jià)值進(jìn)行比較，得到最佳的預(yù)測(cè)模式。將該預(yù)測(cè)模式對(duì)應(yīng)的預(yù)測(cè)模式信息、殘差值、lc、trailing 及rpm 等信息輸出。

圖6 模式?jīng)Q策硬件頂層

4 模塊測(cè)試結(jié)果分析

本文考慮了工作頻率、資源使用等多方面要素，對(duì)模式?jīng)Q策模塊設(shè)計(jì)進(jìn)一步深入分析，以優(yōu)化路徑，提高編碼器性能。

使用VCS 仿真EDA 工具完成仿真波形的數(shù)據(jù)結(jié)果后，利用Verdi 工具查看波形結(jié)果，模式?jīng)Q策代價(jià)計(jì)算波形如圖7 所示。本設(shè)計(jì)仿真采用兩幅不同圖像格式（YUV444、YUV420），在8 bits 深度下進(jìn)行測(cè)試，在時(shí)鐘信號(hào)的激勵(lì)下，模塊接收到pred_done 信號(hào)后，模式?jīng)Q策模塊開始工作，在3 個(gè)時(shí)鐘后得到lc、trailing 信息，緊接著得到系數(shù)分組rpm信息；在11 個(gè)時(shí)鐘后得到總加權(quán)求和后的代價(jià)，并輸出該時(shí)鐘下的代價(jià)有效信號(hào)total_cost_valid。

圖7 模式?jīng)Q策模塊代價(jià)計(jì)算端口時(shí)序圖

得到代價(jià)有效信號(hào)后，通過(guò)比較得到最佳預(yù)測(cè)模式和該最佳預(yù)測(cè)模式下所對(duì)應(yīng)的值，并將best_mode_done 信號(hào)置1。該過(guò)程的時(shí)序如圖8 所示?？傮w模塊總計(jì)花費(fèi)12 個(gè)時(shí)鐘。

圖8 模式?jīng)Q策模塊選擇端口時(shí)序圖

完成各個(gè)子模塊的仿真驗(yàn)證工作確保各模塊輸出的時(shí)序正確后，將各模塊信號(hào)端口連接并使用腳本對(duì)所設(shè)計(jì)的硬件整體進(jìn)行仿真測(cè)試。圖9 為測(cè)試腳本測(cè)試不同圖像序列的輸出結(jié)果。3 幀圖像的測(cè)試結(jié)果與算法模型得到的數(shù)據(jù)完全吻合時(shí)，檢查結(jié)果輸出“PASSED”。

圖9 各序列模式?jīng)Q策模塊測(cè)試圖

在Vivado 2022.2 軟件上編譯實(shí)現(xiàn)后，得到系統(tǒng)的資源使用評(píng)估報(bào)告，如圖10 所示。其中，Y、U、V 各個(gè)分量所消耗的硬件資源與Y 分量下的預(yù)測(cè)模式3 類似，編碼器核心使用了芯片中的大部分邏輯資源。

圖10 模式?jīng)Q策頂層硬件資源

淺壓縮編碼器需要支持至少1 920×1 080、60 幀率，因此預(yù)設(shè)200 MHz 時(shí)鐘頻率，在40 nm工藝下用DC 綜合工具進(jìn)行編譯后，生成設(shè)計(jì)模塊綜合后的時(shí)序報(bào)告，如圖11 所示。最終slack 為1.43，表明時(shí)序收斂，主頻可滿足淺壓縮編碼器整體的100 MHz 編碼時(shí)鐘需求。且同樣工藝節(jié)點(diǎn)下，ASIC 芯片所能實(shí)現(xiàn)的最高主頻通常遠(yuǎn)高于在現(xiàn)場(chǎng)可編程邏輯門陣列（Field Programmable Gate Array，F(xiàn)PGA）上實(shí)現(xiàn)的主頻。

圖11 時(shí)序分析

將模式?jīng)Q策模塊集成在編碼器內(nèi)部，使用高清攝像頭拍攝筆記本電腦上顯示的圖像，由解碼板上的解碼器進(jìn)行硬解碼，編解碼效果如圖12 所示。

圖12 編解碼效果圖

5 結(jié)語(yǔ)

本文基于AVS 淺壓縮標(biāo)準(zhǔn)，提出針對(duì)模式?jīng)Q策算法的硬件實(shí)現(xiàn)方案；介紹了AVS 淺壓縮整體設(shè)計(jì)，分析了模式?jīng)Q策模塊所采用的算法并設(shè)計(jì)了其硬件實(shí)現(xiàn)方案；最后對(duì)實(shí)現(xiàn)的硬件進(jìn)行功能仿真驗(yàn)證、資源和時(shí)序評(píng)估，通過(guò)仿真數(shù)據(jù)分析驗(yàn)證了所設(shè)計(jì)的硬件模塊經(jīng)過(guò)運(yùn)算后輸出的數(shù)據(jù)與算法模型輸出的數(shù)據(jù)完全吻合；最后進(jìn)行編碼器的集成，并進(jìn)行上板測(cè)試。結(jié)果顯示端到端延時(shí)為60 ms，主頻為150 MHz，大于需求的100 MHz，可滿足1 080p@60 的視頻淺壓縮需求，并與編碼器低延時(shí)、低資源的標(biāo)準(zhǔn)相適配，達(dá)到了設(shè)計(jì)要求。