公衍超, 張森森, 何書(shū)婷, 李寶貴, 劉穎, 林慶帆,4

(1. 西安郵電大學(xué)通信與信息工程學(xué)院, 710121, 西安; 2. 陜西省法庭科學(xué)電子信息實(shí)驗(yàn)研究中心, 710121, 西安; 3. 陜西省無(wú)線通信與信息處理技術(shù)國(guó)際聯(lián)合研究中心, 710121, 西安; 4. 新加坡XsecPro公司, 787820, 新加坡)

視頻監(jiān)控系統(tǒng)被廣泛應(yīng)用于刑事偵查、司法取證等領(lǐng)域,有力維護(hù)了社會(huì)穩(wěn)定與人民的人身與財(cái)產(chǎn)安全。在視頻監(jiān)控系統(tǒng)中,監(jiān)控視頻要依次經(jīng)過(guò)采集、編碼、傳輸、存儲(chǔ)、解碼、顯示、分析等操作。監(jiān)控視頻編碼的目的就是用更少的編碼碼率獲得更高質(zhì)量的重建視頻,所以編碼是保證整個(gè)視頻監(jiān)控系統(tǒng)有效運(yùn)行的關(guān)鍵技術(shù)之一。當(dāng)前視頻監(jiān)控系統(tǒng)中,被廣泛使用的視頻編碼標(biāo)準(zhǔn)是由國(guó)際電信聯(lián)盟電信標(biāo)準(zhǔn)化部門(mén)(ITU-T)和國(guó)際標(biāo)準(zhǔn)化組織(ISO)/國(guó)際電工委員會(huì)(IEC)分別于2003年和2013年共同發(fā)布的H.264/AVC標(biāo)準(zhǔn)[1]和HEVC標(biāo)準(zhǔn)[2-3]。但是,隨著近幾年視頻類(lèi)型的多樣化發(fā)展和視頻應(yīng)用需求的快速變化,H.264/AVC和HEVC標(biāo)準(zhǔn)的編碼效率已經(jīng)很難滿足實(shí)際需求。相應(yīng)地,由ITU-T和ISO/IEC聯(lián)合制定的通用視頻編碼(VVC)標(biāo)準(zhǔn)[4]應(yīng)運(yùn)而生。VVC是2020年發(fā)布的當(dāng)前最新國(guó)際視頻編碼標(biāo)準(zhǔn),其編碼效率大約是HEVC標(biāo)準(zhǔn)的2倍,H.264/AVC標(biāo)準(zhǔn)的4倍。

H.264/AVC、HEVC和VVC標(biāo)準(zhǔn)都采用基于預(yù)測(cè)、變換、量化、熵編碼的混合編碼框架。其中,量化是將具有較大動(dòng)態(tài)取值范圍的變換系數(shù)進(jìn)行多對(duì)一映射以減小變換系數(shù)的取值空間,在有效去除視頻部分視覺(jué)冗余的同時(shí),提高熵編碼去除熵冗余的能力,有力保證了視頻編碼的效率。量化的核心是多對(duì)一的映射機(jī)制,而量化參數(shù)(QP)是控制多對(duì)一映射程度的編碼參數(shù)。QP通常取0及有限的正整數(shù)。QP取值越大則對(duì)應(yīng)更大取值范圍的變換系數(shù)被映射為同一取值,導(dǎo)致視頻編碼的失真越大,而編碼碼率則越小。所以,QP取值顯著影響視頻編碼的效率,是量化模塊中一個(gè)非常關(guān)鍵的編碼參數(shù)。量化參數(shù)級(jí)聯(lián)(QPC)即是研究在編碼過(guò)程中如何選擇最優(yōu)QP的一類(lèi)方法。H.264/AVC和HEVC標(biāo)準(zhǔn)的官方測(cè)試模型JM和HM分別推薦文獻(xiàn) [5-6]提出的QPC方法。但是,文獻(xiàn) [5-6]提出的QPC方法都屬于固定取值的方法,即不管編碼輸入因素如何變化,相鄰時(shí)間層對(duì)應(yīng)的QP差值是一樣的。固定取值的方法雖然簡(jiǎn)單但是編碼效率較低。為了進(jìn)一步提高視頻編碼的效率,一些更加有效的QPC方法被提出[7-14]。

基于實(shí)驗(yàn)統(tǒng)計(jì),文獻(xiàn) [7]構(gòu)建了QP與拉格朗日因子的對(duì)數(shù)關(guān)系,并將其應(yīng)用于QP的選擇過(guò)程中。文獻(xiàn) [8-9]探索了分級(jí)預(yù)測(cè)結(jié)構(gòu)中不同時(shí)間層之間碼率與失真的依賴(lài)關(guān)系,并分別提出了基于率失真優(yōu)化的QPC方法。不同的是,文獻(xiàn) [8]探索的是相鄰時(shí)間層之間的碼率與失真的依賴(lài)關(guān)系,而文獻(xiàn) [9]探索的是時(shí)間0層與其他更高時(shí)間層之間的碼率與失真的依賴(lài)關(guān)系。文獻(xiàn) [10-14]分析了分級(jí)預(yù)測(cè)結(jié)構(gòu)中圖像間的參考依賴(lài)性對(duì)QP選擇的影響,并分別提出了有效的QPC方法。不同的是,文獻(xiàn) [10-13]只考慮了最近參考幀對(duì)QP選擇的影響,而文獻(xiàn) [14]則考慮了所有參考幀對(duì)QP選擇的影響。

以上提出的QPC方法[5-14]都是面向早期的H.264/AVC和HEVC標(biāo)準(zhǔn)。由于VVC標(biāo)準(zhǔn)推薦使用了大量新編碼技術(shù),所以這些QPC方法[5-14]并不適用。當(dāng)前VVC標(biāo)準(zhǔn)的官方測(cè)試模型VTM[15]推薦使用JCTVC-X0038提案提出的QPC方法[16],下文簡(jiǎn)稱(chēng)為JCTVC-X0038 QPC方法。JCTVC-X0038 QPC方法忽略了視頻內(nèi)容特性對(duì)QP選擇的重要影響,其編碼效率還有較大的提升空間。針對(duì)以上問(wèn)題,本文面向VVC的混合編碼框架,在分析視頻內(nèi)容特性等因素對(duì)QP選擇影響的基礎(chǔ)上,提出了一種有效考慮監(jiān)控視頻空時(shí)域內(nèi)容特性的VVC 量化參數(shù)級(jí)聯(lián)方法(SCA-QPC)。

1 JCTVC-X0038 QPC方法

在視頻編碼中,需要根據(jù)應(yīng)用場(chǎng)景需求選擇適合的編碼結(jié)構(gòu)。VTM支持3種編碼結(jié)構(gòu),即全幀內(nèi)、隨機(jī)接入、低時(shí)延(LD)[15]。圖1為圖像組(GOP)為8的LD結(jié)構(gòu)。圖像序列號(hào)(POC)反映了圖像在視頻中的顯示順序,而編碼順序(CO)則反映了圖像在視頻編碼中的順序。在LD結(jié)構(gòu)中,所有圖像的POC和CO是一樣的,即編碼結(jié)構(gòu)時(shí)延為0。所以,LD結(jié)構(gòu)適用于視頻監(jiān)控、視頻會(huì)議、視頻通話等對(duì)視頻數(shù)據(jù)傳輸實(shí)時(shí)性要求較高的應(yīng)用場(chǎng)景。

RP1—第一個(gè)幀間參考幀;RP2—第二個(gè)幀間參考幀;RP3—第3個(gè)幀間參考幀;RP4—第4個(gè)幀間參考幀;IDR—瞬時(shí)解碼刷新幀;P/B—通常的P幀或B幀。

在LD結(jié)構(gòu)中,視頻的第一幅圖像被編碼為瞬時(shí)解碼刷新(IDR)幀,剩余圖像則根據(jù)其POC組成GOP。處在同一GOP的圖像又根據(jù)其相對(duì)圖像序列號(hào)(rPOC)被劃分到不同的時(shí)間層。rPOC反映了圖像在GOP中的顯示順序。時(shí)間層是介于GOP和圖像之間的一個(gè)編碼層級(jí),可以有效反映圖像在GOP中的重要性。圖1中由紅色、粉色、藍(lán)色、綠色、黃色標(biāo)識(shí)的圖像分別處于時(shí)間0層、時(shí)間1層、時(shí)間2層、時(shí)間3層、時(shí)間4層?；旌暇幋a框架中的幀間編碼幀,例如通常的P幀或B幀,需要利用幀間預(yù)測(cè)技術(shù)參考已經(jīng)編碼重建的圖像以消除其包含的時(shí)域冗余。圖1中的箭頭方向表示參考圖像(RP)的來(lái)源。通常,RP的數(shù)量越多,則對(duì)應(yīng)的編碼率失真性能越高,但編碼復(fù)雜度也會(huì)顯著增大。為了有效權(quán)衡編碼率失真性能和復(fù)雜度,VTM允許支持的最大RP數(shù)量為4。圖1中的RP1、RP2、RP3、RP4分別表示第1～4個(gè)幀間參考幀的來(lái)源。通常,時(shí)間層越低的圖像對(duì)整個(gè)視頻編碼的效率影響越大,反映在QP選擇上就是時(shí)間層越低的圖像用更小的QP編碼,以?xún)?yōu)先保證編碼質(zhì)量。這也是當(dāng)前大部分QPC方法[5-14,16]在選擇QP時(shí)遵循的基本規(guī)則。以上規(guī)則可表示為

Qt=Qt-1+Δt, 1≤t≤NL

(1)

式中:Qt表示給第t個(gè)時(shí)間層圖像選擇的量化參數(shù);Q0表示初始量化參數(shù),通常由編碼者在配置文件中初始設(shè)定;NL表示時(shí)間層數(shù);Δt表示第t個(gè)時(shí)間層圖像和第t-1個(gè)時(shí)間層圖像對(duì)應(yīng)的量化參數(shù)差值。

QPC方法的目的是選擇最優(yōu)的Δt,用Δt,opt表示。JCTVC-X0038 QPC方法是當(dāng)前唯一面向VVC標(biāo)準(zhǔn)提出的QPC方法,其設(shè)置QP的方案也如式(1)所示,其中Δt被進(jìn)一步表達(dá)為包括Δα、ω、β的線性模型。JCTVC-X0038 QPC方法的QP設(shè)置方案表示為

Qt=Qt-1+Δt=

Qt-1+(Δα+Clip3(0, 3,ω(Qt-1+Δα)+β))

(2)

式中:Clip3(γ,φ,θ)表示將θ的取值限定在γ～φ范圍內(nèi);ω為縮放因子;β為截距因子;Δα為JCTVC-X0038 QPC方法設(shè)置的相鄰時(shí)間層量化參數(shù)偏移量的差值。

Δα、ω、β的取值如表1所示,其取值只與時(shí)間層相關(guān),與視頻內(nèi)容特性等因素?zé)o關(guān)。

表1 JCTVC-X0038 QPC方法中的參數(shù)取值

下面,通過(guò)實(shí)驗(yàn)進(jìn)一步確認(rèn)JCTVC-X0038 QPC方法設(shè)定的具體QP。選擇兩個(gè)典型的具有不同內(nèi)容特性的監(jiān)控視頻DormitoryHall 和MeetingRoom作為測(cè)試序列。圖2所示為DormitoryHall 序列和MeetingRoom序列的第1幀及第250幀。DormitoryHall序列是由固定監(jiān)控?cái)z像頭拍攝的宿舍走廊場(chǎng)景,其變化區(qū)域由綠色虛線框標(biāo)注。MeetingRoom序列是由旋轉(zhuǎn)監(jiān)控?cái)z像頭拍攝的會(huì)議室場(chǎng)景,其明顯變化區(qū)域由紅色虛線框標(biāo)注。其中,A區(qū)域和B區(qū)域分別為攝像頭在旋轉(zhuǎn)拍攝過(guò)程中視頻消失的區(qū)域和新進(jìn)入的區(qū)域。結(jié)合圖2易得出以下結(jié)論,相比于DormitoryHall序列,MeetingRoom序列包含的場(chǎng)景內(nèi)容紋理更加復(fù)雜,且變化區(qū)域更大,序列整體運(yùn)動(dòng)更快。這兩個(gè)測(cè)試序列的詳細(xì)視頻內(nèi)容特性量化評(píng)價(jià)參見(jiàn)后文第3.1小節(jié)。使用的編碼器為VTM16.2[15],其他主要編碼參數(shù)設(shè)置與配置文件encoder_lowdelay_P_vtm中的默認(rèn)設(shè)置一致,如表2所示。表3 所示為JCTVC-X0038 QPC方法最終選擇的Δt。

表2 主要編碼參數(shù)配置

表3 JCTVC-X0038 QPC方法選擇的Δt

(a)DormitoryHall序列第1幀

結(jié)合式(2)、表1和表3易得出以下結(jié)論:JCTVC-X0038 QPC方法給不同測(cè)試序列選擇的Δt是一樣的,即JCTVC-X0038 QPC方法并未考慮視頻序列內(nèi)容特性對(duì)QP選擇的影響。但是,視頻作為視頻編碼操作的輸入信源,信源特性會(huì)顯著影響視頻編碼過(guò)程中子技術(shù)的參數(shù)選擇與運(yùn)行效率,最終會(huì)顯著影響視頻編碼的整體效率。所以,理論上視頻的內(nèi)容特性會(huì)顯著影響QP的選擇,下一節(jié)也將從理論與實(shí)驗(yàn)兩個(gè)角度證明以上推斷。綜上所述可知,VTM當(dāng)前推薦的JCTVC-X0038 QPC方法是不優(yōu)化的,其編碼性能還可進(jìn)一步提高。

2 QP選擇影響因素分析

2.1 時(shí)間層對(duì)QP選擇的影響

VVC采用基于預(yù)測(cè)、變換、量化、熵編碼的混合編碼框架以消除原始視頻中的各類(lèi)冗余信息,達(dá)到數(shù)據(jù)壓縮的目的。從信源的角度看,視頻是一系列圖像在時(shí)間維度上的集合,相鄰圖像內(nèi)容的相關(guān)性很強(qiáng),即存在很多時(shí)域冗余。VVC采用幀間預(yù)測(cè)技術(shù)[15,17]消除視頻中的時(shí)域冗余,其基本原理表示為

ri,b=oi,b-pj,b

(3)

式中:oi,b表示第i幅圖像的第b個(gè)編碼塊;ri,b表示第i幅圖像第b個(gè)編碼塊對(duì)應(yīng)的殘差塊;pj,b表示oi,b在第j幅圖像通過(guò)運(yùn)動(dòng)估計(jì)找到的最優(yōu)匹配塊,第j幅圖像是第i幅圖像的參考圖像。相比于編碼塊,殘差塊對(duì)應(yīng)的符號(hào)概率密度分布更加趨于不均勻,能量更加集中,其經(jīng)過(guò)變換量化進(jìn)一步處理后更利于提高熵編碼技術(shù)去冗余的能力,最終提升視頻編碼的效率。

由式(3)易看出,第j幅圖像的質(zhì)量會(huì)顯著影響第i幅圖像最優(yōu)匹配塊的選擇效率,進(jìn)而影響殘差塊中殘差值的概率密度分布特征和熵編碼的去冗余能力,最終影響第i幅圖像的編碼效率。所以,給第j幅圖像選擇的QP不僅影響本圖像的編碼效率,也顯著影響以第j幅圖像為參考圖像的其他圖像編碼效率。另外,為了有效權(quán)衡編碼復(fù)雜度和率失真性能,VTM支持的參考圖像數(shù)量和來(lái)源是固定的,其中參考圖像數(shù)量最大為4[15],LD結(jié)構(gòu)中參考圖像的來(lái)源參考圖1中的箭頭方向。由圖1易看出,低時(shí)間層圖像,例如時(shí)間0層與時(shí)間1層圖像,會(huì)被更多的圖像作為參考圖像。綜上可以得到第1個(gè)推論:相比于其他更高時(shí)間層圖像,時(shí)間0層和時(shí)間1層圖像對(duì)整個(gè)視頻編碼效率的影響更大。

下面從實(shí)驗(yàn)角度驗(yàn)證上述第1個(gè)推論的準(zhǔn)確性。對(duì)于實(shí)驗(yàn)選擇的測(cè)試序列,編碼器、編碼結(jié)構(gòu)、檔次、Q0等都與第1節(jié)描述的實(shí)驗(yàn)設(shè)置一致。為了盡量避免不同編碼方法得到的碼率相差過(guò)大,設(shè)置時(shí)間0層圖像的實(shí)際編碼QP為Q0-Δ1,Qt的取值按照式(1)設(shè)置,其中Δ1分別取1、2、3、4,Δ2分別取3、4、5、6,Δ3分別取0、1、2,Δ4分別取0、1、2。Δ1、Δ2、Δ3、Δ4取不同的值就對(duì)應(yīng)著不同的QPC方法。與表3中的數(shù)據(jù)對(duì)比易看出,本實(shí)驗(yàn)中設(shè)置的Δt包含了JCTVC-X0038 QPC方法得到的所有取值,且在此基礎(chǔ)上進(jìn)行了適當(dāng)擴(kuò)展。

率失真性能是衡量QPC方法的關(guān)鍵指標(biāo),且通常使用BD-rate[9,14,17-20]作為測(cè)度,用符號(hào)ΔR表示。ΔR反映了待評(píng)價(jià)方法在與基準(zhǔn)方法在獲得同等感知質(zhì)量的重建視頻前提下,可以節(jié)省多少碼率。首先,將JCTVC-X0038 QPC方法作為基準(zhǔn)方法,計(jì)算不同Δ1、Δ2、Δ3、Δ4取值組合對(duì)應(yīng)的QPC方法的ΔR。然后,進(jìn)一步選擇Δ2、Δ3、Δ4取相同值而Δ1取不同值的QPC方法,計(jì)算這些方法對(duì)應(yīng)的ΔR隨著Δ1取值變化時(shí)的絕對(duì)值變化量。這一數(shù)據(jù)可以有效反映時(shí)間0層和時(shí)間1層圖像的QP對(duì)整體視頻編碼率失真性能的影響程度。按照同樣的原理,分別計(jì)算Δ2、Δ3、Δ4取值變化時(shí)其對(duì)應(yīng)的ΔR絕對(duì)值變化量。具體數(shù)值如表4所示。

表4 ΔR的絕對(duì)值變化量

由表4數(shù)據(jù)易看出,對(duì)于不同內(nèi)容特性的測(cè)試序列,Δ1對(duì)應(yīng)的ΔR絕對(duì)值變化量都是最大的。所以,相比于其他時(shí)間層,時(shí)間0層和時(shí)間1層對(duì)于整個(gè)視頻編碼率失真性能的影響是最大的。另外,相比于Δ3、Δ4對(duì)應(yīng)的ΔR絕對(duì)值變化量,Δ2對(duì)應(yīng)的ΔR絕對(duì)值變化量也明顯更大。Δ2反映的是時(shí)間1層和時(shí)間2層QP之間的差值,所以Δ2對(duì)應(yīng)的ΔR絕對(duì)值變化量也部分反映了時(shí)間1層圖像對(duì)于整個(gè)視頻編碼率失真性能的影響。綜上可知,表4數(shù)據(jù)證明了第1個(gè)推論的準(zhǔn)確性?；谶@一推論,權(quán)衡方法復(fù)雜度與編碼效率,本文后續(xù)研究只探究Δ1,opt和Δ2,opt的選擇,Δ3和Δ4則按照J(rèn)CTVC-X0038 QPC方法進(jìn)行默認(rèn)設(shè)置。

2.2 視頻內(nèi)容特性對(duì)QP選擇的影響

視頻作為一幅幅圖像在時(shí)間維度上的集合,其內(nèi)容特性可以從空域和時(shí)域兩個(gè)角度評(píng)價(jià)[21]?？沼蛲ǔＶ傅氖菆D像紋理復(fù)雜度,時(shí)域通常指的是視頻內(nèi)容的運(yùn)動(dòng)快慢[21]。第2.1小節(jié)研究?jī)?nèi)容說(shuō)明了參考圖像會(huì)影響編碼圖像的編碼效率,具體影響程度會(huì)與本小節(jié)關(guān)注的視頻空時(shí)域內(nèi)容特性密切相關(guān)。通常,視頻紋理越簡(jiǎn)單或運(yùn)動(dòng)越慢時(shí),相鄰圖像內(nèi)容變化較小,其相關(guān)性較強(qiáng),此時(shí)參考圖像會(huì)對(duì)編碼圖像產(chǎn)生較大的影響,反之亦然。下面通過(guò)實(shí)驗(yàn)驗(yàn)證上述分析。

選擇的測(cè)試序列、編碼器、編碼結(jié)構(gòu)、檔次、Q0等都與第1節(jié)描述的實(shí)驗(yàn)設(shè)置一致,但本實(shí)驗(yàn)只編碼序列的前2幀,第2幀編碼時(shí)會(huì)將第1幀作為參考圖像。相比于MeetingRoom序列,DormitoryHall 序列的紋理更加簡(jiǎn)單運(yùn)動(dòng)更慢。圖3所示為Q0分別為22、27、32、37時(shí)第2幀對(duì)應(yīng)的預(yù)測(cè)殘差概率密度分布。由圖中數(shù)據(jù)易看出,不論Q0取值為多少,DormitoryHall 序列對(duì)應(yīng)的取值接近于0的殘差明顯更多,概率密度分布曲線的形狀更加陡峭,能量更加集中。這表明相比于MeetingRoom序列,DormitoryHall 序列對(duì)應(yīng)預(yù)測(cè)技術(shù)的效率更高,即第1幀對(duì)于第2幀的影響更大。這一實(shí)驗(yàn)數(shù)據(jù)驗(yàn)證了之前的分析,即對(duì)于紋理越簡(jiǎn)單或運(yùn)動(dòng)越慢的視頻,參考圖像對(duì)編碼圖像的影響更大。

(a)Q0=22

假定整個(gè)視頻的編碼總碼率為Rc,分配給低時(shí)間層圖像和高時(shí)間層圖像的碼率分別為Rl和Ru。首先,對(duì)于紋理簡(jiǎn)單或運(yùn)動(dòng)慢的視頻,參考圖像對(duì)編碼圖像的影響更大,其對(duì)于整個(gè)視頻的編碼效率的影響也更大。其次,由第2.1小節(jié)分析及圖1易知,低時(shí)間層圖像會(huì)被更多圖像做參考圖像。結(jié)合上述兩點(diǎn)可知,對(duì)于紋理簡(jiǎn)單或運(yùn)動(dòng)慢的視頻,在實(shí)際編碼時(shí)應(yīng)增大Rl,用更小的QP編碼低時(shí)間層圖像,以?xún)?yōu)先保證編碼質(zhì)量。在Rc近似不變的情況下,增大Rl意味著減小Ru,即其他高時(shí)間層圖像對(duì)應(yīng)的QP會(huì)增大。這最終會(huì)導(dǎo)致時(shí)間層圖像間的QP差值增大。綜上,得出第2個(gè)推論:視頻的空時(shí)域內(nèi)容特性對(duì)QP的選擇具有重要影響,且紋理越簡(jiǎn)單運(yùn)動(dòng)越慢的視頻,其對(duì)應(yīng)的Δ1,opt和Δ2,opt會(huì)越大。

下面進(jìn)行實(shí)驗(yàn)證明上述第2個(gè)推論的準(zhǔn)確性。測(cè)試序列、編碼器、編碼結(jié)構(gòu)、檔次、Q0、時(shí)間0層圖像編碼QP等都與第2.1小節(jié)描述的實(shí)驗(yàn)設(shè)置一致,Qt按照式(1)設(shè)置,其中,Δ1和Δ2都分別取1～10之間的整數(shù),Δ3和Δ4被分別設(shè)置為由JCTVC-X0038 QPC方法得出的值,即0和1。然后,以JCTVC-X0038 QPC方法為基準(zhǔn)方法計(jì)算不同Δ1和Δ2組合對(duì)應(yīng)的ΔR。

圖4為不同Δ1和Δ2組合對(duì)應(yīng)的ΔR。如圖4(a)中紅點(diǎn)所示,當(dāng)Δ1和Δ2分別為3和6時(shí),其對(duì)應(yīng)的ΔR最小,為-3.58%。所以,MeetingRoom序列對(duì)應(yīng)的Δ1,opt和Δ2,opt分別為3和6。同理,如圖4 (b)中紅點(diǎn)所示,DormitoryHall 序列對(duì)應(yīng)的Δ1,opt和Δ2,opt分別為4和8。這一實(shí)驗(yàn)結(jié)果驗(yàn)證了第2個(gè)推論的準(zhǔn)確性。另外,圖4和表3的結(jié)果也直觀地證明了JCTVC-X0038 QPC方法并不是最優(yōu)的。

(a)MeetingRoom

3 內(nèi)容自適應(yīng)的QPC方法

本文提出的SCA-QPC方法也按照式(1)的方案設(shè)置每個(gè)時(shí)間層的QP。進(jìn)一步基于第2節(jié)證明的第1個(gè)推論,SCA-QPC方法只探究Δ1,opt和Δ2,opt的選擇,Δ3和Δ4則按照J(rèn)CTVC-X0038 QPC方法進(jìn)行默認(rèn)設(shè)置。Δ1,opt和Δ2,opt的選擇方法將在第3.2小節(jié)描述。另外,基于第2節(jié)證明的第2個(gè)推論,在構(gòu)建Δ1,opt和Δ2,opt的選擇方法時(shí),充分考慮視頻空時(shí)域內(nèi)容特性的顯著影響。視頻空時(shí)域內(nèi)容特性的量化評(píng)價(jià)將在第3.1小節(jié)描述。

3.1 視頻空時(shí)域內(nèi)容特性評(píng)價(jià)

本文采用梯度σ衡量視頻的紋理復(fù)雜度[22],σ越大表示視頻的紋理越復(fù)雜,計(jì)算式為

(4)

式中:v表示視頻包含的圖像數(shù);w、h分別表示圖像的寬和高;Gp(i,x,y)表示第i幅圖像第x行第y列像素4個(gè)紋理方向?qū)?yīng)的梯度最大值,計(jì)算式為

(5)

其中,I(i,x-3+m,y-3+n)表示第i幅圖像第x-3+m行第y-3+n列像素的亮度值,gk(m,n)表示第k個(gè)紋理方向?qū)?yīng)的加權(quán)濾波器,其取值如圖5所示。

(a)g1(m,n)

采用背景幀差d衡量視頻的運(yùn)動(dòng)快慢[21],d越大表示視頻的運(yùn)動(dòng)越快,計(jì)算式為

(6)

式中:Ib(i,x,y)表示第i幅圖像第x行第y列像素的背景亮度值,計(jì)算式為

y-3+n)a(m,n))

(7)

其中,a(m,n)表示加權(quán)濾波器,其取值由圖6所示。

圖6 加權(quán)濾波器a(m,n)的取值

表5為DormitoryHall和MeetingRoom兩個(gè)序列對(duì)應(yīng)的σ與d。相比于DormitoryHall序列,MeetingRoom序列的紋理更加復(fù)雜運(yùn)動(dòng)越快,而其對(duì)應(yīng)的σ與d取值也更大。所以,σ與d能夠比較準(zhǔn)確地評(píng)價(jià)視頻的空時(shí)域內(nèi)容特性。

表5 視頻評(píng)價(jià)指標(biāo)σ與d的取值

3.2 基于反向傳播神經(jīng)網(wǎng)絡(luò)的Δt,opt (t=1,2)預(yù)測(cè)模型

由于良好的非線性映射能力和低復(fù)雜度特性,反向傳播神經(jīng)網(wǎng)絡(luò)(BPNN)被廣泛應(yīng)用于回歸預(yù)測(cè)[23-26]。權(quán)衡方法準(zhǔn)確率和復(fù)雜度,本文構(gòu)建了基于輕量型BPNN的Δt,opt(t=1,2)預(yù)測(cè)模型,如圖7所示。特別說(shuō)明,本文構(gòu)建的Δ1,opt與Δ2,opt的預(yù)測(cè)模型是獨(dú)立的,但是二者的網(wǎng)絡(luò)結(jié)構(gòu)是類(lèi)似的。只是在訓(xùn)練時(shí)使用了不同的訓(xùn)練數(shù)據(jù),以使其訓(xùn)練好的網(wǎng)絡(luò)模型和對(duì)應(yīng)的參數(shù)組合能夠分別適用于Δ1,opt和Δ2,opt的預(yù)測(cè)。

圖7 Δt,opt(t=1,2)的預(yù)測(cè)模型

最終,SCA-QPC方法的具體實(shí)施步驟如下。

(1)對(duì)于待編碼的視頻,分別根據(jù)式(4)和式(6)計(jì)算其對(duì)應(yīng)的σ和d。

(8)

如表3所示,當(dāng)大于等于時(shí)間3層即t≥3時(shí),圖像對(duì)應(yīng)的Δt按照J(rèn)CTVC-X0038 QPC方法得出的值進(jìn)行設(shè)置。

(4)根據(jù)第(3)步設(shè)置的QP編碼視頻,完成編碼操作。

4 實(shí)驗(yàn)與分析

4.1 Δt,opt(t=1,2)的預(yù)測(cè)準(zhǔn)確度

表6 Δt,opt(t=1,2)的預(yù)測(cè)結(jié)果

4.2 率失真性能

率失真性能是衡量QPC方法編碼效率的最關(guān)鍵指標(biāo),且通常使用ΔR作為測(cè)度[9,14,17-20]。目前,JCTVC-X0038 QPC方法是唯一面向VVC標(biāo)準(zhǔn)提出的QPC方法,且被VTM集成。所以,本小節(jié)將JCTVC-X0038 QPC方法作為對(duì)比方法,以評(píng)估SCA-QPC方法的率失真性能。

所有測(cè)試序列分別使用JCTVC-X0038 QPC方法和SCA-QPC方法編碼,獲得對(duì)應(yīng)的編碼碼率和失真數(shù)據(jù)。編碼器、編碼結(jié)構(gòu)、檔次、GOP大小、Q0等與第1節(jié)描述的實(shí)驗(yàn)設(shè)置一致。以JCTVC-X0038 QPC方法為基準(zhǔn),計(jì)算SCA-QPC方法對(duì)應(yīng)的ΔR,結(jié)果如表7所示。對(duì)于所有測(cè)試序列,SCA-QPC方法對(duì)應(yīng)的平均ΔR為-4.26%,即相比于JCTVC-X0038 QPC方法,SCA-QPC方法在獲得同等質(zhì)量重建視頻的前提下,可以節(jié)省4.26%的編碼碼率。相比于JCTVC-X0038 QPC方法,SCA-QPC方法顯著提高了監(jiān)控視頻的編碼效率。圖8給出了Carpark和DiningHall兩個(gè)序列的率失真曲線,以直觀地感知SCA-QPC方法對(duì)應(yīng)的率失真性能提升。

表7 SCA-QPC對(duì)應(yīng)的ΔR

如表7所示,對(duì)于紋理簡(jiǎn)單運(yùn)動(dòng)慢的序列,SCA-QPC方法可以提升較高的率失真性能,例如DiningHall序列對(duì)應(yīng)的ΔR為-8.05%。對(duì)于紋理復(fù)雜運(yùn)動(dòng)快的序列,SCA-QPC方法提升的率失真性能有限,例如ElectricBicyclePark序列對(duì)應(yīng)的ΔR為-0.43%。這主要是因?yàn)?如第2.2小節(jié)分析,相比于紋理簡(jiǎn)單運(yùn)動(dòng)慢的視頻,紋理復(fù)雜運(yùn)動(dòng)快的視頻其對(duì)應(yīng)的Δt,opt(t=1,2)較小,更加接近于JCTVC-X0038 QPC方法得出的Δt(t=1,2)。因此,相比于紋理簡(jiǎn)單運(yùn)動(dòng)慢的視頻,SCA-QPC方法對(duì)于紋理復(fù)雜運(yùn)動(dòng)快視頻的編碼性能提升空間有限,所以其對(duì)應(yīng)的ΔR較小。

5 結(jié) 論

本文面向監(jiān)控視頻提出了一種適用于最新VVC標(biāo)準(zhǔn)考慮視頻空時(shí)域復(fù)雜度的QPC方法,實(shí)驗(yàn)結(jié)果證明了提出方法可以有效提高監(jiān)控視頻的編碼效率。本文研究得到如下有意義結(jié)論:

(1)從率失真性能角度看,VVC標(biāo)準(zhǔn)當(dāng)前推薦的JCTVC-X0038 QPC方法不是最優(yōu)的,其性能還有較大提升空間;

(2)在VVC低時(shí)延結(jié)構(gòu)中,低時(shí)間層圖像對(duì)于整個(gè)視頻編碼效率的影響更大;

(3)視頻的空時(shí)域內(nèi)容特性是影響VVC量化參數(shù)選擇的重要因素,且對(duì)于紋理簡(jiǎn)單運(yùn)動(dòng)快的視頻,其對(duì)應(yīng)的時(shí)間層之間最優(yōu)QP的差值越大;

(4)BPNN可以有效應(yīng)用于VVC標(biāo)準(zhǔn)的QP選擇中。

后續(xù)有價(jià)值的研究方向包括:適用于屏幕內(nèi)容視頻、360°全景視頻等其他類(lèi)型視頻的QPC方法;適用于VVC標(biāo)準(zhǔn)隨機(jī)接入結(jié)構(gòu)的QPC方法。