公衍超,呂顯龍,楊楷芳,劉穎,林慶帆,4,王富平

(1.西安郵電大學(xué)通信與信息工程學(xué)院,710121,西安;2.西安郵電大學(xué)電子信息現(xiàn)場(chǎng)勘驗(yàn)應(yīng)用技術(shù)公安部重點(diǎn)實(shí)驗(yàn)室,710121,西安;3.陜西師范大學(xué)計(jì)算機(jī)科學(xué)學(xué)院,710119,西安;4.矽景公司,787820,新加坡)

近年來(lái),隨著網(wǎng)絡(luò)、多媒體及硬件技術(shù)的飛速發(fā)展,視頻監(jiān)控作為重要的視頻應(yīng)用之一,在公安安全、智能安防、智能家居等領(lǐng)域得到了廣泛的應(yīng)用。在視頻監(jiān)控系統(tǒng)中,碼率控制是一項(xiàng)非常關(guān)鍵的技術(shù),其可以在滿足信道傳輸帶寬的限制條件下,獲得更高質(zhì)量的編碼重建視頻。

當(dāng)前大部分的視頻監(jiān)控系統(tǒng)都屬于高清視頻監(jiān)控視頻。高清視頻可以提供更加豐富更加清晰的視頻內(nèi)容。針對(duì)高清視頻,ITU-T的視頻編碼專家組和ISO/IEC的運(yùn)動(dòng)圖像專家組聯(lián)合制定了先進(jìn)的高效視頻編碼(HEVC)標(biāo)準(zhǔn)[1-4]。與之前的H.264/AVC標(biāo)準(zhǔn)相比,HEVC采用了許多新技術(shù)[1,4],大大提高了編碼效率。在HEVC標(biāo)準(zhǔn)化過(guò)程中,根據(jù)使用的碼率R與量化參數(shù)Q的關(guān)系模型R-Q,碼率控制算法可以分為3類:基于二次R-Q模型的碼率控制算法[5],ρ域碼率控制算法[6](ρ表示量化變換系數(shù)中取值為0的系數(shù)的百分比)和λ域碼率控制算法[7](λ表示拉格朗日因子)。與前兩類碼率控制算法相比,λ域碼率控制算法的編碼效率更高,得到了更加廣泛的研究。

λ域碼率控制算法在文獻(xiàn)[7]中被首次提出。文獻(xiàn)[7]指出,相比于傳統(tǒng)的量化參數(shù),λ與碼率的關(guān)系更加密切,使用λ能更加準(zhǔn)確地反映視頻編碼的碼率特性。由此,文獻(xiàn)[7]建立了以λ為紐帶的R-λ-Q模型,并基于此模型提出了面向HEVC的碼率控制算法。λ域碼率控制算法包含兩個(gè)主要步驟,即目標(biāo)碼率分配和Q的確定。首先,根據(jù)信道帶寬、緩沖器狀態(tài)等因素為每個(gè)基本單元(圖像或最大編碼單元)分配合適的目標(biāo)碼率。然后,根據(jù)R-λ-Q模型為每個(gè)基本單元確定優(yōu)化的Q。

近幾年,一些針對(duì)λ域碼率控制算法的改進(jìn)算法被相繼提出[8-13]。文獻(xiàn)[8-9]面向視頻編碼中的幀內(nèi)圖像提出了相應(yīng)的改進(jìn)算法。文獻(xiàn)[8]考慮并量化了幀內(nèi)圖像編碼過(guò)程中的失真漂移現(xiàn)象,并將其應(yīng)用于碼率控制過(guò)程中,建立了更加準(zhǔn)確的R-λ模型。文獻(xiàn)[9]指出,文獻(xiàn)[7]提出的算法沒有有效考慮圖像的內(nèi)容復(fù)雜度,因此采用梯度表征圖像的內(nèi)容復(fù)雜度,構(gòu)建了基于梯度的R-λ模型,用于提升幀內(nèi)圖像的碼率控制性能。

在視頻編碼中,相比于幀內(nèi)圖像,幀間圖像的實(shí)際應(yīng)用更加廣泛。面向幀內(nèi)幀間圖像混合的編碼結(jié)構(gòu),文獻(xiàn)[10-12]提出了改進(jìn)的碼率控制算法。文獻(xiàn)[10]調(diào)研了HEVC隨機(jī)接入(RA)結(jié)構(gòu)中時(shí)間層圖像之間的參考依賴性,并將其應(yīng)用于指導(dǎo)不同時(shí)間層圖像目標(biāo)碼率分配和量化參數(shù)確定步驟中。文獻(xiàn)[11]將恰可感知失真作為失真測(cè)度,提出了基于恰可感知失真的感知率失真模型R-D,并將此模型應(yīng)用于傳統(tǒng)的碼率控制框架中以提高編碼視頻的主觀感知質(zhì)量。文獻(xiàn)[12]指出,文獻(xiàn)[7]提出的算法在計(jì)算目標(biāo)碼率分配權(quán)重時(shí)沒有有效考慮視頻的內(nèi)容特性,因此進(jìn)一步補(bǔ)充提出了考慮視頻內(nèi)容特性的失真與λ的關(guān)系模型D-λ?；赗-λ與D-λ模型,文獻(xiàn)[12]創(chuàng)建了能夠準(zhǔn)確反映不同視頻內(nèi)容編碼失真和碼率特性的R-D模型,并進(jìn)一步提出了更加優(yōu)化的目標(biāo)碼率分配權(quán)重計(jì)算算法。目前的實(shí)驗(yàn)證明,文獻(xiàn)[7,12]的算法具有高效的碼率控制性能,已經(jīng)被HEVC建議使用,并且集成到最新版本的HEVC測(cè)試模型HM中。

在λ域碼率控制算法中,目標(biāo)碼率分配結(jié)果直接影響R-λ-Q模型中的碼率,顯著影響碼率控制的性能。在進(jìn)行目標(biāo)碼率分配時(shí),最核心的是要給每個(gè)基本單元計(jì)算優(yōu)化的目標(biāo)碼率分配權(quán)重。當(dāng)前,HM中集成的碼率控制算法包含3種目標(biāo)碼率分配權(quán)重的計(jì)算方式,即:平均比率的目標(biāo)碼率分配權(quán)重計(jì)算、固定比率的目標(biāo)碼率分配權(quán)重計(jì)算、自適應(yīng)比率的目標(biāo)碼率分配權(quán)重計(jì)算。然而,上述3種方式在計(jì)算目標(biāo)碼率分配權(quán)重時(shí)都沒有考慮圖像間編碼參考的依賴性。HEVC和之前大部分的主流視頻編碼標(biāo)準(zhǔn)一樣,都是采用基于預(yù)測(cè)、變換、量化、熵編碼的混合編碼框架。視頻在編碼時(shí)會(huì)采用幀內(nèi)預(yù)測(cè)與幀間預(yù)測(cè)技術(shù),以消除視頻中的空域和時(shí)域冗余信息。這導(dǎo)致編碼圖像與其參考圖像間存在非常強(qiáng)的依賴關(guān)系。特別是監(jiān)控視頻,背景區(qū)域通常近似靜止,只有前景中的目標(biāo)在動(dòng),所以圖像間內(nèi)容的相關(guān)性更大。這最終導(dǎo)致相比于其他類型的視頻,監(jiān)控視頻中圖像間的編碼參考依賴性會(huì)更大。理論上而言,在設(shè)計(jì)視頻編碼的相關(guān)算法時(shí),有效地考慮參考依賴性會(huì)顯著提高視頻編碼的效率[13-14]。

本文針對(duì)監(jiān)控視頻,提出了一種考慮編碼圖像與其所有幀間參考圖像參考依賴性的目標(biāo)碼率分配權(quán)重計(jì)算算法,并基于此提出了一種有效的HEVC圖像級(jí)碼率控制算法。實(shí)驗(yàn)驗(yàn)證了提出算法的有效性,與HM中采用的平均比率目標(biāo)碼率分配權(quán)重的碼率控制算法相比,德爾塔碼率ΔR平均降低9.54%,且碼率估計(jì)更加準(zhǔn)確。

1 低時(shí)延編碼結(jié)構(gòu)

HM中支持全幀內(nèi)、低時(shí)延(LD)和RA共3種編碼結(jié)構(gòu)用于通常的視頻編碼測(cè)試及實(shí)際應(yīng)用[15-16]。

圖1和圖2分別是RA結(jié)構(gòu)和LD結(jié)構(gòu)。在兩種結(jié)構(gòu)中,視頻的第一幅圖像被編碼為即時(shí)解碼刷新圖像,剩余的圖像被編碼為通常的P或者B(GPB)圖像或B圖像。在編碼時(shí),視頻中的圖像會(huì)被劃分到各個(gè)圖像組(GOP)。在每個(gè)GOP中,圖像被劃分到不同的時(shí)間層。在圖1和圖2中,藍(lán)色、綠色、黃色標(biāo)記的圖像分別屬于第1、2、3個(gè)時(shí)間層。

rPOC—相對(duì)圖像序列號(hào)。圖1 RA結(jié)構(gòu)

I1～I(xiàn)4—當(dāng)前圖像的第1～4個(gè)參考圖像。圖2 LD結(jié)構(gòu)

在圖1和圖2中,箭頭方向表示參考幀來(lái)源。在RA結(jié)構(gòu)中,雙向預(yù)測(cè)技術(shù)被使用。雙向預(yù)測(cè)技術(shù)可以有效地消除視頻中的時(shí)域冗余信息,提高視頻編碼的率失真性能,但是也增大了視頻編碼的結(jié)構(gòu)時(shí)延。所以,RA結(jié)構(gòu)適用于對(duì)實(shí)時(shí)性要求不高的視頻應(yīng)用中,例如視頻點(diǎn)播。相對(duì)應(yīng)地,在LD結(jié)構(gòu)中為了獲得低的結(jié)構(gòu)時(shí)延,只有前向預(yù)測(cè)技術(shù)被使用。所以,LD結(jié)構(gòu)被廣泛應(yīng)用于對(duì)實(shí)時(shí)性要求較高的視頻應(yīng)用中,例如視頻會(huì)議、視頻監(jiān)控。

HM使用幀間預(yù)測(cè)編碼圖像時(shí)會(huì)采用多參考圖像預(yù)測(cè)技術(shù),即從多個(gè)備選圖像中選擇最優(yōu)的匹配信息來(lái)源。LD結(jié)構(gòu)中默認(rèn)的圖像組大小為4[16]。HM中LD結(jié)構(gòu)對(duì)應(yīng)的多參考圖像來(lái)源如表1所示,表中POC為圖像序列號(hào),視頻編碼中通常使用POC和rPOC分別表示圖像在視頻和GOP中的位置。

表1 HM中LD結(jié)構(gòu)對(duì)應(yīng)的多參考圖像來(lái)源[16]

POC的初始值和最大值分別為0和Np-1,Np表示視頻中的圖像總數(shù)。rPOC的初始值和最大值分別為1和GS,GS表示GOP的大小。表1中,用當(dāng)前圖像與其參考圖像之間的POC差值指示了參考圖像的來(lái)源。以第3個(gè)GOP中的第一個(gè)圖像為例,其rPOC為1,POC為x,則其對(duì)應(yīng)的參考圖像序列號(hào)是分別是x-1、x-2、x-5、x-9。換言之,當(dāng)前圖像的參考圖像通常包括與當(dāng)前圖像相鄰的前一個(gè)已編碼的圖像和屬于最低時(shí)間層的其他3個(gè)最近的已編碼圖像。特別地,對(duì)于視頻的前幾個(gè)圖像,當(dāng)其對(duì)應(yīng)的已編碼的圖像不足4幅時(shí),則參考圖像數(shù)目為實(shí)際已編碼圖像數(shù)目。

2 HM采用的目標(biāo)碼率分配權(quán)重計(jì)算

在HM碼率控制算法完成GOP級(jí)的目標(biāo)碼率分配后,GOP對(duì)應(yīng)的目標(biāo)碼率就被確定。緊接著,需要確定GOP中的每個(gè)圖像的目標(biāo)碼率分配權(quán)重,以給每個(gè)圖像分配更加合理的目標(biāo)碼率。通常,重要的圖像會(huì)被分配更大目標(biāo)碼率分配權(quán)重以分配更多的目標(biāo)碼率,從而保證編碼質(zhì)量。

HM中采用的第一種目標(biāo)碼率分配權(quán)重的計(jì)算方式是平均比率的目標(biāo)碼率分配權(quán)重計(jì)算,即GOP中所有圖像的目標(biāo)碼率分配權(quán)重是一樣的。這種計(jì)算方式顯然是不優(yōu)化的。這是因?yàn)橐曨l采用LD結(jié)構(gòu)編碼時(shí),處在不同時(shí)間層的圖像的重要性是不一樣的。為了進(jìn)一步提高碼率控制性能,HM也采用了固定比率的目標(biāo)碼率分配權(quán)重計(jì)算和自適應(yīng)比率的目標(biāo)碼率分配權(quán)重計(jì)算。

固定比率的目標(biāo)碼率分配權(quán)重計(jì)算首先考慮了圖像層的影響。在一個(gè)GOP中,rPOC為1、2、3、4的圖像分別處于第3、2、3、1個(gè)時(shí)間層,如圖1和圖2所示。對(duì)于整個(gè)視頻的編碼率失真性能,通常越低時(shí)間層的圖像越重要[13-14],所以越低時(shí)間層圖像對(duì)應(yīng)的目標(biāo)碼率分配權(quán)重應(yīng)該越大。另外,這種算法也考慮了像素點(diǎn)碼率A的影響,A的公式為

(1)

式中:Rtar表示編碼配置文件中設(shè)置的目標(biāo)碼率(b/s);f、w和h分別表示視頻的幀率、視頻圖像的寬度和高度;A表示像素點(diǎn)碼率(b/像素)。表2為固定比率的目標(biāo)碼率分配權(quán)重。

表2 固定比率的目標(biāo)碼率分配權(quán)重

使用固定比率的目標(biāo)碼率分配權(quán)重計(jì)算算法時(shí),一個(gè)視頻的所有GOP中的圖像都按表2確定目標(biāo)碼率分配權(quán)重。這種算法對(duì)于運(yùn)動(dòng)慢的視頻是比較有效的,可以有效權(quán)衡碼率控制算法的碼率估計(jì)準(zhǔn)確度、率失真性能和算法復(fù)雜度。但是,對(duì)于運(yùn)動(dòng)快、前后GOP圖像內(nèi)容差別較大的視頻,固定比率的目標(biāo)碼率分配權(quán)重計(jì)算算法顯然不太適用。相應(yīng)地,自適應(yīng)比率的目標(biāo)碼率分配權(quán)重計(jì)算算法被提出。使用自適應(yīng)比率的目標(biāo)碼率分配權(quán)重計(jì)算算法時(shí),視頻中的第一個(gè)GOP的圖像仍然按照表2確定圖像的目標(biāo)碼率分配權(quán)重。后續(xù)的GOP利用前一個(gè)GOP中最后一個(gè)圖像的λ、預(yù)估的R-λ模型參數(shù)和層級(jí)信息動(dòng)態(tài)確定GOP中各圖像的目標(biāo)碼率分配權(quán)重。

通過(guò)本節(jié)分析可知,視頻采用LD結(jié)構(gòu)編碼時(shí),圖像間存在很強(qiáng)的編碼參考依賴關(guān)系,而HM當(dāng)前采用的目標(biāo)碼率分配權(quán)重計(jì)算算法雖然考慮了時(shí)間層、A、λ等因素的影響,但忽略了參考依賴關(guān)系這一重要因素。因此,本文提出了一種面向視頻監(jiān)控應(yīng)用的考慮全幀間參考依賴性的目標(biāo)碼率分配權(quán)重計(jì)算算法。

3 全幀間參考依賴的碼率控制算法

本文提出的全幀間參考依賴的碼率控制法包括目標(biāo)碼率分配及Q的確定兩部分。目標(biāo)碼率分配包括GOP級(jí)的目標(biāo)碼率分配和圖像級(jí)的目標(biāo)碼率分配。提出算法的GOP級(jí)的目標(biāo)碼率分配和Q確定與HM中采用的算法相同,這些算法的詳細(xì)步驟本文不再詳述,具體見參考文獻(xiàn)[16]。本文的主要貢獻(xiàn)是構(gòu)建了考慮全參考依賴性的失真模型,并基于此模型提出了優(yōu)化的圖像級(jí)目標(biāo)碼率分配權(quán)重計(jì)算算法。

3.1 考慮全參考依賴性的圖像級(jí)目標(biāo)碼率分配權(quán)重計(jì)算

3.1.1 考慮全參考依賴性的失真模型 如第1節(jié)所述,視頻在采用LD結(jié)構(gòu)編碼時(shí),當(dāng)前圖像與其參考圖像之間存在很強(qiáng)的參考依賴關(guān)系。當(dāng)前圖像的期望失真為

(2)

表3 主要編碼參數(shù)設(shè)置

(a)Overbridge(b)Campus圖與Di,1,1的關(guān)系

特別說(shuō)明,在GOP大小及參考圖像數(shù)目都默認(rèn)為4的情況下,一個(gè)GOP中的所有圖像與其對(duì)應(yīng)的各個(gè)參考圖像的失真關(guān)系圖一共有16幅。由于文章篇幅有限,圖3只給了部分圖像的結(jié)果,其他圖像的擬合曲線也都滿足圖3所示的冪函數(shù)形式,但是冪函數(shù)中的兩個(gè)模型參數(shù)取值有差別。最終,圖3所示的關(guān)系可以表征為

(3)

式中ai,j,r和bi,j,r是模型參數(shù)。將式(3)代入式(2),可得

(4)

3.1.2 目標(biāo)碼率分配權(quán)重計(jì)算 根據(jù)拉格朗日率失真優(yōu)化[18],編碼視頻總的率失真代價(jià)為

(5)

式中:λi,j和Ri,j分別表示第i個(gè)GOP中第j個(gè)圖像的拉格朗日因子和碼率;Ng表示視頻中GOP的數(shù)量。

文獻(xiàn)[17]的研究表明,冪函數(shù)形式的率失真關(guān)系可以準(zhǔn)確地描述HM編碼器的率失真特性,具體公式為

D=CR-K

(6)

式中C和K是與序列內(nèi)容特征相關(guān)的模型參數(shù)。因此,拉格朗日因子被進(jìn)一步求解為

λ=-?D/?R=CKR-K-1=αRβ

(7)

式中α和β是與視頻內(nèi)容特性相關(guān)的模型參數(shù)。

在第3.1.1小節(jié)描述的實(shí)驗(yàn)中,不僅可以獲得失真數(shù)據(jù),還可以獲得相應(yīng)的碼率數(shù)據(jù)。Overbridge和Campus監(jiān)控視頻的Ri,4,1與Ri,4的關(guān)系如圖4所示,Ri,4,1與Ri,4用像素點(diǎn)碼率表征。

(a)Overbridge(b)Campus圖4 Ri,4,1與Ri,4的關(guān)系

圖4所示的關(guān)系可表征為

Ri,j,r=di,j,rRi,j

(8)

式中:Ri,j,r是第i個(gè)GOP中第j個(gè)圖像的第r個(gè)參考圖像的碼率;di,j,r是模型參數(shù)。將式(4)(6)(7)(8)代入式(5),得到

(9)

將式(9)對(duì)Ri,j求偏導(dǎo),然后讓偏導(dǎo)數(shù)?J/?Ri,j為0,從而獲得使率失真代價(jià)J最小的Ri,j的優(yōu)化值Ri,j,opt。根據(jù)牛頓-拉斐遜方法[19],求得使?J/?Ri,j=0的Ri,j,opt的近似解為

(10)

式中θi,j為牛頓-拉斐遜參數(shù),公式為

(11)

其中χi,j是伸縮因子,具體取值如表4所示。

表4 χi,j取值

式(10)中的牛頓-拉斐遜參數(shù)表示圖像分配的目標(biāo)碼率初始值,且牛頓-拉斐遜參數(shù)越大,給圖像分配的目標(biāo)碼率通常就越多。而且,式(11)中的伸縮因子與牛頓-拉斐遜參數(shù)是正相關(guān)的。所以,圖像的伸縮因子越大,給圖像分配的目標(biāo)碼率就越大。由于在LD結(jié)構(gòu)中,時(shí)間層越低的圖像對(duì)于整個(gè)視頻編碼性能的影響越大[20],所以在編碼時(shí)要優(yōu)先保證低時(shí)間層圖像的質(zhì)量,給低時(shí)間層圖像分配更多的目標(biāo)碼率。所以,表4中隨著時(shí)間層的降低,圖像對(duì)應(yīng)的伸縮因子取值是增大的趨勢(shì)。

一些實(shí)驗(yàn)[16]證明,在目標(biāo)碼率不充裕時(shí),若要保證整個(gè)視頻的編碼效率,則需要優(yōu)先保證低時(shí)間層圖像的編碼質(zhì)量,即給低時(shí)間層圖像分配更大比例的目標(biāo)碼率。當(dāng)目標(biāo)碼率充裕時(shí),低時(shí)間層圖像的編碼質(zhì)量已經(jīng)很好,給其分配更多的碼率對(duì)于整個(gè)視頻編碼效率的提升也已經(jīng)不顯著了,這時(shí)把更多比例的碼率分配給其他更高時(shí)間層圖像,反而會(huì)帶來(lái)整個(gè)視頻編碼效率的明顯提升。所以,表4中隨著目標(biāo)碼率的增大,時(shí)間1層圖像對(duì)應(yīng)的伸縮因子與所有時(shí)間層圖像對(duì)應(yīng)的伸縮因子和的比值是減少的,而其他更高時(shí)間層圖像對(duì)應(yīng)的伸縮因子與所有時(shí)間層圖像對(duì)應(yīng)的伸縮因子和的比值是增大的。表4中的伸縮因子的具體取值是以固定比率目標(biāo)碼率分配權(quán)重計(jì)算算法中的伸縮因子取值為基礎(chǔ),通過(guò)實(shí)驗(yàn)調(diào)整后確定的優(yōu)化的經(jīng)驗(yàn)值。

最終,GOP中每個(gè)圖像的目標(biāo)碼率分配權(quán)重為

(12)

式中〈〉表示四舍五入運(yùn)算。

3.2 全幀間參考依賴的碼率控制算法步驟

為了便于描述,HM中采用的基于平均比率目標(biāo)碼率分配權(quán)重的圖像級(jí)碼率控制算法、基于固定比率目標(biāo)碼率分配權(quán)重的圖像級(jí)碼率控制算法和基于自適應(yīng)比率目標(biāo)碼率分配權(quán)重的圖像級(jí)碼率控制被分別簡(jiǎn)寫為EBA-PRC、FRBA-PRC和ARBA-PRC。本文提出的碼率控制算法的完整步驟如下。

第1步 對(duì)于給定的監(jiān)控視頻,使用ARBA-PRC對(duì)前4個(gè)GOP的圖像進(jìn)行編碼,獲得其編碼失真和碼率數(shù)據(jù)。根據(jù)式(3)使用最小二乘擬合算法,擬合失真數(shù)據(jù)獲得ai,j,r和bi,j,r。同理,分別根據(jù)式(6)和式(8),采用最小二乘法擬合失真和碼率數(shù)據(jù)得到Ci,j、Ki,j、Ci,j,r、Ki,j,r、di,j,r。在對(duì)相應(yīng)圖像進(jìn)行編碼后,Pi,j,r的準(zhǔn)確數(shù)據(jù)可以直接統(tǒng)計(jì)得到。

第2步 根據(jù)式(10)～(12),計(jì)算獲得GOP中每個(gè)圖像對(duì)應(yīng)的目標(biāo)碼率分配權(quán)重,即ωi,j。

第3步 使用第2步計(jì)算得到的ωi,j對(duì)視頻后續(xù)GOP的圖像進(jìn)行碼率控制。

4 實(shí)驗(yàn)與分析

目前,文獻(xiàn)[7,12]提出的碼率控制算法由于其高效的編碼性能已經(jīng)被HEVC建議使用,并被集成到HM中(包括EBA-PRC、FRBA-PRC和ARBA-PRC算法)。本文算法將與這3種算法進(jìn)行比較。

4.1 實(shí)驗(yàn)設(shè)置

測(cè)試視頻包括6個(gè)不同分辨率和內(nèi)容特征的標(biāo)準(zhǔn)監(jiān)控視頻,其中:Overbridge、Crossroad、Campus視頻的空間分辨率是720×576像素,幀率是30幀/s,編碼幀數(shù)是300;Lowlight視頻的空間分辨率是1 280×720像素,幀率是30幀/s,編碼幀數(shù)是200;Metro、Runners視頻的空間分辨率是1 920×1 080像素,幀率分別是60和30幀/s,編碼幀數(shù)分別是188和300。編碼器為HM16.17,編碼結(jié)構(gòu)為L(zhǎng)D結(jié)構(gòu)。首先,將HM中的碼率控制功能關(guān)閉,使用HM中固定的Q分配方式對(duì)每個(gè)測(cè)試視頻進(jìn)行編碼以獲得從高到低的4個(gè)目標(biāo)碼率[10]。固定的Q分配方式中幀內(nèi)圖像的Q被分別設(shè)定為22、27、32、37。然后,將HM中的碼率控制功能打開,在給定的4個(gè)目標(biāo)碼率下,分別用EBA-PRC、FRBA-PRC、ARBA-PRC和本文提出的算法編碼每一個(gè)測(cè)試視頻。其他的主要編碼參數(shù)設(shè)置與HM配置文件encoder_lowdelay_P_main[16]中的設(shè)置相同。

4.2 碼率估計(jì)準(zhǔn)確度和率失真性能

碼率估計(jì)準(zhǔn)確度是衡量一個(gè)碼率控制算法性能關(guān)鍵的基礎(chǔ)性指標(biāo)。只有在碼率估計(jì)準(zhǔn)確的基礎(chǔ)上再分析碼率控制算法的其他性能才是有意義的。本文采用被廣泛使用的BE(BE)[7,12]來(lái)衡量碼率估計(jì)的準(zhǔn)確度,公式為

BE=|Btar-Bact|/Btar×100%

(13)

式中Btar和Bact分別表示配置文件中設(shè)定的目標(biāo)碼率和碼率控制算法的實(shí)際碼率(kb/s)。

表5為各種碼率控制算法的BE。BE越小,對(duì)應(yīng)的碼率控制算法獲得的碼率估計(jì)誤差越小,即碼率估計(jì)更加準(zhǔn)確。可以看出,對(duì)于大部分視頻,本文算法都可以獲得最小的BE,且對(duì)于所有的視頻,提出算法對(duì)應(yīng)的平均BE也是最小的,為0.223 2%。所以,相較其他3種算法,本文算法的碼率估計(jì)更加準(zhǔn)確。

表5 不同碼率控制算法的BE %

采用被廣泛使用的ΔR[21]衡量碼率控制算法的率失真性能,ΔR為負(fù)值時(shí)表示與基準(zhǔn)算法相比,比較算法可以用更少的碼率獲得同等質(zhì)量的編碼重建視頻,即比較算法的率失真性能越好。本文實(shí)驗(yàn)在計(jì)算ΔR時(shí)將EBA-PRC算法設(shè)定為基準(zhǔn)算法,其中視頻質(zhì)量用像素亮度分量的峰值信噪比衡量。

表6為4種碼率控制算法對(duì)應(yīng)的ΔR。可以看出:對(duì)于所有的視頻,本文算法對(duì)應(yīng)的ΔR最小,即率失真性能更好;與EBA-PRC相比,對(duì)于所有視頻,本文算法的ΔR為-9.54%,即本文算法可以在獲得同等質(zhì)量重建視頻的前提下,碼率減少9.54%;FRBA-PRC算法與ARBA-PRC算法的性能近似,FRBA-PRC可以獲得更加準(zhǔn)確的碼率估計(jì),而ARBA-PRC可以獲得更高的率失真性能。

表6 不同碼率控制算法的ΔR %

4.3 算法復(fù)雜度

采用編碼時(shí)間衡量算法的運(yùn)行復(fù)雜度,公式為

ΔT=(Tcom-Tbac)/Tbac×100%

(14)

式中:Tbac表示EBA-PRC算法對(duì)應(yīng)的編碼時(shí)間;Tcom表示其他碼率控制算法對(duì)應(yīng)的編碼時(shí)間。

表7為4種碼率控制算法對(duì)應(yīng)的ΔT?？梢钥闯?與EBA-PRC算法相比,FRBA-PRC、ARBA-PRC、本文算法的編碼時(shí)間都更短,且ΔT取值近似,對(duì)于所有測(cè)試視頻,平均ΔT分別為-0.03%、-0.04%、-0.02%。

表7 不同碼率控制算法的ΔT %

從目標(biāo)碼率分配權(quán)重計(jì)算的角度分析,EBA-PRC算法和FRBA-PRC算法對(duì)應(yīng)的目標(biāo)碼率分配權(quán)重的計(jì)算過(guò)程是很簡(jiǎn)單的,而ARBA-PRC算法與本文算法在計(jì)算圖像的目標(biāo)碼率分配權(quán)重時(shí)都需要更加復(fù)雜的參數(shù)更新與優(yōu)化過(guò)程,所以復(fù)雜度相對(duì)較高。但是,相較于EBA-PRC算法,FRBA-PRC、ARBA-PRC、本文算法都會(huì)增大高時(shí)間層圖像的Q,且高時(shí)間層圖像數(shù)占視頻總圖像數(shù)的比例更大。一些編碼實(shí)驗(yàn)[10]已經(jīng)證明,使用大的Q編碼圖像會(huì)顯著降低圖像的編碼時(shí)間。綜上所述,雖然EBA-PRC算法中簡(jiǎn)單的目標(biāo)碼率分配權(quán)重計(jì)算會(huì)節(jié)約一部分編碼時(shí)間,但是由于會(huì)給高時(shí)間層圖像選擇更大的Q,所以總的編碼時(shí)間是最長(zhǎng)的。

5 結(jié) 論

在圖像級(jí)碼率控制算法中,優(yōu)化的圖像目標(biāo)碼率分配權(quán)重是影響算法性能的關(guān)鍵因素。HEVC標(biāo)準(zhǔn)中的碼率控制算法在計(jì)算目標(biāo)碼率分配權(quán)重時(shí)未考慮幀間參考依賴性,編碼效率低。本文針對(duì)HEVC編碼的監(jiān)控視頻,提出了一種有效的考慮全幀間參考依賴性的圖像級(jí)碼率控制算法。本文得出的主要結(jié)論及對(duì)未來(lái)工作的展望如下。

(1)在監(jiān)控視頻HEVC碼率控制中,考慮當(dāng)前幀與其所有參考幀之間的參考依賴關(guān)系可以構(gòu)建更加準(zhǔn)確地反映編碼特性的率失真代價(jià)函數(shù),顯著提高碼率控制算法的性能。

(2)本文的考慮全參考依賴關(guān)系的思路也可以被拓展應(yīng)用到針對(duì)RA結(jié)構(gòu)的的碼率控制算法設(shè)計(jì)中。RA結(jié)構(gòu)與本文研究的LD結(jié)構(gòu)類似,也采用了多參考幀預(yù)測(cè)技術(shù),但其新增加了后向的參考幀來(lái)源。

(3)本文的考慮全參考依賴關(guān)系的思路也可以應(yīng)用到針對(duì)其他類型視頻的碼率控制算法設(shè)計(jì)中,例如電影電視視頻。但是,其他類型的視頻通常會(huì)包括運(yùn)動(dòng)快的視頻。針對(duì)運(yùn)動(dòng)快的視頻,本文算法中提出的一些模型的具體形式、模型參數(shù)的獲得算法及算法步驟的設(shè)計(jì)都需要進(jìn)一步進(jìn)行性能驗(yàn)證或做相應(yīng)的調(diào)整。