公衍超，王玲，劉穎，楊楷芳，林慶帆,4，王富平

（1.西安郵電大學(xué)通信與信息工程學(xué)院，陜西 西安 710121；2.無(wú)線通信與信息處理技術(shù)國(guó)際聯(lián)合研究中心，陜西 西安 710121；3.陜西師范大學(xué)計(jì)算機(jī)科學(xué)學(xué)院，陜西 西安 710119；4.新加坡Maschine Technology 有限公司，新加坡 787820）

1 引言

視頻作為重要的信息傳輸載體，已經(jīng)被廣泛應(yīng)用于人們的日常生活。在實(shí)時(shí)的視頻通信系統(tǒng)中，傳輸信道的帶寬通常是有限且時(shí)變的，如何在滿(mǎn)足信道帶寬限制的條件下盡可能提高視頻的質(zhì)量，是一個(gè)被廣泛關(guān)注的研究問(wèn)題。為了解決這一問(wèn)題，碼率控制技術(shù)[1]應(yīng)運(yùn)而生。碼率控制技術(shù)的基本原理是綜合考慮編碼視頻內(nèi)容特性、信道帶寬大小、緩存器狀態(tài)等因素，給編碼視頻選擇一組最優(yōu)的量化參數(shù)（QP,quantization parameter）。使用這組QP編碼視頻后所產(chǎn)生的碼率最接近信道帶寬大小的同時(shí)，其對(duì)應(yīng)的重建視頻的質(zhì)量最高。

隨著硬件技術(shù)、信息處理技術(shù)等的飛速發(fā)展，在各類(lèi)視頻系統(tǒng)中，高清視頻及其設(shè)備已經(jīng)被普及。為了提高高清視頻的編碼效率，高效視頻編碼標(biāo)準(zhǔn)（HEVC,high efficiency video coding）被廣泛應(yīng)用[2]。在HEVC 標(biāo)準(zhǔn)化過(guò)程中，研究者先后提出了基于碼率與QP 二次模型的碼率控制算法、基于ρ域的碼率控制算法和基于λ域的碼率控制算法[3-4]，其中，ρ表示預(yù)測(cè)變換量化后取值為0 的系數(shù)的百分比，λ表示拉格朗日因子。由于基于λ域的碼率控制算法具有更加高效的碼率控制性能，因此其被HEVC 采用[5]。

文獻(xiàn)[1,5]從拉格朗日率失真優(yōu)化角度分析指出，相比于傳統(tǒng)使用的QP，λ與碼率的關(guān)系更加密切，通過(guò)調(diào)整λ可以獲得更加精確的碼率值?；诖耍墨I(xiàn)[1,5]提出了基于λ域的碼率控制算法，其算法過(guò)程主要包括目標(biāo)比特分配及QP 確定兩大部分，即由分配的目標(biāo)碼率獲得λ，再由λ得到最終編碼的QP。文獻(xiàn)[6-8]針對(duì)文獻(xiàn)[1,5]中的一些算法細(xì)節(jié)進(jìn)行了進(jìn)一步的改進(jìn)。針對(duì)幀內(nèi)圖像，文獻(xiàn)[6]提出了一種基于絕對(duì)變換誤差和（SATD,sum of absolute transformed difference）[9]的最大編碼單元（LCU,largest coding unit）級(jí)碼率控制算法。該算法將哈達(dá)瑪變換后的SATD 作為復(fù)雜度衡量測(cè)度，根據(jù)LCU 的SATD 占剩余未編碼LCU 的SATD 的比重為每個(gè)LCU 分配合適的目標(biāo)比特。文獻(xiàn)[7]考慮圖像所處的時(shí)間層和視頻內(nèi)容特性的影響，提出了一種在編碼過(guò)程中自適應(yīng)更新計(jì)算圖像目標(biāo)比特分配權(quán)重的方法。為了在碼率控制過(guò)程中獲得更好的編碼率失真性能，文獻(xiàn)[7]構(gòu)建了失真與λ的關(guān)系模型，并進(jìn)一步結(jié)合已有的碼率與λ的關(guān)系模型，從率失真優(yōu)化的角度出發(fā)針對(duì)LCU 級(jí)的碼率控制提出了考慮視頻內(nèi)容特性的最優(yōu)比特分配方法。目前，文獻(xiàn)[1,5-8]提出的算法由于高效的編碼性能已經(jīng)被HEVC 采用并集成到最新的測(cè)試模型HM[10]中。

但是上述算法[1,5-8]都是在優(yōu)化編碼視頻的客觀率失真性能，沒(méi)有考慮人類(lèi)視覺(jué)系統(tǒng)（HVS,human visual system）感知特性對(duì)于編碼重建視頻質(zhì)量的影響。在視頻通信系統(tǒng)中，重建視頻的最終接收端通常是人眼。所以理論上，考慮HVS 相關(guān)感知特性，以?xún)?yōu)化重建視頻感知率失真性能為目標(biāo)的感知碼率控制算法可以獲得更好的編碼性能及用戶(hù)感知體驗(yàn)。因此，針對(duì)HEVC 標(biāo)準(zhǔn)，一些考慮HVS 感知特性的感知碼率控制算法被相繼提出[11-18]。

文獻(xiàn)[11]把LCU 分成背景LCU 和前景LCU，并根據(jù)分類(lèi)信息調(diào)整編碼QP 以提高重建視頻的感知質(zhì)量，但是，在性能測(cè)試時(shí)還是以峰值信噪比（PSNR,peak signal to noise ratio）為質(zhì)量測(cè)度。面向感興趣區(qū)域（RoI,region of interest）視頻編碼應(yīng)用，文獻(xiàn)[12]提出了一種基于離散傅里葉變換系數(shù)模型和徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的碼率控制算法，使用均方誤差（MSE,mean square error）作為質(zhì)量測(cè)度用于率失真優(yōu)化過(guò)程指導(dǎo)λ與QP 的選擇。文獻(xiàn)[13]采用梯度衡量圖像中不同編碼樹(shù)單元（CTU,coding tree unit）的復(fù)雜度，并在幀內(nèi)圖像CTU 碼率分配及QP 確定中考慮CTU 的梯度信息，最終為不同復(fù)雜度的CTU 分配優(yōu)化的QP，但是在性能測(cè)試時(shí)也是以PSNR 為測(cè)度衡量人眼的感知質(zhì)量。目前，大量研究已經(jīng)表明，PSNR 或MSE 等不考慮HVS 感知特性的質(zhì)量測(cè)度與人眼的感知質(zhì)量一致性較差[14-16]。所以文獻(xiàn)[11-13]中報(bào)道的感知率失真性能的提升還有待商榷。

文獻(xiàn)[14-18]使用了一些考慮HVS 相關(guān)感知特性的質(zhì)量測(cè)度以提高碼率控制的感知率失真性能。針對(duì)幀內(nèi)圖像，文獻(xiàn)[14]以結(jié)構(gòu)相似度（SSIM,structural similarity）為質(zhì)量測(cè)度，提出了一種CTU級(jí)的目標(biāo)比特分配方法。同樣以SSIM 為失真測(cè)度，文獻(xiàn)[15]首先提出了LCU目標(biāo)比特分配權(quán)重計(jì)算方法，并創(chuàng)建了與SSIM 匹配的新的碼率與λ的關(guān)系模型用于指導(dǎo)λ與QP 的計(jì)算。面向幀內(nèi)圖像，文獻(xiàn)[16]采用感知加權(quán)均方誤差（PWMSE,perceptually weighted mean squared error）代替MSE，建立了碼率與感知加權(quán)失真的關(guān)系模型，然后基于此率失真模型應(yīng)用拉格朗日率失真優(yōu)化理論推導(dǎo)得到感知加權(quán)因子，并最終利用感知加權(quán)因子指導(dǎo)CTU 級(jí)的目標(biāo)比特分配。文獻(xiàn)[17]提出了一種基于感知敏感測(cè)度（PSM,perceptual sensitivity measurement）的面向HEVC 幀間圖像的感知碼率控制方法，圖像中的每個(gè)CTU 都對(duì)應(yīng)一個(gè)PSM，PSM的取值與CTU 的空時(shí)復(fù)雜度及其對(duì)應(yīng)的MSE 線性相關(guān)，PSM 的大小反映了人眼對(duì)于當(dāng)前CTU 的感知敏感程度，將PSM 應(yīng)用于目標(biāo)比特分配中以提高碼率控制的感知率失真性能。文獻(xiàn)[18]采用一種經(jīng)典的面向圖像的考慮亮度掩蓋與紋理掩蓋的像素域恰可感知失真（JND,just noticeable distortion）模型[19]作為失真的基本衡量，然后基于此JND 模型構(gòu)建了相應(yīng)的率失真模型，并將其應(yīng)用于HEVC碼率控制中，以提高編碼視頻的感知率失真性能。但是由于包含了像素域JND 的計(jì)算過(guò)程及基于KKT（Karush-Kuhn-Tucker）條件的最優(yōu)λ集合搜索方法等步驟，文獻(xiàn)[18]提出方法的復(fù)雜度比較高。

相比于PSNR、MSE 等測(cè)度，SSIM、PWMSE、PSM、JND 考慮了部分HVS 感知特性，所以其與人眼感知質(zhì)量的一致性相對(duì)較好。PSNR 與MSE 是以像素為基本單元進(jìn)行計(jì)算的。但人眼在實(shí)際觀測(cè)視頻質(zhì)量時(shí)，不可能精確地觀測(cè)到像素點(diǎn)的差異，而是以圖像中的區(qū)域或者物體為基本單元感知視頻的質(zhì)量。SSIM 是以圖像區(qū)域?yàn)榛締卧M(jìn)行計(jì)算的。PWMSE、PSM、JND 在創(chuàng)建時(shí)考慮了HVS 的部分感知特性，例如掩蓋效應(yīng)。但是HVS 的質(zhì)量感知是一個(gè)高度復(fù)雜的過(guò)程，目前對(duì)其運(yùn)行機(jī)理、感知特性等方面的生理心理學(xué)研究還處于初始階段[20]。所以?xún)H模型化部分HVS 感知特性的SSIM、PWMSE、PSM、JND等測(cè)度與人眼實(shí)際感知質(zhì)量還是有一定的差距[20-23]。另外，目前對(duì)于JND 的研究主要集中在對(duì)第一個(gè)JND等級(jí)（JND1）的研究[19-20,24-25]。JND1 只能反映感知有損對(duì)應(yīng)的失真閾值，要進(jìn)一步衡量感知有損以上的失真等級(jí)，得到一個(gè)完整的失真衡量測(cè)度，則需要?jiǎng)?chuàng)建多JND 等級(jí)模型[20-23]。多JND 等級(jí)是目前理論上最接近人眼感知的失真測(cè)度。但是受限于HVS 的相關(guān)基礎(chǔ)研究，目前對(duì)多JND 等級(jí)的研究進(jìn)展緩慢。綜上，雖然相比于HEVC 原始碼率控制算法，采用SSIM、PWMSE、PSM、JND 等作為失真測(cè)度基于拉格朗日率失真優(yōu)化理論思路提出的碼率控制算法[14-18]在一定程度上提升了碼率控制的感知率失真性能，但其提升的空間有限。

在設(shè)計(jì)感知視頻編碼算法時(shí)，除了上述提到的采用某一具體感知失真測(cè)度基于拉格朗日率失真優(yōu)化的思路外，還有一種切實(shí)可行的思路是設(shè)計(jì)視頻主觀觀測(cè)實(shí)驗(yàn)[20]，即針對(duì)具體感知問(wèn)題，設(shè)計(jì)匹配的主觀觀測(cè)實(shí)驗(yàn)，然后在主觀觀測(cè)結(jié)果的指導(dǎo)下設(shè)計(jì)相關(guān)的感知算法。此思路需要設(shè)計(jì)合適的視頻主觀觀測(cè)實(shí)驗(yàn)，在獲得人眼感知準(zhǔn)確結(jié)果的同時(shí)有效規(guī)避了質(zhì)量測(cè)度問(wèn)題。本文采用設(shè)計(jì)視頻主觀觀測(cè)實(shí)驗(yàn)的思路，考慮視頻內(nèi)容特性及其對(duì)應(yīng)的感知特性，提出了一種面向HEVC 幀內(nèi)圖像的LCU 級(jí)感知碼率控制算法。

2 所提算法

本節(jié)對(duì)所提算法進(jìn)行詳細(xì)說(shuō)明。首先描述衡量視頻空時(shí)域復(fù)雜度的測(cè)度，然后結(jié)合此測(cè)度說(shuō)明視頻主觀觀測(cè)實(shí)驗(yàn)的設(shè)計(jì)及視頻內(nèi)容空時(shí)域感知敏感因子的構(gòu)建，最后說(shuō)明空時(shí)域感知敏感因子在幀內(nèi)圖像碼率控制中的應(yīng)用，并引出所提算法的詳細(xì)流程。

2.1 視頻內(nèi)容空時(shí)域復(fù)雜度衡量

作為一個(gè)多維的數(shù)字信號(hào)，數(shù)字視頻的內(nèi)容特性通常可以從空域和時(shí)域2 個(gè)角度進(jìn)行分析?？沼驈?fù)雜度和時(shí)域復(fù)雜度通常又被分別稱(chēng)為紋理復(fù)雜度和運(yùn)動(dòng)復(fù)雜度。

使用像素亮度分量的梯度衡量視頻圖像的紋理復(fù)雜度。梯度越大表明視頻圖像紋理越復(fù)雜。圖像的梯度T為

其中，w和h分別表示圖像的寬度和高度；x(i,j) 表示當(dāng)前圖像中坐標(biāo)為(i,j) 的像素的亮度分量值，圖像最左上角的像素為起始像素，其坐標(biāo)為(1,1)。

采用幀差衡量視頻的運(yùn)動(dòng)復(fù)雜度，幀差越大表明視頻內(nèi)容運(yùn)動(dòng)越快。圖像的幀差D為

其中，x′(i,j)表示前一幅圖像中坐標(biāo)為(i,j)的像素的亮度分量值。

2.2 紋理感知敏感因子

2.2.1 視頻主觀觀測(cè)實(shí)驗(yàn)設(shè)計(jì)

目前常見(jiàn)的視頻應(yīng)用包括廣播電視、視頻監(jiān)控、視頻會(huì)議、視頻網(wǎng)絡(luò)點(diǎn)播等。按照人眼對(duì)于視頻內(nèi)容的感興趣程度，視頻中的內(nèi)容通常被劃分為人、車(chē)、物三類(lèi)[26-27]。所以本文在設(shè)計(jì)主觀觀測(cè)實(shí)驗(yàn)時(shí)，選擇的測(cè)試圖像也覆蓋這三類(lèi)內(nèi)容，并且其空時(shí)域復(fù)雜度也對(duì)應(yīng)一個(gè)比較廣泛的范圍。如圖1 所示，選擇的測(cè)試圖像都是從標(biāo)準(zhǔn)視頻中裁剪出的包含單一內(nèi)容的圖像，每幅圖像的梯度值在圖像下方給出。測(cè)試圖像共分三組，圖1(a)～圖1(g)為第一組，圖1(h)～圖1(n)為第二組，圖1(o)～圖1(u)為第三組，每組圖像都包括人、車(chē)、物三類(lèi)內(nèi)容，且都包含紋理簡(jiǎn)單到復(fù)雜的內(nèi)容。

圖1 測(cè)試圖像

對(duì)于每一組圖像，將該組的7 幅圖像隨機(jī)地按照從上到下的順序等間隔排列到顯示器的最左端。然后讓這些圖像以相同的運(yùn)動(dòng)速度水平向右勻速運(yùn)動(dòng)。顯示器的分辨率為3 840 像素×2 160 像素。同時(shí)，為了盡可能地消除顯示器背景色彩對(duì)人類(lèi)視覺(jué)注意力的影響，將顯示器的背景色設(shè)置為中灰色[28]。其他的實(shí)驗(yàn)室環(huán)境嚴(yán)格按照文獻(xiàn)[28]中的規(guī)定設(shè)置。

根據(jù)標(biāo)準(zhǔn)規(guī)定[28]，選擇30 位對(duì)視頻圖像處理領(lǐng)域不熟悉的非專(zhuān)家類(lèi)型人員作為測(cè)試者，包括18 名男性和12 名女性。這些測(cè)試者都通過(guò)了必要的視覺(jué)感知能力測(cè)試，包括采用Snellen 氏E 字視力表的視敏度檢測(cè)、采用石原氏色盲檢測(cè)圖的彩色視覺(jué)檢測(cè)。采用單激勵(lì)重復(fù)播放（SSMR,single stimulus with multiple repetitions）方法播放每組圖像。測(cè)試者觀看圖像的距離大約是圖像高度的4 倍[29]。第一次播放某組圖像時(shí)，測(cè)試者只需觀測(cè)，播放完畢后顯示器屏幕上內(nèi)容全部消失，保持3 s 后第二次播放該組圖像。在第二次播放圖像時(shí)，要求測(cè)試者按照約定的規(guī)則對(duì)該組所有圖像按照其感興趣程度進(jìn)行評(píng)級(jí)打分。

本文實(shí)驗(yàn)中使用的評(píng)級(jí)打分準(zhǔn)則如圖2 所示。定義感興趣程度得分（SoI,score of interest）衡量人眼對(duì)于圖像內(nèi)容的感興趣程度，一共分為5 個(gè)等級(jí)，對(duì)每組圖像的評(píng)級(jí)打分按照下面步驟順序執(zhí)行。步驟1，選出7 幅圖像中最感興趣（對(duì)應(yīng)SoI=5）和最不感興趣（對(duì)應(yīng)SoI=1）的圖像；步驟2，在剩余的圖像中選出中等感興趣（對(duì)應(yīng)SoI=3）的圖像；步驟3，將剩余圖像與中等感興趣圖像進(jìn)行比較，感興趣程度較高的為SoI=4 的圖像，其他圖像為SoI=2 的圖像。

圖2 SoI 測(cè)度

考慮測(cè)試者個(gè)體先驗(yàn)知識(shí)的差異性及個(gè)體觀測(cè)認(rèn)真程度的差異性對(duì)于評(píng)級(jí)打分的影響，為了得到更加準(zhǔn)確的實(shí)驗(yàn)數(shù)據(jù)，首先采用95%置信區(qū)間的方法對(duì)觀測(cè)者評(píng)價(jià)打分?jǐn)?shù)據(jù)進(jìn)行篩選處理。具體處理過(guò)程如下。

計(jì)算所有測(cè)試者對(duì)第g幅圖像評(píng)級(jí)打分的均值為

其中，L是測(cè)試者人數(shù)，本文實(shí)驗(yàn)中L=30；vr,g是第r個(gè)測(cè)試者對(duì)第g幅圖像的評(píng)級(jí)打分值，即SoI 值。

所有測(cè)試者對(duì)第g幅圖像評(píng)級(jí)打分的標(biāo)準(zhǔn)差Sg為

按照式(5)重新計(jì)算第g幅圖像對(duì)應(yīng)的篩選后所有評(píng)級(jí)打分值的平均值為

2.2.2 實(shí)驗(yàn)數(shù)據(jù)分析與建模

采用式(5)計(jì)算的評(píng)級(jí)打分平均值衡量人眼對(duì)不同紋理復(fù)雜度圖像內(nèi)容的感興趣程度。為了后續(xù)內(nèi)容描述一致性，這里重新定義一個(gè)變量，即紋理感知敏感因子PT。對(duì)于一幅測(cè)試圖像，其對(duì)應(yīng)的PT值等于式(5)計(jì)算的評(píng)級(jí)打分平均值，即用PT衡量人眼對(duì)不同紋理復(fù)雜度圖像內(nèi)容的感興趣程度。圖3給出了所有測(cè)試圖像的梯度T與紋理感知敏感因子PT的關(guān)系。

圖3 T與PT的關(guān)系

對(duì)圖3 中的數(shù)據(jù)采用最小二乘法進(jìn)行擬合，擬合精度用相關(guān)系數(shù)的平方R2衡量[3,29]。擬合曲線模型如式(6)所示。

其中，a1～a5是模型參數(shù)，取值分別為-1.618 9×10-5、0.001 8、-0.072 6、1.008 4、0.0115。

由圖3 可以看出，相比于紋理簡(jiǎn)單和紋理復(fù)雜的圖像內(nèi)容，人眼對(duì)中等紋理復(fù)雜度的圖像內(nèi)容具有更高的感知敏感度，這一實(shí)驗(yàn)結(jié)果與HVS 的相關(guān)感知特性是相符的[30-31]。紋理簡(jiǎn)單的圖像內(nèi)容包含的信息量較少，由于HVS 選擇注意力機(jī)制的作用，這類(lèi)區(qū)域很難吸引人眼的關(guān)注。紋理復(fù)雜的圖像內(nèi)容雖然包含較多的信息量，但由于紋理掩蓋效應(yīng)的影響，人眼很難分辨其細(xì)節(jié)信息，因此感知敏感度會(huì)降低。相比于前兩類(lèi)圖像內(nèi)容，中等紋理復(fù)雜度的圖像內(nèi)容包含了較豐富的信息量，易引起人眼的關(guān)注，同時(shí)其對(duì)應(yīng)的紋理掩蓋效應(yīng)作用微弱，人眼易分辨圖像內(nèi)容細(xì)節(jié)，因此其對(duì)應(yīng)的感知敏感程度最高。

2.3 運(yùn)動(dòng)感知敏感因子

2.3.1 視頻主觀觀測(cè)實(shí)驗(yàn)設(shè)計(jì)

選擇圖1(f)、圖1(i)、圖1(r)所示的3 幅紋理復(fù)雜度具有顯著差別的圖像作為測(cè)試圖像。對(duì)每一幅測(cè)試圖像執(zhí)行以下操作：首先復(fù)制當(dāng)前測(cè)試圖像，生成另外6 幅內(nèi)容完全相同的圖像，并將這7 幅圖像按照從上到下的順序等間隔排列到顯示器的最左端；然后讓這7 幅圖像以隨機(jī)確定的運(yùn)動(dòng)速度水平向右勻速運(yùn)動(dòng)。本節(jié)實(shí)驗(yàn)中共設(shè)定了由慢到快7 個(gè)運(yùn)動(dòng)速度等級(jí)，對(duì)應(yīng)于7 幅圖像，其運(yùn)動(dòng)速度快慢由幀差D衡量。

主觀觀測(cè)實(shí)驗(yàn)涉及的其他內(nèi)容，如硬件環(huán)境、測(cè)試者選擇、視頻播放方法、評(píng)級(jí)打分規(guī)則、測(cè)試者評(píng)價(jià)打分?jǐn)?shù)據(jù)篩選處理等與2.2.1 節(jié)描述相同。最后，定義運(yùn)動(dòng)感知敏感因子PD衡量人眼對(duì)于不同運(yùn)動(dòng)等級(jí)圖像內(nèi)容的感興趣程度。圖像的DP值等于圖像對(duì)應(yīng)的經(jīng)過(guò)篩選后所有評(píng)級(jí)打分值的平均值。

2.3.2 實(shí)驗(yàn)數(shù)據(jù)分析與建模

所有測(cè)試圖像的幀差D與運(yùn)動(dòng)感知敏感因子DP的關(guān)系如圖4 所示。其關(guān)系可以用式(7)所示的多項(xiàng)式關(guān)系準(zhǔn)確擬合。

圖4 D與PD的關(guān)系

其中，b1～b5是模型參數(shù)，取值分別為-1.464×10-8、8.901 3×10-6、-0.002、0.155 6、0.867 3。

由圖4 可以看出，人眼對(duì)不同紋理復(fù)雜度的圖像具有相似的運(yùn)動(dòng)感知敏感特性，即相比于運(yùn)動(dòng)慢和運(yùn)動(dòng)快的圖像內(nèi)容，人眼對(duì)于運(yùn)動(dòng)速度中等的圖像內(nèi)容更加敏感。這一現(xiàn)象也與HVS 的相關(guān)感知特性一致[32-33]。受HVS 選擇注意力機(jī)制的影響，人眼容易首先關(guān)注視頻中運(yùn)動(dòng)速度中等或快的圖像內(nèi)容，而易忽略運(yùn)動(dòng)速度慢或靜止的圖像內(nèi)容。另外，運(yùn)動(dòng)快的圖像內(nèi)容雖然易吸引人眼的關(guān)注，但是受運(yùn)動(dòng)掩蓋效應(yīng)的影響，人眼很難觀察到圖像內(nèi)容的細(xì)節(jié)信息，因此其對(duì)應(yīng)的感知敏感程度會(huì)顯著降低。而運(yùn)動(dòng)速度中等的圖像內(nèi)容不僅易吸引人眼關(guān)注，并且運(yùn)動(dòng)掩蓋效應(yīng)的作用微弱，所以其對(duì)應(yīng)的感知敏感程度最高。

2.4 空時(shí)域感知敏感因子

人眼在實(shí)際觀測(cè)視頻時(shí)，會(huì)同時(shí)對(duì)視頻區(qū)域的紋理及運(yùn)動(dòng)特性進(jìn)行觀察感知，所以在這一過(guò)程中，視頻區(qū)域的紋理特性和運(yùn)動(dòng)特性并不是孤立地作用于人眼的感知，而是相互融合地影響人眼的感知。這就決定了人眼對(duì)于視頻區(qū)域的感知敏感程度不是紋理感知敏感因子PT和運(yùn)動(dòng)感知敏感因子PD的簡(jiǎn)單累加，而應(yīng)考慮這2 個(gè)因素在融合影響過(guò)程中所產(chǎn)生的重疊效應(yīng)[31]。

文獻(xiàn)[31]在研究多種掩蓋效應(yīng)對(duì)視頻感知質(zhì)量影響時(shí)通過(guò)建立非線性加法模型來(lái)消除多影響因素間的重疊效應(yīng)。借鑒這一研究，本文使用如式(8)所示的非線性加法模型構(gòu)建視頻內(nèi)容空時(shí)域感知敏感因子P。

其中，min()表示取最小值函數(shù)；μ表示重疊效應(yīng)系數(shù)，0＜μ＜1，μ值越大，表示重疊效應(yīng)越顯著。所提算法中，μ設(shè)置為0.2。

式(8)構(gòu)建的空時(shí)域感知敏感因子具有普適性，適用于監(jiān)控視頻、會(huì)議視頻及其他自然視頻。第3 節(jié)的實(shí)驗(yàn)結(jié)果也驗(yàn)證了空時(shí)域感知敏感因子的有效性和普適性。

2.5 所提算法的框架

與傳統(tǒng)的基于λ域的碼率控制算法[3]相同，所提算法也主要分為目標(biāo)比特分配和QP 確定兩部分。所提算法具體步驟如圖5 所示。

圖5 所提算法具體步驟

1) GoP 級(jí)目標(biāo)比特分配

視頻在編碼前，首先根據(jù)圖像在視頻中的顯示順序?qū)⑵鋭澐值讲煌膱D像組（GoP,group of picture）。GoP 是碼率控制目標(biāo)比特分配過(guò)程中最大的處理單元。所提算法按照式(9)進(jìn)行GoP 級(jí)的目標(biāo)比特分配。

其中，Rc表示視頻中第c個(gè)GoP 分配的目標(biāo)比特，round ()表示四舍五入取整函數(shù)，Nc表示GoP 的大小，Rc,left表示編碼視頻剩余的目標(biāo)比特?cái)?shù)，Nc,left表示視頻中剩余未編碼的圖像數(shù)，SGoP表示GoP 級(jí)滑動(dòng)窗口的大小，用于保證重建視頻質(zhì)量的平滑性，SGoP取固定值40[1]，RPicAvg表示視頻每幅圖像對(duì)應(yīng)的平均目標(biāo)比特?cái)?shù)，計(jì)算式為

其中，Rtar表示目標(biāo)碼率，F(xiàn)表示視頻的幀率。

2) 圖像級(jí)目標(biāo)比特分配

針對(duì)幀內(nèi)圖像提出的碼率控制算法通常采用全幀內(nèi)結(jié)構(gòu)進(jìn)行算法性能測(cè)試，對(duì)于全幀內(nèi)編碼結(jié)構(gòu)，其GoP 默認(rèn)為1。所以，第c個(gè)GoP 第m幀的目標(biāo)比特?cái)?shù)Rc,m為

其中，Cc,m為第c個(gè)GoP 第m幀經(jīng)過(guò)哈達(dá)瑪變換后的 SATD；m=1；α、β為模型參數(shù)，當(dāng)40Rc,m,left＜wh時(shí)，α=0.25，否則，α=0.3，β=0.558 2；Rc,m,left為視頻中未編碼的每幀平均剩余比特?cái)?shù)，計(jì)算式為

3) LCU 級(jí)目標(biāo)比特分配

在編碼第c個(gè)GoP 第m幀的所有LCU 之前，對(duì)其所有的LCU 先分配一個(gè)基礎(chǔ)目標(biāo)比特。第c個(gè)GoP 第m幀第n個(gè)LCU 的基礎(chǔ)目標(biāo)比特Rc,m,n為

其中，Pc,m,n為第c個(gè)GoP 第m幀中第n個(gè)LCU 的感知敏感因子，其計(jì)算模型如式(8)所示；Cc,m,n為第c個(gè)GoP 第m幀第n個(gè)LCU 經(jīng)過(guò)哈達(dá)瑪變換后的SATD；NLCU為一幅圖像中LCU 的總數(shù)。

對(duì)第c個(gè)GoP 第m幀第n個(gè)LCU 進(jìn)行編碼時(shí)，根據(jù)當(dāng)前幀實(shí)際已經(jīng)編碼的數(shù)據(jù)，對(duì)該LCU 按照式(14)分配其對(duì)應(yīng)的實(shí)際目標(biāo)比特。

其中，Rc,m,left為第c個(gè)GoP 第m幀剩余的目標(biāo)比特?cái)?shù)；Rc,m,k和Ac,m,k分別為第c個(gè)GoP 第m幀第k個(gè)LCU 分配的基礎(chǔ)目標(biāo)比特和實(shí)際編碼的比特，其中1≤k≤n-1；Nc,m,left為第c個(gè)GoP 第m幀剩余未編碼的LCU 數(shù)目；SLCU為L(zhǎng)CU 級(jí)滑動(dòng)窗口大小，其取固定值4[6]。

根據(jù)式(13)和式(14)可以看出，對(duì)當(dāng)前LCU 分配目標(biāo)比特時(shí)考慮了當(dāng)前LCU 感知敏感因子和其他LCU 感知敏感因子的影響。相比于當(dāng)前幀其他LCU 的感知敏感因子，如果當(dāng)前LCU 的感知敏感因子較大的話，則認(rèn)為人眼對(duì)其感知較敏感，其對(duì)于整幀圖像質(zhì)量的影響較大，則對(duì)其分配更多的實(shí)際目標(biāo)比特，優(yōu)先保證其編碼質(zhì)量。

4) QP 確定

圖像級(jí)QP 按照文獻(xiàn)[6]中的策略確定。第c個(gè)GoP 第m幀第n個(gè)LCU 的拉格朗日因子λc,m,n為[6]

其中，χ和φ為模型參數(shù)，其初始值分別為6.754 2和 1.786 0，其后取值隨視頻內(nèi)容特性更新；φ=1.251 7[6]；Nc,m,n為第c個(gè)GoP 第m幀第n個(gè)LCU 的像素?cái)?shù)。

第c個(gè)GoP 第m幀第n個(gè)LCU 的量化參數(shù)Qc,m,n為[34]

為了減少重建視頻中的質(zhì)量波動(dòng)，根據(jù)式(17)和式(18)對(duì)Qc,m,n的取值進(jìn)一步調(diào)整。

其中，Qc,m是第c個(gè)GoP 第m幀的QP。

特別說(shuō)明，文獻(xiàn)[6]提出的如式(15)所示的計(jì)算幀內(nèi)LCU 拉格朗日因子的模型和文獻(xiàn)[34]提出的如式(16)所示的QP 與λ的關(guān)系模型，由于高效的編碼性能被HM 原始碼率控制算法及一些其他的碼率控制算法[1,3,5]所采用。本文所提算法仍然默認(rèn)采用式(15)和式(16)所示的模型計(jì)算QP。采用其他的模型計(jì)算QP 理論上也是可行的，但需要重新設(shè)計(jì)及調(diào)整碼率分配部分與QP 確定部分涉及的模型或者參數(shù)，使其匹配，從而獲得高效的編碼性能。

2.6 所提算法的流程

所提算法的完整流程描述如下。

步驟1對(duì)于待編碼的視頻圖像，根據(jù)式(1)和式(2)分別計(jì)算圖像中每個(gè)LCU 對(duì)應(yīng)的梯度值和幀差值。

步驟2根據(jù)式(6)～式(8)，計(jì)算得到每個(gè)LCU對(duì)應(yīng)的空時(shí)域感知敏感因子Pc,m,n。

步驟3根據(jù)式(9)～式(14)完成GoP 級(jí)、圖像級(jí)及LCU 級(jí)的目標(biāo)比特分配過(guò)程。

步驟4采用文獻(xiàn)[6]的策略計(jì)算圖像級(jí)量化參數(shù)Qc,m，然后根據(jù)式(15)～式(18)得到每個(gè)LCU 對(duì)應(yīng)的拉格朗日因子λc,m,n和量化參數(shù)Qc,m,n。

步驟5使用Qc,m,n編碼當(dāng)前LCU。循環(huán)執(zhí)行步驟1～步驟5，直到整個(gè)視頻編碼完成。

3 實(shí)驗(yàn)結(jié)果

3.1 實(shí)驗(yàn)設(shè)置

目前文獻(xiàn)[6]提出的碼率控制算法已經(jīng)被HEVC 采用，并被集成到測(cè)試模型HM16.0 中（簡(jiǎn)稱(chēng)HM16.0 算法）。針對(duì)幀內(nèi)圖像，文獻(xiàn)[3-4,13]分別從不同角度提出了優(yōu)化的碼率控制算法。本節(jié)將詳細(xì)比較所提算法和HM16.0 算法、文獻(xiàn)[3]算法、文獻(xiàn)[4]算法、文獻(xiàn)[13]算法的編碼性能。

選擇如表1 所示的13 個(gè)包含不同分辨率和內(nèi)容特性的視頻作為測(cè)試視頻。首先，將HM16.0 中的碼率控制功能關(guān)閉，將全幀內(nèi)編碼結(jié)構(gòu)配置文件encoder_intra_main.cfg[35]中的參數(shù)QP 分別設(shè)定為34、37、40、42 的情況下編碼每一個(gè)測(cè)試視頻，從而獲得每一個(gè)測(cè)試視頻對(duì)應(yīng)的4 個(gè)目標(biāo)碼率。然后在已經(jīng)獲得的4 個(gè)目標(biāo)碼率下，分別用不同的算法編碼每一個(gè)測(cè)試視頻，獲得最終的編碼結(jié)果。

對(duì)于碼率控制算法來(lái)說(shuō)，比特估計(jì)準(zhǔn)確度及率失真性能是2 個(gè)核心指標(biāo)[1,3,36]。同時(shí)，算法的復(fù)雜度也是需要關(guān)注的指標(biāo)。所以下面依次從比特估計(jì)準(zhǔn)確度、率失真性能、算法復(fù)雜度3 個(gè)方面分析所提算法的性能。

3.2 比特估計(jì)準(zhǔn)確度

采用被廣泛使用的如式(19)所示的比特誤差（BE,bit error）[1,3]衡量碼率控制算法的比特估計(jì)準(zhǔn)確度。

其中，Ract為視頻實(shí)際編碼碼率，單位為kbit/s。

BE 計(jì)算結(jié)果如表1 所示，其中每個(gè)視頻的BE為其對(duì)應(yīng)的4 個(gè)目標(biāo)碼率下獲得的4 個(gè)BE 的平均值。由表1 的數(shù)據(jù)易看出，對(duì)于大部分視頻，所提算法都可以獲得較小的BE 值。另外，對(duì)于所有的視頻，HM16.0 算法、文獻(xiàn)[3]算法、文獻(xiàn)[4]算法、文獻(xiàn)[13]算法及所提算法的BE 平均值分別為0.005 9%、0.005 5%、0.002 1%、0.002 7%和0.002 0%。由此可見(jiàn)，所提算法的比特估計(jì)更加準(zhǔn)確。

表1 不同碼率控制算法的BE

3.3 率失真性能

本文采用被廣泛使用的Bj?ntegaard 德?tīng)査a率（BD-rate）[37]衡量碼率控制算法的率失真性能。在計(jì)算不同算法的BD-rate 時(shí)，將HM16.0 算法設(shè)定為基準(zhǔn)算法，失真測(cè)度使用平均主觀得分（MOS,mean opinion score）五級(jí)失真測(cè)度[28]。將原始視頻作為基準(zhǔn)視頻，分別獲得HM16.0 算法、文獻(xiàn)[3]算法、文獻(xiàn)[4]算法、文獻(xiàn)[13]算法和所提算法對(duì)應(yīng)的重建視頻的MOS 值。

表2 給出了不同碼率控制算法的BD-rate。對(duì)于所有測(cè)試視頻，文獻(xiàn)[3]算法、文獻(xiàn)[4]算法、文獻(xiàn)[13]算法和所提算法對(duì)應(yīng)的BD-rate 平均值分別為-3.764 8%、-0.279 6%、-7.045 3%、-16.133 6%。即相比于HM16.0 算法，文獻(xiàn)[3]算法、文獻(xiàn)[4]算法、文獻(xiàn)[13]算法和所提算法可以在獲得同等質(zhì)量的重建視頻前提下，碼率分別平均減少3.764 8%、0.279 6%、7.045 3%、16.133 6%。所以，所提算法的率失真性能更好。這里特別說(shuō)明，由于在計(jì)算BD-rate 時(shí)，HM16.0 算法被選為基準(zhǔn)算法，因此對(duì)于每個(gè)測(cè)試視頻，HM16.0 算法對(duì)應(yīng)的BD-rate 值都為0。考慮表2 的空間有限，HM16.0 算法對(duì)應(yīng)的BD-rate 值不在表2 中呈現(xiàn)。

表2 不同碼率控制算法的BD-rate

另外，相比于其他視頻，所提算法對(duì)于背景內(nèi)容幾乎不動(dòng)而前景內(nèi)容運(yùn)動(dòng)的視頻更加有效。這類(lèi)視頻中最典型的為監(jiān)控視頻和會(huì)議視頻。對(duì)于這類(lèi)視頻，大部分人在觀看時(shí)容易被前景運(yùn)動(dòng)的內(nèi)容所吸引。相應(yīng)地，在主觀測(cè)試時(shí)大部分測(cè)試者的測(cè)試結(jié)果都比較一致，即他們會(huì)更加關(guān)注前景運(yùn)動(dòng)區(qū)域的質(zhì)量，前景運(yùn)動(dòng)區(qū)域的質(zhì)量提升對(duì)整個(gè)視頻編碼的率失真性能影響很大。所提算法能夠有效提高前景區(qū)域的感知質(zhì)量。但是，對(duì)于其他類(lèi)型的視頻，例如整幅圖像內(nèi)容都在運(yùn)動(dòng)的視頻，不同測(cè)試者在觀看這類(lèi)視頻時(shí)觀測(cè)的結(jié)果（例如感興趣的區(qū)域）容易產(chǎn)生分歧。所以對(duì)于這類(lèi)視頻，比較難以提出為大部分測(cè)試者都認(rèn)可的感知模型或者算法。

圖6～圖8 分別給出了Johnny、Intersection、Corridor2 這3 個(gè)序列的率失真性能曲線，以直觀地說(shuō)明不同碼率控制算法的率失真性能。

由圖6～圖8 可以得到以下2 個(gè)結(jié)論。首先，所提算法的率失真性能曲線始終位于其他算法率失真曲線的上方，即在同等碼率下，所提算法可以獲得更高感知質(zhì)量的重建視頻，所提算法的率失真性能更高。其次，在不同碼率段下，所提算法的感知質(zhì)量提升有較大差異。在中等碼率下，所提算法對(duì)應(yīng)的感知質(zhì)量提升較明顯，相應(yīng)地，在高碼率和低碼率下感知質(zhì)量提升相對(duì)較小。

圖6 Johnny 序列率失真曲線

圖7 Intersection 序列率失真曲線

圖8 Corridor2 序列率失真曲線

在高目標(biāo)碼率下，HM16.0 算法對(duì)應(yīng)的重建視頻感知質(zhì)量較好，其與原始視頻之間的質(zhì)量差距較小，感知質(zhì)量可提升的空間很小。同時(shí)，韋伯-費(fèi)希納定律[38]也決定了此時(shí)只有所提算法重建視頻比HM16.0 算法重建視頻有較大的質(zhì)量提升，人眼才能夠感知到質(zhì)量的變化。上述原因共同決定了在高碼率下很難提升重建視頻的感知質(zhì)量。在低目標(biāo)碼率下，由于目標(biāo)比特資源很有限，這時(shí)從感知敏感度較低區(qū)域給感知敏感度高的區(qū)域搬移的少量碼率不足以使感知敏感度高的區(qū)域產(chǎn)生明顯的感知質(zhì)量提升。

圖9～圖11 分別給出了KristenAndSara 序列第172 幀、Intersection 序列第144 幀和BQMall 序列第36 幀，來(lái)直觀展示不同算法的重建圖像質(zhì)量。圖9 中可以明顯看出，相比于其他算法的重建圖像，所提算法對(duì)應(yīng)重建圖像中右邊女士的面部區(qū)域，例如牙齒、鼻子、眼睛、嘴唇等區(qū)域，更加清晰，更加接近于原始圖像中的相關(guān)內(nèi)容。圖10(b)～圖10(e)中重建圖像右下角轎車(chē)的車(chē)牌信息已經(jīng)模糊不清甚至完全丟失，而圖10(f)中所提算法重建圖像對(duì)應(yīng)的車(chē)牌區(qū)域仍然可以看清楚部分車(chē)牌字符，例如第4 個(gè)字符“2”和第5 個(gè)字符“6”。由圖11 也可以明顯看出，相比于其他算法的重建圖像，圖11(f)中所提算法重建圖像中右下角坐著的女士的面部區(qū)域細(xì)節(jié)更清晰。

圖9 KristenAndSara 序列第172 幀圖像及其局部區(qū)域放大圖

圖10 Intersection 序列第144 幀圖像及局部區(qū)域放大圖

圖11 BQMall 序列第36 幀圖像及局部區(qū)域放大圖

3.4 算法復(fù)雜度

采用編碼時(shí)間衡量算法的復(fù)雜度[3]。算法運(yùn)行的主要軟硬件環(huán)境為Windows 10 操作系統(tǒng)，處理器為Intel(R) Core(TM) i7-6700 CPU（3.40 GHz），內(nèi)存8.0 GB。具體地，采用式(20)所示的ΔT衡量各碼率控制方法的復(fù)雜度。

其中，Tori表示HM16.0 算法對(duì)應(yīng)的編碼時(shí)間，Tpro表示文獻(xiàn)[3-4,13]算法或所提算法對(duì)應(yīng)的編碼時(shí)間。

表3 給出了不同碼率控制算法的ΔT。對(duì)于所有的測(cè)試視頻，文獻(xiàn)[3]算法、文獻(xiàn)[4]算法、文獻(xiàn)[13]算法以及所提算法對(duì)應(yīng)的ΔT平均值分別為-4.777%、0.004%、0.055%和0.078%。由此可見(jiàn)，與HM16.0 算法相比，所提算法的編碼復(fù)雜度增加是非常小的。特別說(shuō)明，由于在計(jì)算ΔT時(shí)，HM16.0 算法被選為基準(zhǔn)算法，因此對(duì)于每個(gè)測(cè)試視頻，HM16.0 算法對(duì)應(yīng)的ΔT值都為0。

表3 不同碼率控制算法的ΔT

4 結(jié)束語(yǔ)

本文提出了一種有效提高碼率控制準(zhǔn)確度及感知率失真性能的HEVC 感知幀內(nèi)碼率控制算法。所提算法通過(guò)設(shè)計(jì)匹配的視頻主觀觀測(cè)實(shí)驗(yàn)，在主觀觀測(cè)實(shí)驗(yàn)結(jié)果的指導(dǎo)下，構(gòu)建了準(zhǔn)確反映人眼對(duì)于視頻紋理及運(yùn)動(dòng)感知敏感程度的空時(shí)域感知敏感因子，并將空時(shí)域感知敏感因子應(yīng)用于LCU 級(jí)比特分配過(guò)程中，完成整個(gè)碼率控制過(guò)程。算法為中等紋理復(fù)雜度及中等運(yùn)動(dòng)速度等人眼感知敏感的區(qū)域分配更多比特，從而提升了整個(gè)視頻的感知質(zhì)量。實(shí)驗(yàn)結(jié)果證明，在碼率控制準(zhǔn)確度及感知率失真性能方面，所提算法優(yōu)于HM16.0 算法。本文的研究進(jìn)一步證明了基于設(shè)計(jì)視頻主觀觀測(cè)實(shí)驗(yàn)的思路研究感知碼率控制算法的有效性。本文的研究思路可被進(jìn)一步拓展到針對(duì)HEVC 幀間圖像和針對(duì)其他視頻應(yīng)用或其他視頻類(lèi)型的碼率控制算法研究中。