彭宗舉，鄒文輝，陳 芬，費(fèi)馬燕

（1.寧波大學(xué)　信息科學(xué)與工程學(xué)院，浙江　寧波 315211；2.西華師范大學(xué)　電子信息工程學(xué)院，四川　南充 637009）

面向HEVC的時(shí)空域感知量化

彭宗舉1，鄒文輝2，陳 芬1，費(fèi)馬燕1

（1.寧波大學(xué)信息科學(xué)與工程學(xué)院，浙江寧波 315211；2.西華師范大學(xué)電子信息工程學(xué)院，四川南充 637009）

針對(duì)高效視頻編碼（High Efficiency Video Coding，HEVC）標(biāo)準(zhǔn)在編碼過(guò)程中沒(méi)有考慮到人類視覺(jué)系統(tǒng)的感知特性的問(wèn)題，提出了一種基于HEVC的時(shí)空域感知量化編碼策略。首先，對(duì)輸入的視頻序列在變換域求取恰可察覺(jué)失真（Just Noticeable Distortion，JND），在最大編碼單元（Largest Coding Unit，LCU）層根據(jù)JND求取相應(yīng)的量化參數(shù)。其次，通過(guò)運(yùn)動(dòng)估計(jì)方法對(duì)輸入的視頻序列求取運(yùn)動(dòng)區(qū)域，由于視頻序列中存在著各種各樣的噪聲，影響運(yùn)動(dòng)估計(jì)的準(zhǔn)確性，因此對(duì)運(yùn)動(dòng)估計(jì)后的圖像進(jìn)行濾波處理，以減弱噪聲的影響，并將運(yùn)動(dòng)區(qū)域視為時(shí)域感興趣區(qū)域，之后根據(jù)是否為運(yùn)動(dòng)區(qū)域分策略調(diào)節(jié)量化參數(shù)。最后，在LCU編碼時(shí)，對(duì)根據(jù)空域感知特性調(diào)節(jié)的量化參數(shù)以及時(shí)域感知特性調(diào)節(jié)的量化參數(shù)進(jìn)行加權(quán)，作為L(zhǎng)CU最終編碼量化參數(shù)。實(shí)驗(yàn)結(jié)果表明，提出的算法在編碼時(shí)視覺(jué)感興趣區(qū)域選擇了細(xì)量化，而視覺(jué)非感興趣區(qū)域選擇了粗量化。感興趣區(qū)域的PNSR相對(duì)HM11.0能提高0.20—0.59dB，率失真性能最小能提升3.8%，最大能提升6.8%。與代表性文獻(xiàn)算法相比，PSNR提升較大。

高效視頻編碼；感興趣區(qū)域；感知編碼；量化參數(shù)

0 引 言

2013年，視頻編碼聯(lián)合專家組頒布了新一代視頻編碼標(biāo)準(zhǔn)——高效視頻編碼（High Efficiency Video Coding，HEVC）［1］，其編碼性能是H.264/AVC［2］的兩倍，更適合于高清視頻序列的編碼。視頻編碼技術(shù)的迅猛發(fā)展影響了電視廣播、互聯(lián)網(wǎng)以及消費(fèi)類電子產(chǎn)品中視頻服務(wù)的推廣。然而，這些編碼技術(shù)并沒(méi)有將人類視覺(jué)系統(tǒng)的感知特性考慮在內(nèi)，不管是哪種視頻應(yīng)用類服務(wù)，人類才是視頻信號(hào)的最終接收者。因此，在編碼過(guò)程中考慮人類視覺(jué)系統(tǒng)的感知特性是一種提高視頻編碼性能的有效方式。

目前，利用視覺(jué)注意力或敏感度模型指導(dǎo)編碼已有較多的研究，可以分為三類：根據(jù)顯著圖調(diào)節(jié)視頻編碼過(guò)程中的量化參數(shù)［3，4］，根據(jù)恰可察覺(jué)失真（Just Noticeable Distortion，JND）調(diào)節(jié)視頻編碼過(guò)程中的殘差系數(shù)或變換系數(shù)［5-8］和根據(jù)人類視覺(jué)系統(tǒng)的感興趣區(qū)域調(diào)節(jié)碼率控制中的比特分配［9］。Hadizadeh等人將IKN顯著模型用于視頻壓縮編碼中，通過(guò)提取視頻序列中的顯著區(qū)域，將視頻序列中的編碼幀分為視覺(jué)感興趣區(qū)域與視覺(jué)非感興趣區(qū)域，進(jìn)而調(diào)節(jié)這些區(qū)域的量化參數(shù)。雖然編碼性能得到了一定的提高，但是這種策略需要提供視覺(jué)注意力的能量圖且沒(méi)有考慮視頻序列的時(shí)域特性［3］。Chen等人將基于中心凹的恰可察覺(jué)失真（Foveated JND，F(xiàn)JND）作為視覺(jué)敏感度模型，F(xiàn)JND在空域JND的基礎(chǔ)上考慮了視網(wǎng)膜中心凹到顯示器的距離，Chen等人認(rèn)為JND閾值越大的區(qū)域引起的視覺(jué)敏感度越高，因此編碼量化參數(shù)也越小。雖然視頻序列中一些視覺(jué)敏感的邊緣區(qū)域得到了更好的保護(hù)，然而其僅考慮了空域特征沒(méi)有考慮視頻序列中運(yùn)動(dòng)區(qū)域更易引起人眼的視覺(jué)關(guān)注［5］。Kim等人在HEVC上提出了基于JND模型的視覺(jué)感知策略，通過(guò)JND最大程度上去除空域視覺(jué)冗余。雖然其算法在保持視覺(jué)質(zhì)量的同時(shí)節(jié)省了較多的碼率，然而其只考慮了空域的視覺(jué)感知特征，沒(méi)有考慮時(shí)域特征［7］。Meddeb等人提出了基于感興趣區(qū)域的碼率控制算法，他們認(rèn)為人類視覺(jué)系統(tǒng)更加關(guān)注視頻序列中的人臉區(qū)域，通過(guò)人臉檢測(cè)算法提取出視頻序列中的人臉區(qū)域，將人臉作為人類視覺(jué)系統(tǒng)的感興趣區(qū)域，在碼率控制比特分配過(guò)程中，感興趣區(qū)域相對(duì)于非感興趣區(qū)域分配更多的比特。雖然感興趣區(qū)域的編碼質(zhì)量得到了一定的提高［9］，然而這種策略只適用于視頻會(huì)議場(chǎng)合。

針對(duì)以上算法的缺陷，本文提出一種基于HEVC的時(shí)空域感知量化編碼策略。首先該策略考慮了空域感知特性，將JND作為視覺(jué)敏感度調(diào)節(jié)編碼過(guò)程中的量化參數(shù)。其次該策略考慮了時(shí)域感知特性，相對(duì)空域感知特性，視頻序列中的運(yùn)動(dòng)目標(biāo)更易吸引人眼的關(guān)注，通過(guò)運(yùn)動(dòng)估計(jì)求取視頻序列中的運(yùn)動(dòng)區(qū)域，根據(jù)是否運(yùn)動(dòng)區(qū)域分策略調(diào)節(jié)編碼過(guò)程中的量化參數(shù)。最終將空域感知特性計(jì)算的量化參數(shù)以及時(shí)域感知特性計(jì)算的量化參數(shù)進(jìn)行加權(quán)。實(shí)驗(yàn)結(jié)果表明提出的算法能夠有效提高視頻重建質(zhì)量，PSNR平均提高0.20-0. 59dB，編碼率失真性能最低能提升3.8%，最高能提升6.8%。

1 時(shí)空域感興趣區(qū)域提取

視覺(jué)注意是人類的一種潛意識(shí)過(guò)程，根據(jù)注意力的驅(qū)動(dòng)方式，可將視覺(jué)注意力分為自底向上和自頂向下型驅(qū)動(dòng)。前者是指由外界信號(hào)的特性而決定注意的導(dǎo)向，例如視頻場(chǎng)景中和人眼視網(wǎng)膜以及光學(xué)屬性相關(guān)的因素，后者來(lái)自于人類復(fù)雜的心理過(guò)程，跟個(gè)人的興趣愛(ài)好等因素有關(guān)。由于自頂向下的注意力驅(qū)動(dòng)機(jī)制跟心理學(xué)、人的閱歷等都有一定的關(guān)系，成為了實(shí)際應(yīng)用中難以突破的瓶頸。因此本文從自底向上的注意力驅(qū)動(dòng)機(jī)制即數(shù)據(jù)型驅(qū)動(dòng)出發(fā)，考慮到人眼在觀察一個(gè)陌生的視頻場(chǎng)景時(shí)，剛開(kāi)始往往會(huì)在視頻場(chǎng)景中搜索感興趣區(qū)域等，人眼適應(yīng)于這種視頻場(chǎng)景后，場(chǎng)景中的運(yùn)動(dòng)對(duì)象會(huì)更加吸引人眼的高度關(guān)注。為此，本文利用該特性設(shè)計(jì)了一種符合人的視覺(jué)感知特性的感知量化編碼策略。

1.1 空域感興趣區(qū)域

人眼是視頻信號(hào)的最終接收者，建立符合人眼的感知編碼特性相當(dāng)重要，已有學(xué)者建立了一些模擬人眼感知的模型，例如顯著圖模型［10］、離散余弦變換（Discret Cosine Transform，DCT）域JND模型［11］。本文采用（Discret cosine Transform，DCT）域JND模型來(lái)描述人類視覺(jué)系統(tǒng)的感知特性，其考慮了人眼的對(duì)比度以及掩膜效應(yīng)。DCT域JND在數(shù)學(xué)上表示為基本閾值和調(diào)節(jié)因子的乘積形式［11］，即：

式中，n表示輸入視頻第k幀中第n個(gè)編碼塊；i，j表示DCT系數(shù)的索引號(hào)；Thbasic、Flum以及Fcontrast分別表示基本閾值、亮度掩膜調(diào)節(jié)因子和亮度的對(duì)比度掩膜調(diào)節(jié)因子。

1.1.1 基本閾值

在編號(hào)為n的編碼塊中（i，j）位置的子帶系數(shù)，其相應(yīng)的空間頻域ωi，j表示為：

式中，N表示編碼塊的維數(shù)，θx，θy分別表示像素水平和垂直方向視角，Rvd表示視距到圖像高度的距離權(quán)重，Pich表示圖像的高度。

DCT子帶基本閾值的計(jì)算公式為：

式中，s表示集合效應(yīng)，取值為0.25，Фi、Фj表示DCT歸一化系數(shù)，?ij表示DCT系數(shù)的方向角，參數(shù)a、b以及c分別取值為1.33、0.11和0.18。

1.1.2亮度掩膜調(diào)節(jié)因子

亮度掩膜機(jī)制跟圖像中的亮度變化有關(guān)，根據(jù)Weber定律，最小可感知亮度差可能隨著背景亮度的增加而增加，即背景亮度過(guò)高過(guò)低的情況下人眼不易察覺(jué)量化誤差，亮度掩膜調(diào)節(jié)因子的計(jì)算公式為：

式中，ˉI表示第n個(gè)編碼塊的亮度均值。

1.1.3 對(duì)比度掩膜調(diào)節(jié)因子

對(duì)比度掩膜效應(yīng)是人類視覺(jué)系統(tǒng)中一個(gè)重要的成分，在計(jì)算對(duì)比度掩膜因子時(shí)，首先需要利用Canny算子對(duì)圖像進(jìn)行歸類，即紋理區(qū)、邊緣區(qū)以及平坦區(qū)。然后對(duì)這些區(qū)域賦予不同的權(quán)重，其中若是平坦與邊緣區(qū)域，加權(quán)系數(shù)ψ=1；如果紋理區(qū)域且坐標(biāo)索引滿足（i2+j2）≤16，加權(quán)系數(shù)ψ=2.25；如果紋理區(qū)域且坐標(biāo)索引滿足（i2+j2）＞16，加權(quán)系數(shù)ψ=1.25。最終對(duì)比度掩膜調(diào)節(jié)因子的計(jì)算公式為：

式中，ε=0.36，C（k，n，i，j）是第n個(gè)編碼塊（i，j）位置的DCT系數(shù)。

圖1（a）是BasketballPass序列第7幀的原圖像，圖1（b）是對(duì)BasketballPass第7幀求取的JND圖。由于在編碼過(guò)程中，用同一個(gè)QP對(duì)圖1（b）中具有較多白色像素點(diǎn)的編碼單元對(duì)應(yīng)著的彩色圖像中的編碼單元進(jìn)行編碼，和對(duì)同尺寸具有較少白色像素點(diǎn)的編碼單元對(duì)應(yīng)著的彩色圖像的編碼單元進(jìn)行編碼，往往具有較多白色像素點(diǎn)的編碼單元造成的視覺(jué)失真大于具有較少白色像素點(diǎn)的編碼單元。另外人眼對(duì)圖像中的對(duì)象邊界由編碼造成的失真也比較敏感。為此，本文將JND圖中白色像素點(diǎn)對(duì)應(yīng)著的彩色圖像中像素點(diǎn)的位置視為視覺(jué)感興趣點(diǎn)，一些視覺(jué)感興趣點(diǎn)組成視覺(jué)感興趣區(qū)域。

圖1　BasketballPass序列第7幀圖像以及相應(yīng)的JND圖

1.2 時(shí)域感興趣區(qū)域

運(yùn)動(dòng)檢測(cè)在視頻分析中一直是一項(xiàng)比較重要的技術(shù)，視頻場(chǎng)景中的前景運(yùn)動(dòng)區(qū)域檢測(cè)也是一個(gè)棘手的問(wèn)題。主要原因有二：一是視頻場(chǎng)景中的背景區(qū)域具有動(dòng)態(tài)的復(fù)雜紋理；二是拍攝相機(jī)的移動(dòng)，固定相機(jī)不適合用于實(shí)際場(chǎng)合的序列拍攝?，F(xiàn)有的運(yùn)動(dòng)檢測(cè)技術(shù)有幀差法、全局搜索法以及灰度投影法。幀差法簡(jiǎn)單、效率高，然而相鄰幀直接差分以提取前景運(yùn)動(dòng)區(qū)域不夠準(zhǔn)確?；叶韧队胺ㄊ且环N全局運(yùn)動(dòng)矢量的估計(jì)方法，已被應(yīng)用于電子穩(wěn)像中，然而，其只適應(yīng)于拍攝相機(jī)平行移動(dòng)的場(chǎng)合，不適應(yīng)于推進(jìn)式拍攝相機(jī)。本文中采用全局搜索算法進(jìn)行前景運(yùn)動(dòng)區(qū)域的檢測(cè)。

編碼當(dāng)前幀時(shí)，首先設(shè)定運(yùn)動(dòng)估計(jì)的搜索范圍（4個(gè)像素點(diǎn)）以及運(yùn)動(dòng)估計(jì)塊大?。?×8），根據(jù)搜索范圍在當(dāng)前幀的前一幀中去搜索與當(dāng)前運(yùn)動(dòng)估計(jì)塊的最佳匹配塊。如圖2所示。

圖2　運(yùn)動(dòng)估計(jì)示意圖

運(yùn)動(dòng)估計(jì)過(guò)程中根據(jù)匹配塊的最佳代價(jià)值選擇當(dāng)前運(yùn)動(dòng)估計(jì)塊的最佳運(yùn)動(dòng)矢量，代價(jià)值的求取如式（9）所示：

式中，C（x，y）和P（x，y）分別為當(dāng)前編碼幀以及當(dāng)前編碼幀的前一幀中坐標(biāo)為（x，y）的像素值，mv為運(yùn)動(dòng)矢量，mvx和mvy分別為運(yùn)動(dòng)估計(jì)塊水平方向和垂直方向的運(yùn)動(dòng)矢量，mvs為運(yùn)動(dòng)矢量的集合，J為運(yùn)動(dòng)估計(jì)塊在mv下的代價(jià)值，SR為搜索范圍。

求出運(yùn)動(dòng)估計(jì)塊在每個(gè)運(yùn)動(dòng)矢量下的代價(jià)值，選擇代價(jià)值最小的運(yùn)動(dòng)矢量作為運(yùn)動(dòng)估計(jì)塊的最佳運(yùn)動(dòng)矢量，如式（11）所示：

式中，mv*為最佳運(yùn)動(dòng)矢量。

運(yùn)動(dòng)估計(jì)的過(guò)程受序列中各種噪聲的影響，因此本文采用一個(gè)3×3的濾波窗口對(duì)整個(gè)編碼幀中運(yùn)動(dòng)估計(jì)塊的運(yùn)動(dòng)矢量進(jìn)行濾波處理，濾波窗口如圖3所示。其中Current MB為當(dāng)塊。如果當(dāng)前待濾波的運(yùn)動(dòng)估計(jì)塊周圍運(yùn)動(dòng)估計(jì)塊的個(gè)數(shù)少于4個(gè)，則認(rèn)為當(dāng)前塊不是運(yùn)動(dòng)區(qū)域。用公式描述為：

式中，num為當(dāng)前待濾波運(yùn)動(dòng)估計(jì)塊周圍運(yùn)動(dòng)估計(jì)塊的個(gè)數(shù)。

由于在HEVC編碼的過(guò)程中，是以LCU為單位對(duì)視頻序列進(jìn)行編碼的，因此最終的感興趣區(qū)域需要以LCU為單位。本文的做法是對(duì)LCU進(jìn)行統(tǒng)計(jì)，如果LCU中存在運(yùn)動(dòng)部分，則對(duì)應(yīng)LCU為運(yùn)動(dòng)感興趣區(qū)域。圖4（a）、4（b）和4（c）分別為BasketballPass序列第7幀中的濾波前運(yùn)動(dòng)區(qū)域、濾波后的運(yùn)動(dòng)區(qū)域和最終的感興趣區(qū)域。圖中白色為運(yùn)動(dòng)區(qū)域或者感興趣區(qū)域。

圖3　濾波窗口

2 HEVC中時(shí)空域感知量化

在編碼過(guò)程中，量化參數(shù)的調(diào)節(jié)直接影響到視頻的重建質(zhì)量。如果編碼單元選擇粗量化，視頻重建質(zhì)量較差，碼率較低；選擇細(xì)量化，視頻重建質(zhì)量較好，碼率較高。本文首先根據(jù)編碼單元的DCT域JND計(jì)算相應(yīng)的量化參數(shù)（QP），用公式表示為：

圖4　感興趣區(qū)域提取

式中，QPHEVC為HEVC編碼平臺(tái)所用的量化參數(shù)，ωn為調(diào)節(jié)因子，計(jì)算公式為：

式中，a，b以及c是常量［5］，取值分別為 a=0.7，b=0.6，c=4，JNDAvg表示DCT域JND的平均特征值。定義根據(jù)JND調(diào)節(jié)QP，QP的變化量為△QPJND，其計(jì)算公式為：

由于在HEVC編碼平臺(tái)中，如果不開(kāi)啟量化組層編碼控制，即-dqd使能端，量化都是以最大編碼單元進(jìn)行調(diào)節(jié)，也就是一個(gè)最大編碼單元里面的編碼單元共享同一個(gè)QP。而通過(guò)步驟1.2求出的運(yùn)動(dòng)感興趣區(qū)域是以8×8的塊為單位，有學(xué)者通過(guò)運(yùn)動(dòng)感興趣區(qū)域的面積調(diào)節(jié)QP，但是往往會(huì)造成那些有運(yùn)動(dòng)但又運(yùn)動(dòng)較小的區(qū)域得不到較好的保護(hù)。作者采取一種簡(jiǎn)單溫和的策略，即如果當(dāng)前編碼的LCU中包含運(yùn)動(dòng)區(qū)域則△QPMV=-2；否則△QPMV=2。用公式描述為：

式中，ROI表示運(yùn)動(dòng)感興趣區(qū)域，No ROI表示非運(yùn)動(dòng)感興趣區(qū)域。

由于在第一幀編碼時(shí)，無(wú)前一幀用來(lái)作為運(yùn)動(dòng)估計(jì)的參考幀，因此視頻序列的第一幀僅將空域JND作為視覺(jué)感知特性。而在第二幀及之后的編碼幀采用DCT域JND以及時(shí)域的運(yùn)動(dòng)特性作為最終的視覺(jué)感知特性。綜上，利用視覺(jué)感知特性調(diào)節(jié) LCU編碼量化參數(shù)的策略為：

式中，n′、m′的取值跟編碼幀的幀號(hào)有關(guān)，如果編碼幀為第一幀，則 n′=1、m′=0；如果編碼幀非第一幀，則 n′=0.5、m′=0.5。同時(shí)為了保持最大編碼單元之間的視覺(jué)連續(xù)性，△QP被限制在區(qū)間［-2.0，+3.0］。

3 實(shí)驗(yàn)結(jié)果及分析

本文所提出的方法在HM11.0上進(jìn)行實(shí)現(xiàn)，采用全I(xiàn)幀編碼配置環(huán)境［12］，初始量化參數(shù)分別為22、27、32、37。為了驗(yàn)證本文算法的普適性，選取了三種分辨率類型的序列，這三種分辨率分別為416×240、832× 480以及1920×1080。每種分辨率類型的序列選取兩個(gè)，這些序列有不同的運(yùn)動(dòng)程度，序列內(nèi)容也由簡(jiǎn)單到復(fù)雜。為了驗(yàn)證本文算法的有效性，采用BDBR［13］評(píng)價(jià)其率失真性能。BDBR表示在相同的PSNR條件下節(jié)省的碼率，即BDBR負(fù)的越多表示在相同的PSNR條件下節(jié)省的碼率越多。

從表1中可看出，提出的算法不管是整幀的平均PSNR還是感興趣區(qū)域的平均PSNR均有很大的提升，整幀的平均PSNR提高了 0.12—0.46dB，感興趣區(qū)域的平均PSNR平均提高了 0.2—0.59dB。雖然編碼碼率稍有上升但是其率失真性能提高了，BDBR最小有3.8%的提升，最大有6.8%的提升。文獻(xiàn)［7］的編碼策略相對(duì) HM11.0碼率節(jié)省了較多，然而 PSNR最小下降了0.64dB，最大下降了1.67dB。從編碼性能上可看出本文的算法優(yōu)于文獻(xiàn)［7］。

表1　在Intra_main配置文件下的測(cè)試結(jié)果

圖5（a）、5（b）以及5（c）分別是BasketballDrive序列第2幀的彩色圖像、相應(yīng)的JND圖像以及運(yùn)動(dòng)區(qū)域，從圖中可發(fā)現(xiàn)其運(yùn)動(dòng)區(qū)域和 JND圖像非常類似，在編碼過(guò)程中本策略傾向于對(duì)這些區(qū)域選擇細(xì)量化，而對(duì)既不是JND圖中的視覺(jué)興趣區(qū)域又不是運(yùn)動(dòng)區(qū)域圖中的運(yùn)動(dòng)區(qū)域選擇粗量化。如果不采用本策略，視覺(jué)顯著的區(qū)域和視覺(jué)非顯著的區(qū)域采取同樣的量化參數(shù)編碼，則會(huì)導(dǎo)致視覺(jué)顯著的區(qū)域發(fā)生的失真明顯大于視覺(jué)非顯著的區(qū)域。圖5（d）是采用本策略的最終編碼 QP圖，其和圖5（b）、圖5（c）非常吻合，圖中方塊越白，表示相應(yīng)的編碼QP越小，反之亦然。圖5（d）之所以是以方塊為單位，是因?yàn)樵趯?shí)際編碼過(guò)程中，一個(gè)LCU及其里面的CU都是共享同一個(gè)QP對(duì)變換系數(shù)進(jìn)行量化處理。

圖5 BasketballDrive第2幀彩色圖及相應(yīng)的運(yùn)動(dòng)區(qū)域、JND圖、最終編碼QP

圖6（a）、（b）以及（c）分別是BQMall序列第43幀的彩色圖像、相應(yīng)的JND圖以及運(yùn)動(dòng)區(qū)域。從圖中可看出DCT域JND求出的視覺(jué)顯著區(qū)域較多，這些區(qū)域往往是在對(duì)象的邊緣區(qū)域。如果用同一個(gè)量化參數(shù)對(duì)同尺寸的兩個(gè)編碼塊編碼，其中一個(gè)塊不具有邊緣信息，另一個(gè)塊具有邊緣信息，編碼后具有邊緣信息的編碼塊極有可能邊緣出現(xiàn)塊效應(yīng)。而利用本策略，這些區(qū)域會(huì)選擇細(xì)量化，塊效應(yīng)產(chǎn)生的概率也會(huì)很大程度上降低。本策略同時(shí)也考慮了運(yùn)動(dòng)對(duì)象，運(yùn)動(dòng)對(duì)象也會(huì)選擇細(xì)量化。BQMall序列相對(duì)BasketballDrive序列率失真性能提升較小，很大原因是由于求取的視覺(jué)顯著區(qū)域面積較大，如果全都采用細(xì)量化，編碼質(zhì)量提升的同時(shí)勢(shì)必造成碼率的上升。如果編碼區(qū)域中視覺(jué)顯著區(qū)域與視覺(jué)非顯著區(qū)域各占一半這樣的編碼效果會(huì)更好，因?yàn)檫@些非視覺(jué)區(qū)域采用粗量化，編碼質(zhì)量雖然略有下降，但下降速度沒(méi)有碼率下降的速度快，就如BasketballDrive序列。

圖6 BQMall第43幀彩色圖及相應(yīng)的JND圖和運(yùn)動(dòng)區(qū)域

圖7（a）和7（b）是BasketballDrive以及BQMall這兩個(gè)序列在本文算法、HM11.0以及文獻(xiàn)［7］下的率失真性能對(duì)比圖。從圖中可看出本文算法的率失真性能明顯優(yōu)于HM11.0以及文獻(xiàn)［7］的算法，從而驗(yàn)證了本文算法的有效性。

圖7　率失真性能對(duì)比

4 結(jié) 論

本文在HEVC上提出了一種基于HEVC的時(shí)空域感知量化編碼策略，該策略考慮了時(shí)空域的視覺(jué)感知特性。首先在DCT域，考慮了JND模型，在編碼時(shí)能夠根據(jù)顯著性調(diào)節(jié)編碼過(guò)程中的量化參數(shù)。在時(shí)域，由于自然場(chǎng)景下的序列存在著各種各樣的對(duì)象運(yùn)動(dòng)，這些運(yùn)動(dòng)對(duì)象相對(duì)于靜止對(duì)象更容易引起人類視覺(jué)系統(tǒng)的關(guān)注。因此，借助運(yùn)動(dòng)估計(jì)求取視頻序列中的運(yùn)動(dòng)對(duì)象，再根據(jù)編碼塊中是否存在運(yùn)動(dòng)對(duì)象對(duì)編碼過(guò)程中的量化參數(shù)進(jìn)行優(yōu)化。最后對(duì)時(shí)空域優(yōu)化的量化參數(shù)進(jìn)行加權(quán)。實(shí)驗(yàn)結(jié)果表明，本文算法在編碼率失真性能上具有較大提升，最大能提升6.8%，感興趣區(qū)域 PNSR最大能提升0.59dB。

［1］SULLIVAN G J，OHM J，HAN W J，et al.Overview of the high efficiency video coding（HEVC）standard［J］.IEEE Transactions on Circuits and Systems for Video Technology，2012，22（12）：1649-1668.

［2］OHM J R，SULLIVAN G J，SCHWARZ H，et al.Comparison of the coding efficiency of video coding standards—including high efficiency video coding（HEVC）［J］.IEEE Transactions on Circuits and Systems for Video Technology，2012，22（12）：1669-1684.

［3］HADIZADEH H，BAJIC IV.Saliency-aware video compression［J］.IEEE Transactions on Image Processing，2014，23（1）：19-33.

［4］LIY，LIAOW，HUANG J，et al.Saliency based perceptual HEVC［C］//2014 IEEE International Conference on Multimedia and Expo Workshops（ICMEW），Chengdu，2014：1-5.

［5］CHEN Z，GUILLEMOT C.Perceptually-friendly H.264/AVC video coding based on foveated just-noticeable-distortion model［J］.IEEE Transactions on Circuits and Systems for Video Technology，2010，20（6）：806-819.

［6］CABRITA A S，PEREIRA F，NACCARIM.Perceptually driven coefficients pruning and quantization for the H.264/AVC standard［C］//EUROCON-International Conference on Computer as a Tool（EUROCON），Lisbon，2011：1-4.

［7］KIM JH，BAE S，KIM M G.An HEVC-compliant perceptual video coding scheme based on JND models for variable blocksized transform kernels［J］.IEEE Transactions on Circuits and Systems for Video Technology，2015，25（11）：1-15.

［8］KIM J，KIM M.Analysis of the JND-suppression effect in quantization perspective for HEVC-based perceptual video coding［J］.IEIE Transactions on Smart Processing&Computing，2015，4（1）：22-27.

［9］MEDDEB M，CAGNAZZO M，PESQUET-POPESCU B.Region-of-interest-based rate control scheme for high-efficiency video coding［J］.APSIPA Transactions on Signal and Information Processing，2014，3：e16.

［10］ITTI L，KOCH C，NIEBUR E.A model of saliency-based visual attention for rapid scene analysis［J］.IEEE Transactions on Pattern Analysis&Machine Intelligence，1998，（11）：1254-1259.

［11］WEI Z，NGAN K N.Spatio-temporal just noticeable distortion profile for grey scale image/video in DCT domain［J］.IEEE Transactions on Circuits and Systems for Video Technology，2009，19（3）：337-346.

［12］BOSSEN F.Common HM test conditions and software reference configurations［C］//Proceedings of the 12th JCTVC Meeting. Geneva：JCTVC，2013：1-3.

［13］BJONTEGAARD G.Calculation of average PSNR differences between RD-Curves［EB/OL］.（2001-03-28）［2015-01-15］. http：//w ftp3.itu.int/av-arch/video-site/0104_Aus/

Spatial-tem poral Perception Quantization for HEVC

PENG Zongju1，ZOUWenhui2，CHEN Fen1，F(xiàn)EIMayan1
（1.Faculty of Information Science and Engineering，Ningbo Zhejiang University，Ningbo Zhejiang 315211，China；2.College of Electronic and Information Engineering，China West Normal University，Nanchong Sichuan 637009，China）

To solve the drawback of high efficiency video coding（HEVC）which ignores the property of human visual system in the process of video coding，a spatial-temporal perception quantization method is proposed in this paper.Three steps were taken in the experiment.First，just noticeable distortion（JND）in transform domain is obtained for input video sequence，and then used to calculate the quantization parameter（QP）for largest coding unit（LCU）.Second，motion area is extracted according to input video sequence by motion estimation.Yet due to the variety of noise in the natural sequence，motion estimation would not be accurate enough.Thus，a novel filter is proposed to weaken the influence aroused by noise.The motion area is regarded as region of interest（ROI）and used to adjust the QP.Third，the ultimate QP is obtained by weighting the QP calculated by JND and ROI.Experimental results showed that the proposed method improves the rate distortion performance and PSNR.For the same PSNR，the proposed approach can save 5.1%bit on average.Maximal bit rate saving can reach 6.8%.The PSNR in ROI can be improved by 0.20～0.59dB compared with the HEVC reference software.

high efficiency video coding；region of interest；perceptual coding；quantization parameter

TN919

A

10.16246/j.issn.1673-5072.2016.01.010

1673-5072（2016）01-0067-08

2016-01-28

國(guó)家自然科學(xué)基金（U1301257，61271270）

彭宗舉（1973—），四川南部人，教授，博士，博士生導(dǎo)師，主要從事圖像處理、3D視頻信號(hào)編碼與通信領(lǐng)域的研究。

彭宗舉，E-mail：pengzongju@nbu.edu.cn