摘 要：該文提出一種新的碼率控制算法，基于人眼顯著性區(qū)域的檢測，以優(yōu)化視頻編碼效率。該算法利用像素級的恰可感知失真（JND）模型，精準預測人眼對圖像失真感知的閾值。通過分析相鄰幀間的像素值變化，識別出圖像中的顯著性區(qū)域，并基于JND模型進一步細分這些區(qū)域。通過構建一個多級碼率分配框架，以指導不同區(qū)域的碼率分配。實驗結果顯示，在低碼率環(huán)境下，該算法能夠顯著提升顯著性區(qū)域的視覺質量，同時保持碼率控制的精確性。相比現(xiàn)有的HM16.9算法，在碼率精確性基本不變的情況下，該文算法的BD-Rate下降0.028 9%，BD-PSNR提升0.001 6%，多個測試序列的結構相似性ΔSSIM平均提升0.000 69。

關鍵詞：HEVC;顯著性區(qū)域;碼率控制;恰可感知失真模型;原始圖像

中圖分類號：TN919.8 文獻標志碼：A 文章編號：2095-2945（2024）34-0011-07

Abstract： This paper proposes a new bitrate control algorithm based on human visual saliency detection to optimize video coding efficiency. This algorithm utilizes a pixel-level Just Noticeable Distortion （JND） model to accurately predict the threshold for human eye perception of image distortion. By analyzing the pixel value changes between adjacent frames， salient regions in the image are identified， and these regions are further subdivided based on the JND model. By constructing a multi-level rate allocation framework to guide rate allocation in different regions. The experimental results show that in low-bitrate environments， this algorithm can significantly improve the visual quality of saliency while maintaining the accuracy of bit rate control. Compared with the existing HM16.9 algorithm， while the bit rate accuracy remains basically unchanged， the BD-Rate of the algorithm in this paper decreases by 0.028 9%， the BD-PSNR increases by 0.001 6%， and the average structural similarity ΔSSIM of multiple test sequences increases by 0.000 69.

Keywords： HEVC; saliency; bitrate control; Just Noticeable Distortion （JND） model; original image、

傳統(tǒng)的圖像/視頻編碼技術主要針對空間域冗余、時間域冗余以及統(tǒng)計冗余進行壓縮編碼，但很少考慮到人眼視覺系統(tǒng)特性和心理效應，因此大量視覺冗余數(shù)據(jù)被編碼并傳輸，為了進一步提高編碼的效率，基于心理學和生理學的最小可察覺失真模型廣泛關注。恰可感知失真（Just Noticeable Distortion，JND）模型基于人眼視覺系統(tǒng)的生理特性，通過對圖像中每個像素的亮度、對比度等視覺特性進行分析，來預測人眼能夠察覺到的最小失真程度。常用來指導圖像或視頻的感知編碼和處理，如預處理、碼流控制、運動估計等。

新一代高效視頻編碼標準HEVC（High Efficiency Video Coding）標準[1]中采用的是λ域的碼率控制模型，該模型主要通過拉格朗日參數(shù)λ來控制碼率。針對λ域的碼率控制模型的改進與優(yōu)化有許多研究方向，其中將人眼視覺特性與碼率控制相結合的方法是研究的熱點之一。無論哪種研究方法，歸根結底都是為了提升編碼性能，在盡可能低的碼率下，實現(xiàn)更優(yōu)的圖像質量。文獻[2]采用JND計算空域視覺敏感度，通過幀差法計算時域視覺敏感度，從而獲得基于空-時域的碼率分配權重。文獻[3]通過時＼空域顯著圖來確定視頻幀的感興趣區(qū)域，然后指導幀級和最大編碼單元（Largest Coding Unit，LCU）級比特位分配。文獻[4]提出一種基于感興趣區(qū)域（Region of Interest，ROI）和JND相結合的分級量化方法，針對低碼率視頻的應用，指導各區(qū)域的量化。

本文主要研究基于人眼顯著性檢測的碼率分配算法，通過空域JND模型預測視頻幀中人眼最小可察覺失真度，估計每一個LCU的碼率分配權重。利用相鄰幀之間的同位置上像素值差異，判斷圖像中的顯著性區(qū)域。本文算法在HEVC的λ域碼率控制模型的基礎上，結合空域JND模型和時域幀差法，對視頻幀顯著性區(qū)域建立分級、分區(qū)域的碼控策略，優(yōu)化和改進原有HEVC碼率控制算法，將碼率更好地分配到人眼感興趣的區(qū)域上，提高圖像質量。

1 HEVC碼率控制算法

目前HEVC標準采用R-λ碼控模型[5]，該模型已被證明要優(yōu)于R-Q、R-ρ模型，其表達式為

λ=α×Rβ 。 （1）

HEVC碼率控制算法主要包含2個步驟：碼率分配和量化參數(shù)確定。碼率分配過程分為圖像組（Group of Pictures，GOP）級、幀級和LCU級，如下所示。

GOP級：根據(jù)總碼率、幀率、GOP長度及已編碼幀的比特消耗，預分配GOP級的比特。GOP級比特分配的計算公式

式中：RPicAvg是每幀的理論目標比特數(shù);Ncoded是視頻序列已經(jīng)編碼的總幀數(shù);Rcoded是已編碼幀的實際編碼比特數(shù);SW是平滑比特分配的滑動窗口，用于使比特消耗和編碼圖像的質量更加平緩，通常設置為40。

幀級：根據(jù)GOP級剩余比特數(shù)，為每幀圖像按權重分配幀級目標比特數(shù)。在幀級碼率分配中，每一幀依照自身權重與未編碼內容的總權重之比在剩余的比特數(shù)中分配比特。幀級比特分配的計算公式

式中：權重參數(shù)ω是根據(jù)幀的編碼結構以及bpp（bits per pixel，每像素比特數(shù)）查表決定。

LCU級：根據(jù)幀級剩余比特數(shù)，為每個LCU按權重分配目標比特數(shù)。JCTVC-M0036提案[6]采用自適應比率的方法計算每個編碼單元的比特分配權重。LCU級比特分配的計算公式

式中：權重參數(shù)ω是根據(jù)前一編碼單元的參數(shù)進行計算，見公式（5）。

由于率失真優(yōu)化過程所獲得的量化參數(shù)（Quantization Parameter，QP）的編碼復雜度較高，為了降低編碼復雜度，Li等[5]通過大量實驗獲得了ln（λ）與QP之間存在線性關系，如計算公式

， （6）

。 （7）

量化參數(shù)確定后，即可對當前圖像進行編碼，該圖像編碼完成后得到實際編碼比特bpp。利用bpp更新參數(shù)α和β，以便后續(xù)圖像碼率控制時使用。參數(shù)具體更新方法

， （8）

，（9）

， （10）

式中：λreal表示編碼中實際的拉格朗日乘子;Rreal表示編碼中實際的編碼比特;δα和δβ是與bpp相關的常量，用于調節(jié)公式的收斂速度。

2 基于顯著性區(qū)域檢測的分等級碼控策略

2.1 JND預測與顯著性區(qū)域檢測

本文研究采用像素域中的JND模型，該模型綜合考量了亮度掩蔽（Luminance Masking，LM）和對比度掩蔽（Contrast Masking，CM）兩大關鍵視覺效應。在亮度較高的區(qū)域，人眼對亮度的變化較為敏感;而在亮度較低的區(qū)域，人眼對亮度的變化則不太敏感。在紋理復雜度高的區(qū)域，人眼對這些區(qū)域不是很敏感;而對紋理復雜度低的區(qū)域表現(xiàn)敏感，比如平坦區(qū)域出現(xiàn)塊效應、噪聲等，人眼很容易察覺。

借鑒文獻[7]中的JND模型，本研究建立了一個能夠精確映射人類視覺特性的模型。該模型通過空間掩蔽效應函數(shù)和亮度能見度函數(shù)的協(xié)同作用，精確計算了圖像中每個像素區(qū)域的最大可容忍失真量，公式如下

，（11）

式中：f1和f2分別為空域掩蔽效應函數(shù)和亮度能見度函數(shù);bg（x，y）與mg（x，y）分別表示像素（x，y）區(qū)域的背景亮度函數(shù)與最大亮度梯度函數(shù)。其中，bg（x，y）函數(shù)是通過一個加權低通濾波器計算像素（x，y）區(qū)域的平均背景亮度值，mg（x，y）函數(shù)是計算像素（x，y）周圍水平、左對角、右對角和垂直4個方向亮度變化的最大加權平均值。

圖1是序列BasketballPass和BQSquare的原始灰度圖像，分別對應圖1（a）、圖1（b）。圖2是經(jīng)過JND模型預測得到的圖像，黑色區(qū)域表示JND值較小，白色區(qū)域表示JND值較大。白色區(qū)域多數(shù)為亮度、對比度較大和紋理復雜的區(qū)域。減少這些區(qū)域的比特數(shù)分配，人眼察覺不到圖像質量的變化，從而將節(jié)省的比特數(shù)用于提升其他區(qū)域的圖像質量。圖3為失真圖像，是原始圖像與JND圖像的差值生成的。主觀測試顯示觀察者難以辨識出原始圖像與失真圖像之間的差異?；谝陨戏治觯撃Ｐ湍軌蚍从橙搜蹖D像失真感知能力，從而指導LCU級碼率分配權重。

時域視覺特征主要關注的是圖像中像素值隨時間的變化情況。由于人眼對于圖像中運動物體的變化和動態(tài)特性更為敏感，更容易成為視覺注意的焦點。通過比較相鄰幀之間的同位置上像素值差異，可以反映出圖像中物體的運動情況。因此，采用幀差技術來精確評估視頻幀之間的動態(tài)變化。定義全局雙向幀差為

式中：W和H分別為當前幀的寬度和高度;fn（i，j）、 fn-1（i，j）和fn+1（i，j）分別為當前幀、前一參考幀和后一參考幀對應（i，j）位置的像素值。對于局部編碼單元，引入LCU雙向差值度量，其定義為

式中：lcun（i，j）、lcun-1（i，j）和lcun+1（i，j）分別為當前LCU、前一參考幀中對應LCU和后一參考幀中對應LCU編碼單元（i，j）位置的像素值。由于式（12）揭示出時域上視頻幀變化的平均水平，這為算法提供了一個基準：當LCU局部變化程度DLCU超出幀平均水平Dframe，這些區(qū)域更有可能吸引觀察者的注意力;反之，當DLCU小于Dframe，則這些區(qū)域不太可能成為視覺焦點。

圖4（a）為序列BasketballPass的原始圖像，畫面中的人是主要的運動區(qū)域，很顯然是人眼關注的焦點。通過實驗發(fā)現(xiàn)，圖4（b）所示的白色區(qū)域為顯著性區(qū)域，黑色為非顯著性區(qū)域，檢測結果與人眼視覺觀察的區(qū)域基本吻合。因此，利用雙向差分均值可以較好地反映視頻中變化區(qū)域，找出顯著性區(qū)域，并結合碼率分配算法，提升顯著性區(qū)域的圖像質量。

2.2 結合JND和SR的分等級策略

傳統(tǒng)的視頻編碼方法通?；诟信d趣區(qū)域（Region of Interest，ROI）進行幀內劃分，但這種方法往往未能充分考慮人眼的視覺特性。為了更精細地適應人眼的視覺特性，結合JND模型和顯著性區(qū)域（SR），將視頻幀細分為非顯著性區(qū)域（NSR）、顯著性區(qū)域級別1（SR_level1）和顯著性區(qū)域級別2（SR_level2）?；谶@一細分，構建了一個新的三級碼率分配模型，實現(xiàn)更優(yōu)化的碼率資源分配。

根據(jù)公式（11），JNDLCU和JNDframe的計算公式分別為

式中：W為圖像的寬度;H為圖像的高度;n為LCU的大小。

當LCU屬于NSR區(qū)域時，則LCU級權重WLCU由式（16）得到。

， （16）

式中：WSLCU是空域視覺靈敏度權重，與JND（i，j）成反比;WTLCU是時域視覺靈敏度權重，計算非視覺顯著性區(qū)域的D（i）平均值[2]。

當LCU屬于SR區(qū)域，且JNDLCU小于閾值JNDframe時，該區(qū)域屬于SR_level1，適當減少編碼比特數(shù)的分配，LCU級權重WLCU由式（17）得到。

， （17）

式中：感興趣因子P的參數(shù)η1、η2分別取值為0.2、3。WTLCU是時域視覺靈敏度權重，計算視覺顯著性區(qū)域的D（i）平均值[2]。

當LCU屬于SR區(qū)域，且JNDLCU大于閾值JNDframe時，該區(qū)域屬于SR_level2，適當增加編碼比特數(shù)的分配，LCU級權重WLCU由式（18）得到。

， （18）

式中：感興趣因子P的參數(shù)η1、η2分別取值為0.25、20。

在視頻幀的視覺分析中，引入了一個關鍵參數(shù)——感興趣因子P。當SR區(qū)域占據(jù)較大的幀面積時，人眼對其的興趣度相對降低，導致P值減小。這種視覺特性反映了人眼傾向于關注那些具有較小面積但高顯著性的區(qū)域。因此，P值與SR區(qū)域的面積成反比關系，公式為

式中：Sframe是當前幀的面積;SROI是感興趣區(qū)域的總面積;參數(shù)η1、η2決定P的取值大小和范圍。

2.3 算法流程

提出的碼率控制算法流程如圖5所示，具體步驟如下。

步驟1：根據(jù)公式（2）獲得GOP級目標比特數(shù)TGOP;

步驟2：由公式（3）計算幀級目標比特TCurrPic;

步驟3：將整幀圖像劃分為NSR，SR_level1，SR_le

vel2的三級碼率分配區(qū)域;

步驟4：根據(jù)LCU所屬區(qū)域類別，計算LCU級權重WLCU;

步驟5：將WLCU作為碼率分配權重ωCurrLCU，代入HEVC的LCU級碼率分配公式（4），計算每個LCU的目標比特數(shù)TCurrLCU;

步驟6：由公式（6）、公式（7）計算得到LCU級的λCurrLCU、QPCurrLCU用于編碼;

步驟7：當單個LCU編碼完成后，將依據(jù)公式（8）至公式（10）對R-λ模型的參數(shù)進行更新，然后返回步驟3，直到單幀的所有LCU編碼完成后。

步驟8：完成單幀編碼后，返回步驟2，以此循環(huán)直到GOP、視頻序列編碼完成。

3 實驗結果

將本文提出的算法添加到HEVC的標準測試模型HM16.9中，并以HM16.9的方法為基準，從碼率精確性、率失真性能等角度測試本文算法的性能。采用的配置文件為“encoder_randomaccess_main.cfg”。視頻測試序列見表1。

通常采用德爾塔碼率（Bj?ntegaard-Delta Rate，BD-Rate）來衡量碼率控制算法的率失真性能。為了方便計算BD-Rate，本文每個序列只使用4個目標碼率值，見表2。

4.1碼率精確性

3.1 碼率精確性

碼率精確性體現(xiàn)了算法對輸出碼率的控制能力，目標碼碼率與實際編碼碼率之間的誤差越小，說明算法的碼率控制能力越好，精確性越高。目標碼率與編碼實際輸出碼率之間誤差定義為Rerror，計算公式為

式中：Rtarget為初始設置的目標碼率;Ractual為編碼后實際的輸出碼率。

從測試結果（表3）可知，本文所提算法的實際輸出碼率與目標碼率之間的誤差平均值在6.8%。本文算法與K0103算法[5]、HM16.9算法的碼率控制誤差基本一致。

3.2 率失真性能

率失真性能比較（以德爾塔碼率（Bj?ntegaard-Delta rate，BD-Rate）和峰值信噪比（Bj?ntegaard-Delta PSNR，BD-PSNR）形式）是視頻壓縮中使用的客觀度量指標，用于在目標比特率下比較2種不同視頻編碼器或同一視頻編碼器的不同算法的碼率失真性能或壓縮效率，是一種常用的視頻編碼器評價方法。表4顯示了HM16.9與本文提出的新算法的測試結果。

從實驗結果（表4）可知，相比HM16.9算法，本文提出的碼率控制算法的BD-Rate下降0.028 9%，BD-PSNR提升0.001 6%。其中，序列BlowingBubbles的BD-Rate提升0.817 6%，BD-PSNR提升0.032 3%，在低碼率下性能提升明顯。

3.3 SSIM性能比較

結構相似度（Structure Similarity Index Measure，SSIM）是圖像主觀質量的客觀評價指標，是一種常用的視頻編碼器評價方法。結構相似度差值定義為

， （21）

式中：ΔSSIMnew為本文提出算法的結構相似度指標值。ΔSSIManchor為HM16.9算法的結構相似度指標值。實驗結果見表5。

從測試結果（表5）可知，相比于K0103算法、HM16.9算法，本文算法的SSIM值有所提高，圖像的主觀質量得到有效改善。以序列FourPeople為例，如圖6所示，本文算法的SSIM性能表現(xiàn)更好。

3.4 圖像主觀質量

為了更好地衡量視頻編碼后的圖像質量，基于人眼主觀對編碼重建視頻質量作出評價，分別針對K0103算法、HM16.9算法和本文算法對HEVC標準測試序列進行比對測試。

圖7是序列BlowingBubbles在目標碼率150 kbps下，3種算法編碼后的圖像效果對比。在低碼率下，本文算法的重建視頻質量表現(xiàn)更好，小女孩的人臉部分更清晰，圖像中塊效應更少，明顯優(yōu)于其他2種算法。

4 結論

為了提高視頻在有限帶寬下的圖像質量，本文提出一種基于人眼顯著性區(qū)域檢測的碼率控制算法。通過像素域的JND模型來預測和指導LCU級碼率分配權重。其次，采用幀差法找出圖像中的SR區(qū)域。最后，結合JND模型對SR區(qū)域進行再劃分，建立多級碼率分配模型，指導各區(qū)域碼率分配的選擇。實驗結果表明，相比HM16.9算法，在保證碼率精確性的情況下，本文所提的分區(qū)域等級的碼率分配算法更符合人眼視覺特性，能夠有效提升視頻的主觀質量。

參考文獻：

[1] SULLIVAN，OHM J G， et al. Overview of the High Efficiency Video Coding （HEVC） Standard[J].IEEE Transactions on Circuits and Systems for Video Technology，2012，22（12）：1649-1668.

[2] 楊鄭龍，王國中，朱林林.基于空-時域視覺敏感度的碼率分配算法[J].計算機應用與軟件，2019，36（1）：239-245，276.

[3] 周建政，施偉元，毛科技.一種興趣區(qū)域檢測的H.265碼率控制方法[J].浙江工業(yè)大學學報，2018，46（3）：316-320.

[4] 喻莉，馮慧，張軍濤，等.低碼率下基于ROI與JND的分級量化方法[J].電視技術，2013，37（17）：33-35.

[5] LI B，LI H，LI L. JCTVC-K0103，Rate control by R-lambda model for HEVC[S].[S.L.]： ITU-T SG16 Contribution，2012.

[6] LI B，LI H，LI L. JCTVC-M0036，Adaptive bit allocation for R-lambda model rate control in HM[C]//JCT-VC of ITU-T SG16 WP3 and ISO / IEC JTC1 / SC29 / WG11 13th Meeting，Incheon，Rep.of Korea，Doc，2013.

[7] CHUN H C， YUN C L. A perceptually tuned subband image coder based on the measure of just-noticeable-distortion profile[J].IEEE Transactions on Circuits and Systems for Video Technology，1995，5（6）：467.

作者簡介：亢潤龍（1989-），男，碩士，助教。研究方向為視頻編解碼。