林國川，何小海**，李向群，2，于成業(yè)

基于感興趣區(qū)域的HEVC壓縮性能優(yōu)化*

林國川1，何小海**1，李向群1，2，于成業(yè)1

（1.四川大學電子信息學院，成都610065；2.西北民族大學電氣工程學院，蘭州730124）

根據人類視覺系統（HVS）對紋理復雜及運動區(qū)域具有較強感知度的特點，提出了一種基于感興趣區(qū)域的高效率視頻編碼（HEVC）壓縮性能優(yōu)化算法。首先使用Sobel梯度檢測算子和運動矢量分別檢測紋理復雜區(qū)域和運動區(qū)域，把檢測到的紋理復雜及運動區(qū)域定義為感興趣區(qū)域；再對感興趣區(qū)域分級，通過調整量化參數（QP），優(yōu)化比特分配。實驗結果表明，與HEVC標準算法相比，所提算法碼率平均減少了15.29%，時間平均節(jié)省了11.38%。

高效率視頻編碼；視頻壓縮；感興趣區(qū)域；邊緣檢測；人類視覺系統；性能狀態(tài)

1 引 言

隨著高清視頻業(yè)務的飛速發(fā)展，新一代視頻壓縮標準——高效率視頻編碼（High EfficiencY Video Coding，HEVC）[1]應運而生。作為最新的視頻編碼標準，與之前主流的H.264/AVC[2]視頻編碼標準相比，它擁有更加靈活的編碼結構，主要表現在以下幾個方面：第一，HEVC采用編碼單元（Coding Unit，CU）、預測單元（Prediction Unit，PU）和變換單元（Transform Unit，TU），宏塊的大小從H.264的16× 16擴展到64×64；第二，HEVC擁有更多幀內預測方向，每種PU尺寸有35種預測方向；第三，HEVC擁有更多幀間預測模式，包括對稱PU模式和非對稱PU模式。盡管HEVC比H.264節(jié)省50%左右的編碼碼率，但隨著人們對觀看高清視頻的需求越來越高，如何在保持視頻質量的同時，節(jié)省視頻的數據量仍然是學術界的熱點。

對人類視覺系統（Human Visual SYstem，HVS）[3]特性的研究表明，人眼對圖像的不同部分的感知度是不同的。感知度強的區(qū)域往往是人們感興趣的區(qū)域，比如運動區(qū)域、紋理復雜區(qū)域、人臉等區(qū)域，其他區(qū)域則為非感興趣區(qū)域。基于HVS這些特性，可用其來指導現有的視頻編碼。然而，HEVC中還沒有采用感興趣區(qū)域（Region of Interest，ROI）編碼技術。因此，基于感興趣區(qū)域的HEVC視頻壓縮編碼是一個值得深入研究的問題。

目前學術界關于感興趣區(qū)域的編碼已有一些研究。文獻[4]提出綜合顏色、亮度、方向及膚色4種人眼視覺特征來進行感興趣區(qū)域檢測，然而此方法忽略了重要的運動視覺特征，使其感興趣區(qū)域提取效果并不夠理想。也有使用平均絕對偏差（Mean Absolute Deviation，MAD）值的方法來檢測運動區(qū)域[5]，但此方法只單一地考慮到了運動區(qū)域，而沒有認識到實際視頻序列中非運動的紋理復雜區(qū)域也是人眼感興趣區(qū)域，因而適用范圍比較狹窄。文獻[6]把包含醫(yī)學信息的矩形指定為感興趣區(qū)域，并結合感興趣區(qū)域設計了一個兩層模型，結果節(jié)省了3.15%的碼率。文獻[7]提出了時間視敏度（Visual AcuitY，VA）模型，在快速運動的區(qū)域，使用更少的編碼系數，取得了降低編碼碼率的效果。雖然上述方法均取得了不錯的效果，然而仍然不夠優(yōu)越，都還有待提升。為此，本文結合Sobel梯度算子和運動矢量（Motion Vector，MV）檢測感興趣區(qū)域，并采用了感興趣區(qū)域分級策略，最終在基本保持視頻質量的同時達到了降低編碼碼率和時間的良好效果。

2 相關技術原理

2.1 運動矢量

運動矢量表示了當前幀與參考幀之間運動對象的偏移量大小。HEVC標準是以塊為基本單位分配運動矢量，顯然，這些運動矢量很好地記錄了這些塊的運動特征。因此，可以通過判斷該編碼塊的運動矢量的強度來檢測視頻圖像中的運動區(qū)域。圖1給出了BasketballPass序列第18幀的運動矢量分布圖。從運動矢量分布來看，具有較大運動矢量的區(qū)域恰好是人眼感興趣的運動區(qū)域，如圖1中的籃球運動員；而運動矢量較小甚至為零的區(qū)域正是人眼關注度較低的靜止背景區(qū)域，如圖1中的墻壁和地板。

圖1 BasketballPass（416×240）的第18幀Fig.1 The 18th frame of BasketballPass

2.2 邊緣檢測

在圖像處理應用中，通常根據不同的應用需求使用不同的邊緣檢測[8]算子進行檢測，包括Sobel算子[9]、Krisch算子、Roberts算子、CannY算子、Log算子、LaPlace算子等。圖2（a）～（d）分別是LaPlacian、Krisch、Roberts和Sobel算子在無噪聲情況下的檢測結果，圖3（a）～（d）分別是各個算子加入了高斯噪聲后的檢測結果，可以看出無噪聲條件下，檢測效果都不錯；但在有噪聲的情況下，Sobel算子對噪聲具有平滑作用，能夠獲取更為精確的邊緣信息。

圖2 無噪聲情況下邊緣檢測結果Fig.2 The edge detection Without noise

圖3 高斯噪聲情況下邊緣檢測結果Fig.3 The edge detection With gaussian noise

3 感興趣區(qū)域編碼算法的提出

在感興趣區(qū)域研究領域，大多數的研究人員只對靜止圖像或者視頻進行感興趣區(qū)域的檢測分析，卻很少將視頻編碼和感興趣區(qū)域檢測聯系起來。結合感興趣區(qū)域的視頻編碼使編碼器能夠更加合理地進行編碼，從而提高視頻編碼器的壓縮性能。在時間域，視頻圖像的運動區(qū)域特別能夠吸引人眼的注意；在空間域，視頻圖像的邊緣信息和紋理復雜區(qū)域也能夠極大程度地吸引眼球的關注。因此，本文把運動區(qū)域和紋理復雜區(qū)域定義為感興趣區(qū)域，采用Sobel算子檢測紋理復雜區(qū)域，運動矢量檢測運動區(qū)域，通過調整量化參數（Quantization Parameter，QP）優(yōu)化感興趣區(qū)域編碼。

3.1 Sobel算子檢測感興趣區(qū)域

Sobel算子具有邊緣檢測效果好、對噪聲有平滑作用的優(yōu)點，更重要的是其本身運算復雜度低，可節(jié)省編碼時間。如圖2所示，Lena圖片中人眼最感興趣的頭像區(qū)域被很好地檢測出來。所以本文通過使用Sobel算子獲取視頻圖像中像素點的梯度信息來檢測紋理區(qū)域，最終實現感興趣區(qū)域的檢測。

HEVC中以CU為單位進行編碼，而在碼率控制3個層次中以LCU層為最底層，故本文以LCU塊為基本單位進行邊緣檢測。利用Sobel算子檢測感興趣區(qū)域步驟如下。

（1）利用Sobel算子統計一幀中每個LCU中像素點的梯度T1，如式（1）所示：

式中：h（i，j）表示當前LCU中像素點f（i，j）的梯度值。

（2）以LCU為基本單位，統計當前幀中的平均梯度T2，如式（2）所示：

式中：H和W分別表示當前幀的高度和寬度；N為當前幀中LCU的數目。

（3）圖像中含有噪聲點，所以不能把所檢測出包含有邊緣像素點的LCU塊簡單地定義為邊緣塊。因此需要設置閾值，當檢測到編碼塊中像素點的數目超過該閾值時，才判斷該塊為邊緣塊。通過Sobel算子檢測到的梯度值定義感興趣區(qū)域ROI1，如下式所示：

式中：Γ1為判定感興趣區(qū)域的梯度閾值，但是在視頻圖像中，不同部分的紋理往往區(qū)別很大，如果僅使用單一的閾值則必然導致檢測結果的不準確。因此，為了提高算法的魯棒性，采用當前幀中以LCU為基本單位的平均梯度T2作為閾值基準，即

式中：μ為閾值因子。

（4）根據當前幀中每一個LCU中的梯度T1和以LCU為基本單位的平均梯度T2，對其中的LCU塊定義紋理因子θ1：

（5）由于圖像中相同大小塊所包含的邊緣像素點數目是不相同的，則應設置不同級別的閾值來檢測邊緣點，對應為不同的感興趣級RC1：

式中：μ1、μ2、μ3、μ4為閾值因子。將求取的平均梯度作為閾值基準，根據視頻不同的特性自適應調整感興趣級別的閾值。

3.2 運動矢量檢測感興趣區(qū)域

HEVC進行運動估計后，每個LCU塊會產生并保存256個尺寸為4×4大小CU塊的運動矢量，而這些運動矢量可以很好地體現LCU塊的運動特征。如圖1所示，圖片中人眼最感興趣的籃球運動員被很好地檢測出來。因此，可以利用HEVC現有的運動估計算法，通過編碼塊的運動矢量來判定感興趣區(qū)域，具體步驟如下。

（1）對于視頻中的非I幀，以LCU為基本單元，在運動估計之后，LCU中保存著256個4×4大小的CU塊運動矢量?？紤]到LCU內4×4塊運動矢量的亂序性，為了把CU塊的運動方向考慮在內，則取256個CU塊運動矢量的平均值作為LCU塊的運動矢量。當前LCU的運動矢量如式（7）所示：

式中：N為一個LCU中4×4大小的CU塊數量；mvxi和mvyi分別為當前LCU中第i個4×4大小的CU塊運動矢量的水平分量和垂直分量。為簡化計算過程，減小復雜度，采用式（8）：

（2）利用求取的LCU塊的運動矢量定義感興趣區(qū)域ROI2，如式（9）所示：

式中：Γ2為判定感興趣區(qū)域的運動矢量閾值，但在視頻圖像中，不同部分的運動程度是不一樣的，如果僅使用單一的閾值則必然導致檢測結果誤差較大。因此，為了提高算法的魯棒性，采用自適應的可變閾值Γ2：

式中：λ為閾值因子；MVavg計算公式為

式中：M代表前一幀中感興趣LCU塊的個數。

根據視頻相鄰幀間高度的時域相關性，本文將前一幀中所檢測出的感興趣區(qū)域LCU塊的平均運動矢量信息MVavg作為閾值。

（3）根據當前LCU的運動矢量和前一幀感興趣LCU的平均運動矢量，定義LCU塊運動因子θ2：

（4）對檢測到的感興趣區(qū)域進行分級：

式中：λ1、λ2、λ3、λ4為閾值因子。

3.3 具體算法流程

基于感興趣區(qū)域的視頻壓縮編碼流程如圖4所示。對于檢測到的感興趣區(qū)域不改變原有的視頻質量，即保持原有HEVC視頻編碼標準中的碼率分配；而對于非感興趣區(qū)域，則在沒有失真嚴重的情況下降低原有HEVC視頻編碼標準中的碼率分配。

圖4 基于感興趣區(qū)域的視頻壓縮編碼框架Fig.4 The scheme of ROI-based video comPression algorithm

結合Sobel算子的邊緣檢測和運動矢量兩種方法來檢測感興趣區(qū)域。對不同感興趣程度的LCU根據RC1和RC2調整該LCU的量化參數。若檢測到該LCU塊屬于感興趣區(qū)域時，則不改變該LCU塊的量化參數QP；若檢測到該LCU塊為非感興趣區(qū)域時，則增大該LCU塊的量化參數QP，然后根據不同的感興趣級設定相對應的調整系數。量化參數QP的計算公式為

式中：ΔQP1、ΔQP2根據不同的感興趣級別相應調整。對RC1從0～4級，ΔQP1相應的值為5、3、2、1、0；對RC2從0～4級，ΔQP2相應的值為5、4、3、1、0。

為了避免LCU塊和周邊塊的QP差距過大而產生方塊效應，約束量化參數QP為

式中：QP表示LCU塊周圍4個已編碼LCU塊QP的平均值。同時為了確保編碼質量的連續(xù)性，滿足QP在0～51范圍內的規(guī)定，則對QP進行進一步地約束：

4 實驗結果與算法性能分析

本文的實驗平臺為HM13.0標準測試模型。為了體現算法的普適性，本實驗從分辨率（416×240）到（2 560×1 600）每個層次中選擇了兩個序列共10個序列做測試，并與文獻[7]的實驗結果進行了對比。采用的配置文件是encoder_loWdelaY_P_main.cfg，該配置文件圖像組結構（GOP）為“IPPP”。初始QP設為27，QP設置得越大，視頻的壓縮率越大，同時視頻的質量也會降低。測試序列的實驗平臺的內存為4.00 GB，CPU為Intel（R）Core（TM）i5-3470 CPU@3.20 GHz。

首先，實驗在碼率、峰值信噪比（Peak Signal to Noise Ratio，PSNR）和編碼時間三個方面將本文算法同HM13.0算法之間的性能進行比較。計算公式為

式中：Bp、PSNRp、Tp分別表示本文算法的編碼碼率、PSNR和編碼時間；BHM、PSNRHM、THM分別表示HM13.0標準的編碼碼率、PSNR和編碼時間；ΔB表示本文算法與HM13.0標準算法碼率差值的百分率；ΔP表示本文算法與HM13.0標準算法PSNR的差值；ΔT表示本文算法與HM13.0標準算法編碼時間差值的百分率。為了保證視頻中I幀的質量，繼而保持后續(xù)編碼的視頻質量。本文并未對視頻I幀采用提出的算法，只對視頻P幀采用了提出的算法，故本文也只對比P幀的編碼性能。實驗結果如表1所示。

表1 實驗結果比較Tab.1 The exPerimental results

從表1中可以看出，本文算法的實驗結果和采用HM13.0標準測試模型的實驗結果相比，編碼碼率平均降低了15.29%，編碼時間平均降低了11.38%，PSNR平均降低了0.54 dB。在所測試的序列中，可以發(fā)現PartYScene（832×480）序列碼率降低相對比較少，只有9.43%。那是因為PartYScene序列中運動區(qū)域和紋理復雜區(qū)域相對比較多，所占的比例較大，壓縮比則相應比較小。而SteamLocomo_ tiveTrain（2 560×1 600）序列的運動區(qū)域和紋理復雜區(qū)域相對比較少，在視頻中所占的比例相應比較小，背景比較單一，壓縮比就會相對更大。從表中也可以看到，SteamLocomotiveTrain序列降低了高達28.07%的碼率和15.66%的時間，也印證了本算法的準確性和有效性。

然后，為了體現該算法的優(yōu)越性，還將該算法與文獻[7]中的時間視敏度模型方法做了性能比較實驗，實驗結果如圖5所示。

圖5 實驗結果比較Fig.5 ComParison of the exPerimental results

從圖5中可以直觀地看到，本文算法比時間視敏度模型算法能夠節(jié)省更多的碼率，性能更加優(yōu)異。

另外，本文還利用客觀結構相似視頻質量評價模型（Structural SimilaritY，SSIM）[10-11]做了質量評價實驗，結果如表2所示。SSIM的算法融合了人眼感興趣區(qū)域的視覺特性，使得此算法結果能夠更好地反應人的主觀感受。

表2 實驗結果比較Tab.2 The exPerimental results of SSIM

從表2可看出，利用本文算法的解碼視頻與HM13.0算法的解碼視頻SSIM平均值高達0.986 4，充分證明了本算法的有效性。

5 結束語

由于HEVC標準中還沒有利用到人眼視覺特性，因此本文提出了一種基于感興趣區(qū)域的HEVC壓縮性能優(yōu)化方法。利用HVS對紋理較復雜的區(qū)域和運動區(qū)域有較強感知度的特性，把紋理復雜區(qū)域和運動區(qū)域定義為感興趣區(qū)域，并使用Sobel算子結合運動矢量檢測感興趣區(qū)域；然后對所檢測到的感興趣區(qū)域保持原有的量化標準，對非感興趣區(qū)域則調整量化參數，從而達到在不改變視頻主觀質量的同時降低碼率和時間的目的。從實驗數據可以明顯地觀察到，在保持了原有視頻主觀質量的同時，碼率平均降低了15.29%，時間平均降低了11.38%，比采用時間視敏度模型性能更加優(yōu)異，這也充分證明了本算法的優(yōu)越性。本文算法對視頻具有普適性，而實際中，可以針對某一專業(yè)領域，提出特定的檢測感興趣區(qū)域的方法，再利用本文的算法，會取得更加良好的效果。

[1] ISO/IEC 23008-2，Information technologY-high efficien_ cY coding and media deliverY in heterogeneous environ_ ments-Part 2：High efficiencY video coding[S].

[2] ITU-T Rec.H.264∣ISO/IEC 14496-10，Advanced Video Coding for Generic Audiovisual Services[S].

[3] HAN J H，MA Y.A robust infrared small target detection algorithm based on human visual sYstem[J].IEEE Geo_ science and Remote Sensing SocietY，2014，11（12）：2168 -2172.

[4] TSAPATSOULIS N，PATTICHIS C，RAPANTZIKOS K. BiologicallY insPired region of interest selection for loWbit rate video coding[C]//Proceedings of 2007 IEEE Inter_ national Conference on Image Processing.San Antonio，TX：IEEE，2007：333-336.

[5] LIU Y，LI Z G，SOH Y C，et al.Conversational video com_ munication of H.264/AVC With region-of-interest con_ cern[C]//Proceedings of 2006 IEEE International Con_ ference on Image Processing.Atlanta，GA：IEEE，2006：3129-3132.

[6] CHEN H，BRAECKMAN G，SATTI S M，et al.HEVC-based video coding With lossless region of interest for tele -medicine aPPlications[C]//Proceedings of 2013 20th International Conference on SYstems，Signals and Image Processing.Bucharest：IEEE，2013：129-132.

[7] ADZIC V.PercePtual methods for video coding[D].Boca Raton，Florida：Florida Atlantic UniversitY，2014.

[8] 段瑞玲，李慶祥.圖像邊緣檢測方法研究綜述[J].光學技術，2005，31（3）：415-419. DUAN Ruiling，LI Qingxiang.SummarY of image edge de_ tection[J].OPtical Technique，2005，31（3）：415-419.（in Chinese）

[9] 鄭英娟.基于八方向Sobel算子的邊緣檢測算法[J].計算機科學，2013，40（11）：354-356. ZHENG Yingjuan.Edge detection algorithm based on the eight directions sobel oPerator[J].ComPuter Science，2013，40（11）：354-356.（in Chinese）

[10] WANG Z，BOVIK A C.Image qualitY assessment from error measurement to structural similaritY[J].IEEE Transactions on Image Processing，2004，13（1）：1-14.

[11] DAI W，AU O C，ZHU W J，et al.SSIM-based rate-dis_ tortion oPtimization in H.264[C]//Proceedings of 2014 IEEE International Conference on Acoustics，SPeech，and Signal Processing.Florence：IEEE，2014：7343-7347.

林國川（1988—），男，重慶萬州人，2011年于重慶郵電大學獲學士學位，現為碩士研究生，主要研究方向為圖像與視頻編碼；

LIN Guochuan Was born in Chongqing，in 1988.He received the B.S.degree from Chongqing UniversitY of Posts and Telecommuni_ cations in 2011.He is noW a graduate student. His research concerns image and video coding technologies.

Email：510970350@qq.com

何小海（1964—），男，四川人，2002年于四川大學獲博士學位，現為教授，主要研究方向為圖像處理、模式識別和圖像通信；

HE Xiaohai Was born in Sichuan Province，in 1964.He re_ ceived the Ph.D.degree from Sichuan UniversitY in 2002.He is noW a Professor.His research interests include image Process_ ing，Pattern recognition and image communication.

Email：hxh@scu.edu.cn

李向群（1981—），男，河南人，2007年于蘭州理工大學獲碩士學位，現為博士研究生，主要研究方向為圖像與視頻編解碼；

LI Xiangqun Was born in Henan Province，in 1981.He re_ ceived the M.S.degree from Lanzhou Institute of TechnologY in 2007.He is currentlY Working toWard the Ph.D.degree.His re_ search concerns image and video coding technologies.

于成業(yè)（1988—），男，河南人，2011年于西南民族大學獲學士學位，2014年于四川大學獲碩士學位，主要研究方向為圖像與視頻編解碼。

YU ChengYe Was born in Henan Province，in 1988.He re_ ceived the B.S.degree from SouthWest UniversitY for Nationali_ ties and the M.S degree from Sichuan UniversitY in 2011 and 2014，resPectivelY.His research concerns image and video cod_ ing technologies.

ROI-based HEVC Video Compression Optimization

LIN Guochuan1，HE Xiaohai1，LI Xiangqun1，2，YU ChengYe1
（1.College of Electronics and Information Engineering，Sichuan UniversitY，Chengdu 610065，China；2.School of Electrical Engineering，NorthWest UniversitY for Nationalities，Lanzhou 730124，China）

According to the feature that Human Visual SYstem（HVS）has acute recognition of motion and comPlex texture，this PaPer Presents a Region of Interest（ROI）-based High EfficiencY Video Coding（HEVC）video comPression algorithm.First，Sobel oPerator and motion vectors are aPPlied to detect the comPlex texture area and motion area resPectivelY Which are，as a result，defined as ROI.Second，all the ROIs are graded，and then digital bits allocation is oPtimized bY regulating the quantization Parameter（QP）.ExPerimental result shoWs that comPared With the standard HEVC algorithm，the ProPosed algorithm brings doWn the coding rate bY 15.29%and Working time bY 11.38%.

high efficiencY video coding；video comPression；region of interest；edge detection；human visu_ al sYstem；Performance oPtimization

The National Natural Science Foundation of China（No.61471248）；The Science and TechnologY Program of Sichuan Prov_ ince（2015JY0189）；The Graduate Education Innovation Program of Sichuan Provincial Education DePartment in 2014（2014 -teach-034）

TN919.81

A

1001-893X（2016）01-0038-06

10.3969/j.issn.1001-893x.2016.01.007

林國川，何小海，李向群，等.基于感興趣區(qū)域的HEVC壓縮性能優(yōu)化[J].電訊技術，2016，56（1）：38-43.[LIN Guochuan，HE Xiaohai，LI Xiangqun，et al.ROI-based HEVC video comPression oPtimization[J].Telecommunication Engineering，2016，56（1）：38-43.]

2015-04-10；

2015-07-28 Received date：2015-04-10；Revised date：2015-07-28

國家自然科學基金資助項目（61471248）；四川省科技計劃項目（2015JY0189）；四川省教育廳2014年研究生教育改革創(chuàng)新項目（2014-教-034）

**通信作者：hxh@scu.edu.cn Corresponding author：hxh@scu.edu.cn