羅麗冬，王永芳，2，王宇兵，石亞文，張兆楊，2

(1.上海大學 通信與信息工程學院，上海 200072；2.新型顯示技術及應用集成教育部重點實驗室，上海200072)

?

基于時域相關性的自適應采樣值補償算法

羅麗冬1，王永芳1，2，王宇兵1，石亞文1，張兆楊1，2

(1.上海大學 通信與信息工程學院，上海 200072；2.新型顯示技術及應用集成教育部重點實驗室，上海200072)

雖然自適應采樣值補償(SAO)濾波器能有效提高視頻的主客觀質量，但是SAO編碼參數(shù)存在大量冗余，導致其不能適用于低比特率環(huán)境。因此，提出了一種基于時域相關性的自適應采樣值補償算法。通過率失真代價來選擇當前幀是否復用最近已編碼幀的SAO編碼參數(shù)，并為每一幀設置一個標志位來標識是否復用。實驗結果表明，與HTM原始SAO濾波器算法相比，該算法在主觀質量和復雜度基本不變的情況下，3個視頻分量的BD-rate平均分別減少1.06%、1.10%和0.99%。因此，所提出的算法能很好地改善SAO的性能。

SAO；時域相關性；HTM

3D視頻因能提供更加真實和自然的視覺體驗，能夠更加生動地再現(xiàn)場景而備受人們青睞。為了更好地支持3D視頻的應用，滿足用戶對高清視頻的需要，MPEG和ITU-T兩組織成立視頻聯(lián)合開發(fā)小組(Joint Collaborative Team on 3D Video Coding Extension Development，JCT-3V)開發(fā)基于H.264/AVC或HEVC的新3D視頻壓縮標準[1]，并提供了3D-HEVC的測試模型HTM(HEVC-Based Test Model)。

雖然HTM大幅提高了多視點加深度(Multi-view Video Plus Depth，MVD)格式的視頻編碼效率，但是由于采用基于塊的預測和變換的混合編碼方式，塊狀效應、振鈴效應、模糊效應和色彩偏差[2]等失真在HTM編解碼視頻中依然存在。為了減小上述失真對視頻帶來的影響，HTM在H.264/AVC原有的去塊濾波(De-blocking Filter，DF)模塊后新增加了自適應采樣值補償技術(Sample Adaptive Offset，SAO)[3]。SAO濾波器可以有效降低視頻中的振鈴效應，從而提高視頻的主客觀質量。

在JCT-VC(Joint Collaborative Team on Video Coding)會議上，有很多學者提出了很好的關于SAO濾波器的算法。文獻[4]提出了極端值修正(Extreme-value Correction，EXC)算法和帶狀修正(Band Correction，BDC)算法。這兩種算法都是對像素進行分類，然后為每個像素增加相應的補償值。它們之間的區(qū)別是：EXC是根據(jù)當前像素值與相鄰像素值之間的關系進行分類；BDC則是根據(jù)像素灰度值進行分類。文獻[5]和文獻[6]提出將EXC和BDC兩種算法同時作用于當前編碼樹塊(Coding Tree Block，CTB)，并根據(jù)率失真代價為CTB選擇最佳的算法。文獻[7]認為邊界補償算法不能有效去除所有方向的振鈴效應，而提出了垂直方向和水平方向相結合的算法。文獻[8]認為帶狀補償算法不能適用于所有的視頻區(qū)域，而提出了根據(jù)不同的視頻特性選擇不同的帶狀補償算法。為了降低解碼復雜度，SAO編碼參數(shù)需要寫入碼流供解碼使用，從而增加了編碼傳輸?shù)谋忍芈?。眾所周知，同一視點中相鄰編碼幀內容具有很大的相關性[9]，因此，本文提出一種復用前一幀的SAO編碼參數(shù)的算法來減小時域上SAO編碼參數(shù)冗余，從而提高SAO濾波器的性能。

1 HTM自適應采樣值補償算法

在HTM中，SAO濾波器位于編碼環(huán)路之內并在DF之后。SAO濾波器的關鍵思路是為每個像素增加一個補償值來減小重建幀與原始幀之間的失真度。SAO濾波器設計的難點在于如何對像素進行分類及如何為不同分類選擇相應的補償值。目前，SAO濾波器采用兩種算法來解決上述難點：邊界補償(Edge Offset，EO)算法和帶狀補償(Band Offset，BO)算法。

1.1 EO算法

根據(jù)相鄰像素之間的位置關系，EO可以分成4類：水平方向(SAO_EO_0)、垂直方向(SAO_EO_1)、135°對角線方向(SAO_EO_2)和45°對角線方向(SAO_EO_3)，如圖1所示。在編碼端，每個CTB根據(jù)率失真代價選擇最佳的EO類型，并將選擇的EO類型寫入碼流中去。

圖1 4種不同EO類型

對于每個EO類型，根據(jù)相鄰像素值之間的關系，可以將CTB中像素分為5類，具體分類標準如表1所示。EO算法通過為當前像素增加一個補償值來減小重建幀與原始幀之間的失真度，但是錯誤的補償值會產(chǎn)生明顯的塊狀效應，最終導致視頻失真更厲害。為了避免上述情況，文獻[10]提出像素分類標準1和2的補償值不能為負數(shù)，如果為負數(shù)，則相應的補償值設為0；標準3和4的補償值不能為正數(shù)，如果為正數(shù)，同樣將對應的補償值設為0，從而減小視頻的失真度。

表1 EO類型的像素分類標準

1.2 BO算法

BO算法直接根據(jù)像素的灰度值將像素分布在32條帶中。如果像素采用8 bit進行編碼，則灰度值的范圍是0～255。如果當前像素的灰度屬于k×8 ～k×8 + 7之間，則當前像素屬于第k條帶，其中k的取值范圍為0，1，2，…，31。EO像素最多分為4種，然而BO可以將像素分成32種。但是一幀圖片，特別是一個CTB，像素的大小基本很接近，波動范圍一般不會是0～255。為了減小對線性內存的需要，根據(jù)率失真代價選擇最佳的4條連續(xù)的帶作為BO像素的分類[11-12]。與EO不同的是，BO算法的補償值可以為任意值。

2 基于時域相關性的SAO算法

每個CTB都有自己的SAO編碼參數(shù)，并且每個視頻分量都有單獨的SAO編碼參數(shù)[11]。 每個CTB可以選擇的SAO濾波器類型有3種：不需要SAO濾波器處理、EO或者BO。并根據(jù)率失真代價來選擇最佳的類型。如果選擇不需要SAO濾波器處理，只需傳輸一個標志位即可；選擇EO，需要將EO類型和4種補償值等信息寫入碼流；選擇BO，需要將4條連續(xù)帶的起始位置和4種補償值等信息寫入碼流。然而，無論CTB最終選擇何種類型，或多或少都需要一些比特數(shù)對SAO編碼參數(shù)進行編碼。EO算法根據(jù)4個不同的一維方向可以有效減少細節(jié)區(qū)域的振鈴效應；BO算法可以減少平坦區(qū)域的振鈴效應。雖然SAO濾波器可以提高視頻的主客觀質量，代價是增加了編碼傳輸?shù)谋忍芈省?/p>

2.1 時域相關性

相鄰視頻幀內容具有很強的相關性，都采用相似的量化參數(shù)(Quantization Parameter，QP)。因此，相鄰幀SAO編碼參數(shù)可能具有很強的相似性。

表2～表4分別統(tǒng)計了view 0，view 1和view 2中相鄰幀SAO編碼參數(shù)的相關性，即根據(jù)率失真代價，當前幀復用前一幀SAO編碼參數(shù)所占的比例。從表2～表4可以看出，view 0，view 1和view 2當前幀復用前一幀SAO編碼參數(shù)所占的比例分別高達78%，86%和85%。特別是Kendo序列，在QP值為40的情況下，view 0，view 1和view 2復用所占的比例高達92%，99%和99%。并且在不同的QP值情況下，7個標準序列復用最低都超過50%以上。因此，表2～表4很好地證明了視頻幀與幀之間SAO編碼參數(shù)具有很強的相似性，可以通過復用前一幀的SAO編碼參數(shù)來減小編碼傳輸?shù)谋忍芈省?/p>

2.2 所提出的算法

為了充分利用SAO編碼參數(shù)的時域相關性，通過復用前一幀傳輸?shù)乃蠸AO編碼參數(shù)，包括SAO濾波器類型，4個偏移值等參數(shù)，以減小時域上SAO編碼參數(shù)所用的比特數(shù)。當前幀所有SAO編碼參數(shù)用Param1表示，前一幀所有SAO編碼參數(shù)用Param2表示。根據(jù)率失真代價從Param1和Param2中為當前幀選擇最佳的SAO編碼參數(shù)。因此，每幀需要增加一個標志位F，自適應標志當前幀SAO編碼參數(shù)是采用Param1還是Param2。F為0表示當前幀SAO編碼參數(shù)采用Param1；否則采用Param2。

表2 view 0當前幀復用前一幀SAO編碼參數(shù)所占的比例 %

表3 view 1當前幀復用前一幀SAO編碼參數(shù)所占的比例 %

表4 view 2當前幀復用前一幀SAO編碼參數(shù)所占的比例 %

本文提出的算法實施步驟如下：判斷當前幀是否是第一幀，如果是第一幀，則采用原始SAO濾波器處理過程，當前幀標志位F設為0，設置Param2的值，并將當前幀SAO參數(shù)Param2及標志位F寫入碼流；如果不是第一幀，則首先根據(jù)原始SAO濾波器處理過程得出Param1的值。然后根據(jù)率失真代價為當前幀選擇最佳的SAO編碼參數(shù)。如果最終選擇Param1，則用Param1的值更新Param2，并設當前幀的標志位F為0，同樣將當前最佳SAO編碼參數(shù)Param2及標志位F寫入碼流；否則設置當前幀標志位F為1，Param2的值不變，此時，只需將標志位F寫入碼流，因為當前幀是復用前一幀SAO編碼參數(shù)，而前一幀SAO編碼參數(shù)已寫入碼流。view 0，view 1和view 2都采用上述算法。

3 實驗結果與分析

本文實驗在CPU酷睿3雙核，主頻3.3 GHz，內存4 Gbyte，操作系統(tǒng)Windows 7環(huán)境下實現(xiàn)。以HTM 6.1為測試平臺，測試序列為Balloons，Kendo，Newspaper，GhostTownFly，Poznan_Hall2，Poznan_Street和Undo_Dancer。其中前3個序列分辨率為1 024×768，后4個序列為1 920×1 088，所有序列同時編碼3個視點。量化參數(shù)QP為25，30，35和40。表5給出了實驗測試條件。客觀質量評價標準采用文獻[13]提出的BD-rate。

表5 測試條件

3.1 客觀質量比較

表6～表8分別統(tǒng)計了view 0，view 1和view 2采用不同算法的性能比較結果，SAO On，SAO Off和Proposed分別表示采用原始SAO算法，關閉原始SAO算法和采用本文提出的SAO算法。其中SAO On和Proposed都是與SAO Off進行實驗數(shù)據(jù)比較。Differences表示Proposed與SAO On進行實驗數(shù)據(jù)比較。從表6～表8中可以清楚地看出，所提出的算法在不同的視點及不同的視頻分量上性能都要優(yōu)于HTM原始SAO算法。所提出的算法與HTM原始SAO算法相比，亮度Y，色度U和V的BD-rate平均分別減少1.06%，1.10%和0.99%。與HTM SAO Off相比，Y，U和V的BD-rate平均減少1.74%，7.68%和6.18%。從表2～表4可以得出，雖然SAO On能很好地改善視頻的客觀質量，但是SAO編碼參數(shù)在視頻間存在大量冗余。并通過表6～表8可知，通過復用前一幀SAO算法，可以很好地改善SAO的性能。

圖2～圖5給出了4個不同序列的率失真曲線圖。從圖2～圖5中可以很清晰地看出，所提出的算法在相同的比特率下，客觀質量要明顯優(yōu)于SAO Off的客觀質量，并且要略好于原始SAO On的客觀質量。因此，本文的算法很好地改善了視頻的客觀質量。

表6 view 0 不同算法的性能比較

表7 view 1不同算法的性能比較

表8 view 2不同算法的性能比較

圖2 GhostTownFly率失真曲線圖

圖3 Balloons率失真曲線圖

圖4 Poznan_Street率失真曲線圖

圖5 Kendo率失真曲線圖

3.2 復雜度分析

表9給出了不同SAO算法實施在HTM平臺上的編碼復雜度對比。所提出的算法實施在HTM平臺上的復雜度比原始SAO濾波算法實施在HTM平臺上的編碼復雜度平均增加0.34%，然而所提出的算法比沒有加SAO算法的編碼復雜度反而平均降低0.41%。這是由于SAO提高了編碼性能，即提高了預測性能，減少了殘差，從而導致BD-rate減小，總體上出現(xiàn)編碼時間的下降。由以上分析可知，本文所提出的算法并沒有增加HTM的編碼時間，因此結合復雜度與客觀質量，本文所提出的算法要優(yōu)于原始SAO算法。

表9 不同算法實施在HTM上的編碼時間比較

3.2 主觀質量分析

圖6和圖7分別給出了Balloons序列和GhostTownFly序列在不同算法處理后的主觀質量對比圖。從圖6和圖7并結合PSNR可以得知，所提出的視頻的主觀質量要明顯好于SAO Off的視頻質量，并與原始的SAO算法的主觀質量相當。

圖6 Balloons序列的主觀質量對比圖

圖7 GhostTownFly序列的主觀質量對比圖

4 小結

本文分析了HTM 6.1原始SAO濾波算法，并針對SAO編碼參數(shù)存在大量冗余，提出了一種基于時域相關性的SAO算法。該算法通過率失真代價來判斷當前幀是否復用前一幀的SAO編碼參數(shù)，從而減小編碼傳輸?shù)谋忍芈?。實驗結果表明，與原始SAO算法相比，所提出的算法在主觀質量和復雜度基本不變的情況下，能很好地通過減小視頻不同分量的BD-rate來提高視頻的客觀質量，從而改善了原始SAO算法的性能。

[1]JCT3V-C1001，3D-AVC draft text 5[S].2013.

[2]YUEN M，WU H R.A survey of hybrid MC/DPCM/DC video coding distortions[J].J.Signal Process，1998，70(3)： 247-278.

[3]FU C， ALSHINA E， HUANG Y，et al.Sample adaptive offset in the HEVC standard [J].IEEE Trans.Circuits and Systems for Video Technology，2012，22(12)： 1755-1764.

[4]JCTVC-A124，Samsung’s response to call for proposals on video compression technology[S].2010.

[5]JCTVC-C147，TE 10 Subtest 3：Quadtree adaptive offset[S]. 2010.

[6]JCTVC-D122，CE 8 Subtest 3：Picture adaptive offset[S]. 2011.

[7]ZHANG H，OSCAR C A，SHI Y F，et al.Improved sample adaptive offset for HEVC[C]//Proc.Signal and Information Processing Association Annual Summit and Conference (APSIPA 2013).Kaohsiung：IEEE Press，2013：1-4.

[8]LUO Bingji，GUO Xiaoqiang，CHENG Gong，et al.A new SAO based on histogram analysis in HEVC[C]//Proc.Picture Coding Symposium (PCS).San Jose，CA： IEEE Press，2013：49-52.

[9]趙文強，沈禮權，張兆楊.HEVC幀內預測算法的優(yōu)化[J].電視技術，2012，36(8)：31-33.

[10]KIM W S， KWON D K.Improve sample adaptive offset for HEVC[C]//Proc.IEEE International Conference on Acoustics，Speech and Signal Processing (ICASSP 2013).Vancouver，BC：IEEE Press，2013：1700-1703.

[11]JCTVC-G246，On additional SAO band offset classifications[S].2011.

[12]JCTVC-H0406，F(xiàn)lexible band offset mode in SAO[S].2011.

[13]JCTVC-F057，Sample adaptive offset for Chroma[S].2011.

[14]VCEG-M33，Calculation of average PSNR differences between RD-curves[S].2001.

羅麗冬，碩士生，主研多視點視頻編解碼中濾波技術研究；

王永芳，女，副教授，碩導，主研3D視頻編碼和無線多媒體通信；

張兆楊，教授，博導，主研視頻處理和多媒體通信。

責任編輯：時 雯

我國首部《移動互聯(lián)網(wǎng)廣告標準》發(fā)布施行

近日，我國第一部規(guī)范移動互聯(lián)網(wǎng)廣告的行業(yè)標準《移動互聯(lián)網(wǎng)廣告標準》(以下簡稱標準)正式發(fā)布，并于3月15日起正式施行。

據(jù)介紹，該標準為我國第一部規(guī)范移動互聯(lián)網(wǎng)廣告的行業(yè)標準，由中國廣告協(xié)會網(wǎng)絡互動分會主持、互動廣告標準委員會牽頭制定。標準的制定和發(fā)布，旨在解決移動互聯(lián)網(wǎng)廣告接口不統(tǒng)一及術語、定義、技術標準不規(guī)范等問題，為移動互聯(lián)網(wǎng)廣告監(jiān)管提供統(tǒng)一的技術接口和監(jiān)管標準，使從事移動互聯(lián)網(wǎng)廣告相關產(chǎn)業(yè)的公司有可遵循的行業(yè)標準和參照，保證移動互聯(lián)網(wǎng)廣告運作模式的規(guī)范性，提高移動互聯(lián)網(wǎng)廣告的用戶體驗，以推動中國移動互聯(lián)網(wǎng)廣告未來的健康快速發(fā)展。

據(jù)悉，該標準由《互聯(lián)網(wǎng)數(shù)字廣告基礎標準》、《移動互聯(lián)網(wǎng)廣告監(jiān)測標準》和《移動系統(tǒng)對接標準》3部分構成。以移動廣告端為基礎，覆蓋了部分PC系統(tǒng)和數(shù)字視頻、APP系統(tǒng)，并且實現(xiàn)了全網(wǎng)統(tǒng)一接口標準，為互聯(lián)網(wǎng)廣告監(jiān)管和網(wǎng)絡安全保障統(tǒng)一了接入通道。該標準由多家主流互聯(lián)網(wǎng)企業(yè)、品牌廣告主、網(wǎng)絡廣告公司及第三方監(jiān)測技術公司等市場主體參與研制完成。

中國廣告協(xié)會互動網(wǎng)絡分會秘書長陳永表示，該標準將作為行業(yè)標準試行，此后將嘗試申請成為國家標準。同時，隨著移動互聯(lián)網(wǎng)的多元化發(fā)展，移動互聯(lián)網(wǎng)廣告的標準將每半年做一次修訂，以便應對不斷出現(xiàn)的新問題。

Sample Adaptive Offset Algorithm Based on Temporal Correlation

LUO Lidong1，WANG Yongfang1，2，WANG Yubing1，SHI Yawen1，ZHANG Zhaoyang1，2

(1.SchoolofCommunicationandInformationEngineering，ShanghaiUniversity，Shanghai200072，China；2.KeyLaboratoryofAdvancedDisplayandSystemApplication，MinistryofEducation，Shanghai200072，China)

Although the subjective and objective quality of video can be improved effectively by adopting sample adaptive offset (SAO) filter， it’s not suitable for the real-time application for the large amount of parameters in SAO filter.Therefore， a simple but effective algorithm based on temporal correlation is proposed.In coding process， rate distortion (RD) cost is calculated to determine whether the parameters of former coding frame can be used directly by current coding frame， and then a flag bit is used to mark the result.Experimental results demonstrate that the proposed method can reduce 1.06%，1.10% and 0.99% for YUV components respectively in BD-rate as compared with HEVC-based test model 6.1 (HTM 6.1) anchor， with almost the same subjective quality and computational complexity， which can verify the effectiveness of the proposed approach.

SAO；temporal correlation；HTM

上海市自然科學基金項目(13ZR1416500)；國家自然科學基金項目(60972137；61301113)

TN919.81

A

10.16280/j.videoe.2015.07.001

2014-07-16

【本文獻信息】羅麗冬，王永芳，王宇兵，等.基于時域相關性的自適應采樣值補償算法[J].電視技術,2015，39(7).