劉 昱,李秀清,吳俊峰
(天津大學電子信息工程學院,天津 300072)
一種H.264時域可伸縮編碼的量化參數(shù)選擇策略
劉 昱,李秀清,吳俊峰
(天津大學電子信息工程學院,天津 300072)
提出一種用于H.264 SVC時域分級編碼中的量化參數(shù)選擇方法。該方法使用H.264 SVC編碼處理中的統(tǒng)計數(shù)據(jù)完成快速視頻內(nèi)容檢測。在視頻數(shù)據(jù)出現(xiàn)場景變化時,為較高時域級別的SVC的圖像幀設定精細的量化參數(shù),保證參考幀的圖像質(zhì)量,提高SVC編碼性能。對不同視頻序列的實驗表明,所提出的方法在幾乎不增加計算量的條件下,可以有效地提高H.264 SVC時域伸縮編碼的性能。
H.264 SVC;視頻場景切換;量化策略
【本文獻信息】劉昱,李秀清,吳俊峰.一種H.264時域可伸縮編碼的量化參數(shù)選擇策略[J].電視技術,2013,37(3).
近年來,數(shù)字多媒體技術得到了快速而廣泛的應用。2005年1月,MPEG和VCEG聯(lián)合提出了最終的H.264 SVC標準[1]。H.264 SVC是一種與H.264/AVC標準兼容并提供編碼伸縮性的新技術,它的基本層完全可以被H.264/AVC解碼器所解碼。H.264 SVC采用了分級預測結構,用以提供多層次的時域伸縮性。此外,H.264 SVC還在不同分辨率間采用了自適應的層間預測技術,以便進一步實現(xiàn)高編碼效率[2]??梢灶A見,H.264 SVC必將被廣泛應用于網(wǎng)絡流媒體等領域。
時域可伸縮技術是指視頻碼流能夠以不同的幀率進行解碼。假設基本時域層的碼率設置為3.75 Hz,則通過使用多個增強層,幀率最高可以達到60 Hz。視頻流的幀率被歸為幾個級別,級別0是基本層,級別1,2,3作為增強層。
H.264 SVC的分級P預測及分級B預測結構如圖1所示。時域層的每組幀均可以在層>K的幀缺失的情況下被解碼。圖1中的結構包含4個層級分別為T0,T1,T2,T3,{T0,T1,T2,T3}是基本的幀率,{T0,T1,T2},{T0,T1}和{T0}分別是基本幀率的1/2,1/4,1/8。圖1a中的分級P預測適用于像電視會議這種低時延系統(tǒng)中。但是,由于冗余數(shù)據(jù)的存在,這可能導致嚴重的視頻質(zhì)量下降。因而,對于圖像質(zhì)量有嚴格要求的應用,可以采用分級B預測,如圖1b所示。
圖1 SVC時域可伸縮編碼預測結構
在標準制定工作組所提供的H.264 SVC參考編碼器JMVM中,提供了一種用于時域可伸縮編碼的量化參數(shù)選擇策略。該策略可以考慮參考圖像的質(zhì)量,時域基本層的各幀應采用較小的量化參數(shù)以實現(xiàn)較高的圖像質(zhì)量,而增強層的QP應隨著編碼層級別而逐漸增加。不同時域層的量化參數(shù)可通過下列公式得到[2-3]
式中:QPini是最初的量化參數(shù);N是時域可伸縮的總層數(shù);round()為QPx的取整操作。對于k層來說,QPk可由式(1)得到。例如,圖1所示的時域預測結構中,如果T0量化參數(shù)為36,則T1量化參數(shù)為33。
雖然這個機制可能導致一個GoP中PSNR產(chǎn)生嚴重的漂移,但重建的視頻顯示,周期性的質(zhì)量漂移并沒有出現(xiàn),并且該機制已經(jīng)被證明適用于大量的測試序列。
雖然上述的時域層量化機制有很強的適用性,但量化參數(shù)的選擇沒有考慮到視頻內(nèi)容的變化。如圖1所示,和傳統(tǒng)的視頻編碼結構相比,H.264 SVC中的當前幀和參考幀之間的距離要大得多。因此,場景變化發(fā)生在當前幀和參考幀之間的可能性大大增強。在視頻編碼中,場景變換產(chǎn)生大量的冗余數(shù)據(jù)。如果對于大冗余數(shù)據(jù)采用大的量化參數(shù),那么視頻將出現(xiàn)明顯的塊效應,質(zhì)量會急劇下降。在圖1b中,如果場景變換在第5幀(T1層)處發(fā)生,由于第5幀作為T2和T3層的直接或者間接參考幀,整個GoP的PSNR會明顯降低。為了提高在場景變換時的視頻編碼質(zhì)量,本文建議了一種H.264 SVC場景變換檢測,并基于視頻內(nèi)容的場景變化提出了一種量化參數(shù)選擇方法。
目前有很多算法用于場景變換的檢測,文獻[4]利用像素統(tǒng)計信息來進行場景變換檢測。這些算法都需要很大的計算量。在視頻編碼的過程中,預測殘差數(shù)據(jù)可以用來進行場景變換檢測[5-6],本文通過編碼統(tǒng)計過程中的預測殘差進行場景變換檢測。
設每個宏塊的預測殘差為RMB,公式為
式中:dij為原始圖像數(shù)據(jù)與預測數(shù)據(jù)的差值,進行絕對值求和后,用于宏塊殘差的統(tǒng)計,對于I幀的總殘差為
式中:M,N分別為一幀圖像中的水平和垂直方向的宏塊數(shù)目。相應地,對于P幀見式(4)
在編碼過程中,可以依據(jù)I幀的編碼數(shù)據(jù)得到RI,同時RI以GoP為單位進行更新。在獲得RI后,對于后續(xù)的每個P幀,可以獲得RP。由于RI全部由幀內(nèi)預測殘差構成,而RP則主要由幀間預測殘差構成。幀間殘差為運動補償后的差值數(shù)據(jù),如果待編碼宏塊可以在參考幀中找到良好的預測,殘差數(shù)據(jù)將很小,即在時域上沒有發(fā)生場景切換。反之,如果發(fā)生場景切換,則P幀中的大部分宏塊數(shù)據(jù)無法在參考中找到良好的預測,殘差較大,通常來說有RI>3RP?;谏鲜鲈恚疚奶岢鐾ㄟ^計算RI與RP的比例,確定視頻內(nèi)容是否發(fā)生場景切換的方法,如果
則當前P幀判斷為發(fā)生場景切換。
H.264 SVC編碼的GoP結構是由編碼器預先設定的。如果視頻內(nèi)容的場景切換出現(xiàn)在I幀,則該幀將全部采用幀內(nèi)編碼模式進行編碼,編碼質(zhì)量不會出現(xiàn)下降。如果場景切換出現(xiàn)在低層的P幀(如圖1中第5幀),則需改進原有的量化參數(shù)(見表1),選擇方法為
式中:?」為向上取整處理。采用上述方法,當P幀出現(xiàn)場景變換時,該幀所對應的量化參數(shù)變小,進而保證該參考幀的編碼質(zhì)量,該幀用于后續(xù)的時域參考后,可以提高視頻碼流質(zhì)量。
表1 場景變換檢測及QP調(diào)整
實驗采用常用的視頻測試序列,包括“football”,“waterfall”,“foreman”,“silent”等,并拼接成序列“football_foreman”,“mobile_tempete”,“waterfall_silent_waterfall”?!癴ootball_foreman”,“mobile_tempete”分別在第8 幀,第24幀處形成場景變換。在“waterfall_silent_waterfall”中,場景變換發(fā)生在第10幀,第20幀處。實驗采用JSVM6.5,并設置參數(shù)如下:1幀參考圖像,快速搜索模式,CABAC編碼,GoP取32,僅采用時域可伸縮性,起始QP在24到36間,并且33幀圖像被編碼到6層。測試結果如圖2~圖5。
圖2中,根據(jù)預測相關性,“waterfall_silent_waterfall”有5幀圖像發(fā)生了場景變換,“opt”方法明顯提高30 Hz時域層的編碼質(zhì)量。圖3顯示幀率為15 f/s時,性能也提高了約0.25 dB。圖4、圖5顯示對于不同序列、不同幀率也有所提高。結果顯示“opt”方法明顯提高了編碼效率。
圖5 7.5 f/s football_foreman測試結果
實驗還測試了其他大量序列。針對這些序列,本方法可以得到相似的結果。與JSVM中的量化方法相比,此方法可以實現(xiàn)0.1~0.25 dB的PSNR增益。
本文提出基于場景變換的量化參數(shù)選擇方法。通過檢查不同宏塊間的比例來檢測場景變換。每一幀的量化參數(shù)根據(jù)視頻內(nèi)容的變換進行調(diào)整。測試結果表明,本文所提出的方法可以較為準確地檢測視頻內(nèi)容的變換,并依據(jù)編碼統(tǒng)計數(shù)據(jù)動態(tài)調(diào)整H.264時域可伸縮編碼的量化參數(shù),可以獲得0.1~0.25 dB的PSNR增益。
:
[1]JVT.Joint Draft 11:Scalable video coding[S].2007.
[2]WIEN M,SCHWARZ H,OELNAUM T.Performance analysis of SVC[J].IEEE Trans.Circuits System Video Technology,2007,17(9):1194-1203.
[3]JVT.Joint scalable video model[S].2007.
[4]LELESCU D,SCHONFELD D.Statistical sequential analysis for realtime video scene change detection on cmpressed multimedia bitstream[C]//Proc.ICME 2003.[S.l.]:IEEE Press,2003:106-117.
[5]PEI S C,CHOU Y Z.Effective wipe detection in MPEG compressed video using macro block type information[C]//Proc.ICME 2002.[S.l.]:IEEE Press,2002:309-319.
[6]SANGKEUN L,HAYES M H.Scene change detection using adaptive threshold and sub-macroblock images in compressed sequences[C]//Proc.ICME 2001.[S.l.]:IEEE Press,2001:52-55.
Novel Temporal Quantization Strategy of H.264 SVC
LIU Yu,LI Xiuqing,WU Junfeng
(School of Electronic and Information Engineering,Tianjin University,Tianjin 300072,China)
A novel quantization parameter(QP)selection strategy for each frame of different temporal layers is suggested.A method of scene change detection using statistic data derived in the coding processing is proposed.If scene change occurs in video sequence,this strategy can improve the coding performance by providing high quality reference pictures.Experiments of different video sequences show that the proposed strategy can enhance the performance of temporal scalable coding with little computation increasing.
H.264 SVC;scene change;quantization strategy
TN949.6
A
劉 昱(1976— ),副教授,碩士生導師,主研數(shù)字音視頻壓縮編碼、多媒體系統(tǒng)與應用、慣性導航等;
李秀清(1984— ),碩士生,主研H.264 SVC編解碼;吳俊峰(1984— ),碩士,主研視頻編解碼理論。
責任編輯:時 雯
2012-07-18