金智鵬，佟樹(shù)成，羅 錚，王利華

(1.嘉興職業(yè)技術(shù)學(xué)院信息技術(shù)分院，浙江嘉興314036;2.中國(guó)(嘉興)微軟技術(shù)研究中心，浙江嘉興314000)

移動(dòng)技術(shù)的不斷發(fā)展和廣闊的市場(chǎng)需求，為移動(dòng)視頻業(yè)務(wù)的快速發(fā)展提供了必要條件，并使其成為移動(dòng)運(yùn)營(yíng)商、設(shè)備制造商和內(nèi)容提供商關(guān)注的焦點(diǎn)之一。目前，移動(dòng)端尤其是手機(jī)端已經(jīng)成為主流視頻屏幕之一;預(yù)計(jì)到2015年，手機(jī)端的視頻用戶規(guī)模將與PC端相當(dāng)，這必將促進(jìn)視頻行業(yè)的新一輪爆發(fā)。

H.264/AVC是由ISO/IEC與ITU-T聯(lián)合制定的新一代國(guó)際視頻編碼標(biāo)準(zhǔn)，具有較高的圖像質(zhì)量、較強(qiáng)的抗誤碼性和良好的網(wǎng)絡(luò)親和性，非常適合于有丟包和抖動(dòng)的無(wú)線信道［1］。H.264目前已廣泛地應(yīng)用在視頻通信、移動(dòng)通信、數(shù)字廣播和流媒體等領(lǐng)域。

H.264的多參考幀運(yùn)動(dòng)估計(jì)技術(shù)是其編碼器中最耗時(shí)的模塊，且編碼復(fù)雜度與參考幀數(shù)量呈現(xiàn)線性增長(zhǎng)關(guān)系［2］，這給移動(dòng)終端硬件設(shè)備的處理能力、內(nèi)存空間和電池容量等帶來(lái)了巨大挑戰(zhàn)。因此，研究相應(yīng)的快速算法加快編碼器的計(jì)算速度勢(shì)在必行。

1 H.264多參考幀選擇算法分析

1.1 現(xiàn)有算法分析

為降低多參考幀運(yùn)動(dòng)估計(jì)補(bǔ)償?shù)挠?jì)算量，提高編碼實(shí)時(shí)性，國(guó)內(nèi)外學(xué)者提出了許多快速算法。常用的多參考幀快速選擇算法總體上可以分成以下兩類:

第一類是參考幀預(yù)測(cè)法，即根據(jù)一定的策略，跳過(guò)可能性較小的參考幀，以此提高多參考幀運(yùn)動(dòng)估計(jì)的速度。例如利用視頻序列的時(shí)域相關(guān)性，文獻(xiàn)［3］根據(jù)前2幀中Skip模式的占比來(lái)確定參考幀數(shù)目;文獻(xiàn)［4］根據(jù)前5幀中最優(yōu)參考幀的選用情況來(lái)確定當(dāng)前編碼塊的參考幀數(shù)目。文獻(xiàn)［5］用Sobel算子進(jìn)行邊緣梯度檢測(cè)，并結(jié)合運(yùn)動(dòng)矢量最大值和差值的分布情況，確定候選參考幀集合。在文獻(xiàn)［6］中，對(duì)于宏塊級(jí)編碼，根據(jù)已編碼幀中Skip模式和16×16模式的占比來(lái)確定參考幀數(shù)目;對(duì)亞宏塊級(jí)編碼，則跟據(jù)運(yùn)動(dòng)矢量的相關(guān)性來(lái)確定的參考幀數(shù)目。文獻(xiàn)［7］根據(jù)先前參考幀的運(yùn)動(dòng)矢量信息，判斷是否使用各個(gè)參考幀。在這類算法中，如果塊之間的相關(guān)性不強(qiáng)，會(huì)導(dǎo)致最優(yōu)參考幀的誤判，且這個(gè)錯(cuò)誤有可能被不斷傳播，影響編碼R-D(Rate-Distortion)性能。

第二類是預(yù)測(cè)運(yùn)動(dòng)矢量法，即根據(jù)一定的策略，通過(guò)時(shí)空相鄰塊的運(yùn)動(dòng)矢量預(yù)測(cè)各個(gè)參考幀的初始運(yùn)動(dòng)矢量，減少花費(fèi)在每個(gè)參考幀上的搜索時(shí)間。例如文獻(xiàn)［8］分析了多參考幀效率和視頻對(duì)象運(yùn)動(dòng)幅度之間的關(guān)系，對(duì)快速運(yùn)動(dòng)塊和平緩運(yùn)動(dòng)塊分別采用不同的搜索策略，并建立了基于哈達(dá)瑪變換系數(shù)的提前終止條件。文獻(xiàn)［9］根據(jù)多參考幀下運(yùn)動(dòng)矢量的中心偏置特性，預(yù)測(cè)各個(gè)參考幀的初始運(yùn)動(dòng)矢量，并結(jié)合快速運(yùn)動(dòng)估計(jì)算法降低計(jì)算量。文獻(xiàn)［10］首先對(duì)運(yùn)動(dòng)矢量進(jìn)行中值濾波，然后使用處理后的運(yùn)動(dòng)矢量擴(kuò)展出一個(gè)新的參考幀，最后將新的參考幀插入到參考幀列表中進(jìn)行運(yùn)動(dòng)估計(jì)，提升了編碼質(zhì)量。文獻(xiàn)［11］根據(jù)不同參考幀之間的預(yù)測(cè)運(yùn)動(dòng)矢量，選擇空間上最接近的候選參考幀。在這類算法中，對(duì)遮擋顯露等情況，運(yùn)動(dòng)矢量的預(yù)測(cè)精度較難把握，影響編碼R-D性能。

1.2 多參考幀選擇依據(jù)

在H.264中，每一個(gè)幀間預(yù)測(cè)編碼宏塊最多可支持16個(gè)參考幀、10種預(yù)測(cè)編碼模式(Skip模式、16×16、16×8、8×16、8 ×8、8 ×4、4 ×8、4 ×4、intra16 ×16、intra4 ×4)。為找出基于率失真代價(jià)(Rate Distortion Optimization，RDO)的最優(yōu)參考幀，JM校驗(yàn)?zāi)Ｐ驮谶\(yùn)動(dòng)估計(jì)過(guò)程中采用遍歷所有參考幀的方法，并選擇代價(jià)最小的參考幀作為最優(yōu)參考幀。H.264中參考幀選擇的率失真代價(jià)函數(shù)定義如下

式中:J(mv，ref)表示率失真代價(jià);SAD表示當(dāng)前塊與參考?jí)K的絕對(duì)差;S表示當(dāng)前編碼宏塊的像素值;C(mv，ref)表示參考?jí)K的像素值;ref為當(dāng)前參考幀序號(hào);mv表示該參考幀的運(yùn)動(dòng)矢量;Rmv和Rref分別表示運(yùn)動(dòng)矢量和參考幀序號(hào)的編碼比特?cái)?shù);λ為拉格朗日參數(shù)，其值與量化系數(shù)有關(guān)。這種遍歷計(jì)算所有候選參考幀的J(mv，ref)，進(jìn)而得到率失真意義上的最優(yōu)參考幀的方法，給編碼器帶來(lái)了巨大的計(jì)算量。

1.3 最優(yōu)參考幀分布情況分析

表1是各標(biāo)準(zhǔn)測(cè)試序列在16×16模式和亞宏塊級(jí)模式下的最優(yōu)參考幀采用情況統(tǒng)計(jì)表，本文數(shù)據(jù)是在H.264的JM86測(cè)試平臺(tái)上進(jìn)行100幀編碼統(tǒng)計(jì)的結(jié)果，表1選用5個(gè)參考幀，量化參數(shù)QP=28。圖1是多參考幀的運(yùn)動(dòng)估計(jì)補(bǔ)償示意圖，其中ref0～n是指最優(yōu)參考幀的序號(hào)，ref0最近，refn最遠(yuǎn)。表1的數(shù)據(jù)說(shuō)明絕大多數(shù)編碼塊僅僅需要最臨近的1個(gè)參考幀就可以獲得最好的編碼效果，其余的參考幀均被浪費(fèi)了，沒(méi)有起到提升編碼R-D性能的作用。

表1 最優(yōu)參考幀采用率統(tǒng)計(jì)

圖1 運(yùn)動(dòng)估計(jì)的多參考幀預(yù)測(cè)

1.4 時(shí)空相鄰區(qū)域的相關(guān)性分析

本文對(duì)最優(yōu)參考幀的相關(guān)性情況進(jìn)行了100幀的編碼統(tǒng)計(jì)，如表2所示。表2中，“時(shí)域”指當(dāng)前塊與前一幀對(duì)應(yīng)位置塊最優(yōu)參考幀的相關(guān)性統(tǒng)計(jì)，“空域”指當(dāng)前塊與同幀中相鄰塊的相關(guān)性統(tǒng)計(jì)，其位置關(guān)系可以參考圖2的位置關(guān)系說(shuō)明。圖2中M指當(dāng)前編碼塊，E指前一幀中與M對(duì)應(yīng)位置的塊，A指M的左邊相鄰塊，B、C、D分別指M的左上邊、上邊和右上邊相鄰塊。

表2 最優(yōu)參考幀的時(shí)空相關(guān)性統(tǒng)計(jì) %

從表2的統(tǒng)計(jì)數(shù)據(jù)可以看出，時(shí)空相鄰塊的最優(yōu)參考幀具有很強(qiáng)的相關(guān)性。而且，亞宏塊級(jí)模式編碼時(shí)，塊之間的空域相關(guān)性要明顯高于時(shí)域相關(guān)性;16×16模式編碼時(shí)，前后幀之間的時(shí)域相關(guān)性要高于幀內(nèi)空域相關(guān)性。這是因?yàn)樯舷伦笥蚁噜彽男〕叽鐗K很有可能屬于同一對(duì)象，它們選用同一參考幀的概率更大;而大尺寸編碼塊往往屬于背景區(qū)或紋理平滑區(qū)，前后幀之間的相關(guān)性更高，選其前一時(shí)刻已編碼幀作為最優(yōu)參考幀的可能性更大。利用這個(gè)特性，可以根據(jù)已編碼塊的最優(yōu)參考幀選用情況，對(duì)當(dāng)前塊的最優(yōu)參考幀進(jìn)行預(yù)測(cè)與篩選，從而提高編碼速度。

圖2 時(shí)空相鄰塊的位置關(guān)系圖

1.5 各編碼模式的采用率分析

本文對(duì)幀間編碼模式的采用情況也進(jìn)行了100幀的編碼統(tǒng)計(jì)，如表3所示。根據(jù)統(tǒng)計(jì)結(jié)果，Skip模式的使用概率最高(使用 ref0作為參考幀)，宏塊級(jí)(16×16，16×8，8×16)編碼模式的采用率要遠(yuǎn)高于亞宏塊級(jí)模式(8×8，8×4，4×8，4×4)，而采用幀內(nèi)編碼模式的概率極低。由于本文算法主要針對(duì)移動(dòng)終端小尺寸圖像的應(yīng)用場(chǎng)合，摒棄幀間編碼中的幀內(nèi)模式以提高編碼速度，對(duì)編碼質(zhì)量不會(huì)產(chǎn)生大的影響。此外，在進(jìn)行參考幀的比較選擇時(shí)，由于亞宏塊級(jí)編碼模式的采用率較低，可以適當(dāng)控制計(jì)算量的分配;而宏塊級(jí)編碼模式的采用率較高，應(yīng)保留更多的計(jì)算量，從而在編碼質(zhì)量與速度之間達(dá)到一個(gè)較好的平衡。

表3 各編碼模式的采用率統(tǒng)計(jì) %

2 自適應(yīng)的多參考幀快速選擇算法

2.1 候選模式選擇策略

根據(jù)表2最優(yōu)參考幀的時(shí)空相關(guān)性統(tǒng)計(jì)結(jié)果，在進(jìn)行宏塊級(jí)模式編碼時(shí)，前后幀之間的時(shí)域相關(guān)性都要高于幀內(nèi)相鄰塊間的空域相關(guān)性。因此，本文通過(guò)統(tǒng)計(jì)前一幀中對(duì)應(yīng)位置塊的參考幀選用情況來(lái)確定當(dāng)前編碼塊的候選參考幀集合。在進(jìn)行亞宏塊級(jí)模式編碼時(shí)，幀內(nèi)相鄰塊之間的空域相關(guān)性明顯強(qiáng)于幀間的時(shí)域相關(guān)性。因此，本文候選參考幀集合的構(gòu)成如下

式中:Ref1表示宏塊級(jí)編碼時(shí)確定的初步候選參考幀集合1;Ref2表示亞宏塊級(jí)編碼時(shí)，各8×8子塊初步確定的候選參考幀集合2。由于H.264中的參考幀以8×8為單位進(jìn)行分配和保存，因此宏塊級(jí)的16×16模式最多可以有4個(gè)初步候選參考幀。而對(duì)于亞宏塊級(jí)模式，同一個(gè)8×8子塊的各個(gè)更小分割塊(如8×4、4×8、4×4模式)只能指向同一個(gè)參考幀。

2.2 參考幀擴(kuò)展選擇策略

多參考幀技術(shù)所獲得的編碼增益并非簡(jiǎn)單依賴于參考幀數(shù)目的多少，而是取決于視頻內(nèi)容的本質(zhì)特征。在一些特殊情況下，例如在對(duì)象發(fā)生遮擋和顯露時(shí)，對(duì)象周期性運(yùn)動(dòng)時(shí)，或發(fā)生場(chǎng)景切換時(shí)，遠(yuǎn)端參考幀被選為最優(yōu)參考幀的概率更大。因此，本文定義一個(gè)參考幀范圍的擴(kuò)展條件

參考幀擴(kuò)展條件

式中:表示候選參考幀集合的最小代價(jià)值;Jx(x∈A，B，C，D，E)表示時(shí)空相鄰塊的最優(yōu)參考幀代價(jià);兩個(gè)參數(shù)用于進(jìn)行計(jì)算量的分配控制。根據(jù)1.4節(jié)的統(tǒng)計(jì)分析和編碼實(shí)踐，本文設(shè)置α=0.75，β=1.2。如果當(dāng)前塊滿足擴(kuò)展條件，則認(rèn)為當(dāng)前參考幀的補(bǔ)償結(jié)果并不理想，需要通過(guò)對(duì)更多參考幀進(jìn)行搜索，以求得更為準(zhǔn)確的運(yùn)動(dòng)補(bǔ)償，防止這些塊編碼質(zhì)量的降低和可能導(dǎo)致的錯(cuò)誤傳播。若不滿足擴(kuò)展條件，則根據(jù)式(2)，直接從候選參考幀集合中確定最優(yōu)參考幀。

2.3 本文快速參考幀選擇算法流程

本文算法專門(mén)針對(duì)多參考幀選擇模塊進(jìn)行研究，算法通用性強(qiáng)。本文算法具體編碼過(guò)程描述如下(見(jiàn)圖3):

1)當(dāng)進(jìn)行宏塊級(jí)編碼時(shí)，依據(jù)時(shí)域相關(guān)性確定當(dāng)前編碼塊的候選參考幀集合1，見(jiàn)式(2)。進(jìn)行集合1的運(yùn)動(dòng)估計(jì)補(bǔ)償，求得初步最優(yōu)參考幀和最小代價(jià)。

2)宏塊級(jí)參考幀擴(kuò)展條件判斷。如果不滿足式(3)，則說(shuō)明不需要擴(kuò)展搜索，直接進(jìn)入到亞宏塊級(jí)的編碼。如果需要擴(kuò)展搜索，則將候選參考幀范圍擴(kuò)展至余下的全部參考幀，并根據(jù)最小代價(jià)確定編碼塊的最優(yōu)參考幀。

3)當(dāng)進(jìn)行亞宏塊級(jí)各8×8子塊的編碼時(shí)，依據(jù)空域相關(guān)性確定當(dāng)前編碼塊的候選參考幀集合2，見(jiàn)式(2)。進(jìn)行集合2的運(yùn)動(dòng)估計(jì)補(bǔ)償，求得各8×8子塊的初步最優(yōu)參考幀和最小代價(jià)。

4)亞宏塊級(jí)參考幀擴(kuò)展條件判斷。如果不滿足式(3)，則說(shuō)明不需要擴(kuò)展搜索，當(dāng)前子塊的最優(yōu)參考幀選擇結(jié)束。如果需要擴(kuò)展，則按參考幀序號(hào)逐個(gè)擴(kuò)展搜索;一旦發(fā)現(xiàn)，則結(jié)束擴(kuò)展搜索，選取對(duì)應(yīng)的參考幀為各子塊的最優(yōu)參考幀。

圖3 本文快速參考幀選擇算法流程圖

3 實(shí)驗(yàn)結(jié)果及數(shù)據(jù)分析

為了測(cè)試分析算法的綜合性能，本文從編碼時(shí)間(Time)、峰值信噪比(PSNR)、碼率(Rate)等幾個(gè)方面進(jìn)行測(cè)試比較。實(shí)驗(yàn)參考軟件為H.264的JM86基本檔(baseline)，編碼器主要參數(shù)設(shè)置為:幀率30 f/s(幀/秒)，幀結(jié)構(gòu)為IPPP，采用JM默認(rèn)的運(yùn)動(dòng)估計(jì)算法，QCIF序列的搜索范圍為±16，CIF序列為±32，5個(gè)參考幀，采用RDO優(yōu)化，CAVLC編碼。實(shí)驗(yàn)平臺(tái)為:CPU為奔4雙核3 GHz，2 Gbyte內(nèi)存，Windows XP操作系統(tǒng)。

為了對(duì)算法性能進(jìn)行客觀比較，本文對(duì)不同畫(huà)幅和運(yùn)動(dòng)類型的多個(gè)標(biāo)準(zhǔn)測(cè)試序列進(jìn)行了測(cè)試，每個(gè)序列編碼前100幀，編碼結(jié)果如表4所示，其中QP=28。各項(xiàng)編碼性能指標(biāo)的變化幅度定義如下

式中:PSNRproposed和PSNRJM分別指本文快速算法和JM86標(biāo)準(zhǔn)算法的編碼峰值信噪比;ΔTime指編碼時(shí)間的變化幅度，-Δ表示快速算法降低了編碼時(shí)間;ΔRate指碼率的變化情況，+Δ表示快速算法的碼率有增加。

從表4可以看出，與采用所有參考幀遍歷搜索的JM標(biāo)準(zhǔn)相比，本文提出的多參考幀快速選擇算法可以大幅降低計(jì)算量，平均可降低49.12%的編碼時(shí)間。與此同時(shí)，碼率平均僅增加0.28%，圖像質(zhì)量的損失平均為0.02 dB，這樣的損失對(duì)編碼R-D性能的影響是微不足道的，對(duì)畫(huà)面視覺(jué)質(zhì)量的影響基本可以忽略。

表4 本文算法性能以及和H.264標(biāo)準(zhǔn)算法的對(duì)比

表5和表6是本文快速算法與其他幾種快速算法的性能對(duì)比。其中，文獻(xiàn)［3］根據(jù)空間相關(guān)性確定參考幀數(shù)目;文獻(xiàn)［4］利用時(shí)空相關(guān)性確定當(dāng)前宏塊的編碼模式及參考幀數(shù)目;文獻(xiàn)［5］根據(jù)邊緣梯度檢測(cè)以及運(yùn)動(dòng)矢量差值情況來(lái)確定候選參考幀;文獻(xiàn)［9］根據(jù)運(yùn)動(dòng)矢量中心偏置特性，結(jié)合快速運(yùn)動(dòng)估計(jì)算法來(lái)減少每個(gè)參考幀的計(jì)算量。

表5 各快速算法的性能對(duì)比(CIF，QP=28)

表6 各快速算法的性能對(duì)比(QCIF，QP=28)

根據(jù)表5和表6的數(shù)據(jù)對(duì)比，本文快速算法的圖像質(zhì)量PSNR和碼率都要明顯優(yōu)于其他算法，即本文算法的R-D性能明顯優(yōu)于其他快速算法。在計(jì)算量方面，本文算法大幅領(lǐng)先于文獻(xiàn)［9］和文獻(xiàn)［5］的算法，但是不及文獻(xiàn)［4］和文獻(xiàn)［3］。這主要是因?yàn)槲墨I(xiàn)［4］的算法中加入了編碼模式的預(yù)判;而文獻(xiàn)［3］的算法中加入了Skip模式的快速確定。但本文算法是純粹的多參考幀快速選擇算法，能與其他類型的快速算法(例如快速模式選擇、快速運(yùn)動(dòng)估計(jì)等)結(jié)合，這將能獲得更好的編碼速度。

4 小結(jié)

根據(jù)移動(dòng)視頻業(yè)務(wù)的要求，針對(duì)多參考幀預(yù)測(cè)技術(shù)計(jì)算

[9] LIN CY，CHANG S F.Semi-fragile watermarking for authenticating JPEG visual content[C]//Proc.SPIE Security and Watermarking of Multimedia Content II.San Jose，CA：[s.n.]，2000：140-151.

[10] HO A T S，ZHU X，GUAN Y.Image content authentication using pinned sine transform[J].EURASIP Journal on Applied Signal Processing，2004（14）：2174-2184.

[11] 胡玉平，陳志剛.用于圖像認(rèn)證的小波域半易損水印算法[J].電子學(xué)報(bào)，2006，34（4）：653-657.

[12]MATRO K，SUN Q，CHANG S，et al.New semi-fragile image authentication watermarking techniques using random bias and nonuniform quantization[J].IEEE Trans.Multimedia，2006，8（1）：32-45.

[13] TSAI M J，CHIEN C C.Authentication and recovery for wavelet based semi-fragile watermarking[J].Optical Engineering，2008，47（6）：1-10.

[14] 高鐵杠，譚琳，曹雁軍.基于Hash函數(shù)和漢明碼的半脆弱水印算法[J].光電子·激光，2012，23（9）：1808-1814.

[15]CHANG CC，CHEN K N，LEE C F，et al.A secure fragile watermarking scheme based on chaos-and-hamming code[J].Journal of Systems and Software，2011，84（9）：1462-1470.

[16] 陶孟益，唐軍，楊恒伏，等.基于自適應(yīng)半脆弱水印的圖像篡改檢測(cè)方案[J].電視技術(shù)，2014，38（15）：41-43.