劉丹，宋傳鳴

?

基于提升方案小波的幀差圖像質(zhì)量可分級(jí)編碼研究

劉丹，宋傳鳴

摘要：隨著數(shù)字電視和網(wǎng)上會(huì)議的出現(xiàn)，越來(lái)越多的視頻信息需要在網(wǎng)上進(jìn)行傳輸，而視頻壓縮效率的提高在很大程度上取決于如何減少用于傳輸運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)誤差的信息量，即如何使視頻幀差圖像滿足漸進(jìn)傳輸、多質(zhì)量服務(wù)以及圖像數(shù)據(jù)庫(kù)瀏覽等一系列的要求。首先，結(jié)合視頻幀差圖像的統(tǒng)計(jì)特性，提出了一種幀差圖像小波系數(shù)的雙重量化方法，在此基礎(chǔ)上提出了一種基于位平面的幀差圖像質(zhì)量可分級(jí)編碼方案，在解碼時(shí)能夠根據(jù)給定解碼的數(shù)率對(duì)位平面進(jìn)行重構(gòu)，并實(shí)現(xiàn)幀差圖像的質(zhì)量可分級(jí)解碼。實(shí)驗(yàn)結(jié)果證明，提出的方法編碼效果優(yōu)于傳統(tǒng)的SPIHT編碼算法，特別在低比特率下具有很好的編碼效果。

關(guān)鍵詞：幀差圖像；統(tǒng)計(jì)特性；可分級(jí)編碼；提升方案小波

0　引言

隨著網(wǎng)絡(luò)和多媒體技術(shù)的不斷發(fā)展，人們對(duì)視頻編碼技術(shù)的要求越來(lái)越高，不僅要求其具有較好的壓縮效果，而且還要滿足視頻圖像漸進(jìn)傳輸、多質(zhì)量服務(wù)以及圖像數(shù)據(jù)庫(kù)瀏覽等多分辨率環(huán)境下的多媒體應(yīng)用需求，因此，近年來(lái)，視頻的可分級(jí)編碼技術(shù)便成為視頻編碼領(lǐng)域的一個(gè)研究熱點(diǎn)[1-4]。目前的視頻可分級(jí)編碼方案大都采用變換編碼來(lái)消除幀內(nèi)的空間冗余，同時(shí)采用運(yùn)動(dòng)估計(jì)技術(shù)來(lái)減少幀間冗余，因而編碼效率的提高在很大程度上取決于對(duì)幀內(nèi)預(yù)測(cè)幀和幀差圖像的編碼技術(shù)。目前，大多數(shù)的視頻可分級(jí)編碼器對(duì)幀差圖像的編碼一般都采用傳統(tǒng)的圖像編碼方法，比如采用基于分塊的DCT變換或者基于小波變換的零樹(shù)結(jié)構(gòu)算法等，然而由于幀差圖像的統(tǒng)計(jì)特性與一般的自然圖像存在著很大的相同，盡管這些算法對(duì)于一般的自然圖像具有很好的編碼效果[5]，但對(duì)于幀差圖像效率卻不是很高，特別對(duì)于低碼率的情況，這種幀差圖像編碼的低效性通常會(huì)帶來(lái)誤差的“漂移”[6]，將直接影響到整個(gè)GOP的編碼效率。

本文首先對(duì)幀差圖像的統(tǒng)計(jì)特性進(jìn)行了分析，在此基礎(chǔ)上，提出一種基于提升方案小波變換的幀差圖像雙重量化方案，進(jìn)一步給出了基于所提出量化方案和位平面技術(shù)的的幀差圖像質(zhì)量可分級(jí)編碼方案，通過(guò)大量的仿真試驗(yàn)對(duì)所提出方案與SPIHT編碼效率進(jìn)行了對(duì)比，實(shí)驗(yàn)結(jié)果表明，在相同的解碼率下，所提出方案的編碼效率高于SPIHT的編碼效率，特別是低碼率情況，并且解碼圖像的視覺(jué)效果也得到了明顯的改進(jìn)。

1　幀差圖像的統(tǒng)計(jì)特性

幀差圖像和自然圖像的統(tǒng)計(jì)特性和能量分布存在著很大的不同，幀差圖像通常只在運(yùn)動(dòng)邊界和運(yùn)動(dòng)比較劇烈等區(qū)域才會(huì)出現(xiàn)較大的幅值，而相同或沒(méi)有運(yùn)動(dòng)的區(qū)域相對(duì)平滑或者接近于零，而且?guī)顖D像的能量主要集中在運(yùn)動(dòng)物體的邊緣上，這樣從能量角度上看，幀差圖像直方圖的幾何圖形分布在0值兩側(cè)非常小的區(qū)域，而且在0值處有一個(gè)高且窄的峰值。Foreman視頻流的第27幀原始圖像和以第26幀為預(yù)測(cè)幀，經(jīng)過(guò)空域全局運(yùn)動(dòng)估計(jì)、補(bǔ)償后得到的第27幀的幀差圖像以及二者的直方圖，如圖1所示：

圖1　Foreman視頻流的幀內(nèi)原始圖像、幀差圖像及直方圖

幀差圖像直方圖分布的形狀取決于幀內(nèi)運(yùn)動(dòng)內(nèi)容的多少。如果運(yùn)動(dòng)較為平緩則會(huì)在0值處有一個(gè)又高又窄的頂峰，并且像素值在0值周圍的聚集度較高，而運(yùn)動(dòng)激烈的視頻流在0值周圍的聚集度較低。圖1（a）、（b）為Akiyo視頻流和Football視頻流的幀差圖像直方圖。從二者直方圖形狀可見(jiàn)Akiyo視頻流的運(yùn)動(dòng)較為平緩，F(xiàn)ootball視頻流的運(yùn)動(dòng)較為激烈。

圖1中兩個(gè)圖像進(jìn)行5/3小波三級(jí)變換后各子帶的方差值比較，如表1所示：

從表1中可以發(fā)現(xiàn)二者在小波變換后的能量分布特點(diǎn)：幀內(nèi)原始圖像的能量主要集中在小波變換后的低頻部分，而幀差圖像因?yàn)橹饕从城昂髢蓭\(yùn)動(dòng)邊界的信息，所以該圖像具有較多的邊緣信息，這樣其小波變換系數(shù)的高頻子帶具有較多的能量。

表1　圖1（a）、（b）經(jīng)過(guò)三級(jí)小波變換后的各子帶方差

2　提升方案小波變換及小波塊概念

2.1提升方案小波變換

提升方案小波由W.Sweldens等于1995年提出的，其特點(diǎn)是所有的運(yùn)算都在空間域進(jìn)行并且速度快。提升方案小波的正向提升過(guò)程包含3個(gè)基本步驟：切分、預(yù)測(cè)和更新。切分是指把原始信號(hào)X切分成不相交的兩個(gè)子集，實(shí)際應(yīng)用中通常將原始信號(hào)切分成偶數(shù)樣本和奇數(shù)樣本；預(yù)測(cè)是指采用預(yù)測(cè)算子，根據(jù)預(yù)測(cè)，其誤差稱為小波系數(shù)；更新是指對(duì)小波系數(shù)施加更新算子，然后加上得到相應(yīng)的尺度系數(shù)，從而得出在較低分辨率上對(duì)原始信號(hào)的一種逼近。類似于傳統(tǒng)小波變換，對(duì)反復(fù)進(jìn)行正向提升過(guò)程即可得到離散小波變換尺度系數(shù)和小波系數(shù)的完備集合。正向提升算法和逆向提升算法過(guò)程圖，如圖2、圖3所示：

圖2　正向提升算法過(guò)程

圖3　逆向提升算法過(guò)程

更詳細(xì)的討論參見(jiàn)文獻(xiàn)[7]。

2.2小波樹(shù)與小波塊

對(duì)輸入圖像進(jìn)行小波分解后，把圖像分解成具有水平、豎直、對(duì)角方向的3類小波樹(shù)。樹(shù)根在低頻帶，對(duì)應(yīng)于同一空間位置的相同方向、不同尺度的小波系數(shù)成為它的孩子。把所有具有相同樹(shù)根的3個(gè)不同方向的4叉小波樹(shù)組織在一起形成具有固定大小的塊，即為小波塊。小波塊把空間域同一位置不同尺度、不同方向的小波系數(shù)組織在一起，從而把小波系數(shù)和它所代表的空間域聯(lián)系在一起。這樣的組織形式可以提供基于內(nèi)容的量化，便于碼率分配。小波樹(shù)和小波塊的對(duì)應(yīng)關(guān)系如圖4所示：

圖4　小波樹(shù)與小波塊的對(duì)應(yīng)關(guān)系

判斷一個(gè)小波塊是否重要，依據(jù)如下兩個(gè)準(zhǔn)則，如公式（1）：

即同時(shí)滿足（1）、（2）兩個(gè)條件的小波塊為重要小波塊，其中表示幀差場(chǎng)，表示對(duì)集合內(nèi)元素個(gè)數(shù)的統(tǒng)計(jì)，、和為3個(gè)閾值，在下面所提出的編碼算法中，將小波樹(shù)轉(zhuǎn)換成小波塊之后，對(duì)每個(gè)8×8的小波塊進(jìn)行了重要性判斷，并用一個(gè)標(biāo)志位來(lái)標(biāo)識(shí)，該標(biāo)志位稱為“傳送標(biāo)志”，編碼時(shí)，僅當(dāng)所處理的小波塊是“重要的”時(shí)候才傳送其編碼。

3　幀差圖像小波子帶的雙重量化方案

根據(jù)幀差圖像的統(tǒng)計(jì)特性，本文提出了一種幀差圖像的各層子帶量化和高頻子帶細(xì)量化的雙層量化方案，具體過(guò)程如下。

3.1各層子帶量化

3.1.1采用曲線逼近方式模擬真實(shí)率失真情況

Kasner通過(guò)使用不同的量化器步長(zhǎng)分別量化100000個(gè)Laplacian信源和高斯信源的數(shù)據(jù)，推導(dǎo)給出了適合標(biāo)量量化器的率失真函數(shù)與碼率以及量化步長(zhǎng)的對(duì)應(yīng)關(guān)系曲線[8]，如圖5所示：

圖5　率失真函數(shù)與碼率以及量化步長(zhǎng)的關(guān)系圖

圖6　模擬率失真曲線示意圖

（1）在高碼率情況下，采用簡(jiǎn)單的線性模式模擬率失真曲線。在真實(shí)率失真函數(shù)曲線上個(gè)采樣點(diǎn)，分別為，，……，。定義逼近的線性函數(shù)方程為，其中，、分別為直線的斜率和截距，直線與縱坐標(biāo)軸相交于點(diǎn)，點(diǎn)坐標(biāo)為（0，）。根據(jù)最小二乘法的要求，將上述采樣點(diǎn)代入線性逼近方程中可計(jì)算得到關(guān)于和的方程組如公式（2）：

（2）在低位率情況下，利用單支雙曲線模擬率失真曲線。在真實(shí)率失真曲線的低碼率部分取m個(gè)采樣點(diǎn)，分別為，，……，。定義雙曲線的表達(dá)式為：。將雙曲線的中心點(diǎn)移至，并取雙曲線的右上支。其中，、分別是該子帶雙曲線逼近函數(shù)的標(biāo)準(zhǔn)方程系數(shù)。同樣根據(jù)最小二乘法可以計(jì)算出參數(shù)、、和的值,代入雙曲線表達(dá)式可得到低位率下的逼近曲線。

3.1.2分層量化方案

分層量化方案的具體過(guò)程如下：

Step1. 計(jì)算各個(gè)子帶所對(duì)應(yīng)的廣義高斯密度函數(shù)的形狀參數(shù)，其中為子帶序號(hào)（下同）。

由于廣義高斯分布能很好的擬合小波子帶的概率密度函數(shù)[9]，所以利用廣義高斯概率密度函數(shù)中的形狀參數(shù)可以來(lái)確定不同子帶小波系數(shù)的概率密度分布。形狀參數(shù)通過(guò)計(jì)算樣本的峰度值（Kurtosis）來(lái)求解，第個(gè)子帶的與其峰度值的關(guān)系如公式（3）：

Step3.通過(guò)下式計(jì)算高碼率下第個(gè)子帶率失真函數(shù)的線性逼近函數(shù)：

Step4. 通過(guò)下式計(jì)算低碼率下第個(gè)子帶率失真函數(shù)的雙曲線逼近函數(shù)如公式（4）：

給出Akiyo視頻流中第2幀幀差圖像經(jīng)過(guò)三級(jí)5/3小波分解后，使用上述量化方法確定的各子帶量化步長(zhǎng)如表2所示：

表2　Akiyo視頻流中第2幀幀差圖像的各子帶量化步長(zhǎng)值

3.2高頻子帶細(xì)量化

根據(jù)幀差圖像小波變換高頻子帶的統(tǒng)計(jì)特性，對(duì)高頻子帶進(jìn)行分類，并根據(jù)其類型采用不同的量化因子，勢(shì)必會(huì)得到更好的編碼效果。為此，我們針對(duì)不同分辨率的各高頻子帶提出了如下的量化方案：

圖7　小波塊在不同分辨率下的子塊

實(shí)驗(yàn)中我們選擇Football和Akiyo兩個(gè)視頻流的從第2幀開(kāi)始的前50幅幀差圖像作為激烈運(yùn)動(dòng)圖像和平緩運(yùn)動(dòng)圖像的代表統(tǒng)計(jì)了圖像中方差值的大小，如表3所示：

表3　兩類圖像根據(jù)統(tǒng)計(jì)得到的方差閾值、

表3　兩類圖像根據(jù)統(tǒng)計(jì)得到的方差閾值、

由此確定劃分邊緣塊、平滑塊和紋理塊的閾值。

（3）確定激烈運(yùn)動(dòng)圖像和平緩運(yùn)動(dòng)圖像這兩種圖像內(nèi)不同類子塊的視覺(jué)權(quán)值Weight 。Football和Akiyo兩個(gè)不同類型視頻流的不同分辨率下高頻子帶中邊緣塊、平滑塊和紋理塊內(nèi)小波系數(shù)的不同視覺(jué)權(quán)值如表4所示：

表4　各尺度下高頻子帶內(nèi)小波系數(shù)的不同視覺(jué)權(quán)值Weight

最后，綜合3.1節(jié)和3.2節(jié)所述方法對(duì)小波變換后的各個(gè)子帶進(jìn)行量化，量化因子為。

4　幀差圖像質(zhì)量可分級(jí)編碼方案

本文所提出的幀差圖像質(zhì)量可分級(jí)編、解碼方案的總體結(jié)構(gòu)如圖8、圖9所示：

圖8　提出方案的編碼總體結(jié)構(gòu)

圖9　提出方案的解碼總體結(jié)構(gòu)

4.1位平面的分解與重構(gòu)

4.1.1位平面的分解

假設(shè)編碼圖像共需要N個(gè)位平面，對(duì)于某個(gè)小波系數(shù)，若當(dāng)前已經(jīng)編碼到第n個(gè)位平面，則將該系數(shù)右移n位，并與1相與，即分解出第n個(gè)位平面的值。對(duì)上述兩種位平面編碼方案中的每個(gè)系數(shù)都重復(fù)上面的操作，即可實(shí)現(xiàn)位平面的分解。具體位平面分解的偽代碼如下：

For（n=N-1;n>0;n--）//記錄編碼到第幾個(gè)位平面

For（i=0;i

For（j=0;j

plane[(N-n)*Width*Height+i*Width+j]=(Origin[i ][j]>>n) & 1;

其中Origin[][]表示量化后的小波系數(shù)，plane存儲(chǔ)各位平面中的信息，Height和Width表示圖像的高和寬。

4.1.2位平面重構(gòu)

將位平面數(shù)據(jù)按位依次讀入，對(duì)于某個(gè)小波系數(shù)，若當(dāng)前已經(jīng)解碼到第n個(gè)位平面，則將讀入的0或者1左移n位，即得到該系數(shù)第n個(gè)位平面的值。然后，再將這個(gè)值與該系數(shù)已經(jīng)解碼出的值相或，進(jìn)而重構(gòu)出系數(shù)前（N-n）個(gè)位平面的值。按照位平面遞減的順序重復(fù)以上操作，即可漸進(jìn)而精確地重構(gòu)出位平面分解前的系數(shù)。具體實(shí)現(xiàn)的偽代碼如下：

for(int n= N-1;n>0;n--)

for(i=0;i

for(j=0;j

Origin[i][j]|=(tempbyte << n);

其中tempbyte表示讀入碼流的緩沖區(qū)。

4.2 質(zhì)量可分級(jí)編、解碼的實(shí)現(xiàn)

4.2.1編碼算法

step1. 對(duì)幀差圖像進(jìn)行提升方案小波分解；

step2. 將變換后的小波樹(shù)轉(zhuǎn)換為小波塊；

step3. 對(duì)小波塊進(jìn)行重要性判斷，即對(duì)小波塊按照（1）、（2）準(zhǔn)則進(jìn)行重要性判斷。對(duì)于重要小波塊，按照第4節(jié)的量化方案，首先對(duì)塊內(nèi)各層子帶的系數(shù)進(jìn)行量化，之后對(duì)高頻子帶系數(shù)進(jìn)行細(xì)量化；對(duì)不重要的小波塊將其系數(shù)置為零；

step4. 對(duì)所有小波系數(shù)進(jìn)行位平面分解；

step5. 對(duì)分解后的位平面信息進(jìn)行算術(shù)編碼，并生成編碼碼流。

Step6. 算法結(jié)束。

4.2.2解碼算法

step1. 根據(jù)給定的碼率R，確定解碼圖像所需要的比特?cái)?shù)B，二者的關(guān)系為：B=R×H×W,其中H、W分別為視頻幀的高和寬；

step2. 利用算術(shù)解碼器，按照由高至低的順序，解碼出一個(gè)位平面；

step3. 計(jì)算當(dāng)前已經(jīng)解碼出的比特位數(shù)，并計(jì)算已解碼比特?cái)?shù)與目標(biāo)位數(shù)B的差D；

step4. 將D與某一閾值T進(jìn)行比較，若D大于T，則轉(zhuǎn)入step 2；否則執(zhí)行step 5。在實(shí)際解碼過(guò)程中，有時(shí)根據(jù)所給定的碼率所計(jì)算出的目標(biāo)比特位數(shù)B不會(huì)恰好等于位平面的整數(shù)倍，這樣在解碼過(guò)程中就需要根據(jù)閾值T來(lái)決定是否有必要多解出一部分?jǐn)?shù)據(jù)，或者丟棄一些數(shù)據(jù)，以使得解出的比特?cái)?shù)為位平面的整數(shù)倍，當(dāng)然前一種情況的解碼數(shù)率可能會(huì)較給定的數(shù)率R有一些超出，但會(huì)相對(duì)提高一些解碼圖像質(zhì)量，而后一種情況不會(huì)超出給定的碼率R,但可能會(huì)犧牲一些解碼質(zhì)量。閾值T可以根據(jù)實(shí)際應(yīng)用中對(duì)解碼質(zhì)量和網(wǎng)絡(luò)傳輸帶寬的需求來(lái)進(jìn)行折衷選取。

step5. 對(duì)解碼系數(shù)進(jìn)行逆量化；

step6. 將逆量化后的小波塊轉(zhuǎn)換成小波樹(shù)；step7. 對(duì)圖像進(jìn)行逆提升方案小波變換；step8. 算法結(jié)束。

5　實(shí)驗(yàn)結(jié)果與分析

為了對(duì)所提出算法的有效性進(jìn)行驗(yàn)證，我們對(duì)Akiyo和Football兩個(gè)標(biāo)準(zhǔn)測(cè)試視頻流的幀差圖像進(jìn)行了大量的實(shí)驗(yàn)，對(duì)所提方案在低碼率下的解碼質(zhì)量進(jìn)行了測(cè)試，采用了峰值信噪比作以評(píng)價(jià)。

Akiyo和Football兩個(gè)視頻流的從第2幀開(kāi)始的50幅幀差圖像在碼率為0.05bpp時(shí)采用SPIHT算法和本文算法壓縮的對(duì)比，如圖10所示：

圖10　SPIHT算法和本文算法編碼效果對(duì)比

可見(jiàn)，在相同的壓縮比下本文算法的壓縮性能要優(yōu)于SPIHT算法。

Akiyo視頻流的第2幀幀差圖像和Football視頻流的第8幀幀差圖像在碼率為0.05bpp和0.1bpp時(shí)采用本文算法和SPIHT算法的解碼圖像，如圖11所示：

圖11　SPIHT算法和本文算法解碼圖像

由于本文對(duì)高頻部分的小波系數(shù)進(jìn)行了不同類型的細(xì)量化，所以解碼圖像的主觀效果要優(yōu)于SPIHT算法。

6　總結(jié)

本文在對(duì)幀差圖像的統(tǒng)計(jì)特性進(jìn)行分析的基礎(chǔ)上提出了一種幀差圖像提升方案小波變換的雙重量化方案——各層子帶量化和高頻子帶細(xì)量化，該方案在總體考慮小波各子帶重要性的同時(shí)，根據(jù)幀差圖像高頻信息豐富的特點(diǎn)對(duì)高頻部分的小波系數(shù)進(jìn)行了不同類型的細(xì)量化，從而保證了幀差圖像高頻信息的解碼質(zhì)量，在此基礎(chǔ)上提出了一種基于位平面技術(shù)的幀差圖像質(zhì)量可分級(jí)編碼方案。大量的仿真實(shí)驗(yàn)對(duì)所提出方案與SPIHT對(duì)幀差圖像的編碼效率進(jìn)行了對(duì)比，實(shí)驗(yàn)結(jié)果表明，在相同的解碼率下，所提出方案解碼圖像的PSNR和視覺(jué)效果均好于SPIHT算法，特別是低碼率情況。所提出的編碼方案在一定程度上可以滿足可分級(jí)視頻編碼方案中對(duì)幀差圖像編碼的需求。

參考文獻(xiàn)

[1] W.Li. Overview of fine granularity scalability in MPEG-4 video standard.[J] IEEE Transactions on Circuits and Systems for Video Technology. 2001,11(3):301-317.

[2] 王相海.基于小波的圖像和視頻可分級(jí)編碼研究[D].南京:南京大學(xué),2001,6.

[3] 孫曉艷,高文,吳楓,等.基于宏塊的具有時(shí)域和SNR精細(xì)可伸縮的視頻編碼[J].計(jì)算機(jī)學(xué)報(bào),2003.26 (3):345-352.

[4] Reichel, J. Schwarz H,Wien(eds.) M, Scalable Video Coding – Working Draft 1, ,Joint Video Team(JVT), Doc. JVT-N020[M], Hong Kong,CN,Jan.2005.

[5] 王相海.圖像可分級(jí)編碼研究進(jìn)展[J].中國(guó)圖象圖形學(xué)報(bào),2006,11(8):1051-1061.

[6] 宋傳鳴,王相海.小波域視頻運(yùn)動(dòng)估計(jì)研究進(jìn)展[J].計(jì)算機(jī)學(xué)報(bào), 2005, 28(10): 1716-1727.

[7] Sweldens W. The lifting Scheme: A Construction of Second Generation Wavelets. Technical Report. Industrial Mathematics Initiative [M]. Department of mathematics, University of South Carolina, 1995.

[8] Mallat S.G., theory A for multiresolution signal decompos -ition: The wavelet representation [J]. IEEE Trans. Pattern Analysis and Machine Intell, 1989,11(7):674-693

[9] Kasner J.H.,.Marcellin M.W.Universal trellis coded quantization [J].IEEE Trans. Image Pro., 1999,8(12):1677 -1678.

[10] Stephane G.Mallat, A Theory for Multiresolution Signal Decomposition:The Wavelet Representation[J]. IEEE Transactions on Pattern Analysis And Machine Intelligence,1989,7(2):674-693.

收稿日期：（2015.03.17）

作者簡(jiǎn)介：劉丹（1981-），女，遼寧師范大學(xué)，計(jì)算機(jī)與信息技術(shù)學(xué)院，講師，博士研究生，研究方向：圖像編碼、多媒體信息處理，大連，116029宋傳鳴（1980-），男，遼寧師范大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院，南京大學(xué)計(jì)算機(jī)軟件新技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，副教授，博士，研究方向：多媒體信息處理，南京，210093

基金項(xiàng)目：遼寧省教育廳科學(xué)研究一般項(xiàng)目（L2011192）；大連市科學(xué)技術(shù)基金計(jì)劃項(xiàng)目（2013J21DW027）

文章編號(hào)：1007-757X(2015)12-0005-06

中圖分類號(hào)：TP391

文獻(xiàn)標(biāo)志碼：A