程德強(qiáng),姜海龍,鄭 珍,郭 政
(中國(guó)礦業(yè)大學(xué) 信息與電氣工程學(xué)院,江蘇 徐州 221008)
基于可變塊運(yùn)動(dòng)矢量的邊信息生成算法
程德強(qiáng),姜海龍,鄭 珍,郭 政
(中國(guó)礦業(yè)大學(xué) 信息與電氣工程學(xué)院,江蘇 徐州 221008)
在分布式視頻編碼系統(tǒng)中,針對(duì)圖像中細(xì)節(jié)豐富的區(qū)域易造成嚴(yán)重的塊效應(yīng),提出了一種基于可變塊運(yùn)動(dòng)矢量的邊信息生成算法。根據(jù)前后相鄰關(guān)鍵幀對(duì)應(yīng)塊的相關(guān)性,將像素塊分為保留塊和運(yùn)動(dòng)塊。對(duì)保留塊直接作保留處理,對(duì)運(yùn)動(dòng)塊中的像素塊繼續(xù)進(jìn)行分割并計(jì)算子塊的初始運(yùn)動(dòng)矢量。再將全部塊的運(yùn)動(dòng)矢量通過加權(quán)自適應(yīng)運(yùn)動(dòng)補(bǔ)償?shù)玫竭呅畔?。?shí)驗(yàn)結(jié)果表明,對(duì)于運(yùn)動(dòng)較劇烈復(fù)雜的視頻序列,該算法能夠提高邊信息生成質(zhì)量, 并且使得改進(jìn)后的邊信息PSNR值提高了0.98~1.33 dB。
視頻編碼;運(yùn)動(dòng)估計(jì);塊分類;邊信息
近年來(lái),隨著信息技術(shù)和無(wú)線網(wǎng)絡(luò)的飛快發(fā)展,多媒體數(shù)據(jù)視頻應(yīng)用變得越來(lái)越普及。但是這些視頻應(yīng)用受到設(shè)備的帶寬、電池耗電量、以及計(jì)算能力大小的問題,所以要求編碼端的復(fù)雜度很小但解碼端的復(fù)雜度可以很高,而以往的視頻編碼技術(shù)顯然已經(jīng)不能達(dá)到這些要求,必須尋找到新的視頻壓縮技術(shù)。為克服這些缺陷,大家開始關(guān)注分布式視頻編碼框架,它具有很多優(yōu)勢(shì),分布式無(wú)損編碼理論[1]以及解碼端邊信息的有損編碼理論[2]是DVC理論的依據(jù)所在。該分布式視頻編碼通過在解碼端充分利用信號(hào)的相關(guān)性,將復(fù)雜度從編碼端轉(zhuǎn)移到解碼端,其中邊信息生成的質(zhì)量對(duì)于編碼性能發(fā)揮著十分關(guān)鍵的作用。因?yàn)樯傻倪呅畔①|(zhì)量,直接影響到視頻壓縮的效率和圖像的效果。
對(duì)于如何得到更加準(zhǔn)確的運(yùn)動(dòng)矢量仍是生成高質(zhì)量邊信息非常重要的因素。Aaron等人提出了基于運(yùn)動(dòng)補(bǔ)償時(shí)域內(nèi)插[3],首先對(duì)已解碼的關(guān)鍵幀進(jìn)行運(yùn)動(dòng)估計(jì),然后計(jì)算幀間的運(yùn)動(dòng)軌跡,再依據(jù)在很短時(shí)間內(nèi)物體做勻速直線運(yùn)動(dòng)假設(shè)的原理來(lái)估計(jì)邊信息。為了獲得更加準(zhǔn)確的運(yùn)動(dòng)估計(jì)矢量,L.Natario 和J.Ascenso 等人提出對(duì)前后已解碼的關(guān)鍵幀進(jìn)行前向和雙向運(yùn)動(dòng)估計(jì)[4-5],并利用空間矢量平滑技術(shù)來(lái)平滑運(yùn)動(dòng)矢量場(chǎng),進(jìn)一步優(yōu)化運(yùn)動(dòng)矢量。紀(jì)濤等人提出了一種基于混合模型的邊信息預(yù)測(cè)算法[6],該方法通過對(duì)塊匹配效果較差的區(qū)域采用光流法重新估計(jì)其運(yùn)動(dòng)矢量從而獲得效果較好的邊信息。S.Ye等人結(jié)合傳統(tǒng)運(yùn)動(dòng)估計(jì),對(duì)已解碼的WZ幀重新進(jìn)行運(yùn)動(dòng)估計(jì)[7],得到更加精準(zhǔn)的運(yùn)動(dòng)矢量。后來(lái)研究者們對(duì)于高質(zhì)量邊信息的生成都是基于怎樣才能進(jìn)行精確的運(yùn)動(dòng)估計(jì),使得到的運(yùn)動(dòng)矢量更加接近真實(shí)的運(yùn)動(dòng)矢量。
以上這些方法都必須假設(shè)每個(gè)劃分的像素塊在很短的時(shí)間內(nèi)進(jìn)行勻速直線運(yùn)動(dòng),但現(xiàn)實(shí)生活中的視頻序列幀幾乎沒有這樣假設(shè)的視頻,所以對(duì)于運(yùn)動(dòng)畫面較為劇烈的區(qū)域,就會(huì)造成生成的邊信息中宏塊與宏塊之間不連續(xù)和重疊的問題。針對(duì)上述問題,本文提出了一種可變塊運(yùn)動(dòng)矢量的邊信息生成算法,通過把宏塊劃分為尺寸更小的匹配塊進(jìn)行搜索,以獲取更多運(yùn)動(dòng)矢量的細(xì)節(jié),實(shí)驗(yàn)結(jié)果表明,本文提出的改進(jìn)算法能夠使生成的圖像質(zhì)量有所提高。
1.1 基于像素域的分布式視頻編碼系統(tǒng)
像素域的分布式視頻編碼系統(tǒng)基于信源有損編碼理論,Aaron 等人提出了利用幀內(nèi)編碼和幀間解碼的DVC結(jié)構(gòu)[8],如圖1所示。系統(tǒng)按照奇偶數(shù)將視頻序列分為關(guān)鍵幀(K幀)和Wyner-Ziv幀(WZ幀)兩種類型。在編碼端,K幀采用幀內(nèi)編碼方式;WZ幀進(jìn)行編碼時(shí),應(yīng)將對(duì)應(yīng)位置的DCT轉(zhuǎn)換系數(shù)經(jīng)過量化器進(jìn)行量化,產(chǎn)生量化符號(hào)流,然后將量化符號(hào)流通過LDPC 編碼器生成校驗(yàn)比特,緩沖器會(huì)暫時(shí)存儲(chǔ)系統(tǒng)的校驗(yàn)碼。在解碼端,K幀只需要普通的幀內(nèi)解碼即可,然后通過已解碼的K幀得到邊信息。然后,解碼器再利用收到的校驗(yàn)比特和邊信息進(jìn)行重構(gòu)。在達(dá)到良好的解碼效果時(shí)所需的校驗(yàn)比特就越少,系統(tǒng)的壓縮性能就越好。
圖1 Wyner-Ziv視頻編/解碼系統(tǒng)
1.2 傳統(tǒng)邊信息生成算法
邊信息是指對(duì)原始WZ幀的估計(jì),生成方法中比較典型的有運(yùn)動(dòng)補(bǔ)償內(nèi)插法和運(yùn)動(dòng)補(bǔ)償外推法,通過研究發(fā)現(xiàn),內(nèi)插法充分利用前后相鄰幀之間的相關(guān)運(yùn)動(dòng)信息,產(chǎn)生的邊信息較外推法效果更理想[9]。
1.2.1 前向運(yùn)動(dòng)估計(jì)法
生成前向運(yùn)動(dòng)估計(jì)的方法如圖2所示,Y2k表示需要生成的邊信息幀,X2k-1表示前關(guān)鍵幀,X2k+1表示后關(guān)鍵幀。為了預(yù)測(cè)插值幀Y2k中的塊B2k的運(yùn)動(dòng)矢量,首先在后一關(guān)鍵幀中找到與塊X2k+1相同位置的塊B2k,用B2k+1在前一關(guān)鍵幀X2k-1進(jìn)行匹配計(jì)算,找到最佳匹配塊,通過B2k+1與B2k-1之間的位移矢量得出前后關(guān)鍵幀間前向運(yùn)動(dòng)矢量MV2k,由于宏塊的運(yùn)動(dòng)連續(xù)且視頻幀的時(shí)間間隔相同,因而B2k的前向運(yùn)動(dòng)矢量MVf2k為MV2k的一半,即滿足表達(dá)式(1)
MVf2k=MV2k/2
(1)
邊信息幀Y2k可由式(2)得到
Y2k(p)=X2k-1(p+MVf2k)
(2)
式中:p是邊信息中像素的坐標(biāo)。
圖2 前向運(yùn)動(dòng)估計(jì)
1.2.2 雙向運(yùn)動(dòng)估計(jì)法
由于前向運(yùn)動(dòng)估計(jì)獲得的圖像容易發(fā)生相鄰塊區(qū)域的不連續(xù)和重疊現(xiàn)象,從而使獲得的運(yùn)動(dòng)矢量誤差較大,針對(duì)這一現(xiàn)象,J.Ascenso等人以前向運(yùn)動(dòng)估計(jì)為基礎(chǔ),提出了雙向運(yùn)動(dòng)估計(jì)方法[10],如圖3所示。
圖3 雙向運(yùn)動(dòng)佑計(jì)
雙向運(yùn)動(dòng)估計(jì)假設(shè)插值幀到前一關(guān)鍵幀的運(yùn)動(dòng)矢量和到后一關(guān)鍵幀的運(yùn)動(dòng)矢量是對(duì)稱的,即滿足式(3)和式(4)
(x1,y1)=(xk,yk)+MV(Bk)
(3)
(x2,y2)=(xk,yk)+MV(Bk)
(4)
式中:(x1,y1)和(x2,y2)分別表示X2k-1幀和X2k-1幀中相應(yīng)宏塊的坐標(biāo);(xk,yk)生成的邊信息相應(yīng)宏塊的坐標(biāo);MV(Bk)表示在前向運(yùn)動(dòng)估計(jì)中得到的運(yùn)動(dòng)矢量的一半。由于插值幀Y2k到前后兩個(gè)關(guān)鍵幀的時(shí)間間隔是相等的,從而可以得到估計(jì)的預(yù)測(cè)幀,如式(5)所示
(5)
1.2.3 自適應(yīng)加權(quán)運(yùn)動(dòng)場(chǎng)濾波
通過雙向運(yùn)動(dòng)估計(jì)得到的運(yùn)動(dòng)矢量容易使某一塊的運(yùn)動(dòng)矢量的方向和周圍塊的運(yùn)動(dòng)方向不一致,從而使獲得的內(nèi)插幀出現(xiàn)嚴(yán)重的塊效應(yīng)問題,如圖4所示,獲得的運(yùn)動(dòng)矢量比較混亂,當(dāng)前宏塊B0的運(yùn)動(dòng)矢量方向與其相鄰八個(gè)方向的宏塊的運(yùn)動(dòng)矢量截然相反,所以可以判斷B0宏塊的運(yùn)動(dòng)矢量很可能是一個(gè)局部最優(yōu)值,不能反映運(yùn)動(dòng)場(chǎng)的實(shí)際情況,會(huì)嚴(yán)重影響邊信息重建質(zhì)量。為了改善這一缺陷,可以通過采用空域平滑算法來(lái)修正錯(cuò)誤的運(yùn)動(dòng)矢量,因此卿粼波等人提出了一種自適應(yīng)加權(quán)運(yùn)動(dòng)場(chǎng)濾波算法[11],該算法通過有效利用塊匹配度和相鄰運(yùn)動(dòng)矢量的局部相關(guān)性,進(jìn)而達(dá)到優(yōu)化孤立異常運(yùn)動(dòng)矢量的目的。
圖4 方向不一致的相鄰塊運(yùn)動(dòng)矢量
如圖4中為MVi(i=0,1,…,8)為B0塊及其相鄰8個(gè)塊的運(yùn)動(dòng)矢量,則B0塊進(jìn)行自適應(yīng)加權(quán)運(yùn)動(dòng)場(chǎng)濾波后輸出的運(yùn)動(dòng)矢量MV滿足式(6)
(6)
式中:權(quán)重wi由式(8)決定,將每個(gè)MVi(i=0,1,…,8)作為當(dāng)前塊的運(yùn)動(dòng)矢量,由式(7)計(jì)算雙向運(yùn)動(dòng)矢量殘差D(MVi)
(7)
式中:(MVix,MViy)是候選塊的運(yùn)動(dòng)矢量。
wi=D(MV0)/D(MVi)
(8)
顯然,當(dāng)D(MVi)越大,則權(quán)重wi越小,MVi輸出的可能性也就越小,反之亦然。
運(yùn)動(dòng)估計(jì)的基本思想是將每一幀圖像分成多個(gè)互不重疊的宏塊,然后對(duì)每個(gè)宏塊進(jìn)行運(yùn)動(dòng)搜索,找出與當(dāng)前塊的相似度最高的宏塊,該塊即為匹配塊。然而對(duì)于區(qū)域運(yùn)動(dòng)豐富且變化多的視頻幀圖像,多個(gè)不同方向的運(yùn)動(dòng)矢量就可能存在于同一個(gè)宏塊里,導(dǎo)致宏塊的實(shí)際運(yùn)動(dòng)軌跡并非一個(gè)運(yùn)動(dòng)矢量就能表示。為了使得到的運(yùn)動(dòng)矢量場(chǎng)更加接近真實(shí)運(yùn)動(dòng)矢量場(chǎng),可以考慮把這個(gè)宏塊劃分為尺寸更小的匹配塊進(jìn)行搜索,以獲取更多運(yùn)動(dòng)矢量的細(xì)節(jié)[12]。所以本文提出了一種基于可變塊的運(yùn)動(dòng)矢量?jī)?yōu)化算法。
2.1 對(duì)塊進(jìn)行分類
本文采用的塊大小是16×16,將視頻序列的前關(guān)鍵幀X2k-1進(jìn)行分塊,并將對(duì)應(yīng)的像素塊標(biāo)記為B2k-1,j,對(duì)后關(guān)鍵幀X2k+1進(jìn)行分塊,并將對(duì)應(yīng)的像素塊標(biāo)記為B2k+1,j,同時(shí)將邊信息幀對(duì)應(yīng)像素塊標(biāo)記為B2k,j。
將前后關(guān)鍵幀X2k-1、X2k+1的對(duì)應(yīng)像素塊B2k-1,j,B2k+1,j按照式(9)分別進(jìn)行求和絕對(duì)誤差SAD計(jì)算,當(dāng)SAD值越小時(shí)表明其相關(guān)性越強(qiáng)
(9)
由于視頻序列的運(yùn)動(dòng)復(fù)雜度不一樣,所以對(duì)于前后運(yùn)動(dòng)一致性較好的區(qū)域(如靜止的背景)采用較大的塊;而對(duì)于前后運(yùn)動(dòng)變化較大的區(qū)域(如運(yùn)動(dòng)的物體)采用較小的塊,并重新對(duì)這些小塊進(jìn)行運(yùn)動(dòng)估計(jì)。通過以上分析,首先設(shè)定閾值T1,然后對(duì)求和絕對(duì)誤差值SAD和T1進(jìn)行比較,將像素塊分為運(yùn)動(dòng)塊和保留塊兩類,如圖5所示。具體計(jì)算步驟如下:
1)計(jì)算各對(duì)應(yīng)塊的SAD并與T1進(jìn)行比較。若SAD大于T1,則認(rèn)為像素塊對(duì)B2k-1,j和B2k+1,j的運(yùn)動(dòng)劇烈程度較大,將其像素塊對(duì)判定為運(yùn)動(dòng)塊,否則將其判定為保留塊。
2)對(duì)于運(yùn)動(dòng)塊,將該16×16的塊繼續(xù)劃分為8×8的子塊,并對(duì)這些塊做運(yùn)動(dòng)估計(jì),重新計(jì)算SAD′的值,重新設(shè)定新的閾值T2,比較SAD′和T2的大小,若SAD′大于T2,則轉(zhuǎn)到第3步,并判定該子塊也是運(yùn)動(dòng)塊,否則是保留塊。
3)將8×8的運(yùn)動(dòng)子塊再劃分為4×4的子塊,并對(duì)這些塊做運(yùn)動(dòng)估計(jì),算法結(jié)束。
圖5 可變塊的劃分
2.2 計(jì)算子塊初始運(yùn)動(dòng)矢量
由于運(yùn)動(dòng)矢量在空域上是高度相關(guān)的,因此可以根據(jù)式(7),分別計(jì)算當(dāng)前子塊B0的8個(gè)相鄰子塊的雙向運(yùn)動(dòng)矢量殘差D(MVi),并認(rèn)為該子塊的初始運(yùn)動(dòng)矢就是D(MVi)值最小的那個(gè)塊的運(yùn)動(dòng)矢量。但是如圖4所示,由于這8個(gè)子塊里面有的子塊可能來(lái)源于同一個(gè)父塊,會(huì)發(fā)生重復(fù)現(xiàn)象,但是以當(dāng)前子塊為中心的兩條對(duì)角線上對(duì)應(yīng)的4個(gè)子塊可以替代所有的8個(gè)相鄰塊,所以只要選取兩條對(duì)角線上的4個(gè)子塊即可[13]。具體計(jì)算步驟如下:
1)將內(nèi)插幀16×16的圖像運(yùn)動(dòng)塊劃分為8×8的子塊,并把16×16塊的運(yùn)動(dòng)矢量設(shè)定為其對(duì)應(yīng)的4個(gè)8×8子塊運(yùn)動(dòng)矢量,記為MV0。
4)經(jīng)過步驟1)~3),內(nèi)插幀運(yùn)動(dòng)矢量場(chǎng)已由16×16的塊表示成8×8的塊,保證了運(yùn)動(dòng)矢量的精度,提高了圖像的主觀質(zhì)量,重復(fù)步驟1)~3),可以獲得更加平滑、精確的4×4級(jí)運(yùn)動(dòng)矢量場(chǎng)。
2.3 多候選運(yùn)動(dòng)補(bǔ)償
因?yàn)橐曨l運(yùn)動(dòng)具有不確定性、復(fù)雜性以及圖像噪聲等原因,通過以上步驟計(jì)算獲得的運(yùn)動(dòng)矢量會(huì)存在一定的誤差,會(huì)使生成的邊信息幀中出現(xiàn)嚴(yán)重的塊效應(yīng)。為了克服上述缺陷,重疊塊運(yùn)動(dòng)補(bǔ)償方法可以減少塊效應(yīng)和改善圖像質(zhì)量,但是容易產(chǎn)生模糊和過平滑現(xiàn)象。因此,本文采用一種基于多候選運(yùn)動(dòng)矢量的加權(quán)自適應(yīng)運(yùn)動(dòng)補(bǔ)償算法來(lái)得到質(zhì)量更高的邊信息。
由于都是根據(jù)多假設(shè)運(yùn)動(dòng)補(bǔ)償?shù)姆椒?,因此本文提出的補(bǔ)償算法與重疊塊運(yùn)動(dòng)補(bǔ)償原理一樣。多假設(shè)運(yùn)動(dòng)補(bǔ)償是基于去噪的思想,選擇多個(gè)質(zhì)量差不多的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)信號(hào)作為原始信號(hào)的候選信號(hào),然后將多個(gè)預(yù)測(cè)信號(hào)加權(quán)線性組合處理,就達(dá)到去噪的目的,從而獲得了更加精確的預(yù)測(cè)值[14]。
如圖6所示,由當(dāng)前塊及其相鄰塊的運(yùn)動(dòng)矢量一起當(dāng)著當(dāng)前塊的候選運(yùn)動(dòng)矢量集,每個(gè)候選矢量都可以生成一個(gè)預(yù)測(cè)信號(hào)Yi,如式(10)所示
X2i+1(m-MVkx,n-MVky)]
(10)
式中:(m,n)表示當(dāng)前塊;i∈[0,N]是候選塊的系數(shù)索引;(MVkx,MVky)是候選塊的運(yùn)動(dòng)矢量。當(dāng)進(jìn)行線性組合時(shí),各個(gè)預(yù)測(cè)信號(hào)的質(zhì)量決定預(yù)測(cè)信號(hào)的權(quán)值wk,通常情況,雙向預(yù)測(cè)誤差越小,表示前向和后向運(yùn)動(dòng)補(bǔ)償塊的匹配度越高,生成當(dāng)前塊的預(yù)測(cè)質(zhì)量效果就越佳,因此wk由式(11)表示為
wk= (X2k-1(m+MVkx,n+MVky)-
X2k+1(m-MVkx,n-MVky))-1
(11)
加權(quán)自適應(yīng)的運(yùn)動(dòng)補(bǔ)償插值結(jié)果Y2k(m,n)如式(12)所示
(12)
本文分別選擇對(duì)Foreman序列和Coastguard序列的前100幀進(jìn)行編碼測(cè)試,其中Foreman序列背景時(shí)有鏡頭搖晃的場(chǎng)景,前景運(yùn)動(dòng)強(qiáng)度中等,Coastguard紋理豐富細(xì)節(jié)變化多,運(yùn)動(dòng)強(qiáng)度中等。實(shí)驗(yàn)條件及假設(shè):序列格式均為QCIF(176×144),設(shè)置系統(tǒng)GOP為2,且認(rèn)為K幀能完好地傳到解碼端。為更好地說(shuō)明算法的優(yōu)越性,在進(jìn)行測(cè)試過程中只考慮WZ幀亮度分量部分。實(shí)驗(yàn)結(jié)果如圖6和圖7所示。圖6a和圖7a分別表示Foreman序列和Coastguard序列的第25幀(前關(guān)鍵幀),圖6b和圖7b分別表示Foreman序列和Coastguard序列的第27幀(后關(guān)鍵幀),圖6c和圖7c分別表示Foreman序列和Coastguard序列的第26幀(WZ幀),圖6d和圖7d分別表示Foreman序列和Coastguard序列用本文算法生成的邊信息。從圖中可以看出本文算法生成的邊信息幀基本上與原始幀沒有差別。
圖6 本文算法生成的Foreman邊信息
圖7 本文算法生成的Coastguard邊信息
計(jì)算邊信息的PSNR值采用如下方式:1)單向運(yùn)動(dòng)估計(jì);2)雙向運(yùn)動(dòng)估計(jì);3)AWMFF;4)可變宏塊大小法。測(cè)試結(jié)果如表1所示。
表1 不同算法生成邊信息的PSNR值比較dB
圖像PSNR單向雙向AWMFF可變宏塊Foreman3421345034723548Coastguard3372339134213505
如圖8和圖9所示,F(xiàn)oreman序列和Coastguard序列對(duì)應(yīng)3種不同方法下的PSNR分布曲線。
圖8 Foreman序列相應(yīng)生成邊信息幀的PSNR分布圖
圖9 Coastguard序列相應(yīng)生成邊信息幀的PSNR分布圖
從圖表可以看出,相比單向運(yùn)動(dòng)估計(jì),采用雙向運(yùn)動(dòng)估計(jì)方法可以使塊效應(yīng)減少,更加接近真實(shí)的圖像效果。由于AWMFF方法剔除了運(yùn)動(dòng)估計(jì)環(huán)節(jié)產(chǎn)生的部分錯(cuò)誤運(yùn)動(dòng)矢量,使運(yùn)動(dòng)矢量更接近真實(shí)的運(yùn)動(dòng)軌跡,從而提高了圖像的PSNR值。另外,通過圖表可以發(fā)現(xiàn),本文提出的改進(jìn)算法生成的邊信息質(zhì)量,在整個(gè)視頻序列上幾乎都要優(yōu)于其他方法。在碼率相同的情況下,對(duì)于Foreman序列,改進(jìn)的算法相比單向運(yùn)動(dòng)估計(jì)和雙向運(yùn)動(dòng)估計(jì),分別提高了1.27 dB和 0.98 dB。 而對(duì)于Coastguard序列,改進(jìn)的算法相比單向運(yùn)動(dòng)估計(jì)和雙向運(yùn)動(dòng)估計(jì),分別提高了1.33 dB和1.14 dB。如圖10和 圖11 所示,還可以通過邊信息的運(yùn)動(dòng)矢量圖來(lái)分析物體的運(yùn)動(dòng)情況,結(jié)合圖6和圖7,可以發(fā)現(xiàn)運(yùn)動(dòng)矢量圖與Foreman序列和Coastguard序列的運(yùn)動(dòng)情況基本保持一致。由此可見,本文算法通過在解碼端進(jìn)行更為精確可靠的運(yùn)動(dòng)估計(jì),使產(chǎn)生的邊信息圖像與原始幀誤差最小,即效果最好。
圖10 Foreman序列第26幀的邊信息運(yùn)動(dòng)矢量圖
圖11 Coastguard序列第26幀的邊信息運(yùn)動(dòng)矢量圖
如何生成更加準(zhǔn)確的邊信息是DVC系統(tǒng)中一個(gè)非常關(guān)鍵的技術(shù)。本文提出的基于可變塊運(yùn)動(dòng)矢量的邊信息生成算法,通過把宏塊劃分為尺寸更小的匹配塊進(jìn)行搜索,以獲取更多運(yùn)動(dòng)矢量的細(xì)節(jié)。實(shí)驗(yàn)結(jié)果表明,本文采用的算法對(duì)運(yùn)動(dòng)較為劇烈復(fù)雜的視頻序列效果更為理想,從而提高了系統(tǒng)的性能。對(duì)于今后的研究方向,研究者們可以針對(duì)不同運(yùn)動(dòng)劇烈程度的視頻序列,研究怎樣才能有效對(duì)塊的大小進(jìn)行分類,從而使系統(tǒng)的編碼性能縮小與H.264 Inter編碼方式的差距。
[1] SLEPIAN J D,WOLF J K. Noiseless coding of correlated information sources[J].IEEE Trans. Information Theory,1973(19):471-480.
[2] WYNER A D,ZIV J. The rate-distortion function for source coding with side information at the decoder[J]. IEEE Trans. Information Theory,1975,22(1):1-10.
[3] WORK C K,OSCAR C A. Fast motion compensated temporal interpolation for video[C]//Proc. Process of SPIE.Taipei,China:SPIE Press,1995:1108-1118.
[4] NATARIO L,BRITES C,ASCENSO J,et al. Extrapolating side information for low-delay pixel domain distributed video coding[C]//Proc. Int. Workshop on Very Low Bitrate Video Coding.[S.l.]:IEEE Press,2005:2-17.
[5] ASCENSO J,BRITES C,PEREIRA F. Improving frame interpolation with spatial motion smoothing for pixel domain distributed video coding[C]//Proc. 5th EURASIP Conf. on Speech and Image Processing,Multimedia Communications and Servers. Smolenice,Slovak Republic:[s.n.],2005:65-69.
[6] 紀(jì)濤.分布式視頻編碼中基于混合模型的邊信息生成算法[J].微電子學(xué)與計(jì)算機(jī),2010,38(9):16-19.
[7] YE S,OUARET M,DUFAUX F. Improved side information generation with iterative decoding and frame interpolation for distributed video coding[C]//Proc. 15th International Conference on Image Processing. San Deigo,USA:IEEE Press,2008:2228-2231.
[8] AARON A,ZHANG R,GIROD B.Wyner-Ziv coding of motion video[C]//Proc. Conference Record of the Asilomar Conference on Signals,Systems and Computers.[S.l.]:IEEE Press,2002:240-244.
[9] 尹明,蔡述庭,謝云.基于高斯混合模型的Wyner-Ziv視頻編碼[J].計(jì)算機(jī)學(xué)報(bào).2012,34(1):173-182.
[10] ASCENSO J,BRITES C,PERELRA F. Motion compensated refinement for low complexity pixel based distributed video coding[C]//Proc. IEEE International Conference on Advanced Video and Signal Based Surveillance. Como,Italy:IEEE Press,2005:1-5.
[11] 卿粼波,何小海,呂瑞,等.分布式視頻編碼中邊信息的多策略優(yōu)化[J].四川大學(xué)學(xué)報(bào),2008,39(12):7-12.
[12] 全子一.圖像信源壓縮編碼及信道傳輸理論與新技術(shù)[M].北京:北京工業(yè)大學(xué)出版社,2006.
[13] 劉東,杜明輝.基于塊的分布式視頻編碼邊信息生成技術(shù)[J].華南理工大學(xué)學(xué)報(bào):自然科學(xué)版,2011(39):32-38.
[14] 馬力,蘇卓涵,楊春玲.基于多假設(shè)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的邊信息改進(jìn)方法[J].計(jì)算機(jī)工程,2011,28(2):71-72.
責(zé)任編輯:時(shí) 雯
Side Information Generation Algorithm Based on Variable Block Motion Vector
CHENG Deqiang,JIANG Hailong,ZHENG Zhen,GUO Zheng
(DepartmentofInformationandElectricalEngineering,ChinaUniversityofMiningandTechnology,JiangsuXuzhou221008,China)
Aiming at the problem that areas which have rich details can result in serious blocking effects in a distributed video coding system,a side information generation algorithm based on variable block motion vector is proposed.The pixel blocks are divided into preservation blocks and motion blocks according to the correlation between the blocks in adjacent key frames.The preservation blocks are directly retained, and the pixel blocks existed in the motion blocks are continued to divide and its initial motion vectors of the sub-blocks are calculated.At last,in order to get improved side information,it uses the method of weighted adaptive motion compensation to process all the motion vectors of corresponding blocks.The experimental results show that, for the video sequence is severely complex, this algorithm can improve the quality of the side information generation and the PSNR of the improved method proposed in this paper can increase by 0.98~1.33 dB.
video coding; motion estimation; block-classified; side information
國(guó)家自然科學(xué)基金項(xiàng)目(51204175)
TN919.8
A
10.16280/j.videoe.2015.19.001
程德強(qiáng)(1979— ),教授,博士生導(dǎo)師,主要研究方向?yàn)閳D像處理與視頻信號(hào)編碼、多媒體信息傳輸;
姜海龍(1988— )碩士生,主要研究方向?yàn)橐曨l信號(hào)編碼與圖像處理技術(shù);
鄭 珍(1989— ),女,碩士生,主要研究方向?yàn)槎嗝襟w圖像傳輸、寬帶網(wǎng)絡(luò)技術(shù);
郭 政(1990— )碩士生,主要研究方向?yàn)榈V井圖像處理及應(yīng)用。
2015-03-14
【本文獻(xiàn)信息】程德強(qiáng),姜海龍,鄭珍,等.基于可變塊運(yùn)動(dòng)矢量的邊信息生成算法[J].電視技術(shù),2015,39(19).