摘 要:提出一種時(shí)域加強(qiáng)并結(jié)合時(shí)間軸穩(wěn)定性碼率控制的三維小波變換的視頻圖像編碼方法。該算法根據(jù)人類視覺(jué)系統(tǒng)(HVS的特性對(duì)視頻圖像不同頻率的數(shù)據(jù)進(jìn)行粗細(xì)不同的量化,可以很好地解決當(dāng)圖像運(yùn)動(dòng)變化較大時(shí)所產(chǎn)生的大數(shù)據(jù)量的問(wèn)題;該算法無(wú)運(yùn)動(dòng)估計(jì)和補(bǔ)償環(huán)節(jié),降低了復(fù)雜度;采用提升型變換可以節(jié)省內(nèi)存空間并提高運(yùn)算速度;進(jìn)行了碼率控制,得到了良好的時(shí)間軸穩(wěn)定性,提高了視頻圖像的清晰度和流暢度。
關(guān)鍵詞:小波變換;視頻壓縮;提升型算法;視覺(jué)閾值量化;時(shí)間軸碼率控制
Research on Video Compression Algorithm Based on Wavelet Transform
LIU Pingni,LIU Xiaohong,WANG hihu
(Air Force Engineering University,Xi′an,710077,China
Abstract:This thesis presents a video image compression method of 3D wavelet transformation with temporal enhancement and the rate control of temporal stability.This algorithm based on the Human Visual System (HVS performs different ranges quantification to different frequency data of video image,to solve the problem that the large number of data is created when motion is acute.Experiment shows this algorithm will become more simple,save memory space,improve operation speed,get good temporal stability and improve the articulation and fluency of video image.The simulation shows it is valid and feasible.
eywords:wavelet transform;video compression;lifting scheme;HVS threshold quantization;temporal rate control
1 引 言
隨著網(wǎng)絡(luò)和多媒體技術(shù)的迅速發(fā)展,特別是3G技術(shù)的逐漸普及,多媒體信息特別是視頻圖像信息將越來(lái)越豐富。對(duì)數(shù)據(jù)量龐大的視頻圖像信息進(jìn)行壓縮是非常必要的,因此視頻圖像的壓縮也一直吸引著廣大研究者進(jìn)行不斷深入的探索。
小波變換具有良好的時(shí)、頻局域性,并且由于其在非平穩(wěn)圖像信號(hào)分析方面的靈活性和適應(yīng)人眼視覺(jué)特性的能力,已經(jīng)成為圖像編碼的有力工具。應(yīng)用三維小波變換進(jìn)行視頻壓縮編碼,需考慮選用時(shí)、空域2組小波濾波器組。時(shí)域選用階數(shù)較低的濾波器組,而空域的濾波器組的選擇與靜止圖像變換編碼相似,常用的是雙正交D 9/7濾波器組,但是它的計(jì)算量較大,因此采用提升方法來(lái)實(shí)現(xiàn),并且對(duì)提升格式的參數(shù)進(jìn)行調(diào)整,可進(jìn)一步減少運(yùn)算量。
2 基于提升格式的三維小波變換的視頻編碼系統(tǒng)
本文采用的視頻編碼系統(tǒng)主要是由三維小波變換、量化、熵編碼和碼流組裝4個(gè)部分組成,如圖1所示。設(shè)圖像序列有,M×N×L個(gè)像素,M,N分別為圖像的列、行數(shù),L為一組中的幀數(shù)。首先,對(duì)輸入的L,幀圖像進(jìn)行三維提升型小波變換。然后用基于HVS的視覺(jué)閾值曲線對(duì)各個(gè)子帶的小波系數(shù)進(jìn)行量化,且把每個(gè)子帶進(jìn)一步分成固定大小的塊。之后對(duì)每個(gè)子塊進(jìn)行位平面熵編碼,并得到各塊的率失真曲線。最后,在碼流組裝過(guò)程中進(jìn)行碼流分配。該系統(tǒng)的解碼過(guò)程就是其逆過(guò)程。
3 算法實(shí)現(xiàn)
(1 小波分解:本文采用提升型小波變換對(duì)視頻信號(hào)進(jìn)行3級(jí)的三維小波分解得到垂直、水平和幀方向的三維小波子帶。得到一個(gè)低頻分辨率的圖像逼近LLL3和代表不同分辨率、不同方向上的視頻序列細(xì)節(jié)信息的高頻三維小波時(shí)間軸上的高頻子帶采用本文的閾值量化法進(jìn)行量化。時(shí)間軸低頻子帶的能量要高于高頻子帶,當(dāng)運(yùn)動(dòng)劇烈時(shí),經(jīng)小波分解后的時(shí)間軸高頻子帶內(nèi)的系數(shù)會(huì)急劇增大,會(huì)影響算法的整體壓縮效果,而時(shí)間軸低頻子帶其積聚了圖像信息的大部分能量,所以不能引入太大的失真。
(2 基于HVS的閾值量化:本文采用的量化方法是利用視覺(jué)門限曲線[1]與小波系數(shù)的關(guān)系來(lái)構(gòu)造單位小波變換系數(shù)的量化矩陣??臻g變換小波是雙正交D 9/7濾波器組,文獻(xiàn)[2]中給出圖像壓縮中最佳小波基D 9/7閾值量化因子矩陣,以該矩陣為基礎(chǔ)推斷三維小波變換系數(shù)的量化矩陣[3]。當(dāng)視頻圖像序列中物體的運(yùn)動(dòng)變化很快時(shí),在三維小波變換系數(shù)時(shí)間軸上的高頻子帶中會(huì)產(chǎn)生較大的系數(shù)值,其量化后的數(shù)值依然很大,所以采用如下量化方法。在量化中設(shè)立一個(gè)閾值T,以小波分解系數(shù)的均方誤差作為判斷準(zhǔn)則,設(shè)量化矩陣為[WTHX]Q[WTBX],對(duì)系數(shù)按照下式量化:
(3 熵編碼:量化后的每個(gè)子帶被進(jìn)一步分成固定大小的塊,并對(duì)每個(gè)子塊采用位平面技術(shù)分別進(jìn)行熵編碼。嵌入式位平面編碼器按照位平面從最高有效位N-1~0降序地進(jìn)行編碼,因此在截取壓縮碼流時(shí),先保證所有系數(shù)的最高有效位平面的優(yōu)先傳輸,保證碼流的解碼質(zhì)量。在每個(gè)編碼之后都同時(shí)記錄當(dāng)前編碼的碼率R和對(duì)應(yīng)的失真D,得到的率失真曲線將用于后面的碼流組裝。
(4 碼流組裝:在所有的系數(shù)塊完成編碼后,根據(jù)最小化全局失真的原則用碼流組裝對(duì)各個(gè)塊的碼流進(jìn)行碼率分配。原始的碼率控制方法采用全局最優(yōu)的碼率控制,會(huì)導(dǎo)致幀方向上質(zhì)量的顫抖。本文結(jié)合率失真優(yōu)化和幀方向上質(zhì)量平穩(wěn)2方面的要求,沿幀方向上采用新的碼率分配方法,同時(shí)在沿水平和垂直方向上保持了率失真優(yōu)化的方法。即對(duì)于同一時(shí)間軸小波子帶的分塊都采用同一斜率來(lái)選取截?cái)帱c(diǎn);對(duì)于不同時(shí)間軸小波子帶的分塊,按照不同的斜率來(lái)截?cái)嘁哉{(diào)整時(shí)間軸方向的穩(wěn)定性。可以根據(jù)式(2的失真比例條件來(lái)調(diào)整截?cái)帱c(diǎn)的斜率。
此處,δi為等式(2給出的理論失真值,m,為時(shí)間軸的小波子帶個(gè)數(shù)。
前面的熵編碼過(guò)程中已經(jīng)計(jì)算并保存了每個(gè)塊的率失真曲線。為了使先傳輸?shù)拇a率對(duì)信息失真度的降低最快,需要保證率失真的凸性,因此按照文獻(xiàn)[5]中方法對(duì)每個(gè)塊的率失真曲線采取凸包絡(luò)處理。每個(gè)塊的失真根據(jù)所處的小波子帶乘上一個(gè)能量權(quán)重,以利用小波域的失真估計(jì)圖像空域的失真:
此處,w表示提升型小波合成濾波器帶來(lái)的能量增益。對(duì)于雙正交D9/7濾波器,低通增益wL=1.299,高通增益為wH=0.787。在三維方向上共經(jīng)過(guò)n個(gè)低通和m個(gè)高通提升型濾波器的小波子帶,能量增益為各層增對(duì)所有的塊的率失真曲線,找出聯(lián)合最優(yōu)的率失真斜率點(diǎn),并將碼流在該點(diǎn)截?cái)?,然后將所有塊中在同一斜率切點(diǎn)截?cái)嗟玫降拇a流片斷組合成最終的壓縮碼流。最優(yōu)斜率能夠得出最接近目標(biāo)碼率的公共斜率,每個(gè)系數(shù)塊的截?cái)啻a率長(zhǎng)度也作為頭信息記錄在壓縮碼流中,作為對(duì)壓縮碼流隨機(jī)解碼時(shí)的索引。
4 實(shí)驗(yàn)結(jié)果
本文利用上述的視頻編碼方法對(duì)QCIF格式的標(biāo)準(zhǔn)視頻序列Foreman和Akiyo序列進(jìn)行壓縮編碼,每幀176×144的像素,全長(zhǎng)300幀,幀率為每秒30幀。在編解碼過(guò)程中,取L=6幀為一組進(jìn)行三維小波變換??蓪oreman和Akiyo序列分別壓縮到0.4 bpp和0.1 bpp。根據(jù)式(2可計(jì)算出時(shí)間軸平穩(wěn)條件下各級(jí)D 9/7濾波器的理論時(shí)間軸R-D斜率比例,來(lái)控制時(shí)間軸率失真截?cái)嘈甭省*?/p>
比較該編碼算法和MPEG-4的VM 16.0版本的性能。對(duì)于Foreman,其優(yōu)于采用“IPP…”GOP結(jié)構(gòu)的MPEG-4平均0.3 dB;其平均壓縮質(zhì)量Akiyo與相近。如圖2所示,其中“—”代表本文中算法,“▲” 代表“IPP…” GOP結(jié)構(gòu)的MPEG-4。Foreman序列與Akiyo序列如圖2所示。
由圖2可以看出,新的視頻圖像編碼方法對(duì)于像Foreman 這樣圖像背景比較復(fù)雜,且場(chǎng)景中的物體運(yùn)動(dòng)較大的圖像,該方法仍能在較大的壓縮比下得到重建質(zhì)量良好的視頻圖像,對(duì)于這種大部分區(qū)域的運(yùn)動(dòng)很少,時(shí)間軸上的顫抖不是很明顯,可以保持三維小波變換編碼的特點(diǎn),在高的壓縮比之下重建圖像仍然能夠得到較高的圖像質(zhì)量。這說(shuō)明本文所提出的方法是有所改進(jìn)的,特別是對(duì)于運(yùn)動(dòng)變化較快的圖像。)
根據(jù)文獻(xiàn)[5]提出的視頻序列質(zhì)量的評(píng)價(jià)方法,對(duì)Foreman和Akiyo這2段視頻序列圖像分別采用本文中的算法和MPEG-4的VM 16.0“IPP…” GOP結(jié)構(gòu)重建后的圖像序列進(jìn)行評(píng)價(jià)。下面分別給出視頻清晰度和流暢度評(píng)價(jià)結(jié)果。(1 根據(jù)1段視頻清晰度的評(píng)價(jià)公式,可得新算法和GOP結(jié)構(gòu)對(duì)Foreman重建后的視頻清晰度分別為27.37和28.64;Akiyo的視頻清晰度分別為32.44和29.61。從視覺(jué)效果來(lái)看,新算法重建后的視頻序列的清晰度還是較好,且Akiyo的清晰度更好。
(2 根據(jù)一段視頻流暢性指標(biāo)的評(píng)價(jià)公式,可得新算法和GOP結(jié)構(gòu)對(duì)視頻序列Foreman的流暢度10.56和12.13; Akiyo的原始和重建后的視頻流暢度8.87和9.11。從視覺(jué)效果來(lái)看,新算法重建后的視頻序列具有很好的流暢性,特別是對(duì)于Foreman序列。
5 結(jié) 語(yǔ)
本文利用視覺(jué)特性曲線對(duì)三維小波變換后的系數(shù)進(jìn)行量化,采用具有時(shí)間軸穩(wěn)定性的碼率控制方法,通過(guò)控制各小波時(shí)間軸子帶的失真比例來(lái)分配碼率,均衡控制解碼后時(shí)間軸信號(hào)的失真。實(shí)驗(yàn)結(jié)果表明,該方法的運(yùn)算復(fù)雜度低,有效降低存儲(chǔ)空間并提高運(yùn)算速度。而且該編碼器壓縮的視頻具有良好的時(shí)間軸平穩(wěn)性,因而更加適合用戶的視覺(jué)要求。同時(shí),對(duì)于以往小波編碼中質(zhì)量較差的一些幀,壓縮質(zhì)量有所提高。
參 考 文 獻(xiàn)
[1]全予一.數(shù)字視頻圖像處理[M].北京:電子工業(yè)出版社,2005.
[2]Waton A B,Yang Gu,Solomon.Visibility of Wavelet Quantization Noise[J].IEEE Trans.Image Process.,1997(6:1 164-1 175.
[3]馬宣.基于三維小波變換的視頻圖像壓縮算法研究[M].西安:西安建筑科技大學(xué)出版社,2006.
[4]羅琳.基于小波的高維圖像視頻媒體壓縮[D].合肥:中國(guó)科技大學(xué),2003.
[5]沈蘭蓀,卓力.小波編碼與網(wǎng)絡(luò)視頻傳輸[M].北京:科學(xué)出版社,2005.