左覓文,常 侃,施靜蘭,覃團(tuán)發(fā)

(廣西大學(xué)計(jì)算機(jī)與電子信息學(xué)院,南寧530004)

基于空時(shí)相關(guān)性的變采樣率分塊視頻壓縮感知*

左覓文,常 侃**,施靜蘭,覃團(tuán)發(fā)

(廣西大學(xué)計(jì)算機(jī)與電子信息學(xué)院,南寧530004)

現(xiàn)有的基于自適應(yīng)采樣率的分塊視頻壓縮感知方案通常根據(jù)時(shí)域相關(guān)性大小將圖像塊分為不同種類塊,并分別分配不同采樣率。這種采樣率分配方式對分類判決閾值較為敏感,導(dǎo)致圖像分類判決結(jié)果不可靠。針對此問題,在對圖像塊分類判決中綜合運(yùn)用空域-時(shí)域相關(guān)性,以提高圖像塊分類判決結(jié)果的可靠性。首先根據(jù)時(shí)域相關(guān)性利用閾值對當(dāng)前圖像塊進(jìn)行初次分類;其次利用空域相關(guān)性對初次分類結(jié)果進(jìn)行校正,確定最終分類判決結(jié)果。與現(xiàn)有變采樣率方案相比,提出的方案可獲得2 dB左右的峰值信噪比增益。

視頻圖像處理;壓縮感知;時(shí)域相關(guān)性;空域相關(guān)性;變采樣率

1 引 言

傳統(tǒng)的信號采樣過程遵循香農(nóng)(Shannon)采樣定理,即采樣速率必須大于等于原始信號帶寬的2倍。近年來,Donoho和Candes等人提出了壓縮感知(Compressive Sensing,CS)理論,以隨機(jī)采樣的方式用遠(yuǎn)低于香農(nóng)采樣定理要求的速率進(jìn)行采樣,同時(shí)在接收端利用信號的先驗(yàn)信息輔助重建信號。壓縮感知理論主要有3個(gè)組成部分:信號的稀疏變換、稀疏信號的測量及稀疏信號的重建算法[1-2]。

近年來出現(xiàn)了許多視頻壓縮感知(Compressive video Sensing,CVS)方案,在這類方案中,發(fā)送端通常為簡單的逐幀獨(dú)立采樣,復(fù)雜度較低;收端通常需要利用視頻內(nèi)的空域-時(shí)域相關(guān)性以及信號的先驗(yàn)信息進(jìn)行重建。常用的信號重建算法有貪婪算法、凸優(yōu)化方法、全變差(Total Variation,TV)范數(shù)法等。為了在相同的采樣率下獲取更高質(zhì)量的重構(gòu)圖像,除了在接收端使用先進(jìn)的重建算法外,還可以根據(jù)圖像內(nèi)容合理分配采樣率。目前已有一些學(xué)者提出了自適應(yīng)采樣方法,如:武明虎等人提出的自適應(yīng)方法根據(jù)視頻信號本身的局部稀疏度和遠(yuǎn)程稀疏度自適應(yīng)分配采樣率[3],但是,該算法重構(gòu)質(zhì)量較低; Akshay Soni和Jarvis Haupt提出的自適應(yīng)采樣方法利用自適應(yīng)的稀疏信號CS樹來自適應(yīng)進(jìn)行采樣測量[4],但是,該算法的復(fù)雜度較高;Garrett Warnell提出的自適應(yīng)方法,利用了前景與背景關(guān)注度不同自適應(yīng)分配采樣率[5],但該方法犧牲了背景的采樣率,導(dǎo)致背景的重構(gòu)質(zhì)量偏低;練秋生等人提出的自適應(yīng)方法利用時(shí)域相關(guān)性大小不同獲得自適應(yīng)采樣率[6],但是該方法忽視了單幀圖像中圖像塊間的空域相關(guān)性,對分類判決閾值較為敏感,導(dǎo)致圖像分類判決結(jié)果不可靠。

本文在文獻(xiàn)[6]的基礎(chǔ)上提出一種基于空時(shí)相關(guān)性的圖像塊分類判決方法。該方法在分類判決的過程中首先根據(jù)時(shí)域相關(guān)性利用閾值對當(dāng)前圖像塊進(jìn)行初次分類;其次利用空域相關(guān)性對初次分類結(jié)果進(jìn)行校正,確定最終分類判決結(jié)果。實(shí)驗(yàn)仿真證明,在相同或更低的采樣率下,本文提出的方法能夠比文獻(xiàn)[6]中的方法獲得更高質(zhì)量的重構(gòu)圖像。

2 現(xiàn)有的變采樣率分塊CVS算法

基于時(shí)域的相關(guān)性,文獻(xiàn)[6]提出了一種基于變采樣率的多假設(shè)預(yù)測分塊視頻壓縮感知。在其方案中,采用分塊測量方式[7]對參考幀采用固定的高采樣率S3進(jìn)行測量;對非參考幀根據(jù)時(shí)域相關(guān)性的大小劃分為3類圖像塊:近似不變塊、緩慢變化塊和快速變化塊。其中,時(shí)域相關(guān)性的大小通過計(jì)算測量域的殘差能量與參考塊能量的比值來確定:

分別為3類圖像塊分配由低到高的采樣率S1、S2、S3,對應(yīng)的采樣點(diǎn)數(shù)為M1、M2、M。當(dāng)前幀總的采樣率計(jì)算如下:

其中,n2表示非參考幀總像素?cái)?shù)點(diǎn),K表示分塊的總個(gè)數(shù),K1、K2、K3分別為近似不變塊、緩慢變化塊以及快速變化塊的總數(shù),且K=K1+K2+K3。

在接收端,對參考幀進(jìn)行獨(dú)立重構(gòu)。在重構(gòu)非參考幀時(shí),首先進(jìn)行預(yù)處理——采用參考幀中相同位置塊的測量值補(bǔ)齊非參考幀近似塊的測量值至M個(gè)采樣點(diǎn);其次,對非參考幀進(jìn)行多假設(shè)預(yù)測[8],并對預(yù)測測量值與真實(shí)測量值的殘差進(jìn)行重構(gòu)。

上述方法利用時(shí)域相關(guān)性進(jìn)行分類判決,從分類判決過程可知,分類判決的結(jié)果對閾值l1和l2較為敏感,容易出現(xiàn)不合理的判決。針對該問題,本文提出了一種基于空時(shí)相關(guān)性的變采樣率分塊視頻壓縮感知方法。

3 基于空時(shí)相關(guān)性的變采樣率分塊CVS方案

視頻信號中,相同幀內(nèi)的圖像塊之間具有較強(qiáng)的空域相關(guān)性。通常而言,變化程度較小的塊的相鄰塊變化程度也可能較小,反之,變化程度較大的塊的相鄰塊變化程度也很有可能較大。利用空域相關(guān)性輔助進(jìn)行塊分類判決操作,可以更為合理地分配采樣率。基于該思想,本文提出一種基于空時(shí)相關(guān)性的變采樣率分塊CVS方案,如圖1所示。

圖1 基于空時(shí)相關(guān)性的變采樣率分塊視頻壓縮感知框圖Fig.1 Block diagram of adaptive block CVS scheme based on spatial-temporal correlation

可見,與練秋生等人的方法不同,本文在文獻(xiàn)[6]方案的圖像塊分類判決操作(圖1中虛線框部分)中加入了空域相關(guān)性,將原本僅需根據(jù)時(shí)域相關(guān)性這一個(gè)步驟來判斷圖像塊分類增加至兩個(gè)步驟進(jìn)行:在第一個(gè)步驟中,仍然按照時(shí)域相關(guān)性進(jìn)行圖像塊分類判決;在第二個(gè)步驟中,采用空域相關(guān)性進(jìn)行分類判決校正以確保分類的合理性。

在空域相關(guān)性分類判決校正步驟中,遍歷所有圖像塊,根據(jù)當(dāng)前圖像塊的類型對其上、下、左、右4個(gè)相鄰塊進(jìn)行分類校正。相鄰塊的位置示意圖如圖2所示。分類校正過程分為4類情況,下面分別敘述。

(1)當(dāng)前塊為緩慢變化塊,其相鄰塊為緩慢變化塊或近似不變塊。在此情況下,將該相鄰塊校正為緩慢變化塊。

(2)當(dāng)前塊為快速變化塊。在此情況下,將當(dāng)前塊的所有相鄰塊校正為快速變化塊。

(3)在遍歷其他圖像塊時(shí),當(dāng)前塊已由近似不變塊校正為緩慢變化塊。此情況下,跳過當(dāng)前塊不處理。

(4)其他情況。跳過當(dāng)前塊不處理。

圖2 相鄰塊示意圖Fig.2 Diagram of neigboring blocks

在接收端,對視頻幀的重構(gòu)的方法與文獻(xiàn)[6]中的方法保持一致。

4 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文提出的基于空域-時(shí)域相關(guān)性的自適應(yīng)采樣率的重構(gòu)效果,我們分別利用本文算法(簡稱為VS-MH-ST)與文獻(xiàn)[6]的算法VS-MH對CIF格式的susie、foreman、coastguard、city、football這5組標(biāo)準(zhǔn)視頻序列進(jìn)行仿真比較實(shí)驗(yàn),同時(shí)列出了原始MH算法[8]的結(jié)果作為比較基準(zhǔn)。由于本文的塊分類判決結(jié)果是經(jīng)過閾值和幀內(nèi)相關(guān)性兩輪判決得出的,所以在時(shí)域相關(guān)性判決過程中閾值l1不需要選得很小。本文通過對多組視頻幀序列進(jìn)行試驗(yàn)將參數(shù)設(shè)定為l1=0.02、l2=0.15,S1=5%、S2= 20%、S3=30%,既保證了低采樣率,又保證了較高的重構(gòu)質(zhì)量。在所有算法的塊大小均為8×8。為了獲取相近的采樣率,文獻(xiàn)[6]中方法VS-MH的閾值為l1=0.003、l2=0.15,S1、S2、S3分別為5%、20%、50%。公平起見,VS-MH-ST以及VS-MH中,參考幀和殘差的重構(gòu)均用離散小波域(Discrete Wavelet Transform,DWT)下基于塊的SPL方法(Block-Based CS with Smoothed PL Reconstruction,BCS_ SPL)[9]。

表1給出了VS-MH-ST和VS-MH這兩種方法的塊分類結(jié)果。由表1可知:對于快速變化塊,在序列susie、foreman、coastguard、city、football中,VS-MH -ST方法判決比VS-MH方法判決的結(jié)果依次多0.2%、4.8%、19%、37.3%和24.3%。從序列內(nèi)容來看,city序列中存在攝像機(jī)的整體移動(dòng),圖像細(xì)節(jié)變化較大;而football序列中存在大量快速、復(fù)雜的運(yùn)動(dòng),因此采用VS-MH-ST方法后,在這2個(gè)序列中判決出了更多的快速變化塊,與客觀事實(shí)相符。coastguard序列也存在攝像機(jī)的整體平移,因此采用VS-MH-ST后快速變化塊明顯增多。對于susie、foreman序列而言,前后幀之間的變化不大,因此采用VS-MH-ST后快速變化塊沒有明顯增加。此外,還可觀察到,采用VS-MH-ST后部分序列的近似不變塊增多,主要是本文為生成相近采樣率,令判決閾值l1=0.02所致。

表1 VS-MH與VS-MH-ST中判決塊分類的結(jié)果Table 1 Result comparison for block classification in VS-MH and VS-MH-ST%

表2給出了兩種方法的重構(gòu)質(zhì)量的比較。實(shí)驗(yàn)結(jié)果表明,在參考幀采樣率相同的條件下,VS-MHST算法的當(dāng)前幀采樣率比VS-MH更低,卻獲取了更高的重構(gòu)質(zhì)量,說明本文方法的圖像塊分類判決更為合理。對于運(yùn)動(dòng)變化很小的susie、foreman序列,VS-MH-ST方法在比VS-MH低0.02和相等的采樣率下,重構(gòu)質(zhì)量高出2.2 dB和1.58 dB;對于運(yùn)動(dòng)變化中等的coastguard序列,本文方法也將重構(gòu)質(zhì)量相對提高了2.02 dB;而對于運(yùn)動(dòng)變化比較大的序列city與football,VS-MH-ST方法分別提高了2.06 dB和0.07 dB。圖3和圖4分別為foreman、coastguard序列的重構(gòu)效果圖?？梢姳疚乃惴梢燥@著提升重建圖像質(zhì)量,極大程度地抑制了塊效應(yīng)的產(chǎn)生。

表2 非參考幀重構(gòu)質(zhì)量比較Table 2Reconstruction quality comparison for non-reference framesdB

圖3 “foreman”序列的局部重構(gòu)結(jié)果Fig.3 Partial reconstruction results for sequence“foreman”

圖4 “coastguard”序列的局部重構(gòu)結(jié)果Fig.4 Partial reconstruction results for sequence“coastguard”

為了驗(yàn)證閾值對VS-MH-ST方法實(shí)驗(yàn)結(jié)果的影響,將VS-MH方法的閾值調(diào)整為與本文方法相同,即l1=0.02、l2=0.15,再次對5個(gè)序列進(jìn)行仿真,并將不同參數(shù)下的實(shí)驗(yàn)結(jié)果展示于表3。

表3 不同閾值下VS-MH的非參考幀重構(gòu)質(zhì)量比較Table 3 Reconstruction quality comparision for non-reference frames in VS-MH with different thresholdsdB

由表3可知,當(dāng)調(diào)整VS-MH方法閾值l1=0.02時(shí),5個(gè)序列的采樣率和重構(gòu)結(jié)果均有不同程度的下降。由此可知,改變閾值并不能有效提升重構(gòu)圖像質(zhì)量,其更多的作用是調(diào)整當(dāng)前幀采樣率。這也從側(cè)面印證了表2中數(shù)據(jù)顯示的本文方法較文獻(xiàn)[6]方法獲得的峰值信噪比增益,是由于本文在對圖像塊進(jìn)行分類中加入了空域相關(guān)性,從而證明了本文空時(shí)聯(lián)合判決方法的有效性。

本文方案在文獻(xiàn)[6]方案中加入了空域相關(guān)性,能夠更準(zhǔn)確地將圖像塊分類從而更合理地分配采樣率。由表1數(shù)據(jù)可知,對于5個(gè)測試序列的分類判決中,本文算法判決的快速變化塊數(shù)量較文獻(xiàn)[6]算法均有提高,說明了本文算法能夠更合理地確定快速變化塊的數(shù)量以及位置,從而能夠進(jìn)一步提升視頻幀的重構(gòu)質(zhì)量;而近似不變塊的數(shù)量增長,以及緩慢變化塊的減少主要是令判決閾值l1=0.02所致,這也使得本文算法快速變化塊增多,但是整體采樣率卻降低。綜上所述,本文算法能在更低的采樣率下獲得更高的重構(gòu)質(zhì)量是在情理之中的事。

5 結(jié) 論

本文將空域相關(guān)性引入自適應(yīng)采樣率的分塊視頻壓縮感知方案。根據(jù)實(shí)驗(yàn)結(jié)果可知,空時(shí)相關(guān)性方案可以獲得比現(xiàn)有變采樣率算法更高的重構(gòu)圖像質(zhì)量,從而證明了本文方案的有效性。需要注意的是,本文方案中分配給視頻幀的采樣率是自適應(yīng)的,在視頻幀采樣前是未知的,不可控制的。因此,下一步的工作重點(diǎn)是進(jìn)一步改進(jìn)本文方案,使其在對視頻幀進(jìn)行采樣之前就能夠控制視頻幀采樣率的范圍,以進(jìn)一步推進(jìn)基于空時(shí)相關(guān)性的分塊視頻壓縮感知方案的實(shí)用化。

[1] 焦李成,楊淑媛,劉芳,等.壓縮感知回顧與展望[J].電子學(xué)報(bào),2011,39(5):1651-1622. JIAO Li-cheng,YANG Shu-yuan,LIU Fang,et al. Development and Prospect of Compressive Sensing[J]. Acta Electronica Sinica,2011,39(5):1651-1622. (in Chinese)

[2] 石光明,劉丹華,高大化,等.壓縮感知理論及其研究進(jìn)展[J].電子學(xué)報(bào),2009,37(5):1070-1081. SHI Guang-ming,LIU Dan-hua,GAO Da-hua,et al. Advances in theory and application of compressed sensing [J].Acta Electronica Sinica,2009,37(5):1070-1081.(in Chinese)

[3] 武明虎,朱秀昌.自適應(yīng)采樣率分配的分布式壓縮感知視頻編碼[J].南京郵電大學(xué)學(xué)報(bào),2013,33(1):62-67. WU Ming-hu,ZHU Xiu-chang.Dynamic Measurement Rate Allocation for Distributed Compressive Video Sensing[J].Jounal of Nanjing University of Posts and Telecommunications,2013,33(1):62-67.(in Chinese)

[4] Soni A,Haupt J.Efcient adaptive compressive sensing using sparse hierarchical learned dictionaries[C]//Proceedings of 2011 Conference Record of the Forty Fifth Asilomar Conference on Signals,Systems and Computers. Pacific Grove,CA:IEEE,2011:1250-1254.

[5] Warnell G,Reddy D,Chellappa R.Adaptive rate compressive sensing for background subtraction[C]//Proceedings of 2012 IEEE International Conference on A-coustics,Speech,and Signal Processing.Kyoto:IEEE, 2012:1477-1480.

[6] 練秋生,田天,陳書貞,等.基于變采樣率的多假設(shè)預(yù)測分塊視頻壓縮感知[J].電子與信息學(xué)報(bào),2013,35 (1):203-208. LIAN Qiu-sheng,TIAN Tian,CHEN Shu-zhen,et al. Block Compressed Sensing of Video Based on Variable Sampling Rates and Multihypothesis Predictions[J]. Jounal of Electronics&Information Technology,2013,35 (1):203-208.(in Chinese)

[7] Gan L.Block compressed sensing of natural images [C]//Proceedings of the 15th International Conference on Digital Signal Processing.Cardiff,UK:IEEE,2007: 403-406.

[8] Tramel E W,Fowler J E.Video compressed Sensing with multihypothesis[C]//Proceedings of the IEEE Data Compression Conference.Snowbird,UT:IEEE,2011:193-202.

[9] Mun S,Fowler J E.Block compressed sensing of images using directional transforms[C]//Proceedings of the International Conference on Image Processing.Cairo,E-gypt:IEEE,2009:3021-3024.

ZUO Mi-wen was born in Xiaogan,Hubei Province,in 1991.She is now a graduate student.Herresearchconcernscompressed sensing and video coding.

Email:miwenzuo@163.com

常 侃(1983—),男,廣西南寧人,2010年于北京郵電大學(xué)獲博士學(xué)位,現(xiàn)為廣西大學(xué)計(jì)算機(jī)與電子信息學(xué)院副教授,主要研究方向?yàn)閴嚎s感知、視頻編碼與傳輸;

CHANG Kan was born in Nanning,Guangxi Zhuang Autonomous Region,in 1983.He received the Ph.D.degree from Beijing University of Posts and Telecommunications in 2010.He is now an associate professor.His research concerns compressed sensing,video coding and transmission.

Email:pandack0619@163.com

施靜蘭(1990—),女,廣西南寧人,廣西大學(xué)研究生,研究方向?yàn)閴嚎s感知、稀疏表示;

SHI Jing-lan was born in Nanning,Guangxi Zhuang Autonomous Region,in 1990.She is now a graduate student.Her research concerns compressed sensing and sparse representation.

Email:hui7154@163.com

覃團(tuán)發(fā)(1966—),男,廣西賓陽人,1997年于南京大學(xué)獲博士學(xué)位,現(xiàn)為廣西大學(xué)計(jì)算機(jī)與電子信息學(xué)院副院長、教授、中國電子學(xué)會高級會員、中國通信學(xué)會高級會員,主要研究方向?yàn)闊o線多媒體通信、網(wǎng)絡(luò)編碼、視頻編碼和圖像檢索。

QIN Tuan-fa was born in Binyang,Guangxi Zhuang Autonomous Region,in 1966.He received the Ph.D.degree from-Nanjing University in 1997.He is now a professor and vice Dean of School of Computer and Electronic Information,Guangxi University.He is also the senior member of China Institute of Electronics and China Communication Institute.His research interests include wireless multimedia communications,network coding,video encoding and image retrieval.

Email:tfqin@gxu.edu.cn

Adaptive Block Compressive Video Sensing Scheme Based on Spatial-Temporal Correlation

ZUO Mi-wen,CHANG Kan,SHI Jing-lan,QIN Tuan-fa
(School of Computer and Electronic Information,Guangxi University,Nanning 53004,China)

For most existing block compressed video sensing schemes with adaptive sampling rate,image blocks are divided into different types of block with different allocated sampling rate according to temporal correlation.However,the classification procedure is sensitive to the judgment threshold,which leads to unreliable result.In order to solve this problem,spatial correlation and temporal correlation are jointly considered in this paper to improve the reliability of the block classification procedure.Fist,image blocks are divided into different types according to threshold.Then the initial classification is corrected accroding to spatial correlation to determin final classification decision.Compared with the existing algorithms,the proposed one can get about 2 dB Peak Signal to Noise Ratio(PSNR)incerement at the same sampling rate. Key words:video image processing;compressed sensing(CS);temporal correlation;spatial correlation; variable sampling rate

The National Natural Science Foundation of China(No.61261023);The Natural Science Foundation of Guangxi (2011GXNSFD018024,2013GXNSFBA019272);The Foundation of Education Commission of Guangxi(201203YB001)

date:2013-07-03;Revised date:2013-09-16

國家自然科學(xué)基金資助項(xiàng)目(61261023);廣西自然科學(xué)基金資助項(xiàng)目(2011GXNSFD018024,2013GXNSFBA019272);廣西教育廳科學(xué)研究項(xiàng)目(201203YB001)

**通訊作者:pandack0619@163.com Corresponding author:pandack0619@163.com

TN919.8

A

1001-893X(2013)11-1482-05

左覓文(1991—),女,湖北孝感人,廣西大學(xué)碩士研究生,主要研究方向?yàn)閴嚎s感知、視頻編碼;

10.3969/j.issn.1001-893x.2013.11.015

2013-07-03;

2013-09-16