左覓文，常 侃，施靜蘭，覃團(tuán)發(fā)

（廣西大學(xué) 計算機(jī)與電子信息學(xué)院，廣西 南寧 530004）

一種自適應(yīng)采樣率視頻壓縮感知方案

左覓文，常 侃，施靜蘭，覃團(tuán)發(fā)

（廣西大學(xué) 計算機(jī)與電子信息學(xué)院，廣西 南寧 530004）

為了進(jìn)一步提高視頻壓縮感知方案的重構(gòu)圖像質(zhì)量，提出了一種新的自適應(yīng)采樣方案。在該方案中，根據(jù)不同圖像塊的稀疏度自適應(yīng)分配采樣率。在對各圖像塊分類判決時，首先判斷圖像塊在離散余弦變換域的稀疏度，其次結(jié)合該圖像塊與其參考幀之間的時域相關(guān)性，確定圖像塊的分類。實驗結(jié)果表明，與現(xiàn)有的自適應(yīng)采樣率分配方案相比，該算法可獲得0.5 dB左右的峰值信噪比增益。

視頻圖像處理；壓縮感知；自適應(yīng)采樣率；稀疏度

近年來，Candès和Donoho等人提出了壓縮感知（Com?pressive Sensing，CS）理論[1]。該理論突破了香農(nóng)定理的瓶頸，可以用遠(yuǎn)低于奈奎斯特采樣定理要求的速率采樣信號，同時又可以完美恢復(fù)信號[2]。壓縮感知理論被提出后，在許多領(lǐng)域受到了高度的關(guān)注，如醫(yī)學(xué)圖像、遙感成像、視頻編碼等。

這幾年，壓縮感知理論在視頻編碼中的應(yīng)用得到了迅速的發(fā)展。視頻壓縮感知（Compressive Video Sensing，CVS）方案，一般都是發(fā)端簡單，收端較為復(fù)雜。為了獲得高重構(gòu)質(zhì)量，許多的重構(gòu)算法被提出，常見的信號重建算法有：凸優(yōu)化算法、全變差范數(shù)算法、貪婪算法等。然而在追求高重構(gòu)質(zhì)量的同時，同樣希望能夠降低采樣率，所以在發(fā)端怎樣合理的分配采樣率成為了關(guān)注的焦點。目前國內(nèi)外已有學(xué)者提出了不同的自適應(yīng)采樣率方案，例如蔣業(yè)文等人提出的通過離散小波變換域?qū)D像每級分解時的每個子帶中應(yīng)用分塊采樣的自適應(yīng)采樣率方案[3]，但是算法復(fù)雜度過高；Garrett Warnell提出的自適應(yīng)采樣方法，將圖像分為前景和背景，根據(jù)關(guān)注度的不同分配不同的采樣率[4]，但是這種方法犧牲背景的重構(gòu)質(zhì)量，對整個視頻幀重構(gòu)質(zhì)量的提高沒有起到太大的作用；基于時域相關(guān)性，練秋生等人又提出了新的一種自適應(yīng)采樣的方法[5]，根據(jù)非參考幀與參考幀的時域相關(guān)性大小來分配不同的采樣率，但是這種方法忽略了單幀圖像里不同塊的稀疏度不同，從而造成了對圖像塊分配采樣率不夠準(zhǔn)確。

為了解決文獻(xiàn)[5]中的缺陷，本文提出了一種基于稀疏度的圖像塊分類判決的方案。首先判斷在離散余弦變換域（Discrete Cosine Transform，DCT）內(nèi)各圖像塊的稀疏度，然后在測量域判斷圖像塊的時域相關(guān)性大小，結(jié)合圖像塊的稀疏度與時域相關(guān)性大小，將圖像塊分為平滑近似塊、普通近似塊、紋理近似塊、平滑變化塊、普通變化塊、紋理變化塊，依次分配由低到高的采樣率。實驗結(jié)果表明，在相同的采樣率甚至是更低的采樣率下，本文算法比文獻(xiàn)[5]算法獲得更高質(zhì)量的重構(gòu)圖像。

1 現(xiàn)有的變采樣率分塊CVS方案

基于時域相關(guān)性以及分塊測量方式[6]，文獻(xiàn)[5]提出了一種基于變采樣率的多假設(shè)預(yù)測分塊視頻壓縮感知方案。在該方案中，對參考幀采用固定的高采樣率S3進(jìn)行測量；對非參考幀采用變采樣率進(jìn)行測量，根據(jù)當(dāng)前幀與參考幀的時域相關(guān)性大小將其圖像塊劃分為3類：近似不變塊、緩慢變化塊和快速變化塊。其中，時域相關(guān)性的大小用測量域的殘差能量與參考塊能量的比值來作為判決準(zhǔn)則

給近似不變塊、緩慢變化塊和快速變化塊分別分配采樣率S1，S2，S3，其中S1＜S2＜S3。對應(yīng)的采樣點數(shù)為M1，M2，M3。非參考幀的總采樣率計算如下

式中：K1，K2，K3分別表示近似不變塊、緩慢變化塊以及快速變化塊的數(shù)量；K表示幀內(nèi)圖像塊的總個數(shù)，且滿足K=K1+K2+ K3；n2表示非參考幀總像素數(shù)點。

在接收端，對參考幀直接進(jìn)行獨立重構(gòu)。重構(gòu)非參考幀時，首先對近似塊進(jìn)行預(yù)處理——采用參考幀中對應(yīng)位置塊的測量值將其測量值補齊至M個采樣點；其次，對非參考幀進(jìn)行多假設(shè)預(yù)測[7]，并對接收端經(jīng)過預(yù)處理后的測量值與真實測量值的殘差進(jìn)行重構(gòu)。

上述方法利用時域相關(guān)性進(jìn)行分類判決，但是這種方案忽略了一幀圖像內(nèi)不同圖像塊的空域復(fù)雜度。事實上，圖像塊越稀疏，所需要的采樣率就越低。僅考慮時域相關(guān)性有可能造成對圖像塊分配采樣率不準(zhǔn)確：對稀疏度低的近似塊分配的采樣率過低，影響重構(gòu)效果；對稀疏度高的緩慢變化塊（或者快速變化塊）分配的采樣率過高，浪費資源。針對該問題，本文提出了一種新的自適應(yīng)采樣率視頻壓縮感知方案。

2 提出的自適應(yīng)采樣率CVS方案

2.1 方案總體框架

視頻信號中，一幀圖像里不同圖像塊是具有不同稀疏度的，越稀疏的塊，重構(gòu)圖像所需要的采樣點數(shù)就越少。在塊分類判決操作中結(jié)合時域相關(guān)與圖像塊的稀疏度，可以更為合理地分配采樣率?；谠撍枷?，本文提出一種自適應(yīng)采樣率CVS方案，該方案框圖如圖1所示。

圖1 提出的自適應(yīng)采樣率視頻壓縮感知框圖

由圖1可見，與文獻(xiàn)[5]的方法不同，本文方案在圖像塊的分類判決操作中（圖1中非參考幀采樣端虛線框部分）結(jié)合了幀內(nèi)圖像塊的稀疏度，將圖像塊分為6類，分別是：平滑近似塊、普通近似塊、紋理近似塊、平滑變化塊、普通變化塊、紋理變化塊。2.2節(jié)將對6類圖像塊的分類方法進(jìn)行說明。

2.2 圖像塊的分類標(biāo)準(zhǔn)

2.2.1 塊的稀疏度判斷

判斷圖像塊在DCT域的稀疏度[8]。用閾值t1來判定DCT系數(shù)的大小，系數(shù)模值大于t1的系數(shù)定義為較大系數(shù)，系數(shù)模值小于等于t1的系數(shù)定義為較小系數(shù)。在CS重建中，小系數(shù)可以近似忽略而對結(jié)果沒有太大的影響，因此小系數(shù)可以近似視為0。換而言之，較小系數(shù)越多，約等于0的系數(shù)越多，圖像塊稀疏度也就越高，所需采樣率越低；反之，較大系數(shù)越多，約等于0的系數(shù)越少，圖像塊稀疏度就越低，所需采樣率越高。定義稀疏度大的塊為平滑塊，稀疏度適中的塊為普通塊，稀疏度小的塊為紋理塊。統(tǒng)計圖像塊中較大系數(shù)的個數(shù)N來判斷圖像塊稀疏度的大小。

式中：t2和t3為判斷稀疏度大小的閾值。

2.2.2 塊的變化程度判斷

首先，按照式（1）求出圖像塊測量域的殘差能量與參考塊能量的比值E，然后通過閾值t4來判斷圖像塊變化程度，即

2.2.3 塊的分類判決

結(jié)合塊的變化程度與稀疏程度將其分為6類：平滑近似塊、普通近似塊、紋理近似塊、平滑變化塊、普通變化塊、紋理變化塊。

依次給它們分配由低到高的采樣率λ1，λ2，λ3，λ4，λ5，λ6。

2.3 算法流程

在發(fā)送端，對非參考幀的自適應(yīng)采樣流程如下（見圖2）：

步驟1，對圖像分塊，分成m個n×n大小的圖像塊，并且令i=1。

圖2 算法流程

步驟2，對第i塊圖像塊進(jìn)行DCT變換，并計算該塊的N值。

步驟3，根據(jù)式（3）判斷該塊的稀疏程度。

步驟4，根據(jù)式（1）和式（4）來判斷該塊的變化程度。

步驟5，根據(jù)式（5）來來判斷塊的種類并根據(jù)式（6）對該塊分配采樣率。如果塊的種類為平滑近似則對該塊進(jìn)行λ1采樣，轉(zhuǎn)向步驟11，否則執(zhí)行步驟6。

步驟6，如果塊的種類為普通近似則對該塊進(jìn)行λ2采樣，轉(zhuǎn)向步驟11，否則執(zhí)行步驟7。

步驟7，如果塊的種類為紋理近似則對該塊進(jìn)行λ3采樣，轉(zhuǎn)向步驟11，否則執(zhí)行步驟8。

步驟8，如果塊的種類為平滑變化則對該塊進(jìn)行λ4采樣，轉(zhuǎn)向步驟11，否則執(zhí)行步驟9。

步驟9，如果塊的種類為普通變化則對該塊進(jìn)行λ5采樣，轉(zhuǎn)向步驟11，否則執(zhí)行步驟10。

步驟10，如果塊的種類為紋理變化則對該塊進(jìn)行λ6采樣。

步驟11，如果i≥m則結(jié)束整個壓縮采樣過程，否則，令i＝i+1，重新執(zhí)行步驟2。

在接收端，塊的判決分類為6種，分別為：平滑近似塊、普通近似塊、紋理近似塊、平滑變化塊、普通變化塊、紋理變化塊（圖1中非參考幀重構(gòu)端虛線框部分），并對平滑近似塊、普通近似塊、紋理近似塊進(jìn)行預(yù)處理——采用參考幀中對應(yīng)位置塊的測量值將其測量值補齊至λ6個采樣點。對非參考幀的重構(gòu)方法與文獻(xiàn)[5]中的VS-MH算法保持一致。

3 實驗結(jié)果

為了驗證本文提出的自適應(yīng)采樣率方案的重構(gòu)效果，本文分別用文獻(xiàn)[5]中的VS-MH算法與本文算法（簡稱為VS-MH-E）對QCIF格式的susie以及CIF格式的foreman，news，oastguard這4組標(biāo)準(zhǔn)視頻序列進(jìn)行仿真比較實驗，同時列出了原始固定采樣率算法MH[7]的結(jié)果作為比較基準(zhǔn)。本文將參數(shù)設(shè)定如下：閾值t1，t2，t3，t4分別取經(jīng)驗值為4，16，30，0.003，采樣率分別為λ1=3%，λ2=4%，λ3=5%，λ4=20%，λ5=30%，λ6=50%。為了獲取相近的采樣率，VS-MH的閾值分別為l1=0.003，l2=0.15，S1=5%，S2=20%，S3=50%。為公平起見，在VS-MH-E以及VS-MH中，塊的大小均固定為8×8，參考幀的采樣率都固定為50%，重構(gòu)參考幀與殘差時均采用BCS_SPL算法[8]。

表1給出了VS-MH-ST圖像塊分類的情況。由表1可知：在序列susie，foreman，news，coastguard中，本文的方法合理的將圖像塊分成6種屬性。susie，foreman，news序列里都是以人物為主，包括頭發(fā)、眉毛等變化比較突變的細(xì)節(jié)部分，所以最后判斷出來會有一小部分紋理近似塊和紋理變化塊。這是與客觀事實符合的。而coastguard這個序列里幾乎3/4都是水面，相對頭發(fā)、眉毛等細(xì)節(jié)要平滑些，幾乎沒有很突變的細(xì)節(jié)部分，并且本文紋理屬性塊的劃分取決于閾值t3的大小，在實驗中t3所取的經(jīng)驗值相對比較大，所以造成最后塊判決分類中沒有紋理近似塊與紋理變化塊。

表1 VS-MH-E中判決塊分類的結(jié)果%

當(dāng)圖像塊是具有近似屬性的塊，但同時又有紋理特性，本文方法就會相應(yīng)地提高此塊的采樣率，從而達(dá)到更好的重構(gòu)效果；當(dāng)圖像塊是具有變化屬性的塊，但同時又有平滑特性，本文的方法就會稍微降低此塊的采樣率，這樣可以節(jié)省一部分采樣率并且也不會太影響重構(gòu)的效果。表2給出了兩種方法的非參考幀質(zhì)量，由表可知本文方法中，susie和news都能在比文獻(xiàn)[5]方法更低的采樣率下，將重構(gòu)質(zhì)量分別提高了0.59 dB和0.12 dB；foreman和coastguard序列在與文獻(xiàn)[5]方法相同的采樣率下，分別將重構(gòu)質(zhì)量提高了0.44 dB和0.43 dB。其中susie和foreman序列中紋理變化塊是5個序列中比較多的，按照本文的方案，將紋理變化塊的采樣率提高比較多，從而這兩個序列整個圖像的重構(gòu)質(zhì)量提高的幅度也是最大的。而coastguarad中的普通變化塊比例高達(dá)44.7%，本文方案對普通變化塊的采樣率也有小幅提高，最后重構(gòu)質(zhì)量提升的幅度也是比較大。而news序列中的塊大多集中在平滑近似塊和平滑變化塊，所以提升采樣率的塊比較少，從而重構(gòu)質(zhì)量提升比較小。

表2 非參考幀重構(gòu)質(zhì)量比較dB

圖3和圖4分別為news，susie序列部分的主觀質(zhì)量重構(gòu)效果圖?？梢钥吹絥ews序列中人物與背景相接處這個突變區(qū)域的重構(gòu)質(zhì)量有了明顯的提高，而susie序列中眼睛，嘴巴這些突變部位的塊效應(yīng)明顯降低，可見本文方案對稀疏度較小的塊提升采樣率是有效的。由實驗仿真結(jié)果可以看出本文方案極大程度地抑制了塊效應(yīng)的產(chǎn)生，提升了圖像的重構(gòu)質(zhì)量。

4 小結(jié)

本文在自適應(yīng)采樣率方案中引入了圖像的稀疏度，結(jié)合當(dāng)前幀與參考幀的時域相關(guān)性將圖像塊分為6類，提高了圖像塊采樣率分配的合理性。根據(jù)實驗結(jié)果可知，提出的方案可以獲得比現(xiàn)有自適應(yīng)采樣率算法更高的重構(gòu)圖像質(zhì)量，從而證明本文提出算法的有效性。下一步的工作重點將圍繞著任意總采樣率下的分塊采樣率的最優(yōu)分配問題展開。

圖3 news序列的局部重構(gòu)結(jié)果

圖4 susie序列的局部重構(gòu)結(jié)果

[1]CANDESE，ROBER J，TAO T.Roubust uncertainty principles：ex?act signal reconstruction from highly incomplete frequency infor?mation[J].IEEE Trans.Information Theory，2006，52（2）：489-509.

[2]石光明，劉丹華，高大化，等.壓縮感知理論及其研究進(jìn)展[J].電子學(xué)報，2009，37（5）：1070-1081.

[3]蔣業(yè)文，于昕梅.基于DWT的多尺度分塊變采樣率壓縮感知圖像重構(gòu)算法[J].中山大學(xué)學(xué)報，2013，52（3）：30-33.

[4]WARNELL G，REDDY D，CHELLAPPA R.Adaptive rate com?pressive sensing for background subtraction[C]//Proc.ICASSP 2012.[S.l.]：IEEE Press，2012：1477-1480.

[5] 練秋生，田天，陳書貞，等.基于變采樣率的多假設(shè)預(yù)測分塊視頻壓縮感知[J].電子與信息學(xué)報，2013，35（1）：203-208.

[6] GAN L.Block compressed sensing of natural images[C]//Proc.15th International Conference on Digital Signal Processing（DSP 2007）.Cardiff，UK：IEEE Press，2007：403-406.

[7]TRAMEL E，F(xiàn)OWLER J.Video compressed sensing withmultihy?pothesis[C]//Proc.IEEE Data Compression Conference（DCC 2011）.Snowbird，UTah：IEEE Press，2011：193-202.

[8]張淑芳，李凱，徐江濤，等.基于壓縮感知的圖像自適應(yīng)編碼算法[J].天津大學(xué)學(xué)報，2012，45（4）：319-324.

[9] MUN S，F(xiàn)OWLER J.Block compressed sensing of images using directional transforms[C]//Proc.International Conference on Im?age Processing（ICIP 2009）.Cairo，Egypt：IEEE Press，2009：3021-3024.

責(zé)任編輯：時 雯

Adap tive Rate Com pressed Video Sensing Schem e

ZUO Miwen，CHANG Kan，SHI Jinglan，QIN Tuanfa
（School of Computer and Electronic Information，Guangxi University，Nanning 530004，China）

To improve the performance of compressed video sensing（CVS），a new adaptive sampling rate scheme is proposed in this pape.In such a scheme，the sampling rate is allocated according to the sparsity of each image block.Firstly，the sparsity in discrete cosine transform（DCT） domain for each block is estimated.Then，the classification of image block is determined according to both temporal correlation and spatial sparsity.Experimental results show that compared with the existing adaptive rate CVS methods，this proposed one can get about 0.5 dB Peak Signal to Noise Ratio（PSNR）increment.

video image processing；compressed sensing；adaptive sampling rate；sparsity

TN919.8

A

10.16280/j.videoe.2015.02.018

左覓文（1991—），女，碩士生，主要研究方向為壓縮感知、視頻編碼；

常 侃（1983—），博士，副教授，碩士生導(dǎo)師，主要研究方向為壓縮感知、視頻編碼與傳輸；

施靜蘭（1990—），女，碩士生，主要研究方向為壓縮感知、稀疏表示；

覃團(tuán)發(fā)（1966—），博士，教授，主要研究方向為無線多媒體通信、網(wǎng)絡(luò)編碼、視頻編碼和圖像檢索。

2014-03-02

國家自然科學(xué)基金項目（61261023）；廣西自然科學(xué)基金項目（2011GXNSFD018024；2013GXNSFBA019272）；廣西教育廳科學(xué)研究項目（201203YB001）

【本文獻(xiàn)信息】左覓文，常侃，施靜蘭，等.一種自適應(yīng)采樣率視頻壓縮感知方案[J].電視技術(shù)，2015，39（2）.