趙慧民，裴真真，才爭野，戴青云，魏文國，王晨

(廣東技術(shù)師范學院電子與信息學院//廣州市數(shù)字內(nèi)容處理及其安全性技術(shù)重點實驗室，廣東 廣州 510665)

一種視頻分布式壓縮感知技術(shù)的相關(guān)性模型與實現(xiàn)算法*

趙慧民，裴真真，才爭野，戴青云，魏文國，王晨

(廣東技術(shù)師范學院電子與信息學院//廣州市數(shù)字內(nèi)容處理及其安全性技術(shù)重點實驗室，廣東 廣州 510665)

視頻采集和重構(gòu)需要進行大量的數(shù)據(jù)處理，且精度有限。為此，基于基追蹤(BasisPursuit,BP)原理，提出一種新的相關(guān)性模型視頻分布式壓縮感知算法。通過運用稀疏濾波器進行相關(guān)性建模，該算法在編譯碼端為分布式壓縮視頻感知建立了完整的實現(xiàn)結(jié)構(gòu)，并且在保證高質(zhì)量重建原始信號的前提下, 可以減少測量值的數(shù)目。實驗結(jié)果驗證了提出模型下算法的有效性。

分布式壓縮感知；視頻；相關(guān)性；重構(gòu)

分布式壓縮感知(Distributed Compressive Sensing, DCS)提供了一種低復雜度的次奈奎斯特信號采集方法，可以利用更少的隨機線性投影進行信號重建，為分布式視頻場景和目標監(jiān)控系統(tǒng)提供了新的應(yīng)用途徑。目前，如何將DCS技術(shù)應(yīng)用到實際中，并能在較低復雜度的運算下進行編碼傳輸，成為了信息技術(shù)研究發(fā)展的焦點。

DCS是CS理論與分布式系統(tǒng)相結(jié)合的理論。該理論主要研究怎樣利用信號之間的自相關(guān)性和互相關(guān)性實現(xiàn)對多個信號的聯(lián)合稀疏表示(Joint Sparsity Model, JSM)及其重構(gòu)。因此，DCS適合視頻幀在時間軸與空間軸的特征分析與提取，滿足“獨立編碼-聯(lián)合解碼”的云計算、互聯(lián)網(wǎng)+的應(yīng)用需求。目前，DCS理論針對相關(guān)信源，依據(jù)不同的視頻應(yīng)用場景，通過幀內(nèi)的統(tǒng)計性與幀間的互相關(guān)性對多個關(guān)聯(lián)信號的采樣和重構(gòu)問題進行了一系列的研究。Duarte等[1]根據(jù)信源的相關(guān)性不同提出了 JSM-1/-2/-3聯(lián)合稀疏信號模型,并且從信息論的角度分析了精確重建所需測量值的數(shù)目。在此基礎(chǔ)上，Roy等[2]提出了一種新的DCS關(guān)聯(lián)模型,即將信號之間的相關(guān)性建模為虛擬的稀疏濾波器。Davies等[3]利用信號本身的自相關(guān)性和信號間的互相關(guān)性結(jié)構(gòu)對信源執(zhí)行新的分布式編碼算法，建立了一個與Slepian-Wolf相似的信息理論框架，并利用聯(lián)合稀疏模型在編碼端實現(xiàn)獨立的編碼，而在解碼端實現(xiàn)聯(lián)合稀疏解碼。文獻[4]首先在壓縮感知理論和DCS框架下，研究與Wyner-Ziv編碼類似的分布式視頻壓縮感知編碼方案。隨后，文獻[5-6]提出了基于正交基和全局字典庫的分布式視頻壓縮感知編碼系統(tǒng)，文獻[7-8]提出了無反饋信道和利用差值視頻重建的分布式視頻壓縮感知編碼系統(tǒng)。上述研究盡管基于離散余弦變換(DCT)、離散小波變換(DWT)、正交Grouplet變換、緊框架Grouplet變換及其因果多尺度“關(guān)聯(lián)域(Association Field)等等方法，在信源端解決了視頻信號關(guān)鍵幀(I幀)與非關(guān)鍵幀(P/B幀)的冗余稀疏表示問題，但這些模型尚需進一步研究非關(guān)鍵幀在時間軸的各向異性及其與稀疏函數(shù)的最佳基處理。因此，如何根據(jù)視頻信號的時間和空間相關(guān)性特征對視頻信號進行稀疏描述并建立有效的編解碼模型，已成為實現(xiàn)VDCS的共性問題。

本文首先利用稀疏濾波器對視頻信號的相關(guān)性進行建模，基于CS-BP原理[9]，在編譯碼端提出了一種VDCS-BP算法。VDCS-BP為分布式壓縮視頻感知提出了完整的結(jié)構(gòu)并且在保證重建質(zhì)量的前提下, 算法可以大大減少測量值的數(shù)目。

1 JSM1相關(guān)性模型

在CS原理中[10-11],如果把視頻圖像N×N的分成若干d×d大小的圖像塊,并對每個圖像塊使用相同大小的md×d2(md∈M)維隨機投影矩陣Φd進行采樣,則對于第i個圖像塊xi的可壓縮信號α，在稀疏基函數(shù)ψi作用下,其觀測向量可表示為

i=1,…,N×N/d×d

(1)

基于(1)式分塊觀測后，當Y={yi,i=1,..,M},X={xi,i=1,…,n2/d2}，Ψ=[ψ1,…,ψN]時，整幅圖像幀的采樣過程可表示為

Y=Φ·X

(2)

其中，Φ是Φd形成的對角矩陣。對于分布式視頻場景，我們的目標是時間幀的采樣壓縮由相關(guān)性模型關(guān)聯(lián)的多個稀疏信號組成。在文獻[12]中，DCS定理是基于稀疏相關(guān)性模型JSMs提出的，其中，JSM1模型將兩個相關(guān)信號之間的相關(guān)性建模為一個加性噪聲。

在JSM1模型下，對于序列中的兩個連續(xù)視頻幀x1和x2,他們都由一個共同部分和一個特有部分組成，即

x1=xc+x1_i

(3)

x2=xc+x2_i

(4)

其中xc為基Ψ上稀疏度為Kc的相關(guān)圖像塊的稀疏共同部分；而x1_i和x2_i為在相同基上的特有部分，稀疏度分別為K1_i和K2_i。這樣，(3)-(4)式可以寫為

x1=Ψθc+Ψθ1_iθ1_i0=K1_i

(5)

x2=Ψθc+Ψθ2_iθ2_i0=K2_i

(6)

其中θc為共同部分xc的稀疏表示，稀疏度為Kc，即θc0=Kc，θ1_i和θ2_i分別為x1_i和x2_i的稀疏表示，稀疏度分別為K1_i和K2_i。若將x1看做x2的邊信息，則兩個相關(guān)信號需要測量的信息將減少為xc，x1_i和x2_i。因此，在VDCS系統(tǒng)的解碼端，聯(lián)合重建所需要的測量值的數(shù)目要小于獨立重建的數(shù)目。

JSM1模型要求信號本身在某一域中是稀疏的，時空域中變化緩慢，并且信號之間相關(guān)性很高。但是，在視頻信號處理時，物體可能快速移動，這種情況下，JSM1并不適用。文獻[9]提出了一種CS-BP相關(guān)性模型，即將兩個連續(xù)信號分別看作稀疏濾波器的輸入和輸出進行關(guān)聯(lián)。不同于對信號強制性的稀疏性假設(shè),CS-BP可以通過乘法運算提供了一種更加精確的相關(guān)性模型。對于CS-BP，Needell等[13]給出了信號完全重建和近似重建所需抽樣的數(shù)目的可達界。盡管如此,如何利用相關(guān)性模型進行精確視頻信號重建的算法和細節(jié)還需要深入研究。

2 提出的相關(guān)性模型

基于文獻[9]，我們結(jié)構(gòu)中的相關(guān)性模型也包括一個稀疏濾波器,不同的是我們將濾波器擴展到了小波域,使之對應(yīng)通過離散小波變換進行處理的視頻幀。

假設(shè)針對相同場景的兩個視頻幀x1和x2,它們之間的相關(guān)性可以由稀疏濾波器表示。即

x1_D=DWT(x1)

(7)

x2_D=DWT(x2)

(8)

x2_D=x1_D?h

(9)

其中h是一個稀疏度為Kh的稀疏濾波器，即h0=Kh。而x1_D和x2_D之間由循環(huán)卷積運算進行相關(guān)。x1_D和x2_D之間的稀疏濾波器可以通過離散小波變換訓練得到，其訓練過程如下。

將x1_D和x2_D的離散傅里葉變換(DFTs)分別記作X1和X2，則上面的循環(huán)卷積運算可以表示為

X2=X1*H

(10)

其中H為濾波器h的離散傅里葉變換。根據(jù)DFT的性質(zhì)可知，卷積運算可以映射為變換域的乘法運算。因此，我們可以計算得到H為

(11)

x1_D和x2_D之間的相關(guān)濾波器可以表示為式(10)并且通過式(11)計算。在譯碼端，x1和稀疏濾波器共同作為x2的參考幀。通過聯(lián)合重建時為x2提供邊信息以保證x2的重建質(zhì)量的同時減少所需的測量值數(shù)目。

3 VDCS-BP在相關(guān)性模型的實現(xiàn)過程

基于部分2提出的相關(guān)性模型，我們將視頻序列中的幀被分成兩種類型：關(guān)鍵幀和CS幀。其中關(guān)鍵幀在譯碼時作為CS幀的邊信息。視頻序列被分成圖片組(GroupofPictures,GOPs)，每一組幀由1幀關(guān)鍵幀和2幀CS幀組成。在編碼端，每一幀通過DCS技術(shù)獨立編碼；在譯碼端，所有測量值采用VDCS-BP譯碼算法進行聯(lián)合譯碼。相較傳統(tǒng)的MPEG視頻譯碼，我們的機制通過關(guān)鍵幀和稀疏濾波器來得到邊信息，不需要運動估計和運動補償，因此更加簡單。

我們將視頻感知問題描述為兩個傳感器分別獨立的測量兩個相鄰幀。假設(shè)第ith(i∈{1,2})個傳感器獲得圖像幀的信號為xi∈RN，其Mi個測量值用yi來表示，即滿足：

yi=Φixi

(12)

其中Φi∈RMi×N表示測量矩陣。為了測量xi，我們通過矩陣向量乘法來計算Mi?N個關(guān)于xi的線性投影。另外，在我們的框架中，由于邊信息的有效作用，在編碼端對關(guān)鍵幀x1和CS幀x2采用了不同的測量速率來進一步的壓縮。整個分布式視頻壓縮感知的處理過程如下圖1所示。

在聯(lián)合譯碼端，VDCS-BP由測量值y1和y2聯(lián)合重建原始視頻信號。為了達到高概率重構(gòu)信號且

圖1 相關(guān)性模型的VDCS-BP實現(xiàn)過程Fig.1 Schematic Processing of VDCS-BP

減少數(shù)據(jù)量的目的，我們通過在二部圖2模型上迭代傳遞消息來有效解決貝葉斯推論問題。在此圖中，連接變量節(jié)點和校驗節(jié)點之間的邊由X2的觀測矩陣Φ2確定。譯碼時在邊上傳遞的消息可以是信號概率分布的參數(shù)(適用于高斯等特殊分布的信號)，也可以是對信號的采樣值。將從變量節(jié)點v發(fā)送到約束節(jié)點c的消息用mv→c表示，而相反方向的從約束節(jié)點c傳遞到變量節(jié)點v的消息表示為mc→v。在迭代的過程中通過計算下式對它們的值進行更新：

mv→c=∏mn(v)/{c}→v

(13)

(14)

其中n(v)/{c}和n(c)/{v}分別表示變量節(jié)點和約束節(jié)點c的相鄰節(jié)點集合并且不包括節(jié)點c或者v，con(n(c))表示對變量節(jié)點集合n(c)的約束條件。

基于上述定義，VDCS-BP算法在相關(guān)性模型的主要實現(xiàn)如下：

第1步：初始化計算變量節(jié)點的初始信息mv→c。然后對于CS幀，利用先驗信息和邊信息對其進行初始化。發(fā)送初始信息給約束節(jié)點。

第4步：校驗迭代次數(shù)是否已經(jīng)能夠達到最大次數(shù)。如果沒有。則繼續(xù)第二步。

圖2 VDCS-BP算法中x1和x2之間的實現(xiàn)關(guān)系Fig.2 Relationships of x1andx2 in VDCS-BP

(15)

SI=IDFT(SI_DFT)

(16)

VDCS-BP算法用于CS幀重建過程中，我們利用邊信息對傳遞信息進行初始化。我們對邊信息的概率密度函數(shù)進行采樣然后將抽樣作為因子圖中變量節(jié)點和約束節(jié)點之間傳遞的初始化信息，如圖2所示。通過修改初始化信息，BP算法可以有一個更精確的開始，因此可以以更少的測量值輸入得到更精確的重建結(jié)果。

4 實現(xiàn)結(jié)果

為了驗證提出模型和VDCS-BP算法的性能，我們分別對兩個85幀的CIF視頻序列Forman和Coastguard進行仿真實現(xiàn)，并通過提出的VDCS-BP與文獻[9]的CS-BP算法以及經(jīng)典的JSM1模型

進行對比實驗。參數(shù)設(shè)置如下：視頻幀格式為352×288像素/幀的視頻序列(只考慮Y幀)；每圖像組由3幀組成1幀關(guān)鍵幀和2幀CS幀；關(guān)鍵幀和CS幀的測量速率(MeasurementRates,MRs)不同，例如關(guān)鍵幀的測量速率為0.6時CS幀的測量速率為0.3。每一幀視頻分辨率被分成大小為32×32像素的塊[14]。

圖3 顯示了在測量速率MR=0.6下，應(yīng)用VDCS-BP、CS-BP和JSM1譯碼算法得到的平均峰值信噪比PSNR性能。盡管使用JSM1和CS-BP得到的關(guān)鍵幀的性能相近，而應(yīng)用VDCS-BP算法的性能要優(yōu)于JSM1和CS-BP模型。圖4是對coastguardcif序列的仿真結(jié)果，當平均測量速率為MR=0.4時，VDCS-BPJSM1和CS-BP關(guān)鍵幀的平均峰值信噪比(PSNR)分別為5134.39和36.25dB，而CS幀的PSNR為48.3.31.26和33.05。結(jié)果顯示關(guān)鍵幀之間的性能差距要大于CS幀。

5 結(jié) 論

圍繞分布式視頻壓縮感知場景下的編譯碼結(jié)構(gòu)和重建方法進行研究，提出了一種新的VDCS-BP實現(xiàn)算法。首先,我們將視頻信號之間的相關(guān)性通過稀疏濾波器進行建模,然后建立一種分布式壓縮視頻感知的完整框架,并且將VDCS-BP算法應(yīng)用到框架中。最后, 通過仿真證明提出的VDCS-BP實現(xiàn)算法比CS-BP算法和傳統(tǒng)的JSM1算法重構(gòu)的PSNR性能更優(yōu)越。未來，我們對VDCS在噪聲環(huán)境下的測量數(shù)據(jù)及其重構(gòu)的性能進一步分析和優(yōu)化。

圖3 視頻序列Forman的重構(gòu)結(jié)果Fig.3 Recovery results for Forman video 關(guān)鍵幀MR=0.6,CS幀MR=0.3

圖4 視頻序列Coastguard的重構(gòu)結(jié)果Fig.4 Recovery results for Coastguard video 關(guān)鍵幀MR=0.4,CS幀MR=0.2

[1]DUARTEMF，SARVOTHAMS，BAROND,etal.Distributedcompressedsensingofjointlysparsesignals[C]//Proceedingsof39thAsilomarConferenceonSignals,SystemandComputer, 2005: 1537-1541.

[2]ROYO,HORMATIA,LUA,etal.Distributedsensingofsignalslinkedbysparsefiltering[C]//IEEEInternationalConferenceonAcousties,SpeechandSignalProcessing(ICASSP), 2009: 2409-2412.

[3]DAVIESME,ELDARYC.Rankawarenessinjointsparserecovery[J].IEEETransactionsonInformationTheory, 2012, 58(2): 1135-1146.

[4]STANKOVICV,STANKOVICL,HENGS.Compressivevideosampling[C]//ProceedingsoftheEuropeanConferenceonSignalProcessing, 2008: 2-6.

[5]KANGLW,LUCS.Distributedcompressivevideosensing[C]//ProceedingsofIEEEInternationalConferenceonAcoustics,Speech,andSignalProcessing, 2009: 1169-1172.

[6]CHENHW,KANGLW,LUCS.Dynamicmeasurementrateallocationfordistributedcompressivevideosensing[C]//VisualCommunicationsandImageProcessing2010.InternationalSocietyforOpticsandPhotonics, 2010: 77440I-774410.

[7]DOTT,CHENY,NGUYENDT,etal.Robustvideotransmissionuslayeredcompressedsensing[C]//IEEEInternationalWorkshoponMultimediaSignalProcessing, 2009: 1-4.

[8]DOTT,CHENY,NGUYENDT,etal.Distributedcompressedvideosensing[C]//ProceedingsofIEEEInternationalConferenceonImageProcessing, 2009: 1393-1396.

[9]HORMATIA，ROYO,LUYM,etal.Distributedsamplingofsignalslinkedbysparsefiltering:TheoryandApplications[J].IEEETransactionsonSignalProcessing, 2010, 58(3): 1095-1109.

[10]DONOHODL,TSAIGY.Extensionsofcompressedsensing[J].SignalProcessing, 2006，86(3) :533-548.

[11]CANDESE,ROMBERGJ.Quantitativerobustuncertaintyprinciplesandoptimallysparsedecompositions[J].FoundationsofComputerMath，2006,6(2): 227-254.

[12]MASOUMAN,MERANAN,HAVINGAP.Adistributedcompressivesensingtechniquefordatagatheringinwirelesssensornetwork[J].ProcediaComputerScience, 2013,21:207-216.

[13]NEEDELLD,TROPPJA.CoSaMP:Iterativesignalrecoveryfromincompleteandinaccuratesamples[J].AppliedandComputationalHarmonicAnalysis, 2008, 26(3): 301-321.

[14] 周燕,曾凡智,盧炎生,等.面向制造領(lǐng)域的三視圖模型組件快速檢索方法研究[J].中山大學學報(自然科學版),2014,53(4):62-68.ZHAOYan,ZENGFanzhi,LUYansheng,etal.Fastretrievalmethodofthree-dimensionviewformanufacturingfield[J].ActaScientiarumNaturaliumUniversitatisSunyatseni, 2014, 53(4): 62-68.

Video distributed compressive sensing research based on correlation model

ZHAOHuimin，PEIZhenzhen,CAIZhengye,DAIQingyun,WEIWenguo,WANGChen

(School of Electronic and Information //Guangzhou Key Laboratory of Digital Content Processing and Security Technology, Guangdong Polytechnic Normal University, Guangzhou 510665,China)

Video sampling and reconstruction need to process a huge amount of data. In order to solve the problem, a novel video distributed compressive sensing based-BP (VDCS-BP) is proposed in the paper. Based on correlation model established by sparse filter, VDCS-BP can achieve distributed video sensing at encoder-decoder, and reduce numbers of measurement by DCS. Experimental results show that the VDCS-BP is effective.

distributed compressive sensing; video; correlation; recovery

10.13471/j.cnki.acta.snus.2017.01.006

2016-08-31 基金項目：國家自然科學基金(61672008);廣東省自然科學基金(2016A030311013, 2015A030313672);廣東省應(yīng)用型科技研發(fā)專項項目(2016B010127006, 2015B010131017)；廣東省教育廳國際科技合作項目(2015KGJHZ021)；廣東省科技計劃項目(2014A010103032, 2014A010103032)

趙慧民(1966年生)，男；研究方向：信號與信息處理；E-mail:zhaohuimin@tom.com

TP

A

0529-6579(2017)01-0036-05