桑 濤 唐 述

1(中國(guó)冶金科工集團(tuán)有限公司信息化管理部 北京 100028) 2(重慶郵電大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 重慶 400065)

0 引 言

隨著無(wú)線通信技術(shù)(如LTE、5G、移動(dòng)云計(jì)算等)的快速發(fā)展以及近期諸多裸眼三維移動(dòng)智能終端設(shè)備的不斷涌現(xiàn)(如HTC EVO 3D、Optimus 3D、Sharp Lynx等)，基于三維視頻(Three-dimensional Video，3DV)的移動(dòng)應(yīng)用展現(xiàn)出了巨大的市場(chǎng)潛力。目前，多視點(diǎn)視頻+深度圖格式(Multi-view Video plus Depth，MVD)[1]被廣泛應(yīng)用于三維視頻的表示。MVD格式包含一組從不同角度的攝像機(jī)同時(shí)拍攝的多視點(diǎn)視頻(Multi-View Video，MVV)以及其對(duì)應(yīng)的深度圖。顯然地，三維視頻的數(shù)據(jù)量與傳統(tǒng)的二維視頻相比成多倍數(shù)增加。另一方面，無(wú)線網(wǎng)絡(luò)信道的劇烈變化對(duì)于三維視頻的傳輸也是一個(gè)巨大的挑戰(zhàn)，這也極大地阻礙了移動(dòng)三維視頻應(yīng)用的發(fā)展。

典型的無(wú)線視頻傳輸技術(shù)建立在香農(nóng)理論的基礎(chǔ)之上，通過(guò)設(shè)計(jì)串聯(lián)的獨(dú)立信源編碼以及信道編碼來(lái)實(shí)現(xiàn)高效的傳輸。信源編碼即是通常所指的視頻編碼/壓縮技術(shù)，通過(guò)消除原始視頻信號(hào)中的冗余來(lái)降低視頻信號(hào)的數(shù)據(jù)量進(jìn)而有效降低傳輸帶寬，三維視頻編碼通常采用3D-HEVC[2]編碼技術(shù)。信道編碼則采用前向糾錯(cuò)編碼(Forward Error Correction，F(xiàn)EC)以處理并糾正由于無(wú)線信道干擾帶來(lái)的傳輸錯(cuò)誤。目前被廣泛使用的信道編碼包括Turbo碼、卷積碼、LDPC碼等。在信源信道編碼之前信道條件已知的假設(shè)前提下，香農(nóng)的獨(dú)立編碼理論可以通過(guò)為信源編碼和信道編碼分別分配合適的碼率來(lái)實(shí)現(xiàn)傳輸帶寬受限情況下的最優(yōu)傳輸性能。然而，這個(gè)假設(shè)條件顯然不適于無(wú)線傳輸場(chǎng)景，因?yàn)闊o(wú)線信道在很多情況下都存在劇烈的變化。獨(dú)立信源+信道編碼方法的一個(gè)主要缺點(diǎn)是懸崖效應(yīng)(Cliff Effect)。當(dāng)實(shí)際信道質(zhì)量低于一個(gè)下界時(shí)，接收端的視頻重建質(zhì)量會(huì)急劇惡化，這主要是由于信道編碼已經(jīng)無(wú)法恢復(fù)惡劣的信道條件帶來(lái)的傳輸錯(cuò)誤；而當(dāng)信道質(zhì)量高于一個(gè)上界時(shí)，接收端的視頻重建質(zhì)量將不會(huì)再繼續(xù)提高，這主要是由于視頻質(zhì)量的上限值已經(jīng)在信源編碼時(shí)由視頻壓縮的量化參數(shù)事先所決定。而理想的情況是視頻質(zhì)量隨著信道質(zhì)量的提高不斷線性提升。

近年，MIT的研究人員提出一種被稱(chēng)為軟傳輸(SoftCast)的跨層技術(shù)用于無(wú)線視頻傳輸[3-5]。不同于典型的獨(dú)立信源+信道編碼方法最終傳輸?shù)男盘?hào)是二進(jìn)制比特流，軟傳輸最終傳輸?shù)男盘?hào)是一系列線性相關(guān)于像素值的實(shí)變換系數(shù)。這種傳輸方式本質(zhì)上是有損的，信道噪聲直接轉(zhuǎn)化為視頻信號(hào)的重構(gòu)誤差?；诖耍泜鬏敿夹g(shù)消除了懸崖效應(yīng)，并在一個(gè)寬范圍的信道信噪比(Signal-to-Noise Ratio，SNR)內(nèi)實(shí)現(xiàn)了接收端視頻重建質(zhì)量的線性變化。同時(shí)，軟傳輸只需要在發(fā)送端發(fā)送唯一的視頻信號(hào)便可滿足許多不同信道條件的接收端。

由于軟傳輸技術(shù)隨信道條件變化具有的良好的質(zhì)量線性變化特性，使之成為一個(gè)非常具有吸引力的方向。文獻(xiàn)[6]對(duì)軟傳輸技術(shù)進(jìn)行了理論分析，并建立了一個(gè)量化指標(biāo)用于衡量變換及信號(hào)能量分布的效率。文獻(xiàn)[7]分別提出了能量建模、系數(shù)偏移、數(shù)據(jù)劃分策略用于進(jìn)一步提升軟傳輸技術(shù)的性能。Hadizadeh[8]提出結(jié)合顯著性分析的方法用于提升軟傳輸接收端的主觀視頻質(zhì)量。為了進(jìn)一步消除時(shí)域和空域的冗余度，文獻(xiàn)[9]采用運(yùn)動(dòng)補(bǔ)償時(shí)域?yàn)V波技術(shù)(Motion Compensate Temporal Filter，MCTF)和離散小波變換(Discrete Wavelet Transform，DWT)實(shí)現(xiàn)更為高效的軟傳輸方案。文獻(xiàn)[10]則將軟傳輸技術(shù)與分布式視頻編碼技術(shù)相結(jié)合以獲得分布式的性能提升。基于軟傳輸技術(shù)，文獻(xiàn)[11]提出了一種被稱(chēng)為混合數(shù)字模擬編碼(Hybrid Digital-Analog，HDA)的方案。HAD的關(guān)鍵點(diǎn)是將軟傳輸結(jié)合到典型的數(shù)字視頻編碼架構(gòu)中，從而實(shí)現(xiàn)對(duì)數(shù)字編碼和軟傳輸優(yōu)點(diǎn)的同時(shí)利用。此外，軟傳輸技術(shù)還被應(yīng)用于衛(wèi)星遙感圖像的傳輸[12]和云視頻的無(wú)線傳輸。綜上所述的軟傳輸技術(shù)的目標(biāo)都是針對(duì)傳統(tǒng)的二維自然視頻信號(hào)，針對(duì)三維視頻軟傳輸?shù)难芯磕壳斑€比較欠缺。文獻(xiàn)[13]及文獻(xiàn)[14]針對(duì)自由視點(diǎn)視頻提出將紋理視頻和深度圖組合并簡(jiǎn)單地?cái)U(kuò)展三維DCT變換到五維DCT變換以提升軟傳輸?shù)淖儞Q增益，但由于深度圖和紋理視頻的特性存在極大差異，因此性能還有較大的提升空間。文獻(xiàn)[15]針對(duì)三維視頻的深度圖軟傳輸提出了基于分塊DCT變換的優(yōu)化方案，但該方案暫時(shí)未對(duì)多視點(diǎn)紋理視頻軟傳輸進(jìn)行研究。文獻(xiàn)[16]對(duì)多視點(diǎn)紋理視頻和深度圖的傳輸進(jìn)行了功率分配，以期在功率一定的情況下，最大化接收端合成視點(diǎn)的重建質(zhì)量。

雖然軟傳輸技術(shù)實(shí)現(xiàn)了高效的二維視頻無(wú)線傳輸性能，但其并不適應(yīng)于三維視頻的無(wú)線傳輸。直觀地，為了實(shí)現(xiàn)高效的多視點(diǎn)視頻傳輸性能，需要充分利用多視點(diǎn)之間的冗余性[13]。受此啟示，本文提出一種多視點(diǎn)視頻無(wú)線軟傳輸方法。本文的創(chuàng)新點(diǎn)主要體現(xiàn)在兩個(gè)方面：(1) 從理論增益公式出發(fā)，分析了多維DCT變換的增益影響因素，并針對(duì)多視點(diǎn)紋理視頻提出四維離散余弦變換用于提升軟傳輸?shù)淖儞Q增益；(2) 根據(jù)變換系數(shù)分布特性出發(fā)，對(duì)輔助數(shù)據(jù)的傳輸進(jìn)行了推導(dǎo)優(yōu)化以降低傳輸塊的平均能量。

1 軟傳輸技術(shù)分析

軟傳輸是一種非常簡(jiǎn)單但高效的無(wú)線視頻傳輸方案。為了保證整個(gè)系統(tǒng)是完全線性的，軟傳輸丟棄了典型的量化和熵編碼過(guò)程。軟傳輸方案的結(jié)構(gòu)如圖1所示。發(fā)送端包含五個(gè)步驟：線性變換、塊劃分、功率分配、哈達(dá)瑪變換、實(shí)值映射。首先，線性變換被作用于每一個(gè)圖像組(Group of Picture，GOP)以消除原始視頻信號(hào)的空域和時(shí)域冗余。軟傳輸方案采用的變換是三維離散余弦變換(3D-DCT)；第二，變換后的系數(shù)被分組組成若干數(shù)量的塊(chunk)以便于傳輸(塊是軟傳輸?shù)幕緜鬏攩卧?，用于減小輔助數(shù)據(jù)的數(shù)據(jù)量)；第三，塊級(jí)的功率分配通過(guò)為傳輸系數(shù)分配最優(yōu)的縮放因子以用于減小傳輸失真；第四，哈達(dá)瑪變換通過(guò)進(jìn)行塊間的能量重分布以增強(qiáng)對(duì)信道噪聲的容錯(cuò)能力；最后，成對(duì)的變換系數(shù)被直接映射到正交頻分復(fù)用(Orthogonal Frequency Division Multiplexing,OFDM)的同相(in-phase，I)和正交(quadrature，Q)分量進(jìn)行發(fā)送。此外，圖1中的輔助數(shù)據(jù)A用于傳輸塊劃分信息(塊均值和方差)，圖1中的輔助數(shù)據(jù)B用于傳輸分塊的功率分配縮放因子。文獻(xiàn)[7]中指出該輔助數(shù)據(jù)A和B的數(shù)據(jù)量可以被忽略不計(jì)(僅僅只有0.014bit/pixel)。同時(shí)，為了保護(hù)該輔助數(shù)據(jù)不受信道噪聲的干擾，采用最低碼率的FEC編碼和二進(jìn)制相移鍵控調(diào)制(Binary Phase Shift Keying，BPSK)以保證可靠傳輸。

接收端首先采用最小二乘估計(jì)(Least Linear Square Estimation，LLSE)獲取原始傳輸系數(shù)的最優(yōu)估計(jì)。其余的步驟均為發(fā)送端對(duì)應(yīng)過(guò)程的完全可逆操作。

最優(yōu)的策略是為每一個(gè)傳輸系數(shù)分配一個(gè)縮放因子。然而，這需要傳輸大量的輔助數(shù)據(jù)以至于不可實(shí)現(xiàn)。作為折中方案，軟傳輸采用塊級(jí)的功率分配，即每一個(gè)分塊分配一個(gè)縮放因子。假設(shè)劃分的塊數(shù)目為M，每一個(gè)塊的系數(shù)個(gè)數(shù)為N，則第i個(gè)塊的最優(yōu)功率分配縮放因子為[3]：

(1)

式中：Ptotal為可用總功率；λi為第i個(gè)分塊的平均能量(方差)。因此，整個(gè)重建視頻信號(hào)的最小失真為：

(2)

2 多視點(diǎn)視頻無(wú)線軟傳輸優(yōu)化

基于如圖1所示的軟傳輸框架，針對(duì)多視點(diǎn)視頻提出兩個(gè)方面的優(yōu)化策略以實(shí)現(xiàn)更高的傳輸性能。優(yōu)化策略的詳細(xì)描述如下。

2.1 針對(duì)多視點(diǎn)視頻的四維離散余弦變換

類(lèi)似于離散余弦變換(DCT)的線性變換主要用于降低原始視頻信號(hào)的冗余度進(jìn)而提升傳輸效率。面向傳統(tǒng)二維視頻的軟傳輸技術(shù)采用三維離線余弦變換(3D-DCT)消除空域(水平和垂直方向)以及時(shí)域的冗余。對(duì)多視點(diǎn)視頻而言，還存在視角之間的冗余。因此，直觀的思路即是將3D-DCT擴(kuò)展至四維離散余弦變換(4D-DCT)，其中增加的第四個(gè)維度用于處理視角間的冗余。假設(shè)用I(v,t,x,y)表示多視點(diǎn)視頻的像素值，其中：v為視角索引；t為幀索引；x和y為水平和垂直坐標(biāo)。則對(duì)I進(jìn)行4D-DCT可以表示為：

(3)

式中：S是一個(gè)集合，S={V,T,X,Y}。

(4)

式中：D為總視角數(shù)；G為圖像組的幀數(shù)；N為分塊大??；cv(V)、ct(T)、cxy(X)、cxy(Y)為式(5)所示的四個(gè)常量。

(5)

根據(jù)文獻(xiàn)[6]的分析可知，軟傳輸中某種特定變換的傳輸增益的測(cè)量如下：

(6)

2.2 基于變換系數(shù)分布特性的輔助數(shù)據(jù)優(yōu)化

在軟傳輸?shù)脑O(shè)計(jì)中，每一個(gè)系數(shù)分塊的均值被當(dāng)作輔助數(shù)據(jù)傳輸，而殘差系數(shù)則直接映射到OFDM的I和Q分量進(jìn)行傳輸。然而，這樣的設(shè)計(jì)離最優(yōu)性能還有很大的差距。假設(shè)ωi是第i個(gè)分塊中絕對(duì)值最大的變換系數(shù)，μi為第i個(gè)分塊的系數(shù)均值。如果ωi被當(dāng)作輔助數(shù)據(jù)進(jìn)行傳輸，而分塊中其他的系數(shù)均采用OFDM直接傳輸，則第i個(gè)分塊的平均能量會(huì)變?yōu)椋?/p>

(7)

假設(shè)如下關(guān)系成立：

(8)

則有：

(9)

因此，式(9)的結(jié)論會(huì)降低Α，進(jìn)而有效地提高傳輸性能。

DCT變換最重要的性質(zhì)是將信號(hào)能量集中在一小部分系數(shù)，且變換系數(shù)的數(shù)值大小從低頻到高頻急速衰減。更為具體地說(shuō)，系數(shù)近似地沿對(duì)角線方向從DCT變換塊的左上角到右下角迅速遞減。因此，同一個(gè)DCT變換塊的系數(shù)值差異非常大?；谶@樣的性能，對(duì)兩個(gè)典型的圖像(Lenna和Pepper)分析ωi和μi是否滿足如式(8)所示的關(guān)系。結(jié)果表明，70%的分塊滿足式(8)所示的關(guān)系。同時(shí)，通過(guò)采用ωi取代μi作為輔助數(shù)據(jù)，可以極大地降低左上角分塊的平均能量。另一方面，左上角的系數(shù)通常具有最大的信號(hào)能量。因此，可以通過(guò)如下的策略對(duì)多視點(diǎn)視頻軟傳輸?shù)妮o助數(shù)據(jù)進(jìn)行優(yōu)化：

圖4展示了上述基于變換系數(shù)分布性質(zhì)的輔助數(shù)據(jù)優(yōu)化的效果?？梢钥吹?，該優(yōu)化將分塊平均能量和從908.456 5降低至590.636 9，實(shí)現(xiàn)了40%的降低，這可以實(shí)現(xiàn)非常明顯的傳輸性能改進(jìn)。

3 仿真結(jié)果及分析

為驗(yàn)證本文所提出多視點(diǎn)視頻無(wú)線軟傳輸優(yōu)化技術(shù)的性能，對(duì)典型的三維視頻序列進(jìn)行仿真實(shí)驗(yàn)。

測(cè)試序列：四組三維視頻序列用于仿真實(shí)驗(yàn)，表1給出了測(cè)試序列及其參數(shù)配置。

表1 測(cè)試序列及配置

無(wú)線仿真環(huán)境：802.11無(wú)線仿真物理層鏈路被用于仿真實(shí)驗(yàn)，采用MATLAB Communication ToolBox實(shí)現(xiàn)，并在高斯信道下進(jìn)行仿真實(shí)驗(yàn)。輔助數(shù)據(jù)采用1/2碼率的卷積碼和BPSK調(diào)制進(jìn)行傳輸；變換系數(shù)成對(duì)直接映射到OFDM進(jìn)行傳輸，其中OFDM的參數(shù)配置采用802.11 a/g的參數(shù)設(shè)置。此外，仿真的信道信噪比范圍為4～15 dB，圖5為物理層鏈路實(shí)現(xiàn)細(xì)節(jié)。

評(píng)價(jià)指標(biāo)：峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)指標(biāo)用于評(píng)估重建視頻質(zhì)量。PSNR指標(biāo)定義如下：

(10)

式中：MSE為重建視頻像素與原始視頻像素的均方誤差。在本文涉及的多視點(diǎn)視頻中，所有視點(diǎn)的平均PSNR作為最終的評(píng)價(jià)標(biāo)準(zhǔn)。

在仿真實(shí)驗(yàn)中，分塊大小設(shè)置為64×48，GOP大小設(shè)置為8。實(shí)驗(yàn)對(duì)比測(cè)試分別為本文方法、原始軟傳輸方法[3]、采用4D-DCT的軟傳輸方法及參考文獻(xiàn)[13]所提方法。

4個(gè)測(cè)試序列的仿真實(shí)驗(yàn)結(jié)果如圖6所示?？梢钥吹剑?種軟傳輸方法都在整個(gè)信道信噪比范圍內(nèi)實(shí)現(xiàn)了線性的質(zhì)量變換，從而消除了典型信源信道編碼傳輸方法的懸崖效應(yīng)。橫向?qū)Ρ?種軟傳輸方法，可以看到采用4D-DCT的軟傳輸方法及參考文獻(xiàn)[13]相比于原始的軟傳輸方法實(shí)現(xiàn)了2至4 dB的性能提升；而本文所提結(jié)合了基于變換系數(shù)分布特性的輔助數(shù)據(jù)優(yōu)化的方法則可以進(jìn)一步提升傳輸性能，提升幅度為2至5 dB。此外，圖7給出了兩幀圖像的主觀質(zhì)量對(duì)比。可以看到，本文方法相比于原始軟傳輸方法提供了更佳的視覺(jué)主觀視頻質(zhì)量。

4 結(jié) 語(yǔ)

本文提出一種多視點(diǎn)視頻無(wú)線軟傳輸優(yōu)化方法。首先為了降低視點(diǎn)間的冗余，將線性變換擴(kuò)展至四維離散余弦變換；其次，為了進(jìn)一步降低分塊的平均能量，提出基于變換系數(shù)分布特性的輔助數(shù)據(jù)優(yōu)化方法。仿真實(shí)驗(yàn)結(jié)果表明，本文方法可以對(duì)多視點(diǎn)視頻軟傳輸提升5～8 dB的傳輸性能，同時(shí)也提高了重建視頻的主觀視頻質(zhì)量。