趙海武 陳 鈺 吳成家 何 鳴 葛 平(上海大學(xué)通信與信息工程學(xué)院 上海 200444)

0 引 言

全景視頻作為VR視頻的重要來源之一，其本質(zhì)是由一個360度的相機拍攝所得的球面視頻。同傳統(tǒng)的平面矩形視頻相比，全景視頻具有更大的信息量。因為全景視頻是球面視頻，采取傳統(tǒng)的視頻編碼標(biāo)準(zhǔn)HEVC、AVS2無法直接對球面視頻進行編碼和存儲。對全景視頻進行采樣并轉(zhuǎn)換成平面矩形視頻，這一過程稱為映射。如何將球面視頻映射為平面矩形視頻，是全景視頻進行后續(xù)處理的必經(jīng)過程。

目前最常用的映射算法是經(jīng)緯圖映射(Equi-Rectangular mapping Projection,ERP)[1]。以單位球為例，ERP在經(jīng)度和緯度方向分別做均勻采樣，將所得像素排列成一個寬高比即W和H的比為2的平面矩形視頻，如圖1所示。顯然ERP會導(dǎo)致極點附近嚴(yán)重過采樣，景物變形程度很大。但因為該方法簡單，目前作為全景視頻的基本存儲格式。

另一種常用的映射算法為六面體映射(Cubic Mapping Projection,CMP)[2]。CMP將球面視頻映射到外切正六面體的六個面上，然后對六個面進行排列得到矩形視頻。相比于經(jīng)緯圖映射，CMP可以減小數(shù)據(jù)冗余，但采樣密度不均勻，且排列后會出現(xiàn)較多人工邊界(球面上內(nèi)容相鄰而排列后不相鄰)，人工邊界會降低內(nèi)容的連續(xù)性，不利于后續(xù)的編碼壓縮。為了進一步降低過采樣，人們又提出了正八面體映射(OctaHedral mapping Projection,OHP)[3]、正二十面體映射(IcoSahedral mapping Projection,ISP)[4]等。這一類方法統(tǒng)稱為“基于正多面體的映射”。隨著面的增多，多面體的表面越來越接近球面，過采樣程度也就越來越小。但是隨著面的增多，將映射面排列成一個矩形的方法也越來越復(fù)雜，產(chǎn)生的人工邊界也越來越多，過采樣程度下降帶來的好處并不明顯。

解決球面到平面映射問題的另一類方法統(tǒng)稱為“基于等面積展開圖的映射”。其思路是先把球面按某條經(jīng)線為基準(zhǔn)做等面積展開，如圖2所示，圖形的高度等于經(jīng)線的長度，而水平方向上的寬度等于緯線的長度，球面展開圖的寬與緯度呈余弦關(guān)系[5]。再用各種簡單圖形對圖2所示的圖形做近似。這一類映射方法有條形映射(Tile mapping Projection,TP)[6]、八角形映射(OctaGonal Mapping,OGM)[5]等。條形映射將圖2分割為若干等高的水平條，然后用矩形條近似每個水平條，最后將得到的若干矩形條重新排列為一個矩形，圖3展示了條數(shù)為6時的條形映射示意圖。Wu等提出的八角形映射用圖4所示的八角形近似圖2所示圖形?；诘让娣e展開圖的映射方法相比之前的方法進一步減少了數(shù)據(jù)冗余，但仍有一些人工邊界存在，在某些地區(qū)采樣密度仍然不夠均勻。

圖3 條形映射示意圖

圖4 八角形映射示意圖

過采樣會造成景物變形、數(shù)據(jù)冗余，所以，映射過程中應(yīng)盡量減少過采樣區(qū)域，降低視頻中的物體變形程度。本文提出的最小變形雙極方形映射算法中，設(shè)計了一種定量描述變形程度的方法，并基于等面積展開圖，用變形度最小的且相對簡單的圖形對球面做近似。

S-PSNR(Spherical Peak Signal-to-Noise Ratio)[7]和WS-PSNR(Weighted to Spherically uniform PSNR)[8]是應(yīng)用廣泛的全景視頻質(zhì)量評價方法。S-PSNR評價方法的思路是把各種映射后的全景視頻數(shù)據(jù)統(tǒng)一映射到球面上指定的655 362個點，再比較原始視頻與映射視頻在這些點的差別，計算峰值信噪比。WS-PSNR是一種根據(jù)像素對應(yīng)的球面面積進行加權(quán)計算PSNR的方法。通常全景視頻存儲格式為經(jīng)緯圖格式，應(yīng)用WS-PSNR時，可以把各種映射統(tǒng)一反映射到經(jīng)緯圖，然后基于原始經(jīng)緯圖和反映射后的經(jīng)緯圖中每個像素對應(yīng)的球面面積計算PSNR。

1 映 射

1.1 采 樣

基于等面積展開圖的映射原理，按圖2采樣將無法直接得到矩形視頻，我們需要對球面展開圖做近似，并且保證變形程度最小。依據(jù)余弦特性得知，余弦曲線在區(qū)間[0,π/3]上斜率較小，區(qū)間[π/3,π/2]上斜率較大，在圖2中，對應(yīng)的緯度在區(qū)間[π/3,π/2]上斜率較大，在區(qū)間[0,π/3]上斜率較小。因此將斜率較大的區(qū)域近似成三角形，斜率較小的區(qū)域近似成矩形。原來的球面展開圖即可近似成一個多邊形，由兩個三角形和一個矩形組成，并且矩形的高度是三角形高度的四倍，如圖5所示。以多邊形的中心為原點，建立平面直角坐標(biāo)系，X軸方向表示寬，Y軸方向表示緯度，單位長度為π/2。

圖5 多邊形近似球面展開圖的示意圖

以第一象限為例，球面等面積展開圖邊界表達式為：

(1)

設(shè)多邊形中三角形的底邊長的一半為b，矩形的長度的一半為a，則邊界方程為：

(2)

顯然，圖5是存在變形的，這種變形程度與伸縮程度有關(guān)，設(shè)多邊形與原始區(qū)域之間的變形度為D。當(dāng)不存在變形時，D應(yīng)為0，當(dāng)xc(y)和xp(y,a,b)的差距變大時，D應(yīng)變大。我們需要找一個滿足上述特征的函數(shù)來描述變形度，設(shè)D的表達式如下：

(3)

在第一象限中，兩個邊界之間的總變形度計算為區(qū)間(0,1)中變形度的總和。因此，第一象限的總變形度為：

(4)

由式(4)可知，總變形度是與(a,b)有關(guān)的變量，當(dāng)變形度達到最小值時，(a,b)是總變形的最優(yōu)解。經(jīng)計算，最優(yōu)解為(1.805 6,1.322 7)。三角形區(qū)域高寬的比值約0.25，在實際映射中，為方便采樣我們將三角形的高寬比設(shè)為0.25。

基于該近似模型，最小變形度多邊形的映射方式等同于在球面等面積展開圖做采樣。采樣步驟如下：

(1) 在垂直方向，用等間距的緯線將展開圖分成30N個條帶，N是正整數(shù)，當(dāng)N趨于無窮時，條帶可看作一個矩形條。從上到下，將每個矩形條編號為0,1，…，30N-1。

(2) 在水平方向，用等間距的經(jīng)線將第i個矩形條分為Ti個四邊形，Ti應(yīng)滿足：

(5)

為了對比采樣密度，選擇性能較好的條形映射(TP)和八角形映射(OGM)以及經(jīng)典的經(jīng)緯圖(ERP)作對比。當(dāng)采用式(6)計算Ti時，映射方法為ERP。當(dāng)采用式(7)計算Ti時，映射方式為TP(條數(shù)為6)。當(dāng)采用式(8)計算Ti時，映射方式為OGM。

Ti=60×N0≤i<30N

(6)

(7)

(8)

每個矩形以底邊為準(zhǔn)，對應(yīng)的緯度為：

(9)

每個矩形的高度為π/30N，第i個矩形的面積Si可以表示為：

(10)

圖6 采樣密度曲線

可以看出，MDBSP的采樣密度曲線比其他映射更平坦。MDBSP不僅在高緯度采樣密度較低，而且低緯度采樣密度更均勻，這保證了低緯度區(qū)域的內(nèi)容的完整性的同時，也緩解了高緯度的過采樣問題。

1.2 重排列

為了利用傳統(tǒng)視頻編碼標(biāo)準(zhǔn)來壓縮全景視頻，還需重新排列最小變形度多邊形內(nèi)的像素形成一個矩形視頻，并且盡可能地保持內(nèi)容的連續(xù)性。依據(jù)多邊形中三角形部分的寬高特點，可以將三角形分為四個三角形，從左到右分別標(biāo)記為A、B、C和D。四個三角形的像素可重新排列成新的正方形，如圖7所示。分割線附近的像素等于拼接線附近的像素，并且經(jīng)過旋轉(zhuǎn)拼接后四個三角形仍然有從A到B到C到D的順序。因此，正方形中的像素是連續(xù)相關(guān)的，正方形內(nèi)不存在人工邊界。

圖7 三角形排列示意圖

將最小變形度多邊形分成九部分，依次命名A-I。兩極的三角形可以拼接成兩個正方形，將兩個正方形移到矩形的右邊后形成的矩形的高度等于中間矩形的高度，如圖8(a)所示。最終最小變形度多邊形被排列為一個矩形，完成完整的映射。圖8(b)顯示了映射后的測試序列的實例。

2 實 驗

為了驗證本文提出的最小變形雙極方形映射算法的優(yōu)越性，在RD[9]性能實驗中，將采用HEVC編碼器X.265[10]對4個4K測試序列和6個8K測試序列[11]進行編碼測試，視頻每秒傳輸幀數(shù)為30。選取4個QP(22,27,32,37)來計算BD-RATE。由于ERP的經(jīng)典性，選取它與最新的映射方式TP及OGM作為對比算法。根據(jù)文獻[5]中的通測條件，映射后的視頻數(shù)據(jù)量應(yīng)是原始視頻數(shù)據(jù)量的0.25倍。在上述步驟中，涉及到的插值過程使用Lanczos插值法[12]。

以序列2(DrivingInCity)和序列8(ChairliftRide)為例，圖9和圖10顯示了序列2和序列8的RD曲線。表1和表2分別顯示了在S-PSNR、WS-PSNR下映射算法的BD-RATE，以ERP為公共比較基準(zhǔn)(anchor)?？梢钥闯?，在相同的比特率下，MDBSP的視頻質(zhì)量比其他映射后視頻質(zhì)量高。在表1和表2中，與ERP相比，MDBSP(M-BD)的編碼增益分別為17.48%和17.16%。與OGM(O-BD)相比，它可以獲得5.92百分點和5.58百分點的編碼增益；與TP(T-BD)相比，MDBSP也獲得了7.55百分點和7.68百分點的編碼增益。雖然后兩個序列的南北極存在拍攝問題，造成了總體編碼性能下降，但仍然可以看出，MDBSP的性能仍優(yōu)于其他映射方式。因此，與三種映射方案相比，MDBSP都有明顯的編碼增益。

(a) 采用S-PSNR

(b) 采用WS-PSNR圖9 序列2(DrivingInCity)的RD曲線

(b) 采用WS-PSNR圖10 序列8(ChairliftRide) 的RD曲線

表1 根據(jù)S-PSNR計算的BD-RATE(%)

3 結(jié) 語

本文針對現(xiàn)有映射方法中存在的內(nèi)容變形和數(shù)據(jù)冗余等問題，提出最小變形雙極方形映射(MDBSP)算法。算法首先將球面視頻展開成一個等面積的平面展開視頻，然后根據(jù)最小變形度對展開視頻做近似得到多邊形視頻，最后將多邊形視頻內(nèi)的像素進行重排列得到平面矩形視頻。實驗數(shù)據(jù)和主觀視覺效果表明，同傳統(tǒng)的ERP算法相比，MDBSP的采樣更均勻，過采樣情況大大降低，并且獲得17.48%(S-PSNR)和17.16%(WS-PSNR)的編碼增益。因此本文算法大大提高了編碼效率和視頻質(zhì)量，擁有高效的編碼性能。下一步工作將結(jié)合映射后視頻的相關(guān)特征，降低人工邊界對全景視頻的影響。