周簡(jiǎn)心，高廷金，張森林

（1.福州大學(xué) 先進(jìn)制造學(xué)院，福建 福州 350000；2.福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350000）

0 引言

全景視頻以其帶來(lái)的沉浸式、交互式體驗(yàn)，受到人們的廣泛關(guān)注，并成為虛擬現(xiàn)實(shí)（Virtual Reality，VR）技術(shù)和增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）技術(shù)中最熱門(mén)的業(yè)務(wù)[1]。在全景視頻的傳輸過(guò)程中，根據(jù)用戶不停的視角轉(zhuǎn)變，向用戶端實(shí)時(shí)傳輸視頻數(shù)據(jù)。在此過(guò)程中，全景視頻傳遞的比特?cái)?shù)是傳統(tǒng)視頻的4～6倍,同時(shí)其所產(chǎn)生的頭動(dòng)相應(yīng)時(shí)延（Motion To Photon，MTP）需要控制在20 ms以內(nèi)，才不會(huì)使用戶出現(xiàn)眩暈感，這體現(xiàn)出全景視頻數(shù)據(jù)量大、對(duì)時(shí)延敏感的特點(diǎn)[2-3]。在帶寬受限網(wǎng)絡(luò)情況下，如何在保障用戶體驗(yàn)質(zhì)量（Quality of Experience，QoE）的過(guò)程中進(jìn)行低時(shí)延的全景視頻傳輸，已經(jīng)成為當(dāng)前全景視頻研究的重點(diǎn)。

為解決全景視頻傳輸數(shù)據(jù)量大的問(wèn)題，一般采用基于Tile的視口自適應(yīng)傳輸方案。OZCINAR引入一種自適應(yīng)全景視頻流框架，通過(guò)視覺(jué)注意力度來(lái)決定不同圖塊的比特率分配[4]。雖然該方案能夠減小全景視頻傳輸?shù)臄?shù)據(jù)量，但是大部分寬帶用于傳輸非視口區(qū)域，導(dǎo)致優(yōu)化視口質(zhì)量不足。LYU針對(duì)時(shí)延敏感的特點(diǎn)，提出一種根據(jù)圖塊的幀間和層間解碼依賴性的前向糾錯(cuò)（Forward Error Correction，F(xiàn)EC）編碼率優(yōu)化方法，通過(guò)提供不等錯(cuò)保護(hù)（Unequal Error Protection，UEP）進(jìn)行可靠的低時(shí)延視頻傳輸，但是并沒(méi)有考慮傳輸過(guò)程中的編碼率不同對(duì)FEC的影響[5]。

為了解決這些關(guān)鍵問(wèn)題，文章提出一種360°全景視頻自適應(yīng)FEC編碼策略。采用線性回歸來(lái)估計(jì)視口區(qū)域，并構(gòu)建一個(gè)概率模型得出視口圖塊的權(quán)重。通過(guò)該權(quán)重建立一種針對(duì)360°全景視頻的視頻失真度模型，以此提高視頻質(zhì)量的評(píng)估準(zhǔn)確度。通過(guò)時(shí)延約束評(píng)估不同幀的編碼比特率和FEC編碼率上限，再根據(jù)視口優(yōu)先級(jí)進(jìn)行優(yōu)化匹配，最大限度提升全景視頻的傳輸質(zhì)量。實(shí)驗(yàn)結(jié)果表明，該策略能夠在時(shí)延的約束下實(shí)現(xiàn)高質(zhì)量的全景視頻傳輸。

1 系統(tǒng)模型及問(wèn)題描述

1.1 360°全景視頻失真模型

在傳統(tǒng)視頻失真模型中，端到端失真Dt通常為源失真Ds和通道失真Dc的疊加，即

式中：Ds為視頻在編碼過(guò)程中的失真，主要由視頻源碼率R和視頻序列參數(shù)R0決定，Dc為網(wǎng)絡(luò)傳輸中的通道失真，取決于有效丟失率Π，而有效丟失率由視頻數(shù)據(jù)包的傳輸丟失和過(guò)期到達(dá)引起，D0、α、ω為特定視頻編解碼器和視頻序列的常數(shù)。

經(jīng)過(guò)FEC編碼后能夠容忍的丟包率為

式中：F為FEC冗余包數(shù)量，K為源包數(shù)。

如果丟包數(shù)少于式（2）計(jì)算出的數(shù)值，證明可以完全恢復(fù)丟包，即Π=0，否則Π=η。但是，以上分析都沒(méi)有考慮全景視頻中不同區(qū)域的重要性不同。因此，針對(duì)全景視頻的特點(diǎn)提出一種全景視頻失真度模型，以便更準(zhǔn)確地測(cè)量全景視頻的質(zhì)量。

使用等距形投影，將360°視頻從觀看周?chē)那蛐斡蛘蛊降?D矩形表面，并將投影后的每一幀分為w×h塊，每一塊分配編號(hào)i，并將視點(diǎn)坐標(biāo)定義為(X,Y)。令μx∈[0,ω)和μy∈[0,h)，表示分別矩形域中視口中心的X、Y坐標(biāo)期望值，這些值是根據(jù)先前的視口位置估計(jì)的。對(duì)于圖塊i，其重要性權(quán)重γi,j計(jì)算為其與視口的預(yù)期重疊面積。定義(pi,qi)為圖塊i的中心坐標(biāo)，i∈{1,2,…,wh}。Si(X)為以(X,μY)為中心的視口與以(pi,qi)為中心的圖塊之間的重疊區(qū)域，計(jì)算公式為

如果(u,v)在以(x,μY)為中心的視區(qū)中，F(xiàn)(u,v,X)=1，否則F(u,v,X)=0。其中，(u,v)代表視角實(shí)際的坐標(biāo)值。

通過(guò)該概率模型，可以估計(jì)全景視頻流的不同圖塊權(quán)重，有效減少以往視口估計(jì)的不確定性，由此可以得出全景視頻失真模型為

式中：γi,j為圖塊的權(quán)重，為視頻失真度，ri,j為FEC冗余度，j為幀序列數(shù)，最大值為m，i為圖塊序列數(shù)，最大值為n，Q為圖塊對(duì)應(yīng)的量化參數(shù)（Quantizer Parameter，QP）值。

1.2 問(wèn)題定義

介紹上述模型并推導(dǎo)出全景視頻失真度后，可以制定如下優(yōu)化措施：在給定網(wǎng)絡(luò)條件下，找到全景視頻每個(gè)瓦片的最佳QP值和每幀的最佳FEC編碼參數(shù)，使視頻失真最小化。優(yōu)化問(wèn)題可以表述為

式中：Γtar為視頻幀的目標(biāo)時(shí)延，T為各塊的時(shí)延，Nr為客戶端能夠接收到當(dāng)前視頻幀總數(shù)據(jù)包的個(gè)數(shù)，K為源包的個(gè)數(shù)，ω為包的長(zhǎng)度，Snmin為關(guān)鍵幀的比特資源下限。約束C1是為了保證視頻幀的總時(shí)延上限，約束C2表示理論條件下滿足客戶端可以恢復(fù)原始數(shù)據(jù)幀，約束C3表示關(guān)鍵幀比特?cái)?shù)的最小閾值。

2 360°全景視頻自適應(yīng)FEC編碼算法

在全景視頻傳輸過(guò)程中，端到端時(shí)延是一個(gè)影響交互能力和視頻質(zhì)量的重要因素，一旦視頻幀傳輸超過(guò)時(shí)延約束，該視頻幀將會(huì)被丟棄[7-8]。因此，本算法通過(guò)視頻傳輸?shù)臅r(shí)延約束決定鏈路的比特?cái)?shù)上限。數(shù)值主要受傳播時(shí)延、傳輸時(shí)延和排隊(duì)時(shí)延影響，結(jié)合約束C1可以推導(dǎo)出總視頻幀的比特?cái)?shù)Lall為

式中：S為源包比特?cái)?shù)，R為FEC包比特?cái)?shù)，u為帶寬，η為丟包率，tRTT為視頻幀的往返時(shí)間，L~為隊(duì)列鏈路的比特?cái)?shù)。

理論上，只要接收端可以收到不少于K個(gè)FEC數(shù)據(jù)包，就可以恢復(fù)損失的數(shù)據(jù)包，也就是FEC包數(shù)R需要大于傳輸中損失的包數(shù)，即

因此，結(jié)合約束C2可以推出總視頻幀的碼率和FEC分配碼率的上限。

在視頻編碼中，I幀作為關(guān)鍵幀，一旦出現(xiàn)損失，則會(huì)影響后面非關(guān)鍵幀P幀的編解碼工作，因此I幀的優(yōu)先級(jí)高于P幀。在分配資源過(guò)程中，應(yīng)對(duì)此采取不同的視頻幀和冗余率的分配策略。對(duì)于P幀，視頻幀總比特?cái)?shù)Lall應(yīng)采取時(shí)延約束的上限，而FEC的比特?cái)?shù)R取數(shù)據(jù)恢復(fù)的下限值，即

根據(jù)實(shí)際往返時(shí)延（Round Trip Time，RTT）判斷網(wǎng)絡(luò)狀態(tài)，調(diào)整每幀的總視頻幀比特?cái)?shù)，再結(jié)合式（8）得出該幀和圖塊對(duì)應(yīng)的碼率和冗余率。

對(duì)于關(guān)鍵幀I幀，關(guān)鍵幀的比特?cái)?shù)應(yīng)低于關(guān)鍵幀的比特資源下限。當(dāng)S≤Snmin時(shí)，與非關(guān)鍵幀策略相同就可以保證數(shù)據(jù)的丟失在FEC恢復(fù)能力之內(nèi)。當(dāng)S>Snmin時(shí)，應(yīng)提前為FEC預(yù)留比特資源，此時(shí)關(guān)鍵幀的比特?cái)?shù)取S=[Lall×(1-η)+Snmin]/2，然后重新計(jì)算FEC的冗余率和QP值。詳細(xì)算法步驟如下。

得到總幀的碼率比特率后，對(duì)每塊進(jìn)行相應(yīng)的碼率資源分配。優(yōu)化問(wèn)題被規(guī)劃成多項(xiàng)式復(fù)雜程度的非確定性（Non-deterministic Polynomial，NP）完全的背包問(wèn)題，用快速搜索算法進(jìn)行求解。進(jìn)行多次迭代，每次迭代會(huì)將一個(gè)QP值分配給當(dāng)前局部最優(yōu)的圖塊。具體地，先計(jì)算將當(dāng)前QP值分配到每一個(gè)Tile能夠帶來(lái)的視頻質(zhì)量提升值，然后選擇本輪迭代中質(zhì)量提升最多的Tile進(jìn)行最優(yōu)QP值分配。不斷重復(fù)迭代過(guò)程，直到將所有碼率比特資源分配完成。

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)環(huán)境及參數(shù)配置

本次實(shí)驗(yàn)采用C++語(yǔ)言進(jìn)行系統(tǒng)設(shè)計(jì)。從公開(kāi)的360°全景視頻數(shù)據(jù)集中選定Stage、Ocean、Boating和Forest共4個(gè)視頻，每個(gè)視頻配置為YUV 420、長(zhǎng)度5 000幀、分辨率3 840×2 048像素。在預(yù)視頻處理階段，采用高效率視頻編碼（High Efficiency Video Coding，HEVC）作為視頻編碼器，并結(jié)合Kvazaar對(duì)視頻進(jìn)行切8×3圖塊操作。其中，量化參數(shù)合集QP={32，34，38，40，43}，編碼碼流幀率為每秒25幀。設(shè)置GOPSize=1，IntraPeriod=25，表示“IPPP”的GOP結(jié)構(gòu)，即一個(gè)I幀和24個(gè)P幀為一個(gè)GOP。實(shí)驗(yàn)采用Raptor-FEC系統(tǒng)實(shí)現(xiàn)FEC編碼，通過(guò)Holowan網(wǎng)絡(luò)仿真儀模擬出真實(shí)的網(wǎng)絡(luò)條件。視頻傳輸時(shí)延約束為150 ms，網(wǎng)絡(luò)丟包率為10%。

3.2 實(shí)驗(yàn)結(jié)果與分析

將AR-FEC算法與傳統(tǒng)的視頻傳輸方案PENA和DASH進(jìn)行比較。PENA是一種碼率由時(shí)延約束執(zhí)行在GOP級(jí)別的JSCC變速率控制算法，而DASH是傳輸360°全景視頻的普遍方法，主要基于在傳輸層的傳輸控制協(xié)議（Transmission Control Protocol，TCP）協(xié)議，并且具有感知視場(chǎng)角（Field of View，F(xiàn)OV）的能力。

所提算法與對(duì)比算法在不同視頻序列上所取得的有效丟失率如圖1所示。有效丟失率用于評(píng)估數(shù)據(jù)經(jīng)過(guò)網(wǎng)絡(luò)傳輸后的完整性。可以看出本算法的有效丟失率低于6%，是3個(gè)算法中丟失視頻數(shù)據(jù)最少的。PENA算法由于失真模型在GOP級(jí)別執(zhí)行，導(dǎo)致其對(duì)網(wǎng)絡(luò)狀態(tài)變化不敏感，平均丟失率為8%。而DASH算法雖然可以進(jìn)行FOV感知，但是由于采用TCP重傳機(jī)制，導(dǎo)致大量視頻數(shù)據(jù)因?yàn)槌^(guò)傳輸時(shí)間而被丟棄，最終丟失率最高，為34%。

圖1 總體視頻有效丟失率對(duì)比圖

各算法的峰值信噪比（Peak Signal to Noise Ratio，PSNR）性能對(duì)比，如圖2所示。PSNR值越大，證明視頻質(zhì)量越好。從圖2可以看出，AR-FEC算法的PSNR數(shù)值優(yōu)于其他算法。這是因?yàn)楸舅惴▽⒋a率資源分配給影響全景視頻最重要的FOV視區(qū)，同時(shí)利用FEC對(duì)丟失的視頻數(shù)據(jù)進(jìn)行恢復(fù)，使得視頻質(zhì)量得到最大限度的保障。

圖2 總體視頻PSNR對(duì)比圖

4 結(jié)語(yǔ)

為了滿足360°全景視頻低時(shí)延、高質(zhì)量傳輸?shù)囊螅紫壤萌耙曨l的特點(diǎn)建立360°全景視頻失真度模型。然后，設(shè)計(jì)一種360°全景視頻自適應(yīng)FEC編碼算法。該算法是在時(shí)延約束下分配比特資源，實(shí)現(xiàn)對(duì)圖塊碼率的優(yōu)化分配，并且對(duì)關(guān)鍵幀和非關(guān)鍵幀提供FEC保護(hù)。實(shí)驗(yàn)證明，該算法不僅能夠提高系統(tǒng)傳輸效率，而且在視頻質(zhì)量方面優(yōu)于傳統(tǒng)視頻傳輸算法。