徐火順　葉劍章　尹海生

1 VR直播業(yè)務(wù)簡(jiǎn)介

虛擬現(xiàn)實(shí)（VR）是一種“互動(dòng)式的計(jì)算機(jī)模擬環(huán)境， 能感知用戶的狀態(tài)和行為， 替換或者加強(qiáng)對(duì)一種或多種感知系統(tǒng)的感官反饋信息， 從而使用戶獲得一種沉浸在模擬環(huán)境虛擬環(huán)境中的感覺”。虛擬現(xiàn)實(shí)技術(shù)的特點(diǎn)是沉浸性高， 當(dāng)用戶處于虛擬環(huán)境時(shí)，如身臨其境。用戶轉(zhuǎn)變角度時(shí)， 虛擬環(huán)境也會(huì)作出相應(yīng)的改變[1]。

普通視頻直播中受眾往往只能從某一角度觀看直播， 而不能全方位地了解主播周圍環(huán)境的狀況；而虛擬現(xiàn)實(shí)技術(shù)滿足了這個(gè)需求， 使受眾能從各個(gè)角度觀看直播，增強(qiáng)了用戶體驗(yàn)，參與感也大大增強(qiáng)。因此， 虛擬現(xiàn)實(shí)與視頻直播兩者相互契合，可以給受眾營(yíng)造更好的觀看效果[2-3]。

現(xiàn)階段的VR直播主要是指360°全景直播，利用多路攝像機(jī)將視頻信號(hào)拼接為360°全景視頻，解決傳統(tǒng)直播受眾受鏡頭推移、視線角度的限制不能獲得最佳視覺體驗(yàn)的問題。用戶可以通過機(jī)頂盒（STB）、VR眼鏡等設(shè)備進(jìn)行觀看直播，體驗(yàn)沉浸感和現(xiàn)場(chǎng)感[4-5]。

VR直播，通過全景攝像機(jī)進(jìn)行視頻的實(shí)時(shí)采集，并對(duì)視頻進(jìn)行拼接、編碼，通過內(nèi)容分發(fā)網(wǎng)絡(luò)進(jìn)行傳輸，最終在終端上進(jìn)行視頻的解碼播放。其中用到了多項(xiàng)視頻處理的技術(shù)，和普通直播視頻的要求有著很大不同。VR直播業(yè)務(wù)主要流程如圖1所示。

VR直播可以通過多種方式呈現(xiàn)給最終用戶，在家中可以通過家庭網(wǎng)關(guān)，利用機(jī)頂盒顯示在電視上VR視頻內(nèi)容，電視上顯示的全景視頻需要用遙控器控制轉(zhuǎn)動(dòng)；也可以使用機(jī)頂盒通過高清晰度多媒體接口（HDMI）和USB線連接到頭戴式顯示器（HMD），頭部轉(zhuǎn)動(dòng)可以顯示所面向方向的視頻內(nèi)容，顯示的內(nèi)容隨著用戶頭部的轉(zhuǎn)動(dòng)而轉(zhuǎn)換顯示內(nèi)容；另外也可以使用手機(jī)+VR眼鏡的方式，手機(jī)可以通過Wi-Fi或移動(dòng)網(wǎng)絡(luò)獲取VR全景視頻，顯示效果與HMD的方式類似。VR直播用戶使用場(chǎng)景如圖2所示。

用戶不僅可以觀看直播內(nèi)容，也可以通過同樣的方法觀看VR視頻點(diǎn)播，VR直播也可以通過回放的方式播放。

2 VR直播業(yè)務(wù)中的相關(guān)

技術(shù)

2.1 視頻圖像同步技術(shù)

與普通直播視頻拍攝不同，VR直播視頻的采集需要多鏡頭或攝像機(jī)同時(shí)完成。VR直播視頻拍攝設(shè)備的取景范圍為水平360°、垂直180°，如圖3所示。

全景攝像機(jī)需要配置好參數(shù)，在拍攝過程中，還需要解決多相機(jī)的采集同步的問題。常見的同步方式有：閃光同步，即檢測(cè)所有相機(jī)視頻幀內(nèi)的“閃光”，如明亮幀、白色幀，利用這個(gè)信號(hào)進(jìn)行同步；運(yùn)動(dòng)同步，即檢測(cè)所有相機(jī)視頻幀內(nèi)的運(yùn)動(dòng)信息，通過匹配各幀運(yùn)動(dòng)量進(jìn)行同步；聲音同步，即分析所有相機(jī)采集到的聲音頻譜進(jìn)行同步；手動(dòng)同步，即根據(jù)某一個(gè)時(shí)刻的所有相機(jī)采集的視頻幀手動(dòng)進(jìn)行微調(diào)。

2.2 投影變換技術(shù)

多相機(jī)拍攝的圖像是在不同方向下拍攝得到的，所以并不在同一投影平面上，在對(duì)重疊的圖像進(jìn)行無縫拼接前，如果不進(jìn)行投影平面的變換，直接拼接會(huì)破壞實(shí)際景物的視覺一致性。投影變換的方式一般有平面投影、柱面投影、球面投影和魚眼投影等[6-7]。

2.3 視頻縫合技術(shù)

完成投影變換后進(jìn)行拼接，拼接過程主要有特征提取—特征匹配—配準(zhǔn)—融合等步驟[8]。常用的特征提取方法有尺度不變特征變換（SIFT）、加速穩(wěn)健特征（SURF）、定向快速特征點(diǎn)提取算法（ORB）、二值化描述算法（BRIEF）等 [9-10] 。特征點(diǎn)匹配可以采用SIFT的作者Lowe提出的比較最近鄰距離與次近鄰距離的SIFT匹配方式，或者KD-Tree算法等。為了將圖像注冊(cè)到同一個(gè)坐標(biāo)系中，需要在多幅圖像配準(zhǔn)的過程中根據(jù)幾何運(yùn)動(dòng)模型來配準(zhǔn)，采用的幾何運(yùn)動(dòng)模型主要有：平移模型、相似性模型、仿射模型和透視模型等。

完成圖像配準(zhǔn)后，便可以進(jìn)行圖像融合操作，即形成了360°全景圖像。圖像匹配拼接如圖4所示。

2.4 圖像增強(qiáng)技術(shù)

由于不同角度的畫面是通過不同的相機(jī)采集得到，融合后的360°全景圖像會(huì)遇到各個(gè)區(qū)域的曝光不一致的情況，通過曝光補(bǔ)償?shù)募夹g(shù)可以使得拼接后的全景圖像曝光一致。

此外，當(dāng)場(chǎng)景中的物體存在運(yùn)動(dòng)的情形時(shí)，融合后的全景圖像中會(huì)出現(xiàn)“鬼影”的情況。區(qū)域差分（ROD）算法都能夠消除這種“鬼影”[11-12]。

2.5 投影映射及編碼技術(shù)

輸入圖像經(jīng)過拼接后投影到一個(gè)三維投影結(jié)構(gòu)上，例如一個(gè)單位球體或者正六面方體。投影結(jié)構(gòu)上的圖像數(shù)據(jù)將被進(jìn)一步地排布到一個(gè)二維平面的投影幀。等角投影（ERP）是目前VR視頻主流格式。

ERP投影類似于地球球面展開成地圖，將球面展開為平面矩形，所以也被稱為經(jīng)緯圖展開。這種方式簡(jiǎn)單并已經(jīng)普遍使用，但其缺點(diǎn)也是明顯的：球面赤道部分投影展開后失真小，而兩極部分緯度越高，失真越大。同時(shí)引入了過多的無效像素，球面展開成ERP后，面積即像素?cái)?shù)增加了57%，從而降低了傳輸效率。

正多面體投影（PSP）是業(yè)界關(guān)注的新方向，具有失真小、壓縮效率高的特點(diǎn)。正多面體投影將球體以球心為中心向外劃分為多個(gè)球面區(qū)域，并投影到多面體某個(gè)面上，正多面體可以是四面體、立方體、金字塔、 十二面體、二十面體等。由于每個(gè)球面區(qū)域單獨(dú)投影，因此失真較小。對(duì)于面數(shù)多的方案，其總面積增加也較小。同時(shí)，正多面體投影格式有利于實(shí)現(xiàn)基于視點(diǎn)VR視頻傳輸方案，傳輸部分“面”的視頻圖像，或者對(duì)于不同“面”提供不同的分辨率。

對(duì)于單目虛擬現(xiàn)實(shí)視頻，同一時(shí)刻的輸入圖像拼接后生成一個(gè)投影幀，用來代表一個(gè)視場(chǎng)。對(duì)于雙目立體虛擬現(xiàn)實(shí)視頻，同一時(shí)刻的輸入圖像拼接后生成的一個(gè)投影幀代表兩個(gè)視場(chǎng)：左眼和右眼。兩個(gè)視場(chǎng)可以映射到相同的封裝幀，并基于傳統(tǒng)2D視頻編碼器進(jìn)行編碼，或者投影數(shù)據(jù)幀的不同視場(chǎng)可以被映射到各自的封裝幀。

2.6 內(nèi)容分發(fā)網(wǎng)絡(luò)endprint

內(nèi)容分發(fā)網(wǎng)絡(luò)（CDN）的基本思路是盡可能避開互聯(lián)網(wǎng)上有可能影響數(shù)據(jù)傳輸速度和穩(wěn)定性的瓶頸和環(huán)節(jié)，使內(nèi)容傳輸更快、更穩(wěn)定。通過在網(wǎng)絡(luò)各處放置節(jié)點(diǎn)服務(wù)器所構(gòu)成的在現(xiàn)有的互聯(lián)網(wǎng)基礎(chǔ)之上的一層智能虛擬網(wǎng)絡(luò)，CDN系統(tǒng)能夠?qū)崟r(shí)地根據(jù)網(wǎng)絡(luò)流量和各節(jié)點(diǎn)的連接、負(fù)載狀況以及到用戶的距離和響應(yīng)時(shí)間等綜合信息將用戶的請(qǐng)求重新導(dǎo)向離用戶最近的服務(wù)節(jié)點(diǎn)上。

VR直播業(yè)務(wù)使用的是全景視屏，現(xiàn)階段大部分采用的是全傳輸?shù)姆桨?，帶寬占用較大，考慮到終端的解碼能力，一般使用展開面積為2～4 K的分辨率，碼率一般可以設(shè)置在10 Mbit/s以內(nèi)的HEVC編碼方式。

3 中興通訊大視頻VR業(yè)務(wù)

的實(shí)現(xiàn)

3.1 VR直播視頻實(shí)時(shí)采集編碼系統(tǒng)

中興通訊大視頻VR全景視頻采集系統(tǒng)，通過組合4個(gè)4 K單反照相機(jī)，每個(gè)單反配有魚眼鏡頭，通過HDMI將視頻內(nèi)容傳輸?shù)揭曨l編碼服務(wù)器中，在服務(wù)器上實(shí)現(xiàn)視頻的投影變換、視頻拼接等操作。視頻內(nèi)容會(huì)編碼為多碼率格式，傳輸?shù)竭h(yuǎn)端CDN節(jié)點(diǎn)一份，并本地保存一份。

4個(gè)4 K單反相機(jī)進(jìn)行視頻錄制充分保證了視頻的清晰度，畫面的表現(xiàn)力非常強(qiáng)，在暗光下效果很好，視頻拼接后可以拼接出最大12 K分辨率，一般直播使用4 K分辨率。

3.2 VR直播無法看清細(xì)節(jié)問題的解決

為了解決VR 360°全景視頻無法看清人臉的問題，中興大視頻項(xiàng)目組在直播中采用了全景視頻拼接方法，增加主要演講人員的高清視頻，使用戶在觀看整體直播時(shí)可以在需要時(shí)適當(dāng)轉(zhuǎn)頭朝向旁邊可以看到宣講人員的大畫面展示，視頻拼接的效果很好地解決了用戶既想觀看全景視頻，又想看清演講者細(xì)節(jié)的問題。

3.3 支持VR直播業(yè)務(wù)的大視頻業(yè)務(wù)

平臺(tái)

中興通訊大視頻業(yè)務(wù)系統(tǒng)是一個(gè)開放的、先進(jìn)的、標(biāo)準(zhǔn)的系統(tǒng)，能為全球的客戶提供滿意的個(gè)性化需求及服務(wù)。該系統(tǒng)支持網(wǎng)路協(xié)定電視（IPTV）&互聯(lián)網(wǎng)應(yīng)用服務(wù)（OTT）基礎(chǔ)視頻業(yè)務(wù)，包括：直播電視、視頻點(diǎn)播（VOD）、直播回看（TVOD）、時(shí)移電視（TSTV）等；支持廣告、卡拉OK、游戲、早教等增值業(yè)務(wù)；支持多屏互動(dòng)體驗(yàn)，包括：TV屏、PC屏、手機(jī)屏和PAD屏。實(shí)現(xiàn)多屏內(nèi)容、用戶、產(chǎn)品的統(tǒng)一管理，用戶可以在任何時(shí)間、任何地點(diǎn)，通過任何設(shè)備訪問IPTV和OTT業(yè)務(wù)。

在大視頻業(yè)務(wù)系統(tǒng)基礎(chǔ)上，新增加的VR子系統(tǒng)使大視頻業(yè)務(wù)系統(tǒng)增加了VR業(yè)務(wù)的能力，包括VR直播、VR VOD、VR TVOD。

3.4 支持VR直播視頻的內(nèi)容分發(fā)網(wǎng)絡(luò)

中興通訊大視頻融合CDN廣泛應(yīng)用于各類場(chǎng)景需求，以全球運(yùn)營(yíng)商視頻服務(wù)為基礎(chǔ)，還為TV游戲、電子閱讀、應(yīng)用商店、互聯(lián)網(wǎng)內(nèi)容提供商（IDC）業(yè)務(wù)、大文件/小文件緩存加速、終端管理和云盤等各種業(yè)務(wù)提供內(nèi)容分發(fā)服務(wù)。

在視頻加速方面，中興大視頻融合CDN系統(tǒng)集實(shí)時(shí)流傳輸協(xié)議（RTSP）和HTTP視頻碼流傳輸技術(shù)的兩家之長(zhǎng)，創(chuàng)造性地提出了OTT組播解決方案。不僅能對(duì)公眾用戶提供OTT直播大規(guī)模商用解決方案，也可用同一套系統(tǒng)對(duì)集團(tuán)、政企等優(yōu)質(zhì)用戶提供有保障的RTSP高服務(wù)質(zhì)量（QoS）解決方案。

中興通訊大視頻融合CDN系統(tǒng)無縫集成了VR直播能力，采用分布式文件系統(tǒng)（DFS）實(shí)現(xiàn)文件更細(xì)分的內(nèi)容分片聚合，充分保證VR直播業(yè)務(wù)中巨型分片文件細(xì)小化、媒體分發(fā)的大帶寬和低延遲的產(chǎn)品需求。主動(dòng)的安全防護(hù)，有效地提升了融合CDN產(chǎn)品的安全性，并從系統(tǒng)的主機(jī)、網(wǎng)絡(luò)、應(yīng)用3個(gè)層面對(duì)系統(tǒng)進(jìn)行防護(hù)，把安全檢查變成系統(tǒng)自身、例行的工作，及時(shí)發(fā)現(xiàn)系統(tǒng)隱藏的隱患；提高系統(tǒng)的安全性，同時(shí)根據(jù)黑客攻擊模型，變被動(dòng)（事后處理）為主動(dòng)（防預(yù)），做到事前、事中發(fā)現(xiàn)，及時(shí)處理；降低安全事件的危害。

3.5 大視頻全流程質(zhì)量監(jiān)測(cè)控制系統(tǒng)

中興通訊大視頻智能運(yùn)維系統(tǒng)，支持IPTV、OTT、VR直播等多種視頻直播業(yè)務(wù)，能實(shí)現(xiàn)從頭端—業(yè)務(wù)系統(tǒng)—網(wǎng)絡(luò)側(cè)—用戶終端側(cè)的服務(wù)質(zhì)量監(jiān)測(cè)控制與故障定位，如圖5所示。

支持VR直播源服務(wù)質(zhì)量的監(jiān)測(cè)控制， 大視頻智能運(yùn)維系統(tǒng)在VR直播攝像頭入向的頻道部署監(jiān)測(cè)點(diǎn)，用于檢測(cè)頭端的編碼質(zhì)量以及網(wǎng)絡(luò)QoS。

（1）支持CDN節(jié)點(diǎn)及業(yè)務(wù)系統(tǒng)質(zhì)量監(jiān)測(cè)控制。在VR直播CDN節(jié)點(diǎn)及系統(tǒng)側(cè)，按需部署碼流監(jiān)測(cè)點(diǎn)，檢測(cè)OTT平臺(tái)本身媒體出口以及相關(guān)網(wǎng)絡(luò)性能指標(biāo)。監(jiān)測(cè)點(diǎn)探針支持不同的廠家、平臺(tái)以及不同廠家的終端設(shè)備，幫助運(yùn)維人員第一時(shí)間發(fā)現(xiàn)內(nèi)容源或者平臺(tái)的故障。

（2）支持網(wǎng)絡(luò)側(cè)服務(wù)質(zhì)量監(jiān)測(cè)控制。大視頻智能運(yùn)維系統(tǒng)具備專家系統(tǒng)與推理機(jī)功能，通過與運(yùn)營(yíng)商的IT系統(tǒng)接口同步網(wǎng)絡(luò)拓?fù)鋽?shù)據(jù)，結(jié)合先進(jìn)的知識(shí)庫與推理機(jī)。當(dāng)用戶出現(xiàn)服務(wù)質(zhì)量異常時(shí)，可迅速定位存在的網(wǎng)絡(luò)故障，支持全網(wǎng)VR直播用戶的網(wǎng)絡(luò)側(cè)故障監(jiān)測(cè)與定位。

4 結(jié)束語

中興通訊已經(jīng)在多次商用場(chǎng)景下進(jìn)行了VR直播，在這一領(lǐng)域已經(jīng)積累了豐富的應(yīng)用經(jīng)驗(yàn)。目前，基于IPTV/OTT大視頻系統(tǒng)的VR直播解決方案已經(jīng)步入商用階段，應(yīng)用場(chǎng)景非常廣泛，適用于如VR娛樂直播、VR教育直播、VR醫(yī)療直播、VR購(gòu)物直播、VR網(wǎng)紅直播等，為用戶帶來革命性的直播視頻體驗(yàn)。

VR直播業(yè)務(wù)的背后，是中興通訊在大視頻領(lǐng)域的深厚沉淀。截至2016年底，中興通訊大視頻方案在全球擁有90多個(gè)商用局，系統(tǒng)容量達(dá)到8 000萬，CDN產(chǎn)品全球局點(diǎn)超過100個(gè)，總并發(fā)能力超過100 T，位居全球領(lǐng)先地位。中興通訊提出大視頻3.0的概念，讓系統(tǒng)更加智能、更加彈性，助力大視頻發(fā)展邁向新高度。

致謝

本研究得到中興通訊大視頻實(shí)驗(yàn)室左羅總工和黃珂資深工程師，以及大視頻客戶端研發(fā)產(chǎn)品涂成義經(jīng)理的幫助，謹(jǐn)致謝意！

參考文獻(xiàn)

[1] 陳靜， 黃慧. 虛擬現(xiàn)實(shí)技術(shù)在視頻直播中的應(yīng)用分析[J]. 新聞研究導(dǎo)刊， 2016，7（18）：8-9

[2] 王躍華. 虛擬現(xiàn)實(shí)視頻的制作和應(yīng)用場(chǎng)景分析[J]. 視聽， 2016（7）： 11-12

[3] 楊磊. 基于虛擬現(xiàn)實(shí)頭戴式顯示器用戶體驗(yàn)研究——以攝像機(jī)運(yùn)動(dòng)模式為例[J].科技資訊， 2017，15（1）：1-2

[4] 夏明革，唐小明，夏仕昌.圖像融合的發(fā)展現(xiàn)狀與展望[J].艦船電子工程，2002，（6）：2-12

[5] 楊愷. 智能手機(jī)HMD高沉浸感體驗(yàn)的研究與實(shí)現(xiàn)[D].北京：北京工業(yè)大學(xué)， 2017

[6] BOURKE P. Converting Dual Fisheye Images into a Spherical （Equirectangular） Projection[EB/OL].（2016-08）[2017-10-23].http：//paulbourke.net/dome/dualfish2sphere/

[7] BOURKE P. Classification of 3D to 2D Projections[EB/OL].（1994-12）[2017-10-23].http：//paulbourke.net/geometry/transformationprojection/

[8] 張洋， 李慶忠， 臧風(fēng)妮.一種多攝像機(jī)全景視頻圖像快速拼接算法[J]. 光電子.激光， 2012（9）：1821-1826

[9] 林枝葉. 面向全景視頻拼接的圖像融合算法及其GPU實(shí)現(xiàn)[D]. 成都：電子科技大學(xué)， 2017

[10] 胥陳. SIFT算法的圖像特征處理模塊的芯片設(shè)計(jì)研究[D]. 南京：東南大學(xué)， 2016

[11] 宋振興. 圖像拼接融合技術(shù)中去鬼影及裂縫方法研究[D].大連：大連海事大學(xué)， 2011

[12] 袁晨鴻. 快速創(chuàng)建全景視頻及去鬼影方法的研究與實(shí)現(xiàn)[D]. 哈爾濱：哈爾濱工業(yè)大學(xué)， 2013endprint