一、背景

當(dāng)前，視頻技術(shù)正在經(jīng)歷顯著革新和發(fā)展?！?G超高清新場景白皮書》中指出，視頻技術(shù)正從傳統(tǒng)的二維平面類表現(xiàn)形式，向空間多維度交互方向發(fā)展。這種3D化交互式視頻允許用戶與視頻內(nèi)容互動，全面升級信息維度，帶來更為真實(shí)、生動的沉浸式體驗(yàn)和交互，更“真”地連接人與人、人與物、人與空間。

沉浸式視頻技術(shù)的突破，將徹底改變?nèi)伺c媒體的交互方式，在5G超高清視頻、體育賽事、綜藝節(jié)目和直播等場景中展現(xiàn)出巨大的應(yīng)用價值。蘋果公司Vision Pro發(fā)布帶來的“Immersive Video（沉浸視頻）”、“Spatial Video（空間視頻）”是這一趨勢典型代表。字節(jié)火山引擎、騰訊等行業(yè)頭部公司也相繼提出基于三維重建的數(shù)實(shí)融合視頻技術(shù)，打破傳統(tǒng)平面視頻局限，加速多元化視頻內(nèi)容真正走向用戶。

二、咪咕3D全真視頻技術(shù)介紹

中國移動咪咕公司聯(lián)合北大院士團(tuán)隊，依托超高清元視覺技術(shù)創(chuàng)新實(shí)驗(yàn)室、超高清全媒體開放實(shí)驗(yàn)室兩大載體，發(fā)展戰(zhàn)略性新興產(chǎn)業(yè)，全球首發(fā)下一代視頻重大科研成果——“3D全真視頻”原型驗(yàn)證。

中國移動咪咕公司首創(chuàng)面向3D全真視頻的直播制播系統(tǒng)，針對下一代視頻多樣化、視聽沉浸化、交互人性化等特點(diǎn)，研發(fā)面向未來視頻的采集與生成、制作與呈現(xiàn)、編碼與傳輸?shù)亩说蕉巳鞒碳夹g(shù)能力，打造下一代視頻制作與呈現(xiàn)試驗(yàn)區(qū)，貫通研轉(zhuǎn)用孵化，推動科研成果從“書架”走向“貨架”的端到端轉(zhuǎn)化。

3D全真視頻直播制播系統(tǒng)支持多視點(diǎn)拍攝，重建真實(shí)場景的全真動態(tài)三維對象數(shù)據(jù)表達(dá)。通過實(shí)時動態(tài)輻射場渲染技術(shù)，觀眾可享受360度自由觀看體驗(yàn)，隨意在場內(nèi)場外穿梭。采集環(huán)節(jié)，使用多臺高精度攝像機(jī)對全場景360度環(huán)繞采集，結(jié)合幀同步技術(shù)確保多路直播畫面幀級同步，為3D全真視頻的制作提供同步精準(zhǔn)的實(shí)時畫面；制作環(huán)節(jié)，依托神經(jīng)網(wǎng)絡(luò)熱區(qū)實(shí)時檢測技術(shù)、3D高斯?jié)姙R技術(shù)、高精度控制矯正技術(shù)，構(gòu)建6DoF視頻表示模型，重塑三維世界，增強(qiáng)視頻內(nèi)容的交互豐富度與體驗(yàn)真實(shí)感；傳輸編碼部分，基于國產(chǎn)化AVS技術(shù)的全真動態(tài)三維對象高效編碼，對三維動態(tài)對象進(jìn)行深度優(yōu)化與壓縮，確保高質(zhì)量視頻內(nèi)容的流暢傳輸，讓全真體驗(yàn)觸手可及；呈現(xiàn)環(huán)節(jié)，引入虛擬視點(diǎn)重建技術(shù)，結(jié)合實(shí)時輻射場渲染算法，實(shí)現(xiàn)高質(zhì)量視點(diǎn)重建，革新沉浸式觀看體驗(yàn)。

三、咪咕3D全真視頻技術(shù)實(shí)踐中的挑戰(zhàn)

今年，咪咕視頻CBA直播場景對該項技術(shù)進(jìn)行試商用，實(shí)現(xiàn)業(yè)界首次在移動端以360度環(huán)繞全景游戲化交互方式提供用戶新型觀看直播比賽。

在3D全真視頻技術(shù)實(shí)踐中，重點(diǎn)圍繞移動端切換視角靈敏度、畫面清晰度、播放流暢度的QOE用戶體驗(yàn)，以及采集端全景精彩畫面采集制作，進(jìn)行技術(shù)攻關(guān)，使用戶在移動端享受360度高度自由的沉浸觀賽體驗(yàn)。

1.高流暢度切換多視角

3D全真視頻數(shù)據(jù)源是由相機(jī)陣列采集的，相機(jī)個數(shù)直接決定用戶可以觀看的視角靈活度，每一個相機(jī)產(chǎn)生一路視頻流，相機(jī)數(shù)增加，對應(yīng)傳輸帶寬倍數(shù)增長?？紤]到用戶實(shí)際帶寬限制和傳輸穩(wěn)定性，需要盡量降低傳輸碼率，但如此會帶來播放畫質(zhì)損失。為了權(quán)衡三者，選用一種雙流傳輸方案，用戶同時拉取兩路視頻流，其中一路包含所有視角信息，但畫質(zhì)相對較低，另一路則保留高畫質(zhì)。用戶在切視角時播放低畫質(zhì)流，停留在某一視角時，自適應(yīng)拉取指定視角的高畫質(zhì)流。這樣可以避免傳輸多路高畫質(zhì)流，同時保證用戶較高畫質(zhì)體驗(yàn)。

2.360度多焦點(diǎn)全景拍攝

隨著需求變化，部署方案也多次升級迭代。最初階段，相機(jī)陣列只支持圓形部署，即需要相機(jī)對準(zhǔn)同一焦點(diǎn)，并且相機(jī)陣列與焦點(diǎn)距離要保持比較近。這種方式對場地條件有比較高的要求，且拍攝畫面只能以半場為主。

第二階段，為兼顧全場畫面，在起先制作方案時，把焦點(diǎn)放在場地邊線附近，這種方式可以使兩個半場都有較好的觀看視角，但存在相機(jī)離焦點(diǎn)距離有偏差，用戶可交互的視角范圍變小，只有大概 120—150 度。為滿足既要實(shí)現(xiàn)360 度觀賽，又要兼顧兩個半場觀賽，單焦點(diǎn)已經(jīng)無法滿足需求，又重新設(shè)計了新方案，以在場地中線位置，選取多個焦點(diǎn)，如下圖所示。這樣不僅實(shí)現(xiàn) 360 度觀賽，而且兩個半場都可以獲得較好的觀看視角。

但是通過以上方式，用戶可交互的視角范圍較小，只有大概120—150度。如果要實(shí)現(xiàn)360度觀賽，同時兼顧兩個半場觀賽，部署方案又需要新的調(diào)整。這時單焦點(diǎn)已經(jīng)無法滿足需求，技術(shù)團(tuán)隊又設(shè)計了一種新的部署方式，可以在場地中線位置， 選取多個焦點(diǎn)，如下圖所示。這樣不僅實(shí)現(xiàn)360度觀賽，而且兩個半場都可以獲得較好的觀看視角。

3.360度多焦點(diǎn)自適應(yīng)智能導(dǎo)播

以上方案中，拍攝焦點(diǎn)是固定的，用戶如果不切換視角，就只能停留在固定視野。而比賽過程中，場上活動區(qū)域在劇烈變化，精彩畫面在球場上的任意區(qū)域都會發(fā)生，用戶需要不停切換視角才能有效觀看比賽。為了提升用戶體驗(yàn)，同時保留切換視角的靈活度，技術(shù)團(tuán)隊設(shè)計了一種新的方案，在保留360度觀賽基礎(chǔ)上，融合球場熱區(qū)AI智能識別及多視角畫面實(shí)時追蹤精彩熱區(qū)的虛擬運(yùn)鏡技術(shù)，每一個視角不同角度都實(shí)時同步統(tǒng)一的精彩區(qū)域，使用戶在不做視角切換時，也能觀看完整精彩畫面。

四、持續(xù)創(chuàng)新和未來展望

咪咕文化科技有限公司是中國移動面向數(shù)字內(nèi)容領(lǐng)域的全資子公司，秉持中國移動內(nèi)容生產(chǎn)者、 聚合者、傳播者的總體定位和角色要求，致力于成為兼具運(yùn)營商特色和互聯(lián)網(wǎng)特點(diǎn)的數(shù)字內(nèi)容平臺科技創(chuàng)新公司， 數(shù)字中國、科技強(qiáng)國、文化強(qiáng)國的新媒體國家隊，中國移動轉(zhuǎn)型升級改革創(chuàng)新的生力軍。咪咕文化科技有限公司正以大科學(xué)裝置——3D全真視頻驗(yàn)證原型為基石，加速構(gòu)建技術(shù)領(lǐng)先、高效運(yùn)行的科研平臺，賦能下一代視頻產(chǎn)業(yè)，激發(fā)8K超高清、沉浸式視頻和虛擬現(xiàn)實(shí)業(yè)務(wù)需求，促成產(chǎn)學(xué)良性正向循環(huán)，推進(jìn)戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展。W

（本文由咪咕公司供稿、供圖）

責(zé)任編輯：任雨希