王文博,侯躍峰,田峰,楊震
(南京郵電大學(xué)寬帶無(wú)線通信與傳感網(wǎng)技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室,江蘇 南京 210003)
未來(lái)信息網(wǎng)絡(luò)的新應(yīng)用和新場(chǎng)景帶來(lái)的新需求以及當(dāng)前5G 網(wǎng)絡(luò)面臨的問(wèn)題和挑戰(zhàn),驅(qū)動(dòng)著6G 網(wǎng)絡(luò)的發(fā)展。6G 網(wǎng)絡(luò)的技術(shù)要素加速創(chuàng)新融合,信息技術(shù)、通信技術(shù)和大數(shù)據(jù)技術(shù)之間的深度耦合和關(guān)聯(lián),以及數(shù)字化、網(wǎng)絡(luò)化、智能化不斷催生新的技術(shù)方向和發(fā)展空間,帶來(lái)感知、存儲(chǔ)、計(jì)算、傳輸?shù)拳h(huán)節(jié)的多維功能擴(kuò)展和群體性突破。同時(shí),6G 網(wǎng)絡(luò)的業(yè)務(wù)要素從人向智能體、物理空間和虛擬空間要素?cái)U(kuò)展,信息處理功能需求從信息傳遞向信息采集、信息計(jì)算擴(kuò)展,深入融合業(yè)務(wù)不斷增強(qiáng),沉浸式擴(kuò)展現(xiàn)實(shí)等新業(yè)務(wù)不斷涌現(xiàn),正廣泛滲透到個(gè)人應(yīng)用以及智能制造、智能交通、智慧能源、智慧醫(yī)療等垂直應(yīng)用領(lǐng)域。沉浸式業(yè)務(wù)考慮XR(Extended Reality,擴(kuò)展現(xiàn)實(shí))技術(shù)及全息通信技術(shù)等實(shí)現(xiàn)通信感知計(jì)算新體驗(yàn)與遠(yuǎn)程智能控制,其信息處理需求重點(diǎn)是感知、傳輸、渲染、計(jì)算與顯示。因此,沉浸式擴(kuò)展現(xiàn)實(shí)業(yè)務(wù)對(duì)6G 網(wǎng)絡(luò)提出了端到端信息處理能力的更高訴求,使得通信感知計(jì)算(通感算)一體化成為6G 技術(shù)與業(yè)務(wù)的主導(dǎo)趨勢(shì)之一。
ICSC(Integrated Communication,Sensing and Computation,通信感知計(jì)算一體化)是指通過(guò)無(wú)線空口協(xié)議等聯(lián)合設(shè)計(jì)、空時(shí)頻資源復(fù)用、軟硬件共享等方法,實(shí)現(xiàn)通信、感知和計(jì)算功能的一體化融合設(shè)計(jì),使無(wú)線網(wǎng)絡(luò)實(shí)現(xiàn)高精度、精細(xì)化感知和大帶寬、低時(shí)延、高質(zhì)量通信交互的同時(shí),實(shí)現(xiàn)智能化云邊端協(xié)同計(jì)算,從而實(shí)現(xiàn)網(wǎng)絡(luò)整體性、業(yè)務(wù)能力和QoE(Quality of Experience,用戶體驗(yàn)質(zhì)量)的提升[1-3]。感知是端到端信息處理的必要前提,通常是指通過(guò)分析無(wú)線電波的直射、反射、散射信號(hào),獲得對(duì)目標(biāo)對(duì)象或環(huán)境信息(如屬性和狀態(tài)等)的無(wú)線信號(hào)感知,完成定位、測(cè)距、測(cè)速、成像、檢測(cè)、識(shí)別和環(huán)境重構(gòu)等功能,實(shí)現(xiàn)對(duì)物理世界的感知探索;通信是端到端信息傳輸?shù)幕竟δ?,通常是指通過(guò)一定的方式和媒介傳遞信息的行為;計(jì)算是端到端信息處理的關(guān)鍵技術(shù),通常是指通過(guò)特定或通用的軟硬件對(duì)特定任務(wù)的計(jì)算行為。
通感算一體化的核心設(shè)計(jì)理念是使得無(wú)線通信、泛在感知和智能計(jì)算三個(gè)獨(dú)立的功能在同一系統(tǒng)中實(shí)現(xiàn)且互惠互利。如圖1 所示[3],通感算一體化網(wǎng)絡(luò)是指同時(shí)具備物理-數(shù)字空間感知、泛在智能通信與計(jì)算能力的網(wǎng)絡(luò)。該網(wǎng)絡(luò)內(nèi)的各網(wǎng)元設(shè)備通過(guò)通信感知計(jì)算軟硬件資源的協(xié)同與共享,實(shí)現(xiàn)多維感知、協(xié)作通信、智能計(jì)算功能的深度融合和互惠增強(qiáng),從而使網(wǎng)絡(luò)具備新型閉環(huán)信息流智能交互與處理及廣域智能協(xié)作的能力,不僅可以實(shí)現(xiàn)高精度定位、高分辨率成像、虛擬環(huán)境重構(gòu)和輔助通信調(diào)度,而且能夠?yàn)?G 的智慧城市、智慧交通、智能家居等典型應(yīng)用場(chǎng)景提供支持,極大地提升網(wǎng)絡(luò)服務(wù)質(zhì)量和用戶體驗(yàn)質(zhì)量[1-3]。
圖1 通感算一體化網(wǎng)絡(luò)架構(gòu)圖
擴(kuò)展現(xiàn)實(shí)是指通過(guò)智能人機(jī)界面(計(jì)算機(jī)技術(shù)和可穿戴設(shè)備構(gòu)成的可感知部分)提供真實(shí)與虛擬相結(jié)合、人類與機(jī)器相交互的空間和環(huán)境,是一系列沉浸式和交互式技術(shù)的統(tǒng)稱[4]。如圖2 所示,擴(kuò)展現(xiàn)實(shí)XR 包括VR(Virtual Reality,虛擬現(xiàn)實(shí))、AR(Augmented Reality,增強(qiáng)現(xiàn)實(shí))和MR(Mixed Reality,混合現(xiàn)實(shí))等可能的新型沉浸式技術(shù)。VR 具體是指通過(guò)計(jì)算機(jī)模擬三維空間,實(shí)現(xiàn)感官模擬立體空間的沉浸感和臨場(chǎng)感,將人置身于虛擬的仿真世界。AR 具體是指在真實(shí)空間中植入虛擬的內(nèi)容和信息,如物體、圖片、視頻、聲音等,把虛擬對(duì)象映射到人的現(xiàn)實(shí)三維立體空間世界中。MR 可以看作是VR/AR 的結(jié)合體,具體是指合并現(xiàn)實(shí)和虛擬世界后產(chǎn)生的新可視化環(huán)境。
圖2 XR、VR、AR和MR關(guān)系示意圖
如圖3 所示,擴(kuò)展現(xiàn)實(shí)技術(shù)框架主要由終端、網(wǎng)絡(luò)、平臺(tái)、應(yīng)用四個(gè)部分組成,當(dāng)前主要以終端運(yùn)行為主。擴(kuò)展現(xiàn)實(shí)關(guān)鍵技術(shù)的實(shí)現(xiàn),主要通過(guò)三維高清顯示技術(shù)實(shí)現(xiàn)沉浸式的視覺(jué)體驗(yàn),通過(guò)精準(zhǔn)追蹤定位技術(shù)實(shí)現(xiàn)擬人式的操作體驗(yàn),通過(guò)精準(zhǔn)識(shí)別技術(shù)搭建現(xiàn)實(shí)與虛擬之間無(wú)縫銜接的橋梁[4]。XR 可廣泛應(yīng)用于工業(yè)制造和智能電網(wǎng)、廣告及零售、電影和電視、教育和醫(yī)療等社會(huì)生產(chǎn)、文體娛樂(lè)和健康教育眾多領(lǐng)域,使人們不受物理時(shí)空限制,打通虛擬場(chǎng)景與真實(shí)場(chǎng)景的界限,為用戶帶來(lái)沉浸式的極致業(yè)務(wù)體驗(yàn)。
圖3 基于6G的擴(kuò)展現(xiàn)實(shí)示意圖
因此,通感算一體化技術(shù)的高精度精細(xì)化感知、大帶寬低時(shí)延高質(zhì)量通信和智能化云邊端協(xié)同計(jì)算等功能,完全可以支撐沉浸式擴(kuò)展現(xiàn)實(shí)及全息通信實(shí)現(xiàn)所需的三維高清顯示、精準(zhǔn)追蹤定位和精準(zhǔn)識(shí)別技術(shù),有能力提供擴(kuò)展現(xiàn)實(shí)和全息通信等深度沉浸式交互場(chǎng)景,從而搭建人機(jī)物智慧互聯(lián)、智能體高效互通的橋梁,實(shí)現(xiàn)虛擬與現(xiàn)實(shí)之間的無(wú)縫銜接,助力人類社會(huì)走向虛擬與現(xiàn)實(shí)深度融合的全新時(shí)代。由于本文側(cè)重于考慮擴(kuò)展現(xiàn)實(shí)中最重要的可視部分及其海量數(shù)據(jù)、高碼率、低時(shí)延的信息處理需求,因此下一節(jié)重點(diǎn)探討基于通感算一體化的擴(kuò)展現(xiàn)實(shí)視頻傳輸?shù)年P(guān)鍵技術(shù)及實(shí)現(xiàn)方案。
一體化波形設(shè)計(jì)是實(shí)現(xiàn)通感算一體化技術(shù)的基礎(chǔ)和核心。新型通感算一體化波形目前還處在研究初期,為同時(shí)保證通信傳輸和感知探測(cè)的有效性和可靠性,當(dāng)前研究主要從通信和感知的互信息最大化進(jìn)行設(shè)計(jì),其中使用通信和感知信號(hào)的互信息加權(quán)的波形生成方法是目前較為前沿的技術(shù)[5]。如下分別考慮基于OFDM(Orthogonal Frequency Division Multiplexing,正交頻分復(fù)用)的波形設(shè)計(jì)、基于MIMO(Multiple-Input Multiple-Output,多輸入多輸出)的波形設(shè)計(jì)和基于MIMO-OFDM 的波形設(shè)計(jì)方案。
(1)基于OFDM 的一體化波形設(shè)計(jì):主要考慮利用模糊函數(shù)將待發(fā)送的通信信號(hào)與感知探測(cè)信號(hào)進(jìn)行組合,使得發(fā)射波形具有恒包絡(luò)特性,在目的接收機(jī)進(jìn)行解調(diào)解碼獲取通信信息的同時(shí),源發(fā)射機(jī)將待測(cè)目標(biāo)反射的回波信號(hào)接收進(jìn)行處理實(shí)現(xiàn)目標(biāo)探測(cè)感知。
(2)基于MIMO 的一體化波形設(shè)計(jì):主要考慮利用MIMO 陣列波形分集和波束形成,實(shí)現(xiàn)正交發(fā)射和相關(guān)發(fā)射等方式。對(duì)于在正交波形設(shè)計(jì)的基礎(chǔ)上調(diào)制插入通信信息符號(hào)的一體化實(shí)現(xiàn)方式,既可以采用常用的雷達(dá)探測(cè)鋼制信號(hào),譬如線性調(diào)頻信號(hào)和相位編碼信號(hào)作為一體化共享信號(hào),也可以采用常用的通信信號(hào)作為一體化共享信號(hào),在正交波形設(shè)計(jì)的基礎(chǔ)上進(jìn)一步在時(shí)域或者頻域上插入通信信息。進(jìn)一步地,為克服毫米波信號(hào)較高的路徑損耗,可利用具有高自由度的mMIMO(Massive MIMO,大規(guī)模多天線)來(lái)進(jìn)行波束成形實(shí)現(xiàn)毫米波頻段的通感算一體化波形設(shè)計(jì)。
(3)基于MIMO-OFDM 的一體化波形設(shè)計(jì):結(jié)合了MIMO 和OFDM 二者的優(yōu)點(diǎn),MIMO 陣列發(fā)送不同編碼的OFDM 波形以獲取更優(yōu)的自相關(guān)函數(shù)性能,可實(shí)現(xiàn)具有大時(shí)寬帶寬積、低互相關(guān)旁瓣與低峰均比的一體化信號(hào)。其中,一體化系統(tǒng)參數(shù)的選取影響著系統(tǒng)整體的性能,因此,基于MIMOOFDM 一體化波形的參數(shù)要同時(shí)滿足通信和感知性能要求。
傳統(tǒng)信源與信道分離設(shè)計(jì)、獨(dú)立編碼的方式,難以解決沉浸式和交互式的擴(kuò)展現(xiàn)實(shí)超高清視頻的海量數(shù)據(jù)傳輸所帶來(lái)的高時(shí)延等問(wèn)題,而信源信道聯(lián)合編碼技術(shù)是解決上述問(wèn)題的有效途徑[6]。信源編碼可考慮優(yōu)化靈活的視頻編碼如SVC(Scalable Video Coding,可伸縮視頻編碼),可根據(jù)網(wǎng)絡(luò)感知的信道狀態(tài)信息等,動(dòng)態(tài)優(yōu)化地調(diào)整可伸縮視頻比特流中增強(qiáng)層的層數(shù)而保持基本層不變;信道編碼可考慮編碼效率高的信道編碼如LDPC(Low Density Parity-check Code,低密度奇偶校驗(yàn)碼),其作為公認(rèn)性能最優(yōu)異的碼字可逼近香農(nóng)容量極限;而二者的聯(lián)合信源信道編碼,實(shí)現(xiàn)可用的比特?cái)?shù)在信源視頻數(shù)據(jù)和信道保護(hù)數(shù)據(jù)之間進(jìn)行合理的分配,找到最適合的高碼率最小化系統(tǒng)失真,優(yōu)化擴(kuò)展現(xiàn)實(shí)視頻傳輸?shù)馁|(zhì)量,提高視頻傳輸?shù)男阅堋?/p>
無(wú)線通信由于傳輸信號(hào)非正交,往往導(dǎo)致了不可避免的用戶間干擾。同時(shí)盡管傳統(tǒng)的頻分多址、時(shí)分多址、空分多址、碼分多址等接入方式可實(shí)現(xiàn)用戶從頻率、時(shí)間、空間、碼字上正交,但由于正交化設(shè)計(jì)存在固有的非理想特性,傳輸干擾始終存在而不可避免。干擾管理的目的是消除干擾并完成接收信號(hào)解碼。干擾管理旨在抑制或消除干擾,傳統(tǒng)的干擾管理技術(shù)主要有:干擾噪聲化、干擾解碼和干擾正交化。這三種傳統(tǒng)干擾管理技術(shù)難以擴(kuò)展至多用戶干擾網(wǎng)絡(luò),或在多用戶干擾網(wǎng)絡(luò)中難以達(dá)到最優(yōu)系統(tǒng)容量[7]。因此,需要考慮研究如MIMO 及mMIMO、IA(Interference Alignment,干擾對(duì)齊)、IN(Interference Neutralization,干擾中和)和SIC(Successive Interference Cancellation,串行干擾取消)等先進(jìn)的干擾管理手段,與視頻流空時(shí)頻智能調(diào)度相結(jié)合,在減少用戶間干擾的同時(shí),實(shí)現(xiàn)無(wú)線資源的合理分配,擴(kuò)展通感算一體化可達(dá)速率區(qū)域的新邊界,提升擴(kuò)展現(xiàn)實(shí)視頻傳輸性能。
針對(duì)擴(kuò)展現(xiàn)實(shí)視頻流傳輸,用戶需要更高的網(wǎng)絡(luò)帶寬以及更低的端到端傳輸時(shí)延。MEC(Mobile Edge Computing,移動(dòng)邊緣計(jì)算)的核心是將計(jì)算和存儲(chǔ)能力置于網(wǎng)絡(luò)的邊緣,不僅考慮接近用戶提供實(shí)時(shí)服務(wù)從而滿足嚴(yán)格的低延遲需求,同時(shí)考慮業(yè)務(wù)負(fù)載均衡和服務(wù)時(shí)間及質(zhì)量的任務(wù)卸載技術(shù)。而MPT(Multipath Transmission,多路徑傳輸技術(shù))旨在同時(shí)利用終端上多種接入能力進(jìn)行數(shù)據(jù)的并發(fā)傳輸,從而提高總的傳輸帶寬和數(shù)據(jù)傳輸對(duì)信道和網(wǎng)絡(luò)動(dòng)態(tài)變化的適應(yīng)能力[8]??紤]利用通感算一體化中的網(wǎng)絡(luò)感知和邊緣計(jì)算賦能任務(wù)卸載和多徑路由選擇,在實(shí)現(xiàn)負(fù)載均衡的同時(shí)提升傳輸傳輸容量和可靠性,優(yōu)化用戶終端的視頻傳輸質(zhì)量,且保證網(wǎng)絡(luò)資源利用率和公平性。
根據(jù)國(guó)際電信聯(lián)盟的建議,QoE 定義為終端視頻用戶在主觀上對(duì)當(dāng)前視頻應(yīng)用或服務(wù)的總體可接受程度[9],同時(shí)它也是視頻用戶對(duì)在線實(shí)時(shí)視頻服務(wù)的主觀感知評(píng)價(jià)的測(cè)度方式。隨著網(wǎng)絡(luò)信息技術(shù)和視頻終端設(shè)備的發(fā)展,QoE 的評(píng)價(jià)預(yù)測(cè)不僅成為學(xué)術(shù)界研究的熱點(diǎn),而且也成為視頻提供商的重要參考指標(biāo)之一。因此,如何從擴(kuò)展現(xiàn)實(shí)終端用戶的角度出發(fā),建立一個(gè)合理完善的QoE評(píng)價(jià)模型,成為了一項(xiàng)具有挑戰(zhàn)性的任務(wù)。
QoE 作為衡量視頻通信服務(wù)能力的根本,其客觀度量手段在于視頻感知質(zhì)量的評(píng)價(jià)。因此,研究視頻感知質(zhì)量評(píng)價(jià)方法是需要解決的核心問(wèn)題。當(dāng)前評(píng)價(jià)QoE 主要有兩種方式:客觀評(píng)價(jià)和主觀評(píng)價(jià)。影響視頻感知質(zhì)量的客觀因素種類各異且數(shù)量繁多,例如視頻質(zhì)量和碼率、啟動(dòng)延遲、卡頓次數(shù)和時(shí)間、碼率波動(dòng)、緩沖時(shí)延、緩沖次數(shù)和視頻內(nèi)容等可測(cè)參數(shù),這些因素反映了視頻的清晰度、流暢度和關(guān)注度。同時(shí),QoE 評(píng)價(jià)最好是用戶直接反饋體驗(yàn),即QoE 的主觀評(píng)價(jià)方法,但這種主觀體驗(yàn)會(huì)因人而異且實(shí)用性一般。為了評(píng)價(jià)視頻傳輸體驗(yàn)的主觀QoE,一方面可以選擇用戶觀看視頻并進(jìn)行打分,得到主觀的QoE 分?jǐn)?shù);另一方面,也可以考慮通過(guò)機(jī)器學(xué)習(xí)或經(jīng)驗(yàn)法建立模型來(lái)估計(jì)評(píng)價(jià)主觀QoE?;趯W(xué)習(xí)法的QoE 主觀評(píng)價(jià)方法是根據(jù)客觀QoE 指標(biāo)和主觀MOS(Mean Opinion Score,平均主觀意見(jiàn)分)數(shù)據(jù),通過(guò)機(jī)器學(xué)習(xí)或深度學(xué)習(xí)建立映射模型,如圖4 所示?;诮?jīng)驗(yàn)法的QoE 主觀評(píng)價(jià)方法是根據(jù)經(jīng)驗(yàn)確定不同QoE 客觀指標(biāo)的影響權(quán)重,設(shè)計(jì)主觀QoE 模型。
圖4 基于深度學(xué)習(xí)的視頻傳輸QoE評(píng)價(jià)
傳統(tǒng)視頻QoE 模型大多是側(cè)重于利用不同的QoS 參數(shù)完成對(duì)QoE 的映射。而在擴(kuò)展現(xiàn)實(shí)業(yè)務(wù)中,用戶在觀看360°全息視頻時(shí),對(duì)于不同類型的視頻,通常會(huì)有不同的觀看體驗(yàn)行為,如觀看自然風(fēng)景紀(jì)錄片時(shí),用戶常轉(zhuǎn)移自己的視角從而獲得更好的沉浸感;而在觀看人物對(duì)話為主的視頻時(shí),用戶視角通常聚焦于對(duì)話場(chǎng)景。因此本文考慮上述觀看行為作為經(jīng)驗(yàn)依據(jù),確定不同QoE 客觀指標(biāo)的影響權(quán)重,設(shè)計(jì)一種面向擴(kuò)展現(xiàn)實(shí)的QoE 模型。
首先,由于視頻分辨率對(duì)QoE 的影響遵循對(duì)數(shù)規(guī)律[10],考慮基于視頻分辨率的QoE 模型如下:
其中,ri,j表示當(dāng)前視頻塊的分辨率,ωi,j∈{0,1}表示視頻塊是否落在當(dāng)前用戶的視角中,如果第ith個(gè)視頻塊中的ith被用戶的視角覆蓋,wi,j=1,否則wi,j=0。
其次,用戶QoE 的另一個(gè)度量指標(biāo)是質(zhì)量變化率,可通過(guò)當(dāng)前分辨率和前一時(shí)刻分辨率的差值得到。通過(guò)質(zhì)量變化率取絕對(duì)值保持其值恒為正值[11],因此考慮基于平均質(zhì)量變化率的QoE 模型如下。
其中,ω i,jωi?1,j表示只有當(dāng)圖像塊落在視場(chǎng)中時(shí),用戶才會(huì)感知到圖像塊的質(zhì)量變化。
再次,為了近似地估計(jì)用戶對(duì)失速的影響,可參考文獻(xiàn)[12]中的失速率參數(shù),因此可得失速杠桿的簡(jiǎn)化QoE 模型如下:
其中,SR為失速率。
最后,根據(jù)整體畫面質(zhì)量、視角內(nèi)畫面質(zhì)量和失速率三個(gè)指標(biāo)進(jìn)行綜合考慮,通過(guò)不同的影響權(quán)重進(jìn)行加權(quán)組合,設(shè)計(jì)得到基于視頻類型區(qū)分的QoE 評(píng)價(jià)模型如下:
其中,α,β,γ是分別代表這三個(gè)不同度量的重要性的權(quán)重因子。
針對(duì)不同類型的視頻設(shè)定不同的閾值參數(shù)θ,同時(shí)將每一幀畫面中需要接收的數(shù)據(jù)包的重要性參數(shù)值相加[13],二者進(jìn)行比較。當(dāng)接收數(shù)據(jù)包的重要性之和大于等于閾值θ時(shí),判斷使用者的視角可能移動(dòng),因此適當(dāng)降低失速率的權(quán)重,優(yōu)先保持整體畫面的質(zhì)量。假如用戶觀看自然風(fēng)景紀(jì)錄片時(shí),極有可能“環(huán)顧四周”,此時(shí)適當(dāng)降低失速率的權(quán)值,提高畫面質(zhì)量的權(quán)值,雖然會(huì)有延遲中斷的影響,但是整體畫面的提升能給用戶帶來(lái)更好的沉浸式體驗(yàn)。當(dāng)接收數(shù)據(jù)包的重要性之和小于閾值θ時(shí),判斷使用者的視角可能不會(huì)移動(dòng),適當(dāng)降低畫面質(zhì)量的權(quán)重,保證視頻能夠持續(xù)播放。假如用戶在觀看話劇表演時(shí),可以給予失速率較大的權(quán)值,降低整體畫面質(zhì)量的權(quán)值,在滿足視角內(nèi)畫面質(zhì)量的情況下,優(yōu)先保證視頻不會(huì)中斷播放,保證用戶的使用體驗(yàn)。綜上所述,可根據(jù)視頻的不同類型,動(dòng)態(tài)調(diào)整各項(xiàng)指標(biāo)參數(shù)的權(quán)重,最終達(dá)到優(yōu)化QoE 模型的目的。
本文首先介紹了通信感知計(jì)算一體化技術(shù)和擴(kuò)展現(xiàn)實(shí)技術(shù)以及通信感知計(jì)算一體化支撐的擴(kuò)展現(xiàn)實(shí)技術(shù)業(yè)務(wù),隨后探討了基于通信感知計(jì)算一體化的擴(kuò)展現(xiàn)實(shí)視頻傳輸實(shí)現(xiàn)的關(guān)鍵技術(shù),最后分析并提出了一種新的擴(kuò)展現(xiàn)實(shí)用戶體驗(yàn)質(zhì)量模型。