［俞科峰］

1 引言

隨著5G基礎建設進程加快，5G 創(chuàng)新應用進入了高速發(fā)展期，在眾多的創(chuàng)新應用中，5G+AR 成為了除物聯(lián)網(wǎng)技術外企業(yè)青睞的技術，含運營商、華為、中興等產(chǎn)業(yè)鏈公司在內(nèi)，眾多的產(chǎn)業(yè)鏈、高科技企業(yè)紛紛熱衷參與相關技術的研究。

AR（Augmented Reality）增強現(xiàn)實，它是通過傳感器獲取真實的場景，應用計算機計算能力將真實場景信息轉(zhuǎn)換為數(shù)字信息，并對根據(jù)需要進行增強，如增加額外的圖像、聲音、視頻及顯示其他細節(jié)信息。現(xiàn)應用于醫(yī)療、工業(yè)生產(chǎn)、教育、旅游、公共安全等行業(yè)；員工培訓、網(wǎng)絡會議、專業(yè)指導等場景。但是AR 終究只是現(xiàn)實的增強，它無法實現(xiàn)智能交互。比AR 更具有實際應用價值的技術MR（Mixed Reality）混合現(xiàn)實就應運而生。

MR 將真實場景與虛擬場景進行融合，通過混合疊加的呈現(xiàn)方式讓用戶可以真實地感受到交互和體驗。MR 更具有真實應用價值，是因為它具有智能交互性。MR 技術的應用具有代表性的案例，是微軟的Hololens 解決方案。但MR在實際的應用中，由于需要依賴專業(yè)的MR 設備和專業(yè)技術平臺，其能力部署的高成本、技術使用涉及專業(yè)性等局限至使無法更廣泛地應用。即便微軟的Hololens 解決方案提出的可以讓非專業(yè)人士從事專業(yè)工作，但就高昂的價格以及需要專業(yè)平臺支撐，也只有少量的企業(yè)能應用，無法泛民用。

縱觀國內(nèi)AR云的廣泛應用，尤其在房地產(chǎn)互聯(lián)網(wǎng)銷售、汽車互聯(lián)網(wǎng)銷售等在手機上實現(xiàn)AR 技術，意味著AR 并不依賴于AR 眼鏡；同理，MR 是否必須依賴于專業(yè)的設備才能實現(xiàn)被打上問號。由此引發(fā)本次研究的課題：基于5G 與云計算技術在智能終端上實現(xiàn)模擬MR 技術的應用研究。

2 概念與說明

2.1 混合現(xiàn)實（MR）

Mixed Reality 混合現(xiàn)實，可以簡單概況為“裸眼現(xiàn)實+虛擬畫面+數(shù)字信息”。是一種將真實場景和虛擬場景自然地融合在一起，用戶可以很真實地感受包括遮擋、碰撞以及展開細節(jié)等交互的技術。引言中提到，在技術實現(xiàn)中具有代表性的是微軟的Hololens。

通過Hololens 與Google Glass 對比來說明MR 技術與AR 技術之間的區(qū)別。Google Glass 是AR 眼鏡，它智能將虛擬場景和真實場景進行簡單的疊加顯示，虛擬和真實沒有很好地融合，無法達到體驗式交互。而Hololens，雖然像AR 設備，但它具有實時的計算能力，通過對真實場景的與虛擬場景的融合，讓用戶真實感受體驗式交互，同時Hololens 可借助網(wǎng)絡與專用平臺對接，在虛擬場景上增加數(shù)字化說明。

2.2 MR云的實現(xiàn)依賴于5G網(wǎng)絡

從2.1 節(jié)可以了解，MR 技術區(qū)別于AR 技術，不僅僅只是單純的將真實場景與虛擬場景的疊加，在最終成像技術上，需要運用大量的計算能力。概括而言，MR 與AR 的本質(zhì)區(qū)別在于實時的交互計算。

AR云，通過對真實場景的信息采集上傳到云平臺，在使用的時候，從云平臺調(diào)用所需要的信息，在終端上進行展示，網(wǎng)絡僅僅只是呈現(xiàn)延時。但MR云，需要與真實場景進行交互，云平臺需要實時采集真實場景信息進行數(shù)字化加工，融合虛擬場景，再通過網(wǎng)絡傳輸?shù)浇K端進行輸出，期間的對網(wǎng)絡穩(wěn)定性、網(wǎng)絡帶寬、網(wǎng)絡延時都有著很高的要求，因此，MR云的實現(xiàn)只有選擇5G 超低延時專用切片才能很好地實現(xiàn)。

補充說明的是，有很多學者會提出，高速網(wǎng)絡使用專線寬帶也能達到，但本文所研究的是MR 技術更廣泛地應用，專線寬帶具有獨有性，與專用設備性質(zhì)相同；同時，即使是光纖寬帶，也無法達到超低延時。由此可見，MR云的實現(xiàn)依賴于5G網(wǎng)絡。

3 構建MR云的研究與探討

3.1 MR云的構建研究

MR 技術在工業(yè)領域與設備維護領域已經(jīng)開始應用，MR云的構建已具備技術基礎，從MR 應用原理基礎上，重點推進以下3 點，以構建MR云能力。

（1）通過輕應用方式替代MR 專用設備；

（2）真實場景、用戶交互場景、虛擬場景的融合實時計算能力云化；

（3）場景數(shù)據(jù)、交互數(shù)據(jù)、媒體數(shù)據(jù)傳輸?shù)膶崟r性與安全性。

3.1.1 MR 的組成與工作原理

混合現(xiàn)實（MR），從概念上就是真實世界與虛擬世界的交互性融合，MR 的運作需要以下組成部分，如圖1 所示。

圖1 混合現(xiàn)實（MR）的工作原理

（1）通過攝像頭采集真實世界信息；通過傳感器獲取用戶交互信息；

（2）MR 設備數(shù)據(jù)緩存器緩存相關數(shù)據(jù)，并通過算法將真實場景轉(zhuǎn)換為數(shù)字化信息；

（3）交互信息發(fā)送到MR 系統(tǒng)匹配響應策略，并從系統(tǒng)中獲取虛擬場景信息；

（4）MR 設備通過算法將真實場景與虛擬場景及數(shù)字交互信息進行融合計算；

（5）通過MR 設備的顯示組件進行成像輸出。

MR 眼鏡在真實的工作場景應用，MR 眼鏡采用高清視頻采集組件，實時獲取真實環(huán)境/設備，通過交互識別攝像頭識別用戶的交互手勢將相關視頻信息緩存到MR 的運存中。MR 的計算模塊分別對真實場景、交互信息進行數(shù)字化轉(zhuǎn)換。MR 設備通過交互策略將交互信息通過完了過傳送到MR 系統(tǒng)獲取服務響應策略或調(diào)動遠程支撐。MR 系統(tǒng)將響應策略的虛擬場景及交互信息回傳到MR 設備中。MR 設備的計算模塊對真實場景、虛擬場景以及交互信息進行融合計算，并最終在MR 眼鏡的顯示屏上成像展示。

MR在展示成像，通過真實場景+帶標識顏色的虛擬場景的融合展示及虛擬引導方式（如操作引導指示），可以讓用戶直觀地了解面對的場景/設備情況，以及下一步的操作。

3.1.2 MR云的構建

根據(jù)MR 應用構建，MR云的架構設計為4 層，分別是：終端層、數(shù)據(jù)層、計算層、資源層，架構設計如圖2 所示。

圖2 MR云平臺架構設計

（1）終端層：包括應用終端與管理終端。

①應用終端。以MR 專用設備（如MR 眼鏡），應用程序（手機端APP）等作為接觸媒介，通過傳感器獲取場景/設備的包括影像、聲音等信息并將信息上傳至MR云。同時，應用終端含有顯示組件，通過接受MR云傳送的混合現(xiàn)實圖像進行實時呈現(xiàn)。

② 管理終端。主要以PC 終端為主，通過管理終端的云桌面，可進行MR云的配置與資源維護，信息識別訓練等。

（2）數(shù)據(jù)層：信息傳輸與信息緩存兩部分。

①信息傳輸。通過5G-MR 專用切片上傳與下載媒體信息。上傳信息指的是應用終端將攝像設備采集的真實場景信息、用戶交互信息上傳到MR云。下載信息指的是MR云將MR 媒體信息通過應用終端進行實時播放。

② 信息緩存。信息中間件，主要用于媒體信息的緩存，包括緩存上傳的真實場景信息、用戶交互動作信息以及MR 媒體信息。

（3）計算層：計算層是MR云的核心部分，其計算包含三部分。

①真實場景數(shù)字化轉(zhuǎn)換計算。與增強現(xiàn)實（AR）的場景計算相似，對攝像設備采集的真實場景模擬信號進行數(shù)字化信息轉(zhuǎn)換計算，對關鍵信息（背景數(shù)據(jù)、設備/產(chǎn)品）進行標識。

② 虛擬場景與真實場景混合計算。通過關鍵信息標識，將背景數(shù)據(jù)、產(chǎn)品數(shù)據(jù)、客戶交互動作數(shù)據(jù)等進行分組，分別與資源層傳輸?shù)奶摂M場景信息進行疊加計算或融合計算，輸出初始化混合場景結果。

③模擬交互數(shù)字化轉(zhuǎn)換計算。將交互策略、操作引導、遠程專業(yè)指導等信息進行數(shù)字化轉(zhuǎn)換計算，輸出的模擬交互數(shù)字信息。

④ 全場景信息實時融合計算。將初始化混合場景結果與模擬交互數(shù)字信息進行融合計算，最終合并成為融合場景視頻信息即MR 媒體信息推向應用終端進行實時播放。

（4）資源層：包括產(chǎn)品信息庫、案例資源庫、服務資源庫、交互響應策略、遠程支撐組件。

①產(chǎn)品信息庫。主要存放企業(yè)的產(chǎn)品信息，記錄包括產(chǎn)品型號、標識以及其他說明。

② 案例資源庫。存放產(chǎn)品說明書、操作流程及產(chǎn)品排障指引案例三部分的數(shù)字資源。

③服務資源庫。用于存放的基于用戶需求、用戶交互動作匹配案例資源庫操作指引的索引信表，即用戶需求+產(chǎn)品設備與案例資源的映射關系表。

④ 交互響應策略。根據(jù)MR云的應用需求，而構建的服務。通過服務資源庫的映射結果從案例資源庫獲取包括用戶的行為動作，MR云需要做出的反應動作數(shù)字資源輸出交互策略信息。交互響應策略高度依賴企業(yè)對案例資源庫的完善及交互響應訓練。

⑤ 遠程支撐組件。通過該組件實現(xiàn)遠程呼叫工程師，實時遠程視頻協(xié)作指導操作。

3.2 MR云的研究

3.2.1 MR云構建的意義

構建MR云，主要的意義在于使用MR 技術不需要依賴于專業(yè)的MR 設備，降低使用門檻，讓MR 技術能更普及地應用于各服務領域，優(yōu)勢在于：

（1）應用去專業(yè)化。只要使用帶攝像頭、顯示屏、能接入互聯(lián)網(wǎng)的智能終端，就能輕松地使用MR 技術，可以在工業(yè)、物流、電信、服務領域等廣泛應用。

（2）核心算法云化，迭代更簡單。核心算法的云化，算法迭代只需要通過服務中臺更新算法，無論是測試還是全用戶更新，效率更高。

3.2.2 MR云構建與應用需面臨的問題

MR云的構建與應用面臨以下的問題。

（1）網(wǎng)絡延時

MR 的專用設備的成本高，是因為從攝像、傳感器及核心算法均構建在一個設備上，但正因為算法在同一設備，因此，MR 眼鏡能夠更快、更真實地將現(xiàn)實場景與虛擬場景融合在一起，沒有信息延時。當MR 算法云化后，從終端獲取的信息傳輸?shù)皆埔约霸朴嬎爿敵龅拿襟w信息傳輸?shù)浇K端，傳輸?shù)木W(wǎng)絡必然存在延時，延時的高低，決定著MR云的計算出錯高低。同時，用戶在使用MR 技術時不可能靜止不動，而且用戶需要根據(jù)MR 給出的引導進行操作，產(chǎn)生的位移信息，若延時高，MR云的計算出錯可能非常嚴重，甚至有可能拖垮平臺。

前文中提到MR云的應用需要高度依賴于5G 的低延時網(wǎng)絡切片，但實際的應用效果，需要在MR云構建測試實施時，才能被驗證是否能解決信息傳輸延時的問題。

（2）容錯設計不夠完善

MR云的構建核心在于MR 計算能力云化，除了需要應用如：SLAM、YOLO 等核心算法外，還必須對算法進行改良，首先要解決的是容錯能力的問題。當MR 核心算法云化后，除了網(wǎng)絡延時外，還會存在數(shù)據(jù)包丟失、信息傳輸不完整等情況，這就導致在融合計算時容易出錯。如果容錯設計不夠完善，在并發(fā)量大的情況下，大量的報錯將直接導致云平臺宕機。

（3）補全場景技術還不成熟。

MR云的應用需要展示更完整的真實場景信息，當傳輸?shù)男畔⒈蝗蒎e時，展示的場景信息就會丟失，現(xiàn)有的GQN 或衛(wèi)星采用的照片+EDM 數(shù)據(jù)場景補全技術，目前仍在探索階段，未能很普及的應用，為此，當應用場景缺失的狀況下，MR云可能存在較大的應用缺陷。

4 MR云在服務領域的應用探討

MR云的構建探討中，如果可以解決上節(jié)提到的網(wǎng)絡延時、高容錯及場景補全技術，MR云在實際應用中將有更大的作為。尤其在服務行業(yè)的應用。

行業(yè)應用示例如圖3 所示，在手機安裝MR云應用，通過使用手機攝像頭拍攝現(xiàn)場設備信息以及需要交互的操作需求（如安裝、維修），云平臺收集用戶上載的信息進行匹配響應資源、案例庫或通過呼叫專業(yè)人員遠程支撐，然后將操作步驟、虛擬場景信息及現(xiàn)實的設備信息進行融合計算，并通過應用展示給用戶。

圖3 5G+MR云服務支撐示例

5 結束語

隨著5G 進程不斷推進，AR云、智能交互等創(chuàng)新技術迭代發(fā)展，MR云的構建已具備實現(xiàn)條件，雖然MR云在構建與應用上仍存在很多需要解決的問題，MR云的構建將帶來MR 技術的創(chuàng)新發(fā)展，MR 的應用領域也會更為廣泛，而且MR云在生產(chǎn)與服務場景上，比AR云更具有應用意義，MR云應用如：3D 說明書、MR 服務支持等立體自助服務場景。除了MR云，應用技術云化將是應用技術未來發(fā)展的趨勢，利用創(chuàng)新技術不斷優(yōu)化客戶問題解決方案，能更好地助力企業(yè)騰飛，創(chuàng)造更大的價值。