魏一雄，張燕龍，張紅旗，周紅橋，郭 磊，李 廣

（1.中國電子科技集團公司第三十八研究所，合肥 230088；2.安徽省技術標準創(chuàng)新基地，合肥 230088）

0 概述

增強/混合現(xiàn)實（Augmented/Mixed Reality，AR/MR）技術是典型的數(shù)字化、虛擬化、智能化、網(wǎng)絡化集成的新一代人機交互技術，可以將計算機模擬的數(shù)字化信息數(shù)據(jù)與現(xiàn)實場景環(huán)境無縫疊加，突破空間/時間限制，實現(xiàn)高沉浸、無割裂感的實時信息指引、虛實互動。在人工智能、圖形仿真、虛擬通信、娛樂互動、產品演示、模擬訓練等領域［1-3］，AR/MR 技術帶來了革命性變化，不斷推動新的使用場景和商業(yè)模式出現(xiàn)，釋放了傳統(tǒng)行業(yè)創(chuàng)新活力［4］。市場調研公司Digi-Capital 指出，到2020 年底，全球AR/MR 行業(yè)總收入水平將達到1 200 億美元。

主流增強/混合現(xiàn)實主要有基于二維顯示屏、基于二維投影、基于頭戴顯示設備（Head-Mounted Display，HMD）［5-6］3種實現(xiàn)形式。前兩種實現(xiàn)形式具有成本低、學習快的優(yōu)勢，與傳統(tǒng)的二維可視化使用習慣保持一致，但在實際應用操作時有明顯的不足。頭戴式的實現(xiàn)方式也被稱作近眼顯示設備，包括視網(wǎng)掃描顯示、頭戴式顯示器、頭戴式投影顯示器3 種形態(tài)，都是固定在人體頭部，通過相應的光學組件使得虛擬圖像可以疊加顯示在肉眼觀察的真實物體上，從而實現(xiàn)AR/MR 效果［7-9］。對比前兩種實現(xiàn)方式，HMD 的實現(xiàn)方式具有直觀性強、沉浸感高、可用性好（解放雙手）等優(yōu)勢，因此近年來在工程、建筑、制造等應用領域受到廣泛關注。頭戴式增強/混合現(xiàn)實設備有兩種，一種是眼鏡形式的設備，例如谷歌的GoogleGlass，另一種是頭戴式的設備，如微軟的Hololens。

越來越多的高校、研究院所、企業(yè)單位開始將頭戴式增強/混合現(xiàn)實技術應用于工業(yè)、建筑業(yè)和制造業(yè)等領域［10-12］。文獻［13］研究了基于可穿戴設備（谷歌眼鏡）的智能變電站巡檢虛擬視頻和實時數(shù)據(jù)展示技術，該技術突破了常規(guī)變電站巡檢難以有效獲取實時數(shù)據(jù)的障礙；德國蒂森克虜伯公司在2017年開始與微軟達成戰(zhàn)略合作，將頭戴式Hololens 設備應用于工程師的產品培訓以及客戶現(xiàn)場的遠程運維指導［14］；文獻［15］將頭戴式AR 設備應用于船舶建造，提出基于HoloLens 的船舶分段建造工藝信息AR引導方法，有效提升了復雜結構船舶的構造效能。

頭戴式增強/混合現(xiàn)實設備雖然可以有效解決虛實融合、信息引導等問題，并提供較好的直觀、沉浸感受，但綜觀現(xiàn)有研究，可以發(fā)現(xiàn)多數(shù)應用場合均為單人操作［16］，缺乏多人協(xié)同的應用場景。這是因為頭戴式AR/MR 設備有典型獨占性缺陷，即僅使用者可以體驗虛實融合的場景，而其他人無法了解操作者所觀看到的內容。當應用場景是個體即可完成，且不需要告知其他人員操作過程時并沒有問題，但如果應用場景需要多人協(xié)同，或需要將操作人員所處的三維虛實融合空間與他人分享時，當前的設備難以完成此項任務。文獻［17］針對上述問題提出了協(xié)同式增強現(xiàn)實的一致三維空間關系處理模型或方法，但該方法面向的是視頻序列的一致注冊，并未解決實時虛實融合場景的協(xié)同問題。微軟提出了兩種解決方案［18］：一種是通過視頻采集方式將第一視角的虛實疊加場景傳遞到網(wǎng)頁端（這也是主流AR/MR 設備視角分享方案），此種方式具有圖像抖動過大、分辨率較低和延遲較高等缺陷；另一種則是Spectator View 的解決方案，雖然此方案可以實現(xiàn)類似第三方視角效果，但平臺終端使用有限制，同時缺乏多終端的信息同步策略。在研究領域，還有企業(yè)提出基于命令同步和完全數(shù)據(jù)同步兩種第三方視角實現(xiàn)方式。第一種同步方式需要和程序強耦合，即在程序代碼每一處命令節(jié)點添加同步命令，適應性較差，對用于使用的要求較高。第二種同步方式需要大帶寬的網(wǎng)絡環(huán)境，當遇到較大模型和較多變化時，很容易發(fā)生信息丟失、卡頓現(xiàn)象。

針對上述問題，本文提出基于網(wǎng)絡通信的低延遲虛實融合內容第三方視角可視化方法。該方法基于第三方相機位置以及空間方位換算獲得第三方視角方位，可以有效解決第一視角的抖動、傳輸延遲等問題，并根據(jù)主視角的交互信息/環(huán)境信息/虛實狀態(tài)的多種數(shù)據(jù)類型特點提出不同的同步策略，實現(xiàn)在多種第三方可視化裝置上對于虛實融合內容的完全復現(xiàn)。同時為避免大數(shù)據(jù)量對于帶寬的壓力，提出了長時間連續(xù)發(fā)生信息變化對象的低數(shù)據(jù)量同步策略。

1 實現(xiàn)流程及框架

AR/MR 技術的本質是虛擬信息數(shù)據(jù)在實際空間中的疊加，在這一過程中，較為重要的是虛擬信息數(shù)據(jù)在空間中的定位。本文首先進行物理空間中虛擬空間的注冊定位，確定虛擬信息在空間中的位置，然后根據(jù)第三方視角裝置在物理空間的觀察方位，改變對應虛擬相機的空間方位，即可實現(xiàn)第三方設備對同一虛實融合空間的觀察。

為方便描述，本文定義如下若干描述語：

主視角裝置：即可頭戴式的AR/MR 設備裝置。

第三方視角裝置：即部署于物理空間，包含影像采集設備、計算設備、可視化設備等在內的裝置，可以是整合于一起的裝置，如Pad、手機等，也可以是分離的設備，如圖1 所示。

圖1 第三方視角應用示意圖Fig.1 Schematic diagram of third-party perspective application

客戶端：主視角和第三方視角此類可視化模塊均為客戶端。

服務端：部署于電腦中，用于處理通信會話數(shù)據(jù)的功能模塊。

錨點：是指在虛擬場景中構建某一坐標位置，并將這一坐標位置與物理環(huán)境空間的相對位置鎖定。

由于AR/MR 設備的主要作用是輔助操作人員進行工作，意味著虛實融合空間中的內容也是動態(tài)變化的場景內容，需要通過信息同步的方式將操作端的交互信息/環(huán)境信息/虛實狀態(tài)等數(shù)據(jù)同步到第三方可視化設備，保證兩邊所看到的虛實融合場景變化同步，達到在虛實空間中溝通交流的目標。第三方視角實現(xiàn)的一般流程如圖2 所示。

圖2 第三方視角實現(xiàn)的一般流程Fig.2 General procedure of third-party perspective implementation

實現(xiàn)過程主要分為兩種功能模塊：一種是系統(tǒng)初始化與校準，主要針對客戶端的初始化與校準操作，即主視角裝置的空間定位注冊、第三方視角裝置的設備校準、服務端的網(wǎng)絡通信會話建立等過程；另一種是針對交互信息/環(huán)境信息/虛實狀態(tài)等的數(shù)據(jù)如何在主視角裝置和第三方視角裝置間實時信息同步策略，其中包括數(shù)據(jù)傳輸方式、觸發(fā)條件、數(shù)據(jù)轉換、數(shù)據(jù)驅動等內容。具體實現(xiàn)的技術框架如圖3 所示。

圖3 第三方視角實現(xiàn)的技術架構Fig.3 Technical framework of third-party perspective implementation

2 系統(tǒng)初始化與校準

為保證多終端之間的數(shù)據(jù)通信要求，本文在電腦端構建服務端程序，并在系統(tǒng)啟動時就開始構建可以與其他硬件設備進行信息通信的數(shù)字化環(huán)境，即通信會話。通信會話是主視角與第三方視角間數(shù)據(jù)通信的基礎模塊，用于將序列化后的坐標、材質、標識、命令等信息數(shù)據(jù)通過TCP/IP 協(xié)議實時傳遞。所有客戶端在初始化與校準之際均會啟動加入會話的流程，而服務端也會記錄所有加入會話的裝置、IP、ID 等信息數(shù)據(jù)，用于標記后續(xù)傳遞數(shù)據(jù)的起點及終點。服務端主要實現(xiàn)：1）主視角裝置完成空間定位后，上傳并保存錨點信息；2）第三方視角裝置瞎猜錨點信息，反推自身所處空間位置；3）多終端信息同步傳輸。

系統(tǒng)初始化與校準是針對主視角裝置、第三方視角裝置的相關參數(shù)設置及建立通信鏈接的過程。無論是主視角裝置還是第三方視角裝置，所運行的系統(tǒng)程序是相同的，因此系統(tǒng)在啟動之初需要判斷所使用硬件終端是主操作的頭戴式增強/混合現(xiàn)實設備，或是用于第三方視角的其他硬件設備。如果確定是頭戴式增強/混合現(xiàn)實設備，則開始調用硬件攝像頭進行環(huán)境識別，確定設備與實際場景環(huán)境間的相對位置關系AP（x，y，z，α，β，γ），其中，x、y、z為位置坐標信息，α、β、γ為旋轉角度信息。頭戴式設備通常需要調用深度紅外相機API 接口標定空間三維位置信息，反向計算得到設備位置。而平板類設備包含兩類標定方式：一是通過調用ToF 結構光計算空間位置；二是通過圖像識別反向推算位置［19］，此種方式誤差較大。基于設備與空間的位置關系，主視角人員通過交互操作在空間中放置錨點進行注冊［20］，得到錨點在空間中的位置。錨點是虛實融合空間的具體確定位置，基于錨點建立物理空間與虛擬空間匹配的全局坐標系（Global Coordinate System，GCS）。通過錨點位置及AP 坐標，可以獲得設備與錨點的位置關系，即頭戴式設備的AR/MR 環(huán)境坐標系（AR/MR Environment Coordinate System，AR/MR ECS）。ECS用于確定虛實融合場景中對象方位的確定。為便于計算，本文假設在ECS 坐標系中設備相對于錨點的位置的齊次表示為TP（x，y，z，1），TP 坐標反映了設備與錨點的相對位置關系，是信息數(shù)據(jù)同步過程中的不同設備觀看對象所呈現(xiàn)角度差異的計算依據(jù)。方位的反向推導過程如圖4 所示。需要注意的是，本文所描述的坐標位置除非特殊說明，都是指相對于GCS 的坐標方位。在主視角裝置系統(tǒng)GCS 位置確定完成之后，系統(tǒng)自動將所得到的錨點信息上傳到服務端，便于其他硬件設備訪問數(shù)據(jù)。

圖4 第三方視角裝置在虛實融合空間中的方位推導過程Fig.4 Orientation derivation process of third-party perspective device in the virtual real fusion space

當系統(tǒng)確定當前設備是第三方視角裝置時，首先進行校準操作，即獲取第三方視角硬件設備的攝像頭焦距參數(shù)，計算與設備本身位置坐標系的相對關系，便于后期確定虛擬對象在第三方視角中的大小，從而從感官上符合主視角裝置所看到的內容。校準完成后，和主視角裝置類似，確定第三方視角在空間中的位置的齊次表示：AP1（x1，y1，z1，1）。系統(tǒng)從服務端調取錨點信息數(shù)據(jù)，并基于錨點在實際場景中的方位，以錨點為虛擬場景中的坐標系原點，結合第三方視角在實際場景中通過識別確定相對位置AP1，得到第三方視角在錨點坐標系中的位置的齊次表示：TP1（xt，yt，zt，1）。

坐標方位的推導公式如下所示：

其中，Mv→w為位置變換矩陣。

對于固定式的第三方視角裝置，例如三腳架配合相機及PC 電腦，TP1 的值是固定的，不需要系統(tǒng)進行實時計算；而對于可移動，例如手持式Pad，由于裝置在物理空間中保持移動，如圖1 所示，需要設備進行實時的方位計算，因此TP1 的數(shù)值是動態(tài)變化的。

3 多終端信息同步策略

系統(tǒng)初始化與校準完成后，多個客戶端（包括主視角端以及第三方視角端）間已完成虛實空間匹配以及通信鏈路的構建，要實現(xiàn)真正的第三方視角效果，還需要進行多終端間信息的同步。由于增強現(xiàn)實設備多數(shù)具有無線通信功能，且為避免使用時空間約束，信息同步基于無線網(wǎng)絡傳輸。本文提出了基于通用通信協(xié)議的信息數(shù)據(jù)序列化方法，即將待傳遞信息（如狀態(tài)對象、ID 標識、坐標、比例、材質等）均統(tǒng)一定義為Object 對象，把這些數(shù)據(jù)放到一個狀態(tài)對象中，每一次傳遞都將新建一個對象，將這個對象轉為JSON 文件，通過代碼語言自帶的二進制序列化函數(shù)接口（如C#中的BinaryFormatter 函數(shù)）將Json 數(shù)據(jù)序列化存入內存流中，基于TCP 或UDP 協(xié)議，將內存流中數(shù)據(jù)同步到第三方視角客戶端中。第三方視角端接收到字節(jié)數(shù)組，將數(shù)據(jù)先轉到內存流，通過反序列化的方法轉為JSON 數(shù)據(jù)，繼而得到狀態(tài)對象，信息數(shù)據(jù)序列化傳輸流程如圖5 所示。

圖5 信息數(shù)據(jù)序列化傳輸流程Fig.5 Procedure of information data serialization transmission

頭戴式AR/MR設備在輔助操作人員進行操作時，涉及的數(shù)據(jù)信息類別主要包括數(shù)據(jù)傳輸、動作傳輸、音視頻傳輸和模型傳輸，因此從數(shù)據(jù)傳輸層面，本文給出了主視角與第三方視角的數(shù)據(jù)傳輸路徑以及觸發(fā)方式，如圖6所示。

圖6 數(shù)據(jù)傳輸路徑以及觸發(fā)方式Fig.6 Data transmission path and trigger mode

系統(tǒng)搭建了數(shù)據(jù)傳輸?shù)穆酚赡K，用于針對場景中的動作觸發(fā)、視頻觸發(fā)、音頻觸發(fā)、模型調用等調用系統(tǒng)功能模塊相對應的功能系統(tǒng)，實現(xiàn)對系統(tǒng)功能調用的分發(fā)管理。經(jīng)由路由模塊的數(shù)據(jù)分發(fā)，不同的數(shù)據(jù)類型將觸發(fā)不同的數(shù)據(jù)響應策略，完成數(shù)據(jù)同步。而對于攜帶參數(shù)的信息傳遞，需要借助系統(tǒng)內部接口，通過廣播策略實現(xiàn)對相應行為的觸發(fā)。

在數(shù)據(jù)傳輸維度基礎上，為確保實時性和實用性，盡可能降低數(shù)據(jù)傳輸速率要求，本文分析了第三方數(shù)據(jù)傳遞的特點，從高內聚、低耦合原則觸發(fā)。為確保數(shù)據(jù)傳遞的有效性、及時性、可靠性以及對未來可能增加的數(shù)據(jù)的兼容性，將同步數(shù)據(jù)的信息分為交互信息數(shù)據(jù)、環(huán)境/場景變化信息數(shù)據(jù)和虛實狀態(tài)信息數(shù)據(jù)3 類，針對每類數(shù)據(jù)不同特點，提出了不同的同步策略。

3.1 交互信息同步策略

交互信息數(shù)據(jù)觸發(fā)同步，是指用于與應用操作系統(tǒng)間通過手勢、語音等交互手段啟用系統(tǒng)應用中某些功能的信息數(shù)據(jù)，通過將這部分信息傳遞給第三方視角裝置模擬觸發(fā)信號啟用對應功能的過程。例如在主視角裝置中用戶點擊某一虛擬按鈕，實現(xiàn)某虛擬看板打開、點擊的同時，主視角模塊將點擊信號同步發(fā)送，第三方視角裝置接收信號后模擬點擊觸發(fā)行為，打開同樣虛擬看板?？梢钥闯觯祟愋畔?shù)據(jù)是觸發(fā)式的、由主視角裝置的操作人員進行交互操作后產生的并不需要時刻監(jiān)聽的信息數(shù)據(jù)。因此，對于此類數(shù)據(jù)，系統(tǒng)在交互觸發(fā)的邏輯入口添加了一個分支響應函數(shù)以及外部輸入接口，將觸發(fā)的時間戳、類型等信息序列化后傳遞；第三方視角裝置接收到相應的信息數(shù)據(jù)后進行反序列化及解析，通過調用外部輸入接口傳遞參數(shù)，使得第三方視角裝置模擬主視角裝置進行交互操作，實現(xiàn)達到同樣的效果。

3.2 環(huán)境變化信息同步策略

環(huán)境變化信息同步，是針對增強/混合現(xiàn)實應用系統(tǒng)中由于物理/虛擬環(huán)境變化而導致的應用系統(tǒng)功能變化的更新同步，需在系統(tǒng)中事先標記會隨環(huán)境變化而發(fā)生變化的對象，并建立映射關系。例如主視角裝置隨著人員走動，虛擬看板跟隨人員挪動，由于裝置相對于環(huán)境的方位變化而導致虛擬看板發(fā)生方位變化，需要通過實時同步的方式將環(huán)境變化信息同步給第三方視角裝置，糾正虛擬看板的方位。這一類的信息數(shù)據(jù)是時刻動態(tài)變化的，因此主視角裝置需要對標記的對象的數(shù)據(jù)進行實時傳遞。在系統(tǒng)中添加標記對象數(shù)據(jù)更新的入口，用于第三方視角裝置同步更新環(huán)境變換引致的信息變化。和上述交互數(shù)據(jù)類似，同樣需要進行數(shù)據(jù)的序列化、傳遞以及反序列化操作。

在實際測試過程中，由于是實時傳輸（采用按幀傳遞的頻率），且環(huán)境變化關聯(lián)的目標對象數(shù)量較多，容易導致傳輸數(shù)據(jù)量暴增，進而引發(fā)網(wǎng)絡堵塞或數(shù)據(jù)嚴重滯后的問題。本文針對此類情況進行了兩方面的的優(yōu)化措施：

1）對于主視角操作端標記對象的變化數(shù)據(jù)，進行閾值設定，在閾值范圍內不做數(shù)據(jù)更新傳輸，超過閾值范圍后進行數(shù)據(jù)更新，例如跟隨人視線的虛擬看板，當人頭部僅作微小擺動時，主視角裝置的虛擬看板雖然進行小幅度微調，但方位數(shù)據(jù)并不進行傳輸，僅當變動幅度超過預定義的角度范圍時，才進行一次數(shù)據(jù)更新傳遞，如圖7 所示。

圖7 主視角操作信息同步頻次降低的示意圖Fig.7 Schematic diagram of reducing synchronization frequency of main perspective operation information

2）對于長時間連續(xù)發(fā)生信息變化的對象數(shù)據(jù)，在程序代碼中進行預標記，針對性降低數(shù)據(jù)傳輸頻率（測試驗證中采用20 Hz），這樣一方面保證第三方視角可以觀察到真實的環(huán)境變化引致的信息變化，另一方面確保相關數(shù)據(jù)并不按照系統(tǒng)自帶的時間序列傳遞，避免時間序列較快導致的傳輸數(shù)據(jù)量過大，從而導致嚴重的掉幀非連續(xù)觀感。需要注意的是，由于網(wǎng)絡環(huán)境的不同，數(shù)據(jù)傳輸發(fā)送和接收的時序可能發(fā)生錯亂，因此本文在數(shù)據(jù)解析后，使用之前進行時序校正及校核的過程。

3.3 虛實狀態(tài)信息同步策略

虛實狀態(tài)信息是針對系統(tǒng)在某一階段下虛擬對象的狀態(tài)（包括方位、定位情況、顏色/材質/動畫信息、計算數(shù)據(jù)等），狀態(tài)信息描述了虛擬對象與物理空間的當前結合關系。對于系統(tǒng)使用，除了人機交互過程的觸發(fā)、后臺對于不同狀態(tài)的判斷以及狀態(tài)引發(fā)的流程推進共同構成了滿足用戶需求的平臺。由于狀態(tài)信息并不是連續(xù)數(shù)據(jù)，因此系統(tǒng)采用定時同步的方式將相關信息傳遞給第三方視角裝置。如同交互信息以及環(huán)境變化信息的傳遞過程一樣，通過序列化及反序列化過程完成數(shù)據(jù)的傳輸。

由于狀態(tài)數(shù)據(jù)、交互數(shù)據(jù)和環(huán)境變換數(shù)據(jù)的緊密相關性，本文還通過狀態(tài)信息數(shù)據(jù)在第三方視角裝置上對前面兩種數(shù)據(jù)進行匹配驗證，避免由于網(wǎng)絡環(huán)境錯誤、數(shù)據(jù)包丟失、解析錯誤等導致的第三方視角與主視角內容的錯位。例如，主視角操作者點擊虛擬按鈕啟動虛擬裝配動畫演示，交互信號丟失并未傳遞到第三方視角裝置。而主視角的當前狀態(tài)已經(jīng)是動畫播放狀態(tài)，此刻通過定時的狀態(tài)信息同步，第三方視角可以自行跳過交互信號同步直接開始動畫播放，匹配主視角裝置的當前狀態(tài)。同樣，該同步策略對于環(huán)境變化信息同步有數(shù)據(jù)補償?shù)男ЧＨ?.2 節(jié)所述，為避免數(shù)據(jù)傳輸量過大采用了閾值限制數(shù)據(jù)傳輸?shù)膬?yōu)化方法，但此方法在網(wǎng)絡條件不好時可能發(fā)生虛擬對象運動幅度超出閾值而未同步數(shù)據(jù)的問題。狀態(tài)信息同步可以有效地在固定時間周期內檢查狀態(tài)的差異性，并直接完成當前虛擬對象運動方位的同步，有效解決潛在隱患問題。

基于第三方視角的同步策略，設備根據(jù)同步結果及既定的業(yè)務流程實現(xiàn)多人視角下的可視化效果，多人看到的虛擬對象角度不同，且主視角交互操作時，第三視角中對象會完成對應方位、狀態(tài)變換。

4 測試驗證

本文搭建了測試環(huán)境，電腦為搭載英偉達1080顯卡的臺式機，操作系統(tǒng)為Windows10，開發(fā)工具為visual studio2019，圖形引擎平臺為Unity 2019.4，AR設備為兩臺Hololens 2，其中一臺作為主視角設備，操作者對虛擬對象進行操作，另一臺作為第三方視角設備，用于觀察主視角的操作以及虛實融合場景。光照條件約為200LX。

根據(jù)上文所述，系統(tǒng)首先進行初始化與校準，確定錨點位置，反推兩臺設備在空間中的方位。初始化與校準完成后即完成兩臺設備的空間坐標匹配，通過多種數(shù)據(jù)同步策略完成第三方視角的功能實現(xiàn)如圖8 所示。其中，右下角大圖是操作者設備所看到的虛實融合場景截圖，左上角是第三方視角設備所看到的虛實融合場景截圖，可以看出，第三方視角所看到的畫面和真實場景角度、位置、虛實圖像是準確匹配的。

圖8 第三方視角的應用驗證Fig.8 Application verification of third-party perspective

為測試不同大小模型及不同變化情況下的數(shù)據(jù)同步情況，本文選擇了貼標機（10 325 面片）、機床（約36 312 面片）和機械臂（8 320 面片）3 種模型，分別在模型加載、模型旋轉、放大縮小和模型平移3 種變化情況下統(tǒng)計連續(xù)3 s的數(shù)據(jù)傳輸量（無線網(wǎng)帶寬為150 Mb/s，實際測試網(wǎng)絡傳輸速率為13 Mb/s～15 Mb/s），具體結果如表1 所示。可以看出，基于本文的信息數(shù)據(jù)同步方法將長時間連續(xù)發(fā)生信息變化的對象的數(shù)據(jù)傳輸頻率壓低到20 Hz，傳輸?shù)臄?shù)據(jù)量較低，在正常網(wǎng)絡通信環(huán)境中（在測試環(huán)境中，高于45 kb/s 網(wǎng)速）完全可以滿足第三方視角同步所需要的實時效果。

表1 不同模型3 s 連續(xù)變化中同步的數(shù)據(jù)量Table 1 Synchronous data volume in three seconds continuous change of different models

目前較為流行的同步方式包括命令同步和完全數(shù)據(jù)同步兩種第三方視角同步方式，第一種和程序強耦合，需要在每一處命令節(jié)點添加同步命令，適應性較差；第二種同步方式需要大帶寬的網(wǎng)絡環(huán)境，當遇到較大模型和較多變化時，很容易發(fā)生信息丟失、卡頓現(xiàn)象。

5 結束語

本文針對頭戴式增強/混合設備具有的內容獨占、不易分享等缺陷，提出基于網(wǎng)絡通信的低延遲虛實融合內容第三方視角可視化方法。根據(jù)多終端之間的數(shù)據(jù)通信要求，結合多視角的交互信息/環(huán)境信息/虛實狀態(tài)的多種數(shù)據(jù)類型特點，提出多種信息同步策略，實現(xiàn)多終端設備下的多人實時協(xié)同操作。將該方法應用于實際的操作協(xié)同場景，統(tǒng)計出不同條件下多人協(xié)同操作的信息同步準確性，實驗結果表明了本文方法在實際使用條件下的有效性。下一步將研究多人協(xié)同場景下虛實融合交互的穩(wěn)定性和可靠性，并對不同行業(yè)領域的操作場景進行完善，實現(xiàn)基于5G 高速通信條件遠程大場景、實時模型數(shù)據(jù)加載需求下的多人協(xié)同關鍵技術。