摘要：基于混合現(xiàn)實平臺，研究開發(fā)通信工程實施建模應(yīng)用平臺，構(gòu)建通信工程高頻常用設(shè)備三維模型，關(guān)聯(lián)自動識別功能，通過視覺凝視、手勢控制、語音輸入等進行人機實時交互，實現(xiàn)實時的自動識別、施工操作指引，提高通信工程施工效率和質(zhì)量。

關(guān)鍵詞：AI圖像識別；3D建模渲染；視覺凝視；手勢控制

doi：10.3969/J.ISSN.1672-7274.2024.11.041

中圖分類號：F 627；TP 3" " " " " " " " "文獻標(biāo)志碼：A" " " " " " 文章編碼：1672-7274（2024）11-0-03

Development and Application Research of Communication Engineering Implementation Modeling Based on Metaverse MR

QI Ke， ZHAO Hongwei， LIU Shuai

（Henan Information Consulting Design and Research Co.， Ltd.， Zhengzhou 450000， China）

Abstract： Based on a mixed reality platform， research and develop a communication engineering implementation modeling application platform， construct a three-dimensional model of high-frequency commonly used equipment in communication engineering， associate automatic recognition functions， and achieve real-time human-machine interaction through visual gaze， gesture control， voice input， etc.， to achieve real-time automatic recognition and construction operation guidance， and improve the efficiency and quality of communication engineering construction.

Keywords： AI image recognition; 3D modeling rendering; visual gaze; gesture control

元宇宙MR技術(shù)的發(fā)展為通信工程實施提供了新的機遇，將元宇宙MR技術(shù)應(yīng)用于通信工程實施中，可以實現(xiàn)更智能、高效、準(zhǔn)確的工程管理，為通信行業(yè)的發(fā)展帶來新的機遇。借助元宇宙混合現(xiàn)實技術(shù)，將通信工程施工操作指導(dǎo)融入到施工現(xiàn)場，施工人員可以與系統(tǒng)進行實時的可視化交互，獲取操作步驟、施工標(biāo)準(zhǔn)等信息，實現(xiàn)精準(zhǔn)的操作指引，避免人為操作的錯漏和失誤，大大提高了工程實施的效率和質(zhì)量。

混合現(xiàn)實（Mixed Reality，MR）技術(shù)的核心在于頭戴式顯示設(shè)備（HMD），通過頭戴式顯示設(shè)備的傳感器、攝像頭和算法來跟蹤用戶的位置、動作和視線，從而將計算機生成的圖像、聲音和其他感覺刺激與真實環(huán)境相結(jié)合。本項目的研究內(nèi)容主要基于hololens2設(shè)備[1]，使用Unity引擎、MRTK、VisualStudio進行開發(fā)，即在Unity引擎中使用HoloLens2設(shè)備進行通信工程實施建模應(yīng)用平臺的開發(fā)，研究內(nèi)容如下：通過開放的AI訓(xùn)練平臺進行通信工程高頻常用設(shè)備的圖像識別訓(xùn)練；使用3Dmax制作通信工程高頻常用設(shè)備的3D模型并渲染；基于hololens2設(shè)備，使用Unity引擎和MRTK，實現(xiàn)設(shè)備的預(yù)覽、360°觀看、設(shè)備安裝視頻教學(xué)、設(shè)備安裝手冊觀看、空間規(guī)劃等功能；通過與圖像識別程序數(shù)據(jù)接口對接實現(xiàn)通信工程高頻常用設(shè)備的自動識別[2-3]。

1" "AI圖像識別

采用AI圖像識別技術(shù)，借助有效的算法和模型實現(xiàn)通信工程中的圖像識別功能[4]。

1.1 算法選擇

目前主流的AI訓(xùn)練平臺中均提供有各類通用算法模型，包括物體檢測模型、混合模型、圖像分類模型、OCR模型等，本項目研究主要針對通信工程高頻常用設(shè)備，不僅需要識別出圖像中的物體的位置和類別，還需要識別出物體的屬性，因此采用混合模型進行訓(xùn)練[4]。

1.2 數(shù)據(jù)準(zhǔn)備

模型訓(xùn)練就是使用準(zhǔn)備好的數(shù)據(jù)來訓(xùn)練所選模型的過程，而數(shù)據(jù)的規(guī)模和質(zhì)量將直接關(guān)系到算法模型的應(yīng)用效果，因此需要準(zhǔn)備好大量可用的數(shù)據(jù)。根據(jù)AI訓(xùn)練平臺的要求，針對通信工程高頻常用設(shè)備，需要在真實的角度、位置、場景下使用相機拍攝的素材，因此需要拍攝采集大量相關(guān)設(shè)備的照片素材，并篩選出合規(guī)素材，過濾模糊、目標(biāo)像素不滿足要求等的素材。

1.3 數(shù)據(jù)標(biāo)注

數(shù)據(jù)標(biāo)注就是對圖像數(shù)據(jù)的人工識別過程，對每個圖像中所需要識別的物體進行人工選擇，并添加標(biāo)簽屬性。以交換機為例，可以添加一級屬性為盒式交換機和框式交換機，在盒式交換機下可以繼續(xù)添加二級屬性為24端口千兆交換機和48端口千兆交換機，以此類推，需要對所有圖像進行數(shù)據(jù)標(biāo)注。

1.4 數(shù)據(jù)診斷

數(shù)據(jù)診斷主要是對已標(biāo)注數(shù)據(jù)進行漏標(biāo)或者誤標(biāo)診斷，指出并修正標(biāo)注錯誤的數(shù)據(jù)，提升數(shù)據(jù)標(biāo)注質(zhì)量。在數(shù)據(jù)診斷中可根據(jù)實際情況調(diào)整標(biāo)注信息。

1.5 模型訓(xùn)練

模型訓(xùn)練主要是基于標(biāo)注好的數(shù)據(jù)進行擬合訓(xùn)練，一般在模型訓(xùn)練過程中，需要同時考慮過擬合和欠擬合的問題。過擬合指模型在訓(xùn)練集上表現(xiàn)良好但在測試集上表現(xiàn)不佳；欠擬合則相反，模型對訓(xùn)練數(shù)據(jù)都無法很好地擬合。對于過擬合問題，可以通過增加數(shù)據(jù)集的規(guī)模、減少模型復(fù)雜度、正則化等方法來避免。對于欠擬合問題，則可以通過增加特征數(shù)量、升高多項式次數(shù)、減小正則化強度等方法來避免。

1.6 模型部署

模型訓(xùn)練完成后就可對模型進行部署和應(yīng)用，可以選擇部署于互聯(lián)網(wǎng)云平臺或本地AI服務(wù)器上。在進行部署時，需要考慮系統(tǒng)的可靠性、運行效果和計算資源消耗等方面。本次研究中，為便于后期與多渠道、多端系統(tǒng)和設(shè)備對接和適配，選擇將模型部署于云端。

2" "3D建模渲染

本次研究使用3DMax制作通信工程高頻常用設(shè)備的3D模型并渲染[5]。

2.1 模型準(zhǔn)備與設(shè)計

根據(jù)所要建模的設(shè)備收集相關(guān)參考圖像及詳細(xì)尺寸資料，使用3DMax建模工具，如基礎(chǔ)形態(tài)創(chuàng)建、修改器和復(fù)合對象等，設(shè)計并構(gòu)建模型。在這一階段，應(yīng)注重模型的比例、結(jié)構(gòu)和細(xì)節(jié)的準(zhǔn)確性。

2.2 選擇合適材質(zhì)

在3DMax中可以通過材質(zhì)編輯器選擇和調(diào)整材質(zhì)的屬性，如顏色、反射率、透明度等。根據(jù)項目的需求和場景的氛圍，為模型選擇合適的材質(zhì)，使其更加真實。

2.3 細(xì)節(jié)雕琢與調(diào)整

在場景布局完成后，對模型進行進一步的細(xì)節(jié)雕琢和調(diào)整。包括對模型表面的細(xì)節(jié)進行刻畫，調(diào)整模型的形態(tài)和比例，以及優(yōu)化模型的紋理和貼圖。通過這一步驟，可以使模型更加精致和逼真。

2.4 渲染與優(yōu)化

在完成燈光和陰影設(shè)置后，開始進行場景的渲染。在渲染過程中，可以調(diào)整渲染設(shè)置，如分辨率、抗鋸齒、反射和折射等，以獲得高質(zhì)量的渲染效果。同時，還應(yīng)對場景進行優(yōu)化，減少渲染時間和提高渲染質(zhì)量，主要包括優(yōu)化模型的復(fù)雜度、減少不必要的細(xì)節(jié)、使用代理物體等技巧。

2.5 導(dǎo)出與交付

當(dāng)場景渲染和優(yōu)化完成后，將其導(dǎo)出為所需的文件格式，如.jpg、.png、.gif等圖像格式或.fbx、.obj等3D模型格式。在導(dǎo)出時，應(yīng)注意導(dǎo)出設(shè)置的選擇，以確保導(dǎo)出的文件質(zhì)量和兼容性。

3" "系統(tǒng)功能開發(fā)

系統(tǒng)基于HoloLens2設(shè)備，使用Unity引擎和MRTK進行開發(fā)，完成設(shè)備的預(yù)覽、360度觀看、設(shè)備安裝視頻教學(xué)、設(shè)備安裝手冊觀看、空間規(guī)劃等系統(tǒng)功能[2]。

3.1 Unity環(huán)境配置與HoloLens2支持

在Unity編輯器中安裝HoloLens2支持插件（XRPluginManagement），確?？梢詷?gòu)建針對HoloLens2的應(yīng)用。配置Unity項目以支持MR開發(fā)，包括設(shè)置渲染管線（如使用UniversalRenderPipeline）和配置XR設(shè)置（啟用XR支持和HoloLens2作為目標(biāo)平臺）。

3.2 模型導(dǎo)入與場景構(gòu)建

將渲染好的3D模型導(dǎo)入Unity中并調(diào)整其位置、角度和大小以適應(yīng)混合現(xiàn)實環(huán)境。使用Unity的地形工具或?qū)胪獠康匦螖?shù)據(jù)來創(chuàng)建虛擬環(huán)境。確保所有模型都適配HoloLens2的視野和分辨率，優(yōu)化模型細(xì)節(jié)以適應(yīng)設(shè)備性能。

3.3 交互與UI設(shè)計

設(shè)計適用于HoloLens2的手勢和視線交互功能，實現(xiàn)用戶與虛擬對象的交互（如拾取、移動、旋轉(zhuǎn)等），如圖1所示。使用Unity的UI系統(tǒng)或MR專用的UI框架（如MRTK，Mixed Reality Toolkit）來創(chuàng)建用戶界面。確保UI元素適應(yīng)HoloLens2的透視顯示和交互方式。

3.4 通信信號與網(wǎng)絡(luò)模擬

利用設(shè)備的傳感器（如空間定位、手勢識別等）來實現(xiàn)更真實的模擬體驗。使用Unity的腳本系統(tǒng)（如C#）來處理信號模擬和網(wǎng)絡(luò)交互邏輯。

3.5 測試與優(yōu)化

使用HoloLens2設(shè)備在真實環(huán)境中測試應(yīng)用，確保所有功能和交互都按照預(yù)期實現(xiàn)。根據(jù)測試結(jié)果優(yōu)化模型的顯示質(zhì)量、交互邏輯和性能。使用性能分析工具來識別和優(yōu)化瓶頸，確保應(yīng)用在HoloLens2上流暢運行。

3.6 部署與應(yīng)用

將完成的項目打包成適用于HoloLens2的應(yīng)用包（.appxbundle）。使用Microsoft的部署工具（如Visual Studio或HoloLens2設(shè)備門戶）將應(yīng)用部署到設(shè)備上。

4" "對接測試

通過HTTP對云端AI圖像識別接口提交base64編碼的二進制拍照圖像數(shù)據(jù)，可以收到識別后的設(shè)備屬性數(shù)據(jù)，具體步驟如下：

（1）確定認(rèn)證與授權(quán)。為確保數(shù)據(jù)對接的安全性，雙方應(yīng)實施嚴(yán)格的認(rèn)證與授權(quán)機制。可采用OAuth2.0等認(rèn)證框架，以及基于角色的訪問控制（RBAC）等授權(quán)策略。

（2）確定數(shù)據(jù)格式定義。數(shù)據(jù)格式統(tǒng)一采用JSON（JavaScript Object Notation）格式，易于解析和生成。對于特殊數(shù)據(jù)類型，應(yīng)定義相應(yīng)的序列化與反序列化規(guī)則。

（3）確定接口規(guī)范。接口規(guī)范應(yīng)遵循RESTful API設(shè)計原則，實現(xiàn)資源的統(tǒng)一訪問與操作。接口應(yīng)具備良好的可讀性、可擴展性和兼容性。

（4）測試與部署。在數(shù)據(jù)對接上線前進行充分的測試，包括單元測試、集成測試和壓力測試等，以確保數(shù)據(jù)對接的準(zhǔn)確性和穩(wěn)定性。

5" "場景驗證

啟動HoloLens2設(shè)備，在彈出的主頁中以按鈕的方式顯示“開始”“單個設(shè)備演示”“空間規(guī)劃”等按鈕，可以通過手勢控制和語音輸入進行操作。

手勢點擊“開始”，通過視覺凝視，HoloLens2設(shè)備自動拍攝凝視目標(biāo)圖像，通過接口自動上傳至云端AI圖像識別平臺，反饋設(shè)備屬性數(shù)據(jù)，通過測試，一般1～2秒即可完成反饋；HoloLens2設(shè)備根據(jù)反饋結(jié)果觸發(fā)下一步流程，進入設(shè)備展示界面，展示設(shè)備的整體三維圖像，可通過拖曳的方式實現(xiàn)設(shè)備的360度觀看，還可通過炸裂方式顯示設(shè)備詳細(xì)構(gòu)造，并彈出設(shè)備安裝視頻教學(xué)、設(shè)備安裝手冊等。

手勢點擊“單個設(shè)備演示”，可顯示全部設(shè)備的選項卡，點擊任一設(shè)備，即可進入到該設(shè)備的設(shè)備展示界面。

手勢點擊“空間規(guī)劃”，可通過拖曳、放置的方式將三維立體模型放置于真實場景中，展示三維立體模型安裝完成效果，實現(xiàn)對機房空間和機柜空間的規(guī)劃布局。

6" "結(jié)束語

基于元宇宙MR的通信工程實施在操作層面具有顯著的創(chuàng)造性。通過創(chuàng)新的交互方式、實時動態(tài)調(diào)整、沉浸式操作體驗、協(xié)同操作與共創(chuàng)以及創(chuàng)新的模擬與測試方法等手段，可以更加高效、直觀和深入地與虛擬環(huán)境中的模型和數(shù)據(jù)進行互動操作，從而實現(xiàn)更加智能、高效、精準(zhǔn)的通信工程實施和管理。

參考文獻

[1] 龔赤兵．HoloLens2混合現(xiàn)實新特性探究[J]．現(xiàn)代信息科技，2020，4（2）：121-123．

[2] 李廣松，張佳林，官澤良．基于MR技術(shù)的計算機組裝系統(tǒng)設(shè)計與實現(xiàn)[J]．現(xiàn)代信息科技，2024，8（2）：108-113．

[3] 曾笑．基于HoloLens2的目標(biāo)檢測技術(shù)研究[J]．現(xiàn)代計算機，2021（14）：92-95．

[4] 張牧琢，張雋霏．基于百度AI的物體圖像識別軟件的設(shè)計與實現(xiàn)[J]．電腦知識與技術(shù)，2023，19（33）：11-13．

[5] 陳杰，尤薇薇，張鳳香．3D建模在企業(yè)設(shè)備管理中的應(yīng)用[J]．設(shè)備管理與維修，2023（9）：7-8．