蘇龍生，鄧斯堯，周佳瑩，張皓庭，李晶瑩，溫斯煥，李曉東

（佛山科學(xué)技術(shù)學(xué)院電子信息工程學(xué)院，廣東 佛山 528225）

近年來，隨著虛擬現(xiàn)實技術(shù)的快速發(fā)展，智能仿真虛擬實驗室已經(jīng)在各個領(lǐng)域得到廣泛應(yīng)用，不僅能夠取代傳統(tǒng)實驗室中一些危險、昂貴或無法重現(xiàn)的實驗，還能夠拓展實驗的規(guī)模和靈活性。RealityCapture 是一種用于日常物體和建筑物的三維掃描和重建技術(shù)，其能夠通過準(zhǔn)確的激光掃描、攝影等手段生成和捕捉實際環(huán)境的三維數(shù)據(jù)，并將其轉(zhuǎn)化為高精度的虛擬模型。本文旨在通過數(shù)據(jù)采集、模型構(gòu)建、虛擬現(xiàn)實技術(shù)的應(yīng)用等方面研究和開發(fā)基于RealityCapture 的智能仿真虛擬實驗室，實現(xiàn)按需修改實驗設(shè)備和環(huán)境，在提供更加靈活的實驗環(huán)境的同時，能夠降低實驗的時間和成本，提高實驗效率，加速科學(xué)研究進(jìn)程。解決了如虛擬VR 環(huán)境搭建時間長、模型仿真相似度不足以及三維虛擬交互平臺難以高效集成的問題。

1 智能仿真虛擬實驗室的實現(xiàn)基礎(chǔ)

1.1 虛擬現(xiàn)實交互技術(shù)

虛擬現(xiàn)實交互技術(shù)是一門新興發(fā)展的綜合性信息技術(shù)，融合了計算機圖形學(xué)、數(shù)字圖像處理、多媒體技術(shù)和三維模型WEB 展示等方面的技術(shù)。其通過計算機處理形成一個數(shù)字化的映射虛擬模型世界，用戶可在該虛擬世界里進(jìn)行多維人機交互，帶給用戶“身臨其境”的現(xiàn)實立體感。

1.2 WebGL3D 渲染技術(shù)

WebGL3D 渲染技術(shù)是一種基于OpenGLES 標(biāo)準(zhǔn)的功能強大的3D 模型渲染技術(shù)，該技術(shù)可以通過著色器程序、緩沖、紋理和矩陣變換等步驟使用機器GPU 將3D 模型渲染成HTML 頁面。所以開發(fā)者可以借由該技術(shù)在WEB 網(wǎng)頁上創(chuàng)建和使用交互式3D 模型，搭建具有交互功能的虛擬三維空間。

1.3 RealityCapture 軟件

RealityCapture 是一款基于圖像和三維點云快速建模軟件，可以利用大量二維定點圖片計算生成仿真度極高的三維模型。該軟件的一個核心功能是能分析識別圖像特征點的深度，以下是一種測量單點深度的底層方法。

圖1 特征點深度原理圖

式中：z為特征點P離相機的距離（深度），f為相機焦距，b為視差，P（x，z）為特征點P坐標(biāo)。所以對于求特征點深度

z需要明確左視角與右視角相同特征點的位置。而對于左視圖中的一個像素點，如何確定該點在右視圖中的位置，經(jīng)本文研究可通過特征點提取、特征點較比和特征點匹配等操作完成。

2 智能仿真虛擬實驗室的設(shè)計開發(fā)架構(gòu)

本文計劃研究開發(fā)的智能仿真虛擬實驗室主要包含仿真實驗室數(shù)據(jù)處理系統(tǒng)、應(yīng)用管理子系統(tǒng)和數(shù)據(jù)展示子系統(tǒng)。通過搭建虛擬三維實驗室環(huán)境，添加各類人機交互功能，同時根據(jù)不同實驗室不同實驗要求建模相應(yīng)實驗設(shè)備模型和設(shè)置相應(yīng)實驗設(shè)備參數(shù)，以便教師學(xué)生可以“身臨其境”地漫游實驗室與“深度沉浸式”地進(jìn)行課程實驗。本文設(shè)計的智能仿真虛擬實驗室的設(shè)計開發(fā)架構(gòu)如圖2 所示。

圖2 智能仿真虛擬實驗室的設(shè)計開發(fā)架構(gòu)圖

3 智能仿真虛擬實驗室的實現(xiàn)

3.1 實驗室應(yīng)用模型設(shè)計拍攝與注意事項

由于拍攝圖片數(shù)量較多，同時為了保證建模精度，拍攝實驗室應(yīng)用模型時需要嚴(yán)格遵守拍攝規(guī)則。拍攝規(guī)則包括維持焦點拍攝、完整循環(huán)多角度拍攝物體、相鄰照片旋轉(zhuǎn)角度不超過30°、保持拍攝照片高度重疊和保持恒定照明條件等。

3.2 實驗室仿真模型建模

3.2.1 導(dǎo)入并對齊圖片

點擊AddFolder，打開目標(biāo)文件夾，選擇預(yù)計劃輸入圖片進(jìn)行導(dǎo)入，待全部導(dǎo)入后點擊AlignImages 進(jìn)行對齊并生成點云（生成模型前的顯示方式），即可生成初始點云圖。

3.2.2 重建初始模型

在模塊區(qū)點擊RECONSTARUCTION 進(jìn)入重建模塊，CalculateModel 選項卡有Previewquality、Normalquality和Highquality 3 個選項，我們以Normal quality 為例進(jìn)行重建，重建結(jié)束后選擇面工具刪除冗余部分，即得到最初始的三維模型，初始模型圖如圖3 所示。

圖3 模型貼圖著色渲染圖

3.2.3 簡化模型

由于模型可能過大導(dǎo)致生成效率較低，所以必須進(jìn)行簡化模型操作，在SimplifyTool 框選區(qū)點擊Targettrianglecount，即可簡化模型。

3.2.4 貼圖著色并渲染出圖

貼圖有頂點著色和紋理著色2 種選擇，通常選擇紋理著色（效果更佳）。如果需要修改貼圖大小，則需要先進(jìn)行UV，然后再重新給上貼圖，最后在構(gòu)建板塊選擇渲染出圖選項進(jìn)行渲染。生成模型貼圖著色渲染圖如圖4 所示。

圖4 模型貼圖著色渲染圖

3.2.5 輸出模型

渲染出圖后，模型又變?yōu)辄c云，需要再點擊一下模型進(jìn)行重新加載，最后，保持默認(rèn)選項即可輸出模型。

3.3 集成仿真實驗室漫游環(huán)境

我們計劃用WEB 網(wǎng)頁作為智能仿真虛擬實驗室的體驗平臺，所以借助Pano2VR 集成輕便式的仿真實驗室漫游環(huán)境。因為Pano2VR 可以簡單導(dǎo)入多張實驗室室內(nèi)照片，然后拼接全景圖創(chuàng)建基礎(chǔ)三維環(huán)境，然后再可使用交互熱點將RealityCapture 建模的模型嵌入到虛擬實驗室中去，學(xué)校虛擬實驗室需求過多時也可以編輯皮膚添加導(dǎo)航菜單以供用戶快速跳轉(zhuǎn)不同實驗室。Pano2VR 也可將開發(fā)者設(shè)計的仿真實驗室漫游系統(tǒng)自動生成項目工程文件，極其便于開發(fā)者后續(xù)的服務(wù)器部署操作。

3.4 部署項目集成文件于服務(wù)器

本文使用遠(yuǎn)程終端連接校園虛擬服務(wù)器進(jìn)入校園網(wǎng)Internet Information Services（IIS）管理器，添加網(wǎng)站并配置相應(yīng)環(huán)境和設(shè)置網(wǎng)站基本信息，然后設(shè)置主機名，包括確定網(wǎng)址類型、分配IP 地址和訪問端口等操作，最終啟動搭建網(wǎng)站并在用戶端登錄進(jìn)行項目測試。具體服務(wù)器部署流程邏輯圖如圖5 所示。

圖5 服務(wù)器部署流程邏輯圖

3.5 實現(xiàn)WebVR 網(wǎng)頁的智能仿真虛擬實驗室

項目工程部署服務(wù)器并測試通過后，用戶登陸校園網(wǎng)，在WEB 網(wǎng)頁輸入開發(fā)者分配的IP 地址即可進(jìn)入仿真虛擬實驗室進(jìn)行三維漫游、人機交互和課程實驗等。當(dāng)實驗需求增加時，用戶可通過三維虛擬空間漫游到其它實驗室開展活動，同時根據(jù)不同實驗要求使用不同人機交互功能，已設(shè)計智能仿真虛擬實驗室環(huán)境圖和部分設(shè)備交互圖如圖6、圖7 所示。

用戶可控制鼠標(biāo)和鍵盤從而控制虛擬三維模型移動方向、視角和各類人機交互功能，智能仿真虛擬實驗室3D 模型基本操作功能見表1。

4 結(jié)束語

本研究提出的智能仿真虛擬實驗室搭建方案，采用RealityCapture、Blender 和pano2VR 等一系列先進(jìn)軟件，經(jīng)過整合初始生成、修補完善和集成部署等關(guān)鍵步驟，成功構(gòu)建了穩(wěn)定、高仿真度和交互功能強大的虛擬實驗環(huán)境。同時，本文實現(xiàn)的智能仿真虛擬實驗室具備靈活且高度的可定制性，在完成搭建后可以根據(jù)不同領(lǐng)域的實驗室需求動態(tài)添加其需要的實驗設(shè)備并靈活調(diào)整參數(shù)，使實驗室能夠適應(yīng)不同的實驗、教學(xué)和研究需求，拓寬了其功能和應(yīng)用范圍，有效應(yīng)對了實驗資源有限和教學(xué)研究需求變化的挑戰(zhàn)。

圖6 智能仿真虛擬實驗室環(huán)境圖

圖7 仿真實驗室設(shè)備3D 交互圖