徐文彪，許 馳，史洪巖，李 琳

1.沈陽化工大學信息工程學院，遼寧 沈陽 110142

2.中國科學院網(wǎng)絡化控制系統(tǒng)重點實驗室，遼寧 沈陽 110016

3.中國科學院沈陽自動化研究所，遼寧 沈陽 110016

4.中國科學院機器人與智能制造創(chuàng)新研究院，遼寧 沈陽 110169

虛擬現(xiàn)實技術(shù)的飛速發(fā)展推動工業(yè)的智能化快速升級。將虛擬現(xiàn)實應用在工業(yè)生產(chǎn)的關(guān)鍵環(huán)節(jié)，可以讓操作者在虛擬工廠完成故障診斷和預測性維護等工作，直觀體驗錯誤操作可能造成的一系列重大安全事故，大幅降低錯誤診斷與維護造成的損失。目前，基于虛擬現(xiàn)實的智能工廠已成為信息通信技術(shù)與先進制造技術(shù)深度融合的典型代表。特別是邊緣計算、5G 等技術(shù)的快速發(fā)展[1]，支持虛擬現(xiàn)實的實時渲染和高速無線傳輸，加速了虛擬現(xiàn)實的應用部署。美國、德國、日本等工業(yè)發(fā)達國家都將虛擬現(xiàn)實作為未來競爭的關(guān)鍵技術(shù)手段，中國也在積極推動工業(yè)級虛擬現(xiàn)實技術(shù)的發(fā)展，越來越多的虛擬現(xiàn)實工廠走進了真實的工業(yè)場景。

學術(shù)界和工業(yè)界圍繞工業(yè)虛擬現(xiàn)實的研究和應用開展了一系列工作。文獻[2]介紹了基于數(shù)字雙元虛擬工廠的概念及其體系結(jié)構(gòu)，支持制造系統(tǒng)的建模、仿真和評估等場景。文獻[3]介紹了一個開放架構(gòu)的工廠建設工具，可以使用各種模塊來快速實現(xiàn)從工廠布局到工廠流程分析的設計算法。文獻[4]強調(diào)了虛擬現(xiàn)實在模擬數(shù)字工廠中的應用，介紹了基于虛擬現(xiàn)實的數(shù)字工廠工具開發(fā)。文獻[5]面向汽車制造設計了多用戶虛擬現(xiàn)實系統(tǒng)。文獻[6]構(gòu)建了虛擬維修操作交互場景，實現(xiàn)了桌面式的虛擬維修系統(tǒng)，能夠滿足日常裝備維修訓練的需求。文獻[7]用Unity3D 技術(shù)構(gòu)建了一個核事故實訓演練系統(tǒng)，為機器人核探測工程作業(yè)的安全性和高效性提供了保證。文獻[8]設計了一個虛擬現(xiàn)實工業(yè)產(chǎn)品設計展示系統(tǒng)，能夠更全面直觀地展示相關(guān)的產(chǎn)品和作品。文獻[9]采用遺傳算法實現(xiàn)車間布局優(yōu)化，構(gòu)造了基于3D 虛擬環(huán)境下的原型系統(tǒng)，有效提升了工廠規(guī)劃布局的合理性。

然而，現(xiàn)有虛實空間交互的研究仍停留在多個虛擬模型之間，使操作者無法感受到虛擬模型的物理屬性，難以獲得沉浸感。觸覺作為人類感知通道之首，能夠反饋給人獨一無二的材質(zhì)屬性信息。在日常生活中，可以通過觸摸來準確獲取物體的材質(zhì)屬性、輪廓、大小等物理信息。如果能夠像真實世界那樣觸摸虛擬世界的物體，感受虛擬模型的材質(zhì)屬性、輪廓和大小等物理信息，將大大拉近虛擬與現(xiàn)實的距離[10]。

為此，本文設計了一個力觸覺增強的虛擬現(xiàn)實工廠系統(tǒng)。該系統(tǒng)集成力反饋控制器、頭戴式顯示器和邊緣計算服務器等硬件設備，并以Unity3D 為基礎構(gòu)建虛擬工廠空間模型，支持虛、實空間的“視觸聽”多維感知互動。為建立虛擬工廠的三維視覺模型，采用3DMax 模擬工廠內(nèi)多種類型的工具和零部件；為增強立體化視覺效果，應用反射探針、光照探針等組件設計虛擬工廠的光照系統(tǒng)。進一步為虛擬工廠物體增加剛體、碰撞體、關(guān)節(jié)等組件，建立力反饋控制器與虛擬工廠物體的動態(tài)鏈接庫，確立力觸覺反饋模型，支持實時的觸覺交互。最后，通過系統(tǒng)實驗驗證了虛擬工廠系統(tǒng)的有效性。結(jié)果表明：該系統(tǒng)可提供重力、摩擦力、恒力等多種力觸覺反饋，支持對虛擬工廠中20 余種工具、零部件的觸摸、抓取等觸感操作。因此，該系統(tǒng)有望在未來支持工程師故障診斷和預測性維護、遠程遙操作、數(shù)字孿生等創(chuàng)新應用。

本文的主要貢獻如下：1）打破現(xiàn)有虛擬現(xiàn)實工廠系統(tǒng)僅支持單向操作的模式，并通過力反饋控制實現(xiàn)了對虛擬現(xiàn)實工廠物體的雙向觸覺交互。2）構(gòu)建三維空間虛擬工廠模型，設計了具備模型自適應調(diào)節(jié)能力的光照系統(tǒng)，支持自由空間的360?立體視覺感知。3）建立20 余種工具、零部件的模型，并賦予各種虛擬物體的物理輪廓、質(zhì)感、質(zhì)量等多維物理屬性；設計了重力、摩擦力、恒力等多種力觸覺感知的測試試驗，實現(xiàn)了虛擬工廠內(nèi)6 自由度的觸碰、抓取等力觸覺感知，支持人機實時動態(tài)交互。

1 系統(tǒng)設計

1.1 硬件設計

系統(tǒng)的硬件架構(gòu)如圖1所示，包括視聽覺感知終端、觸覺感知終端和邊緣計算服務器。視聽覺感知終端采用頭戴式顯示器，使用Unity3D 中的SteamVR 插件與頭戴式顯示器集成，為操作者提供三維視覺感知。觸覺感知終端采用力反饋控制器，通過動態(tài)鏈接庫與系統(tǒng)集成，為操作者提供多自由度的力觸覺感知。邊緣計算服務器為整個系統(tǒng)提供超強算力支持，運行系統(tǒng)軟件，并完成三維視覺建模、渲染、實時計算等功能；頭戴式顯示器配備了高速無線網(wǎng)卡，支持與頭戴式顯示的無線通信。這樣操作者通過穿戴頭戴式顯示器，可以在物理空間進行360?自由轉(zhuǎn)動，獲得視聽覺體驗；通過操作力反饋控制器，可以與虛擬工廠空間進行實時互動，獲得觸覺體驗。

圖1 系統(tǒng)硬件架構(gòu)Figure 1 System hardware architecture

1.2 軟件設計

系統(tǒng)軟件主要基于Unity3D 平臺，并應用Photoshop、3DMax、Visual Studio 等圖形圖像處理軟件綜合完成。其中，Unity3D 為系統(tǒng)軟件設計提供基礎編程環(huán)境，支持多種格式的3D 模型導入，具備多種物理引擎和完備的函數(shù)庫，能通過動態(tài)鏈接庫將本系統(tǒng)硬件快速集成；Photoshop 用于虛擬工廠內(nèi)物體模型的二維貼圖制作；3DMax 是一款三維模型制作引擎，支持模型貼圖和多種三維模型格式導出；本系統(tǒng)用3DMax 建立的三維模型導入Unity3D，并通過調(diào)整模型參數(shù)完成簡單場景搭建；Visual Studio 是一個軟件開發(fā)工具集，支持Unity3D的編程環(huán)境，可以直接調(diào)用Unity3D 函數(shù)庫對Unity3D 場景中的環(huán)境和物體進行編程。

系統(tǒng)的軟件架構(gòu)如圖2所示。在Photoshop 中制作虛擬工廠物體模型的二維表面貼圖導入3Dmax，按照1∶1 比例建立模型后將二維貼圖賦予三維模型的表面，根據(jù)虛擬工廠空間調(diào)整貼圖位置和大小，確保外觀更接近于真實的外觀。將設計的三維模型導入Unity3D，以Visual Studio 編程軟件編寫C# 代碼腳本，調(diào)用動態(tài)鏈接庫來連接力反饋控制器函數(shù)庫。在此基礎上，編寫虛擬環(huán)境中各種力反饋的效果以及與虛擬物體交互實現(xiàn)的代碼，導入Unity3D場景中的對應物體，實現(xiàn)系統(tǒng)中力反饋控制器模型的控制、觸覺反饋和交互等各種功能。

圖2 系統(tǒng)軟件架構(gòu)Figure 2 System software architecture

2 基于Unity3D 的視觸覺建模

2.1 視覺建模

系統(tǒng)的視覺建模以未來智能制造工廠為背景，包括一個加工維修車間和力觸覺體驗測試區(qū)?？紤]車間內(nèi)故障診斷與維護等任務，選取20 余種典型的工業(yè)設備、工具、零部件進行建模，構(gòu)建了虛擬工廠原型。在車間外部搭建了力觸覺體驗測試區(qū)，用于測試不同的力反饋效果。該體驗測試區(qū)包含如下虛擬物體：1）3 個相同材質(zhì)、不同大小的金屬球，用于測試不同的重力效果；2）3 個不同表面的板材，包括光滑金屬板、木制板和水泥板，用于測試不同的摩擦力效果；3）4 個不同方向的立方體，用于測試不同方向的持續(xù)作用力。在此基礎上，為建模的虛擬物體增加物理屬性，支持對摩擦力、重力、恒力等不同的力反饋效果的測試和體驗。

為增強視覺體驗，設計并布置了一套光照系統(tǒng)，使虛擬工廠場景更加真實。具體來說，將3DMax 軟件中建立的模型導入Unity3D，在場景中布置一束直射光作為整個場景的主要光源，將兩個點光源作為輔助光源，并在室內(nèi)環(huán)境布置反射探針與光照探針。反射探針采集周邊物體的光照信息并反射到空間中，實現(xiàn)逼真的反射效果。光照探針將穿過場景空白空間的光線相關(guān)信息賦予所在空間，提高動態(tài)物體的光照質(zhì)量。兩種探針搭配使用，確保虛擬模型更加真實。考慮到視觸覺實時渲染與碰撞監(jiān)測需要消耗大量的計算資源，本系統(tǒng)采用Unity3D 的LOD Group 多細節(jié)層級顯示技術(shù)，確保系統(tǒng)能夠充分進行模型渲染與優(yōu)化。具體來說，LOD Group 根據(jù)模型和視點的距離，可以自動調(diào)整模型渲染的精細度，即遠距離渲染低精細度模型，近距離則渲染高精細度模型，從而減少模型渲染性能消耗，實現(xiàn)整體系統(tǒng)的性能優(yōu)化[11]。系統(tǒng)的視覺建模如圖3所示。

圖3 視覺建模Figure 3 Visual modeling

2.2 力觸覺建模

在虛擬工廠空間建立了多類型物體模型后，為了向物理空間的操作者提供力觸覺反饋，需要賦予虛擬物體物理屬性，使虛擬物體猶如在真實世界里一樣受到萬有引力的影響，能夠發(fā)生碰撞、交互，為操作者提供力觸覺反饋，獲得真實的物理交互效果。為此，采用剛體、碰撞體等組件對虛擬工廠中的物體進行力觸覺建模[12]。

2.2.1 剛體組件

剛體組件主要為虛擬空間物體賦予物理屬性，使物體能夠接受各種力的作用，控制物體的移動及速度，為操作者提供更真實的虛擬現(xiàn)實交互體驗。為此，本系統(tǒng)采用剛體組件為虛擬物體模型賦予物理屬性，使虛擬對象的行為方式能夠受到力的影響。在移動時，模擬真實世界受到物理效果的影響，可以通過調(diào)整組件對應參數(shù)信息來改變物體的質(zhì)量、阻力等物理屬性。

2.2.2 碰撞體組件

碰撞體組件主要為虛擬空間物體提供用于發(fā)生物理碰撞的幾何模型。虛擬模型需要根據(jù)不同的幾何形態(tài)進行實時碰撞檢測和物理屬性的交互，于是采用碰撞體組件為虛擬物體添加碰撞幾何模型，并根據(jù)幾何模型的形態(tài)進行碰撞檢測和計算。碰撞體與剛體組件配合使用，可以模擬真實的碰撞效果。碰撞體組件包括立方體碰撞體、球碰撞體、膠囊碰撞體、網(wǎng)格碰撞體等多種碰撞體。模型可以根據(jù)不同的需要挑選或搭配使用對應的碰撞體。精細化模型需要使用網(wǎng)格模型構(gòu)建碰撞體模型，使碰撞體與虛擬模型對象的形狀完全相同，碰撞計算更加準確。

2.2.3 關(guān)節(jié)組件

關(guān)節(jié)組件可以在虛擬空間將兩個物體束縛在一起，形成特定的連接關(guān)系。為了使力反饋控制器與虛擬工廠空間中的任一物體連接起來并實現(xiàn)對虛擬空間的抓取等效果，本系統(tǒng)以關(guān)節(jié)組件建立物體的抓取和連接關(guān)系，主要是因為關(guān)節(jié)組件能夠?qū)⒁粋€對象的移動限制為依賴另一個對象，也就是將一個對象依附在另一個對象上。系統(tǒng)的力觸覺建模如圖4所示。

圖4 力觸覺建模Figure 4 Force haptic modeling

3 動態(tài)交互

設計虛擬空間的力反饋控制器和虛擬物體的交互機制，支持虛實空間的力觸覺交互。力反饋控制器與虛擬模型的交互功能基于碰撞體組件和剛體組件實現(xiàn)，為虛擬力反饋控制器和其他可觸摸的物體添加對應的碰撞體組件。為場景中所有可以提起的物體添加剛體組件，使其具有物理屬性；相反，所有未添加剛體組件的物體只可觸摸交互，不可進行抓取交互。在每幀的函數(shù)執(zhí)行過程中，根據(jù)碰撞體與虛擬空間中接觸物體的狀態(tài)獲取并存儲詳細數(shù)據(jù)，進而調(diào)用相應函數(shù)，實現(xiàn)實時碰撞檢測和抓取等功能[13]。交互流程為圖5所示。

圖5 交互流程Figure 5 Interactive process

3.1 觸摸交互

碰撞體組件實時獲取力反饋控制器尖端（觸控筆尖）的當前位置和所接觸對象等信息。當檢測到可觸摸的物體時，觸控筆尖的碰撞體組件讀取并存儲接觸到的虛擬物體信息；然后調(diào)用力反饋控制器的彈簧力錨點設置函數(shù)，為當前筆尖位置設置一個彈簧力錨點。其中的彈簧力是指將觸控筆尖固定在錨點位置后、觸控筆尖離開錨點時所需要的反向作用力。在此基礎上，調(diào)用力反饋控制器的彈簧力配置函數(shù)來設置相應的彈簧力；再為物體添加表面材質(zhì)信息，可以設置彈簧力的大小，支持模擬表面由柔軟到堅硬的不同材質(zhì)效果[14]。

3.2 抓取交互

在觸摸交互的基礎上，通過實時監(jiān)聽力反饋控制器的狀態(tài)函數(shù)獲取力反饋控制器按鈕的狀態(tài)信息，以便進行抓取交互。當按下按鈕時，調(diào)用抓取函數(shù)。在設置彈簧力錨點的位置添加一個固定關(guān)節(jié)組件，并將組件中關(guān)節(jié)連接對象參數(shù)自動設置為與觸控筆尖接觸的虛擬物體。此時，將所接觸到虛擬物體的剛體組件賦予觸控筆尖，使觸控筆尖獲得接觸對象的物理屬性，并將該屬性受到的物理影響實時反饋給力反饋控制器。同時，力反饋控制器根據(jù)其物理屬性參數(shù)將受力情況反饋給操作者。操作者按住按鈕時，可以抓取虛擬物體進行旋轉(zhuǎn)和移動；松開按鈕時，停止調(diào)用抓取函數(shù)，移除觸控筆的剛體組件，使觸控筆尖與觸摸的虛擬物體中間的固定關(guān)節(jié)組件斷開。

4 系統(tǒng)實驗

4.1 系統(tǒng)設置

系統(tǒng)采用HTC VIVE pro 頭顯、3D System Touch 觸摸式力反饋控制器以及邊緣計算服務器搭建，并配置PCIeWiGig 無線網(wǎng)卡，實現(xiàn)與頭戴式顯示器的無線串流，支持視覺建模、渲染等高性能計算。服務器配置如下：處理器為Intel?CoreTMi7-10700@2.90 GHz，顯卡為NVIDIA Geforce RTX3070，內(nèi)存為32.0 GB，操作系統(tǒng)為64 位Windows10。開發(fā)環(huán)境為Unity3D 2019.3.2f1。經(jīng)過模型建立、硬件設備集成、代碼植入以及系統(tǒng)界面設計，力觸覺增強的虛擬現(xiàn)實工廠系統(tǒng)效果如圖6所示。

圖6 力觸覺增強的虛擬現(xiàn)實工廠系統(tǒng)Figure 6 Virtual reality-based factory system with enhanced haptics

4.2 系統(tǒng)界面

力觸覺增強的虛擬現(xiàn)實工廠系統(tǒng)的主界面如圖7所示，主要包括設備檢測和進入虛擬觸覺工廠場景功能。通過編寫C# 腳本，為檢測力反饋控制器按鈕和檢測頭戴式顯示器按鈕添加單機事件，分別在單機時初始化力反饋控制器設備與頭戴式顯示器。若初始化成功，則顯示就緒狀態(tài)。若兩個檢測按鈕皆為就緒狀態(tài)，則“進入觸覺工廠”按鈕變?yōu)榭牲c擊狀態(tài)，否則該按鈕不可點擊，此時點擊“進入觸覺工廠”按鈕，系統(tǒng)將自動加載至虛擬工廠場景，加載場景功能使用Unity3D 場景切換函數(shù)來實現(xiàn)。

圖7 系統(tǒng)主界面Figure 7 System main interface

4.3 系統(tǒng)測試

系統(tǒng)搭建完成后，對雙向虛擬現(xiàn)實觸覺交互效果進行測試。

1）在力反饋測試區(qū)測試不同材質(zhì)物體的力反饋效果。在虛擬工廠外設置3 個力反饋測試點如圖8所示，可以直觀體驗到重力、摩擦力和恒力，其中最大力反饋效果作用力達到3.3 N。圖(a) 模擬重力測試，在提起圖中3 個不同大小的金屬球時能感受到這3 個球具有不同的質(zhì)量；圖(b) 模擬摩擦力測試，在3 個平板滑動時能夠感受到由光滑至粗糙的表面帶來的不同大小的摩擦力；圖(c) 模擬恒力測試，當處于不同方向的立方體中時，會感受到上下左右4 個不同方向的持續(xù)作用的力。

圖8 不同力測試Figure 8 Different force test

2）測試力反饋控制器對虛擬工廠車間內(nèi)工具和零部件的觸摸和抓取能力。操控力反饋控制器，觸摸虛擬工廠中的工具和零部件，可以感受到不同工具零部件的不同材質(zhì)屬性和模型輪廓。在抓起工具和零部件時能夠像抓取真實物體一樣感受到物體的質(zhì)量，并且能夠與虛擬物體進行空間內(nèi)任意方向平移和旋轉(zhuǎn)的6 自由度交互操作，完成將虛擬工具嵌入工具槽、虛擬零件圓孔插入等一系列精細化操作，如圖9所示。

圖9 精細化觸摸和抓取操作Figure 9 Refine touch and grab operations

3）測試力反饋控制器與虛擬物體交互的穩(wěn)定性和準確性。操控力反饋控制器抓取虛擬工廠中的某一工具并持續(xù)一段時間，在持續(xù)抓取過程中，力反饋控制器始終能夠穩(wěn)定反饋力觸覺效果，并且依然能夠在持續(xù)抓取一段時間后將虛擬零件準確地嵌入工具槽以及插入圓孔。

5 結(jié) 語

本文設計了虛擬現(xiàn)實工廠系統(tǒng)的軟硬件，實現(xiàn)了力觸覺增強的虛實同步操作，使得操作者可以沉浸式地在虛擬工廠進行準確、穩(wěn)定的雙向觸覺交互，解決了現(xiàn)有虛擬現(xiàn)實工廠只能依靠頭戴式顯示器和手柄進行單向的視、聽覺虛擬操作問題。該系統(tǒng)將在工程師培訓、設備故障診斷與維護、危險環(huán)境的模擬操作等發(fā)揮重要作用。