謝澤浩，周明全，陳 超，姚 凡

（華北科技學(xué)院， 北京東燕郊 065201）

0 引言

通過虛擬現(xiàn)實技術(shù)對場景進行仿真的成本低，效率高，沉浸感強，是目前最常用的仿真技術(shù)［1-9］。

國內(nèi)學(xué)者在虛擬仿真方面進行了深入研究，多數(shù)集中在監(jiān)控監(jiān)測和逃生預(yù)測上。 陽煤集團的張謙文最終實現(xiàn)了井下掘進機無人化控制［10］。夏麗珍提出了一種虛擬現(xiàn)實煤礦逃生系統(tǒng)，其目的在于研究并模擬災(zāi)害發(fā)生時工人逃生的運動軌跡［11］。

還有學(xué)者在虛擬技術(shù)與其他產(chǎn)業(yè)結(jié)合的綜合監(jiān)測上展開研究。 張志超，劉守瑞等人設(shè)計了一種基于虛擬現(xiàn)實的變電站監(jiān)測方法，目的在于監(jiān)測變電站信息，能夠準確發(fā)現(xiàn)變電站中的故障問題［12］；趙靜，閆春雨等人提出了一種基于虛擬現(xiàn)實的農(nóng)田監(jiān)測機器人方案，其最終結(jié)果表明，農(nóng)田監(jiān)測機器人可以有效獲取田間環(huán)境數(shù)據(jù)，并自主行走和采集［13］。

部分研究學(xué)者在虛擬技術(shù)和培訓(xùn)教學(xué)的結(jié)合使用上進行了研究。 如唐琳瑤，祁神軍等人將虛擬現(xiàn)實技術(shù)應(yīng)用于教育行業(yè)，其結(jié)果說明虛擬現(xiàn)實技術(shù)在教育行業(yè)有著應(yīng)用前景［14］，這給虛擬掘進機培訓(xùn)方案提供了思路；郭昊宇對虛擬現(xiàn)實技術(shù)在民用航空器執(zhí)照培訓(xùn)進行了可行性分析，得出了虛擬現(xiàn)實技術(shù)在航空培訓(xùn)中可行的結(jié)論［15］，而掘進機培訓(xùn)與航空培訓(xùn)具有很多的相似點，所以將虛擬現(xiàn)實技術(shù)應(yīng)用在掘進機培訓(xùn)上同樣存在可能；謝歌，仝曉陽等人將虛擬技術(shù)與應(yīng)急演練培訓(xùn)結(jié)合，其目的在于提高巡檢人員對應(yīng)急事件的處理能力［16］；李迎千，謝健前等人通過研究傳統(tǒng)的地鐵培訓(xùn)模式，提出了一種結(jié)合虛擬現(xiàn)實技術(shù)的新型培訓(xùn)方案，得出了虛擬培訓(xùn)周期短，成本低，效果好，受訓(xùn)員工素質(zhì)高的結(jié)論。

1 不同虛擬技術(shù)下的掘進機培訓(xùn)方案

1.1 僅使用虛擬現(xiàn)實技術(shù)的掘進機培訓(xùn)方案

純虛擬現(xiàn)實培訓(xùn)方案，是學(xué)員只需佩戴虛擬現(xiàn)實頭戴顯示設(shè)備即可開始培訓(xùn)的方案。 學(xué)員在開始培訓(xùn)前需要佩戴Quest 設(shè)備，手持Quest 手柄。 在培訓(xùn)時，按照語音要求進行操作，然后使用Quest 手柄發(fā)射的射線在給出的兩個選項中進行選擇，培訓(xùn)結(jié)束后給出總評分。 本方案由射線交互模塊和虛擬現(xiàn)實模塊構(gòu)成。

1.1.1 射線交互模塊

虛擬現(xiàn)實交互需要使用手柄，通過Quest 手柄發(fā)射射線與場景中的模型進行交互。 使用虛擬現(xiàn)實開發(fā)工具包實現(xiàn)射線交互，Quest 手柄按鈕有相應(yīng)的代碼值，當(dāng)按鈕按下時，會調(diào)用代碼值對應(yīng)的功能函數(shù)。 在掘進機控制面板上放置八個按鈕，當(dāng)學(xué)員按下扳機鍵后檢查與當(dāng)前射線碰撞的按鈕標簽，觸發(fā)按鈕相應(yīng)功能。 在掘進機控制臺上放置六個搖桿，當(dāng)射線與搖桿交互并且學(xué)員按下扳機鍵時，搖桿向Quest 手柄方向移動，從而控制掘進機位移。

1.1.2 虛擬現(xiàn)實模塊

本方案的底層實現(xiàn)如圖1 所示，使用三維建模技術(shù)對掘進機進行建模，使用開源插件為Unity提供虛擬技術(shù)支持，利用虛擬現(xiàn)實開發(fā)工具包實現(xiàn)掘進機培訓(xùn)流程，使用Meta 的軟件開發(fā)工具包實現(xiàn)掘進機小溜子噴霧，切割頭啟動，蟹爪啟動，急停等功能，手部追蹤模塊會實時顯示Quest 手柄在培訓(xùn)場景中的位置。 使用Platform 開發(fā)包后培訓(xùn)場景將支持在Quest 設(shè)備上進行部署。

圖1 僅使用虛擬現(xiàn)實技術(shù)的底層實現(xiàn)

1.2 僅使用混合現(xiàn)實技術(shù)的掘進機培訓(xùn)方案

純混合現(xiàn)實培訓(xùn)方案，是學(xué)員只需佩戴混合現(xiàn)實頭戴顯示設(shè)備即可開始培訓(xùn)的方案。 學(xué)員在開始培訓(xùn)前需要佩戴Meta 頭戴顯示設(shè)備。 在培訓(xùn)時，學(xué)員按照語音要求進行操作，然后使用手部在給出的兩個選項中進行觸摸選擇，培訓(xùn)結(jié)束后給出總評分。 本方案由手勢交互模塊和混合現(xiàn)實模塊構(gòu)成。

1.2.1 手勢交互模塊

混合現(xiàn)實設(shè)備不同于虛擬現(xiàn)實設(shè)備，不需要使用手柄交互，可通過手勢直接與混合現(xiàn)實場景中的模型進行交互。 通過混合現(xiàn)實開發(fā)工具包添加混合現(xiàn)實支持，在掘進機場景中部署混合交互組件來增加手勢支持。 在需要被交互的八個按鈕和六個搖桿上放置按壓檢測腳本。 學(xué)員可以通過手勢直接操作場景中的按鈕和搖桿，從而控制掘進機做出相應(yīng)操作。

1.2.2 混合現(xiàn)實模塊

本方案的底層實現(xiàn)如圖2 所示，使用三維建模技術(shù)對掘進機進行重建，使用開源插件為Unity提供虛擬技術(shù)支持，使用混合現(xiàn)實開發(fā)工具包實現(xiàn)小溜子噴霧，切割頭啟動，蟹爪啟動，急停，全斷面噴霧等八個按鈕功能，實現(xiàn)掘進機前后和切割頭上下左右移動這六個搖桿功能，并部署在混合現(xiàn)實頭戴顯示設(shè)備中。

圖2 僅使用混合現(xiàn)實技術(shù)的底層實現(xiàn)

1.3 物理實體與虛擬現(xiàn)實技術(shù)結(jié)合的掘進機培訓(xùn)方案

在僅使用虛擬現(xiàn)實技術(shù)的培訓(xùn)方案中，需要使用Quest 手柄與虛擬場景進行射線交互。 物理實體與虛擬現(xiàn)實技術(shù)結(jié)合的培訓(xùn)方案，指的是在虛擬現(xiàn)實場景中利用真實的、物理存在的操縱手柄和控制面板來操縱掘進機的一種方案。 本培訓(xùn)方案是在純虛擬現(xiàn)實方案的基礎(chǔ)上進行的改進，在原有的虛擬現(xiàn)實模塊，射線交互模塊上新增物理實體模塊、評分模塊和姿態(tài)識別模塊。

受訓(xùn)人員在培訓(xùn)前需要正確佩戴好虛擬現(xiàn)實頭戴顯示設(shè)備，認真閱讀操作要領(lǐng)，按照語音提示操作物理實體模塊中的矩陣鍵盤和控制搖桿，隨后使用Quest 手柄在給出的兩個選項中選擇正確選項。 培訓(xùn)過程中，姿態(tài)識別模塊會識別受訓(xùn)人員的身體姿態(tài)動作，若在培訓(xùn)過程中有抽煙等違規(guī)操作，會直接中止培訓(xùn)，并給出錯誤評分。 評分系統(tǒng)會記錄培訓(xùn)中錯誤選項評分和姿態(tài)識別模塊給出的錯誤姿態(tài)評分，在培訓(xùn)結(jié)束后給出受訓(xùn)人員的總評分。 培訓(xùn)完成后可自由操控掘進機，并完成采煤模擬作業(yè)。

1.4 物理實體與混合現(xiàn)實技術(shù)結(jié)合的掘進機培訓(xùn)方案

在僅使用混合現(xiàn)實技術(shù)的培訓(xùn)方案中，需要使用人體手部與虛擬場景進行手勢交互。 物理實體與混合現(xiàn)實技術(shù)結(jié)合的培訓(xùn)方案，指的是在混合現(xiàn)實場景中利用真實的、物理存在的操縱手柄和控制面板來控制掘進機的一種方案。 本培訓(xùn)方案是在純混合現(xiàn)實方案的基礎(chǔ)上進行的改進，在原有的混合現(xiàn)實模塊，手勢交互模塊上新增物理實體模塊、評分模塊和姿態(tài)識別模塊，模塊關(guān)系如圖3 所示。

圖3 模塊關(guān)系圖

1.4.1 物理實體模塊

為了充分模擬掘進機操縱環(huán)境，使用六個物理搖桿通過USB 串口連接至PC 服務(wù)器，服務(wù)器接收并處理物理搖桿的角度信息，再通過網(wǎng)絡(luò)通信發(fā)送給掘進機培訓(xùn)場景中的網(wǎng)絡(luò)通信服務(wù)器，通信模塊將角度信息實時同步到虛擬掘進機的搖桿元素上，從而實現(xiàn)真實物理搖桿直接控制虛擬掘進機的操作。

使用八個矩陣按鈕模擬掘進機控制面板，矩陣鍵盤通過串口連接PC 服務(wù)器，服務(wù)器接收矩陣鍵盤發(fā)送的按鈕值，再通過網(wǎng)絡(luò)通信發(fā)送給掘進機培訓(xùn)場景中的網(wǎng)絡(luò)通信服務(wù)器，通信服務(wù)器通過按鈕值找到相應(yīng)的按鈕并調(diào)用其功能，從而讓真實矩陣鍵盤代替虛擬控制面板。

1.4.2 評分模塊

姿態(tài)識別模塊將姿態(tài)識別評分通過網(wǎng)絡(luò)通信發(fā)送給掘進機培訓(xùn)場景中的網(wǎng)絡(luò)通信服務(wù)器，然后轉(zhuǎn)發(fā)給評分模塊。 當(dāng)受訓(xùn)人員在給出的兩個選項中做出選擇后，評分模塊會自動記錄錯誤選擇評分。 評分模塊將收集到的錯誤姿態(tài)評分和錯誤選項評分，按照一定的權(quán)重比值匯總，最終得出總評分并顯示在受訓(xùn)人員的顯示設(shè)備上。

1.4.3 姿態(tài)識別模塊

姿態(tài)識別模塊的作用是監(jiān)測受訓(xùn)人員在培訓(xùn)過程中的姿態(tài)動作。 首先利用深度攝像頭對培訓(xùn)流程中的給定動作拍照，對圖像數(shù)據(jù)進行預(yù)處理和清洗，去除噪音和無用信息后保留有效的人體姿態(tài)數(shù)據(jù)，收集人體動作數(shù)據(jù)并創(chuàng)建數(shù)據(jù)集。 使用深度學(xué)習(xí)訓(xùn)練數(shù)據(jù)得到動作模型。 當(dāng)培訓(xùn)時，使用遠程攝像頭對受訓(xùn)人員進行實時動作監(jiān)測，根據(jù)監(jiān)測情況給出動作姿態(tài)評分。 若動作標準規(guī)范，則給出高評分；若動作錯誤甚至違規(guī)，給出低評分。

2 不同培訓(xùn)方案之間的對比

2.1 培訓(xùn)方案對比指標

（1） 場景的真實性：真實性用于衡量虛擬培訓(xùn)場景對真實教學(xué)環(huán)境的還原程度。 還原程度越好，培訓(xùn)場景的真實性越高。

（2） 培訓(xùn)效率的高低：培訓(xùn)效率用于衡量培訓(xùn)周期的長短，培訓(xùn)效率越高，相同培訓(xùn)質(zhì)量下花費的時間越少。

（3） 培訓(xùn)方式的合理性：培訓(xùn)方式的合理性是指教學(xué)過程是否存在事實依據(jù)，教學(xué)結(jié)果在真實掘進機上是否適用。 若不適用，則說明該培訓(xùn)方案不合理。

（4） 培訓(xùn)結(jié)果的可靠性：可靠性指的是培訓(xùn)內(nèi)容是可信賴的，與真實掘進機的培訓(xùn)結(jié)果是一致的。 培訓(xùn)結(jié)束后的學(xué)員應(yīng)具有操作真實掘進機的能力。

（5） 交互的流暢性：學(xué)員與虛擬掘進機的交互是學(xué)員進行課堂學(xué)習(xí)，課堂實踐的重要手段。不自然地交互會導(dǎo)致培訓(xùn)結(jié)果與預(yù)期不符，進而影響培訓(xùn)效果。

2.2 場景的真實性對比

四種培訓(xùn)方案采用相同的三維建模技術(shù)構(gòu)建虛擬掘進機，所以場景的真實性只受頭戴顯示設(shè)備的影響。 虛擬現(xiàn)實技術(shù)使用的Quest 頭戴顯示設(shè)備，混合現(xiàn)實技術(shù)使用的是Meta 頭戴顯示設(shè)備。 Quest 設(shè)備不受外部光照影響，成像效果較好，場景真實性強。 Meta 設(shè)備在強光環(huán)境下，成像效果較差，虛擬場景微弱不易觀察。 而在黑暗環(huán)境下，存在定位空間點失敗的情況，無法啟動培訓(xùn)場景。 只有在弱光環(huán)境下，才有較好成像效果。所以在真實性上，采用虛擬現(xiàn)實方案的要優(yōu)于混合現(xiàn)實方案。

2.3 方案的效率對比

僅使用虛擬現(xiàn)實技術(shù)的方案中，培訓(xùn)全程使用Quest 手柄與選項進行交互，而在僅使用混合現(xiàn)實技術(shù)的方案中，直接使用手部進行交互即可，效率更高。 在與物理實體結(jié)合使用的方案中，虛擬現(xiàn)實技術(shù)方案需要反復(fù)摘下頭戴顯示設(shè)備觀察物理搖桿和矩陣按鈕的位置，培訓(xùn)效率最低。 所以，僅使用混合現(xiàn)實技術(shù)的方案效率最高，物理實體與混合現(xiàn)實結(jié)合的方案效率偏高，僅使用虛擬現(xiàn)實技術(shù)的方案效率中等，物理實體與虛擬現(xiàn)實結(jié)合的方案效率最低。

2.4 方式的合理性對比

僅使用虛擬現(xiàn)實技術(shù)的方案中利用Quest 手柄與虛擬掘進機搖桿交互，間接操控掘進機，與真實掘進機的操作不一致，合理性較差。 僅使用混合現(xiàn)實技術(shù)的方案中使用手部直接操控掘進機，與真實掘進機操作一致，較為合理。 而兩種使用物理實體的方案都是手部直接與真實物理搖桿交互，合理性最強。

2.5 結(jié)果的可靠性對比

僅使用虛擬現(xiàn)實技術(shù)的方案培訓(xùn)出的學(xué)員與真實掘進機的培訓(xùn)結(jié)果相差較大，不易上手真實掘進機，結(jié)果的可靠性較差。 僅使用混合現(xiàn)實技術(shù)的方案與真實掘進機操作方法幾乎一致，具備操作真實掘進機的能力，可靠性較強。 使用物理實體與虛擬現(xiàn)實結(jié)合的方案，由于培訓(xùn)過程中不能準確找到物理實體的位置，與實際情況不符，可靠性較差。 使用物理實體與混合現(xiàn)實結(jié)合的方案，擁有真實的操作環(huán)境，與真實掘進機培訓(xùn)結(jié)果最吻合，可靠性最強。

2.6 交互的流暢性對比

僅使用虛擬現(xiàn)實技術(shù)的方案全程使用Quest手柄進行交互，雖然不具備真實的操作手感，但是可以快速完成培訓(xùn)全部操作，流暢性較強。 僅使用混合現(xiàn)實技術(shù)的方案全程使用手部進行交互，流暢性較強。 使用物理實體與虛擬現(xiàn)實技術(shù)結(jié)合的方案中，由于佩戴Quest 頭戴顯示設(shè)備后無法看到物理搖桿和矩陣鍵盤，導(dǎo)致需要反復(fù)確定物理實體的位置，流暢性最差。 使用物理實體與混合現(xiàn)實技術(shù)結(jié)合的方案解決了無法看到物理實體的問題，既有逼真的掘進機場景，又有真實的操作環(huán)境，流暢性最強。

3 對比驗證實驗

3.1 實驗設(shè)計

本次實驗采用層次分析法（ Analytic Hierarchy Process），這是一種定性和定量相結(jié)合的，層次化的分析方法，可以分別計算出各級指標的權(quán)重［17］。 利用層次分析可以得出培訓(xùn)方案對比實驗中真實性、效率性、合理性、可靠性、流暢性的具體權(quán)重值。

實驗安排二十人輪流體驗四種培訓(xùn)方案。 培訓(xùn)人員在培訓(xùn)結(jié)束后，需要按照培訓(xùn)方案的五個對比指標分別進行評分，即每人需要給出20 組評分，總計400 組評分數(shù)據(jù)。 下表為實驗數(shù)據(jù)單元，橫向為方案的五項技術(shù)評價指標，縱向為四種培訓(xùn)方案，最后一列給出滿意度。

表1 實驗數(shù)據(jù)單元

培訓(xùn)方案的滿意度計算公式如下：

式中，Sij代表第i 個人在第j 個指標的得分情況；m＝20，代表20 個實驗人數(shù)；n ＝5，代表5 個對比指標；fj代表第j 個指標的權(quán)重，權(quán)重值取層次分析的結(jié)果；rij代表用戶在該指標上給出的評分；Si代表該培訓(xùn)方案的總體得分，結(jié)果僅保留小數(shù)點后兩位。

表2 層次分析結(jié)果

表3 一致性檢驗結(jié)果匯總

3.2 權(quán)重數(shù)據(jù)來源

在構(gòu)建成對比較矩陣時，如果將所有指標同時進行比較，則得出的結(jié)果是定性數(shù)據(jù)，不具有準確性和可靠性，所以專家需要將指標進行兩兩對比，以此來擺脫不同指標的諸多不相關(guān)因素的影響，并根據(jù)兩者之間的重要性給出評分。 將數(shù)據(jù)進行層次分析，得到結(jié)果見表2。

通常情況下CR 值越小，則說明判斷矩陣一致性越好，一般情況下CR 值小于0.1，則判斷矩陣滿足一致性檢驗，本次針對5 階判斷矩陣計算得到CI值為0.046，針對RI 值查表為1.120，因此計算得到CR 值為0.041＜0.1，意味著本次研究判斷矩陣滿足一致性檢驗，計算所得權(quán)重具有一致性。

最終評分結(jié)果如圖4 所示。

圖4 實驗結(jié)果

3.3 試驗結(jié)果分析

在實驗結(jié)果中，僅使用虛擬現(xiàn)實技術(shù)方案的平均分為5.78，僅使用混合現(xiàn)實技術(shù)方案的平均分為6.73，使用物理實體與虛擬現(xiàn)實技術(shù)結(jié)合方案的平均分為6.45，使用物理實體與混合現(xiàn)實技術(shù)結(jié)合方案的平均分為7.48，使用物理實體與混合現(xiàn)實結(jié)合的方案為四個方案中的最高分，即物理實體與混合現(xiàn)實結(jié)合的方案為最佳掘進機培訓(xùn)方案。

在物理實體與混合現(xiàn)實技術(shù)結(jié)合的方案中，混合現(xiàn)實虛實結(jié)合的特性使得人們可以通過Meta 頭戴顯示設(shè)備直接看到硬件實體，既具有逼真的掘進機場景，又有真實的操作環(huán)境，還具有流暢的交互性，是效率最高，培訓(xùn)質(zhì)量最好的培訓(xùn)方案。

4 結(jié)論

（1） 該研究對僅使用虛擬現(xiàn)實技術(shù)的方案、僅使用混合現(xiàn)實技術(shù)的方案、物理實體與虛擬現(xiàn)實結(jié)合的方案、物理實體與混合現(xiàn)實結(jié)合的方案這四種方案進行詳細介紹，并且在基礎(chǔ)培訓(xùn)上進行了創(chuàng)新型改造，添加了姿態(tài)識別，評分統(tǒng)計等功能。

（2） 本文從真實性、效率性、可靠性、合理性，流暢性這五項技術(shù)指標對四種培訓(xùn)方案進行對比，并對方案的優(yōu)劣點進行詳細論述。

（3） 本文利用層次分析法設(shè)計驗證實驗，通過數(shù)據(jù)分析最終得出物理實體與混合現(xiàn)實結(jié)合的方案的最優(yōu)方案的結(jié)論。