王學(xué)文，王禧龍，沈衛(wèi)東，劉曙光，謝嘉成

（1.太原理工大學(xué)機(jī)械與運(yùn)載工程學(xué)院，太原 030024；2.煤礦綜采裝備山西省重點(diǎn)實(shí)驗(yàn)室，太原 030024）

0 引言

隨著“工業(yè)4.0”和“中國(guó)制造2025”的提出與推進(jìn)［1］，煤炭行業(yè)也結(jié)合大數(shù)據(jù)、云計(jì)算［2］、物聯(lián)網(wǎng)、第五代移動(dòng)通信技術(shù)（5G）、虛擬現(xiàn)實(shí)（VR）等［3］，探尋智慧礦山運(yùn)行新模式。中國(guó)煤炭學(xué)會(huì)將“煤礦智能化機(jī)器人［4］”列為“十四五”期間煤炭十大重點(diǎn)領(lǐng)域之一［5］，鼓勵(lì)大力研發(fā)應(yīng)用煤礦機(jī)器人，為煤炭生產(chǎn)注入新動(dòng)能。對(duì)于未來(lái)從事以煤礦為背景的機(jī)器人相關(guān)工作學(xué)生的培養(yǎng)，實(shí)習(xí)實(shí)踐不可或缺，但是由于煤礦井下生產(chǎn)環(huán)境的特殊性，學(xué)生難以獲得足夠的機(jī)會(huì)到生產(chǎn)現(xiàn)場(chǎng)對(duì)煤機(jī)設(shè)備進(jìn)行相應(yīng)的學(xué)習(xí)，而數(shù)字孿生［6］技術(shù)提供了一種良好的解決方案。

對(duì)于機(jī)器人數(shù)字孿生系統(tǒng)的研究，董靖川等［7］建立了一套并聯(lián)機(jī)器人數(shù)字孿生實(shí)驗(yàn)系統(tǒng)，用于各類機(jī)器人控制教學(xué)實(shí)驗(yàn)。陳成軍等［8］設(shè)計(jì)了面向遙操作機(jī)器人在線示教的數(shù)字孿生系統(tǒng)，結(jié)合增強(qiáng)現(xiàn)實(shí)（AR）技術(shù)，完成機(jī)器人的控制。王亮亮等［9］開(kāi)發(fā)了工業(yè)機(jī)器人數(shù)字孿生教學(xué)系統(tǒng)，包括離線仿真與機(jī)電一體化兩大模式。陳良［10］采用Simpro 仿真軟件，基于數(shù)字孿生技術(shù)輔助工業(yè)機(jī)器人實(shí)訓(xùn)教學(xué)，培養(yǎng)學(xué)生針對(duì)工業(yè)機(jī)器人的操作技能。當(dāng)前數(shù)字孿生教學(xué)系統(tǒng)與VR和AR結(jié)合較淺，難以將機(jī)器人動(dòng)態(tài)特性更加全面、清晰地展示在教學(xué)過(guò)程中。

針對(duì)履帶式液壓機(jī)器人數(shù)字孿生教學(xué)系統(tǒng)［11］的開(kāi)發(fā)，結(jié)合VR和AR技術(shù)，設(shè)計(jì)了虛擬監(jiān)控系統(tǒng)。學(xué)生可以通過(guò)穿戴式設(shè)備更加直觀地了解液壓支架煤礦機(jī)器人的機(jī)械結(jié)構(gòu)、工作原理和控制原理，將井下復(fù)雜環(huán)境以及工況更加清晰地呈現(xiàn)在教學(xué)任務(wù)中。

1 總體框架

履帶式液壓支架機(jī)器人數(shù)字孿生監(jiān)控系統(tǒng)設(shè)計(jì)總體框架如圖1 所示，包括物理系統(tǒng)設(shè)計(jì)、虛擬監(jiān)控系統(tǒng)設(shè)計(jì)、數(shù)字孿生AR監(jiān)控系統(tǒng)設(shè)計(jì)三部分。

圖1 總體框架設(shè)計(jì)

（1）履帶式液壓支架機(jī)器人物理系統(tǒng)設(shè)計(jì)。對(duì)履帶式液壓機(jī)器人物理實(shí)體的設(shè)計(jì)及制作，以滿足機(jī)器人實(shí)體基于履帶輪系統(tǒng)的靈活行走、基于多傳感器的巷道地形感知與自適應(yīng)支護(hù)為目的。

（2）履帶式液壓支架機(jī)器人虛擬監(jiān)控系統(tǒng)設(shè)計(jì)。完成虛擬場(chǎng)景搭建，實(shí)現(xiàn)虛擬環(huán)境下數(shù)字孿生體的仿真動(dòng)作，開(kāi)發(fā)適用于PC 端及AR 設(shè)備的人機(jī)交互界面，并搭建虛實(shí)交互通道，為完成基于數(shù)字孿生理論的三維可視化虛擬監(jiān)控創(chuàng)造條件。

（3）履帶式液壓支架機(jī)器人數(shù)字孿生AR監(jiān)控系統(tǒng)設(shè)計(jì)。完成網(wǎng)絡(luò)框架的搭建，制定物理系統(tǒng)與虛擬監(jiān)控系統(tǒng)之間的通信策略，選擇合理的數(shù)據(jù)處理與傳輸方法，實(shí)現(xiàn)遠(yuǎn)程虛實(shí)融合同步監(jiān)測(cè)與AR 多模態(tài)交互機(jī)器人遠(yuǎn)程控制。

2 履帶式液壓支架機(jī)器人物理系統(tǒng)設(shè)計(jì)

2.1 樣機(jī)結(jié)構(gòu)設(shè)計(jì)

ZY4000／18／38 型液壓支架各部分設(shè)計(jì)較為復(fù)雜。在實(shí)驗(yàn)?zāi)Ｐ偷臉?gòu)建上，為方便后續(xù)實(shí)驗(yàn)，利用SolidWorks軟件對(duì)履帶式液壓支架機(jī)器人實(shí)體零件進(jìn)行等比例建模，并且完成裝配體的裝配（見(jiàn)圖2）。

圖2 支架機(jī)器人三維建模

2.2 物理樣機(jī)選材及制作

選用亞克力板作為主體材料；頂梁、后連桿監(jiān)測(cè)選用ADXL345 傾角傳感器，底座角度通過(guò)JY901 姿態(tài)角度傳感器獲得；支護(hù)高度由HC-SR04 超聲波測(cè)距模塊測(cè)量；頂板壓力監(jiān)測(cè)選用薄膜壓力傳感器；選用MQ型氣體檢測(cè)模塊監(jiān)測(cè)巷道里瓦斯的濃度；選用Arduino Uno開(kāi)發(fā)板為感知元件供電并收集傳感信息，然后將傳感數(shù)據(jù)通過(guò)WI-FI傳輸至上位機(jī)。履帶式液壓支架機(jī)器人物理系統(tǒng)如圖3 所示。

圖3 履帶式液壓支架機(jī)器人物理系統(tǒng)

3 履帶式液壓支架機(jī)器人虛擬監(jiān)控系統(tǒng)設(shè)計(jì)

3.1 虛擬監(jiān)控系統(tǒng)總體方案設(shè)計(jì)

虛擬監(jiān)控系統(tǒng)由巷道支護(hù)的虛擬監(jiān)測(cè)、超前支架的虛擬控制、人機(jī)交互界面和虛實(shí)交互通道等組成，如圖4 所示［12］。虛擬監(jiān)控系統(tǒng)的基礎(chǔ)是構(gòu)建真實(shí)巷道和巷道支護(hù)設(shè)備的數(shù)字孿生體，搭建虛實(shí)交互通道。

圖4 履帶式液壓支架機(jī)器人虛擬監(jiān)控系統(tǒng)

虛擬監(jiān)測(cè)是基于實(shí)時(shí)傳感數(shù)據(jù)，驅(qū)動(dòng)虛擬設(shè)備運(yùn)行，實(shí)現(xiàn)對(duì)真實(shí)工況的直觀再現(xiàn)和裝備運(yùn)行參數(shù)的可視化，即實(shí)控虛；虛擬控制是通過(guò)虛擬場(chǎng)景控制腳本和虛實(shí)交互通道，實(shí)現(xiàn)對(duì)虛擬設(shè)備和物理設(shè)備的同步控制，虛實(shí)設(shè)備分別對(duì)虛實(shí)巷道煤層頂?shù)装暹M(jìn)行自適應(yīng)支護(hù)，即虛控實(shí)；人機(jī)交互界面對(duì)虛實(shí)設(shè)備的控制提供接口，并對(duì)虛擬設(shè)備的運(yùn)行參數(shù)進(jìn)行可視化展示。

3.2 虛擬場(chǎng)景構(gòu)建

選用Unity3D軟件構(gòu)建虛擬監(jiān)控場(chǎng)景。在ug 中對(duì)煤層裝備進(jìn)行三維建模，通過(guò)3DMAX 轉(zhuǎn)換文件格式，再將FBX 文件導(dǎo)入U(xiǎn)nity3D 軟件的虛擬場(chǎng)景中，完成虛擬模型的構(gòu)建。在Unity3D 軟件中，基于各零部件的父子關(guān)系，對(duì)機(jī)構(gòu)進(jìn)行運(yùn)動(dòng)解析，編寫(xiě)控制腳本，實(shí)現(xiàn)虛擬支架推進(jìn)支護(hù)等功能。建立可視化以及按鍵控制的圖形用戶界面（GUI），實(shí)現(xiàn)人與系統(tǒng)的雙向交流與互動(dòng)。配置多串口通信進(jìn)行虛實(shí)信息交互。虛擬模型效果如圖5 所示。

圖5 履帶式液壓支架機(jī)器人樣機(jī)虛擬模型

3.3 虛擬監(jiān)測(cè)與控制子系統(tǒng)設(shè)計(jì)

虛擬監(jiān)控場(chǎng)景是以支架運(yùn)行仿真為基礎(chǔ)，由傳感數(shù)據(jù)、傳感數(shù)據(jù)處理腳本以及虛擬監(jiān)測(cè)與控制腳本集成實(shí)現(xiàn)。

傳感監(jiān)測(cè)數(shù)據(jù)包括支架實(shí)時(shí)坐標(biāo)、支架高度、后連桿傾角、護(hù)幫板角度、頂梁俯仰角以及底座的俯仰角、橫滾角和偏航角，通過(guò)腳本將傳感信息處理后數(shù)據(jù)賦值給虛擬樣機(jī)的驅(qū)動(dòng)變量，實(shí)現(xiàn)虛擬樣機(jī)的實(shí)時(shí)數(shù)據(jù)驅(qū)動(dòng)。

虛擬監(jiān)測(cè)通過(guò)Serial.Controller.cs、data.cs 和ZhiJia＿M(jìn)onitor.cs 3 個(gè)腳本實(shí)現(xiàn)。Serial.Controller.cs負(fù)責(zé)與下位機(jī)建立串口通信通道，data.cs負(fù)責(zé)傳感數(shù)據(jù)的分析和處理，ZhiJia＿M(jìn)onitor.cs負(fù)責(zé)虛擬樣機(jī)的數(shù)據(jù)驅(qū)動(dòng)。虛擬控制的實(shí)現(xiàn)主要通過(guò)ZhiJia＿Control.cs和Serial.Control.cs腳本實(shí)現(xiàn)。腳本Serial.Controller.cs負(fù)責(zé)與下位機(jī)通信，將控制指令傳達(dá)到物理系統(tǒng)；點(diǎn)擊控制“模式按鈕”，ZhiJia＿Control.cs 腳本啟用，ZhiJia＿M(jìn)onitor.cs 腳本禁用，支架進(jìn)入控制模式。

通過(guò)虛擬監(jiān)測(cè)與控制面板對(duì)應(yīng)操作界面，可控制虛擬樣機(jī)實(shí)現(xiàn)對(duì)應(yīng)操作，并通過(guò)虛擬控制串口通信通道向下位機(jī)發(fā)送控制指令，控制對(duì)應(yīng)支架物理樣機(jī)執(zhí)行對(duì)應(yīng)操作。實(shí)現(xiàn)過(guò)程如圖6 所示。

4 履帶式液壓支架機(jī)器人數(shù)字孿生AR 監(jiān)控系統(tǒng)設(shè)計(jì)

4.1 AR監(jiān)控系統(tǒng)總體方案設(shè)計(jì)

構(gòu)建了AR監(jiān)控系統(tǒng)邏輯模型，由數(shù)據(jù)采集層、數(shù)據(jù)傳輸層、數(shù)據(jù)中心層和應(yīng)用系統(tǒng)層組成，如圖7 所示。數(shù)據(jù)采集層為本系統(tǒng)的監(jiān)控終端，即履帶式液壓機(jī)器人物理系統(tǒng)；應(yīng)用系統(tǒng)層的用戶為AR 監(jiān)控客戶端，即AR設(shè)備；數(shù)據(jù)中心層實(shí)現(xiàn)數(shù)據(jù)采集終端和監(jiān)控系統(tǒng)的信息交互。

圖7 數(shù)字孿生AR 監(jiān)控系統(tǒng)邏輯模型

虛擬監(jiān)控系統(tǒng)需要對(duì)多個(gè)遠(yuǎn)程終端設(shè)備進(jìn)行監(jiān)控，為了減少線程阻塞，提高通信服務(wù)的輸入／輸出（I／O）性能。無(wú)線遠(yuǎn)程監(jiān)控系統(tǒng)的通信服務(wù)器采用異步編程模型AMP，利用.NET 提供的SocketAsyncEventArgs類異步接收客戶端數(shù)據(jù)，使用緩沖池和連接池提高系統(tǒng)效率。采用esp8266 WI-FI 模塊實(shí)現(xiàn)Arduino 與AR 設(shè)備的無(wú)線通信，集成Uduino插件并發(fā)布至AR設(shè)備的Unity3D監(jiān)控程序。通過(guò)IP地址（互聯(lián)網(wǎng)協(xié)議地址）及端口訪問(wèn)esp8266 WI-FI 模塊，構(gòu)建虛實(shí)雙向交互通道，為AR 監(jiān)控的實(shí)現(xiàn)提供基礎(chǔ)。

4.2 基于AR技術(shù)的虛實(shí)融合和監(jiān)控系統(tǒng)實(shí)機(jī)開(kāi)發(fā)

采用基于自然特征檢測(cè)的目標(biāo)識(shí)別跟蹤方法實(shí)現(xiàn)AR設(shè)備對(duì)履帶式液壓支架機(jī)器人的識(shí)別和跟蹤。在實(shí)時(shí)交互方面，開(kāi)發(fā)了多模態(tài)交互方法，集成手勢(shì)操作與語(yǔ)音命令2 種交互通道。

（1）手勢(shì)操作。HoloLens2 提供了底層應(yīng)用程序編程接口（API）和高層API，可通過(guò)這些API滿足不同的手勢(shì)定制需求。底層API能夠獲取手的位置和速度信息，高層API則借助手勢(shì)識(shí)別器識(shí)別預(yù)設(shè)的手勢(shì)，如圖8 左圖所示。

圖8 手勢(shì)與語(yǔ)音交互開(kāi)發(fā)

（2）語(yǔ)音命令。由UnityEngine.Windows.Speech命名空間設(shè)定語(yǔ)音命令關(guān)鍵詞，并設(shè)定Action 為T(mén)rigger，將關(guān)鍵詞與機(jī)器人的相關(guān)動(dòng)作行為相對(duì)應(yīng)，如圖8 右圖所示。當(dāng)用戶說(shuō)出關(guān)鍵詞時(shí)，預(yù)設(shè)的動(dòng)作就會(huì)被觸發(fā)。

將開(kāi)發(fā)完畢的系統(tǒng)打包為通用Windows 平臺(tái)（UWP）應(yīng)用程序以兼容HoloLens2，并通過(guò)Visual Studio編譯將程序部署至HoloLens2 真機(jī)以供測(cè)試。HoloLens2 可準(zhǔn)確識(shí)別真實(shí)場(chǎng)景中的履帶式液壓支架機(jī)器人，并將數(shù)字孿生體疊加到物理系統(tǒng)上。通過(guò)手勢(shì)操作或語(yǔ)音指令，操作者可與AR 場(chǎng)景中的全息用戶界面（UI）進(jìn)行交互，實(shí)現(xiàn)對(duì)履帶式液壓支架機(jī)器人的非交互式監(jiān)控，如圖9 所示。

圖9 HoloLens2下的數(shù)字孿生AR監(jiān)控系統(tǒng)畫(huà)面

5 履帶式液壓支架機(jī)器人數(shù)字孿生監(jiān)控系統(tǒng)集成與測(cè)試

5.1 子系統(tǒng)功能測(cè)試

布置煤層模型和支架機(jī)器人，確保機(jī)器人供電和接線正常；布置超帶寬（UWB）定位基站并進(jìn)行定位初始化；在控制器上安裝無(wú)線通信模塊，建立與計(jì)算機(jī)的無(wú)線通信；通過(guò)上位機(jī)發(fā)送控制指令至支架機(jī)器人，依次控制履帶輪前進(jìn)、后退、轉(zhuǎn)彎以及支架升降柱和頂梁自適應(yīng)頂板的功能。機(jī)器人在上位機(jī)發(fā)送指令后可實(shí)時(shí)執(zhí)行控制指令，而且上位機(jī)可實(shí)時(shí)接收傳感系統(tǒng)的機(jī)器人位姿數(shù)據(jù)，如圖10（a）所示。結(jié)果顯示，無(wú)線通信流暢穩(wěn)定，機(jī)器人執(zhí)行機(jī)構(gòu)運(yùn)行正常，傳感系統(tǒng)可正常工作，滿足系統(tǒng)設(shè)計(jì)要求。

圖10 分系統(tǒng)功能測(cè)試

虛擬機(jī)器人和物理機(jī)器人動(dòng)作同步，兩者均行走至虛實(shí)煤層的相同位置，并且姿態(tài)一致，如圖10（b）所示。虛擬監(jiān)測(cè)面板實(shí)時(shí)顯示支架位姿信息。測(cè)試結(jié)果表明，虛擬監(jiān)控系統(tǒng)滿足虛實(shí)同步性要求。傳感器能夠準(zhǔn)確地記錄實(shí)時(shí)位置與傾角變化，系統(tǒng)的位姿參數(shù)準(zhǔn)確性滿足系統(tǒng)監(jiān)測(cè)需求。

操作人員頭戴AR 交互設(shè)備，通過(guò)手勢(shì)交互點(diǎn)擊控制按鈕并拖動(dòng)slider 滑條，控制物理機(jī)器人的行走以及支護(hù)動(dòng)作。AR監(jiān)控第一人稱視角如圖10（c）所示。虛擬煤層裝備和物理煤層裝備同時(shí)空間疊加，物理樣機(jī)跟隨交互手勢(shì)完成指定動(dòng)作，數(shù)字孿生體基于實(shí)時(shí)傳感數(shù)據(jù)完成AR 監(jiān)測(cè)任務(wù)，同時(shí)AR 監(jiān)測(cè)面板實(shí)時(shí)刷新并顯示物理機(jī)器人的實(shí)時(shí)位姿信息。測(cè)試結(jié)果顯示，數(shù)字孿生AR監(jiān)控系統(tǒng)虛實(shí)疊加效果清晰，虛實(shí)設(shè)備運(yùn)行實(shí)時(shí)同步，手勢(shì)交互方式可靠，滿足數(shù)字孿生AR監(jiān)控系統(tǒng)的預(yù)期設(shè)計(jì)要求。

5.2 整體運(yùn)行測(cè)試

操作人員通過(guò)數(shù)字孿生AR 監(jiān)控系統(tǒng)對(duì)物理系統(tǒng)進(jìn)行手勢(shì)控制，通過(guò)虛擬監(jiān)控系統(tǒng)對(duì)物理系統(tǒng)進(jìn)行監(jiān)測(cè)。測(cè)試結(jié)果如圖11 所示。物理機(jī)器人按照指令完成行走和支護(hù)，并且虛擬監(jiān)控場(chǎng)景與真實(shí)支架實(shí)時(shí)同步運(yùn)行，虛擬監(jiān)測(cè)面板可實(shí)時(shí)展示物理機(jī)器人位姿信息。結(jié)果表明，虛擬場(chǎng)景運(yùn)行幀率流暢，各子系統(tǒng)間通信流暢且具有較好的實(shí)時(shí)性和同步性，達(dá)到系統(tǒng)的預(yù)期設(shè)計(jì)目標(biāo)。

圖11 整體系統(tǒng)測(cè)試

6 結(jié)語(yǔ)

履帶式液壓支架機(jī)器人數(shù)字孿生系統(tǒng)目前已用于本科生教學(xué)和研究生科研。實(shí)驗(yàn)臺(tái)包括機(jī)器人樣機(jī)、各類傳感器、HoloLens2 頭戴式AR設(shè)備。學(xué)生和研究人員可通過(guò)此實(shí)驗(yàn)平臺(tái)更加直觀地體驗(yàn)VR、AR 以及數(shù)字孿生系統(tǒng)在機(jī)器人設(shè)備上的應(yīng)用。

·名人名言·

科學(xué)家必須在龐雜的經(jīng)驗(yàn)事實(shí)中抓住某些可用精密公式來(lái)表示的普遍特征，由此探求自然界的普遍原理。

——愛(ài)因斯坦