韓 龍，王順葵，陳廣炎，朱小葉，徐 滔，蔡嘉良

(黑龍江科技大學(xué) 電氣與控制工程學(xué)院，黑龍江 哈爾濱)

引言

煤礦井下重要設(shè)備需要定期進(jìn)行巡檢和維護(hù)，但由于設(shè)備數(shù)量眾多、布局分散，目前多依賴于人工巡檢和維護(hù)，導(dǎo)致巡檢維護(hù)工作量大，成本高，且存在一定的安全隱患。2021 年12 月21 日，工業(yè)和信息化部、國家礦山安全監(jiān)察局等十五部門聯(lián)合印發(fā)《“十四五”機(jī)器人產(chǎn)業(yè)發(fā)展規(guī)劃》，提出面向采礦業(yè)，重點(diǎn)推進(jìn)采掘、支護(hù)、鉆孔、巡檢、重載輔助運(yùn)輸?shù)葯C(jī)器人重點(diǎn)產(chǎn)品的研制及應(yīng)用[1]。利用機(jī)器人取代煤礦井下工作人員巡查，具有不受時間和空間限制、效率高和勞動強(qiáng)度低等優(yōu)點(diǎn)，且有助于進(jìn)一步消除煤礦井下監(jiān)控死角和安全盲區(qū)，從而實(shí)現(xiàn)煤礦無人化生產(chǎn)。國內(nèi)外許多企業(yè)和學(xué)者對煤礦巡檢機(jī)器人進(jìn)行了大量的研究與應(yīng)用，2021 年3 月，陜煤集團(tuán)黃陵礦業(yè)公司部署煤礦巡檢機(jī)器人群，該機(jī)器人群可以實(shí)現(xiàn)遠(yuǎn)程操控、智能巡檢，減輕了約180 位巡檢工人的工作量[2]。李忠奎等設(shè)計了煤礦軌道式巡檢機(jī)器人，該巡檢機(jī)器人具有電機(jī)和輥筒異常監(jiān)測、有害氣體檢測和熱成像監(jiān)控等功能，可實(shí)現(xiàn)無死角監(jiān)測[3]。石宏民設(shè)計了一種履帶式巷道巡檢機(jī)器人，搭載多種環(huán)境參數(shù)檢測傳感器、遠(yuǎn)紅外攝像頭、智能機(jī)械臂等，輔以智能識別算法和上位機(jī)操作系統(tǒng)，實(shí)現(xiàn)了對巷道全方位智能巡檢[4]。鞠晨等研制了適用于薄煤層工作面的巡檢機(jī)器人，實(shí)現(xiàn)了對工作面采場的多維度精準(zhǔn)感知、監(jiān)測，保障工作面智能精確感知和高效控制的無人化開采[5]。煤礦巡檢機(jī)器人大多實(shí)現(xiàn)對環(huán)境和監(jiān)測對象精準(zhǔn)監(jiān)測，但對機(jī)器人本體運(yùn)行狀態(tài)可視化監(jiān)控研究很少，目前的可視化監(jiān)控技術(shù)已經(jīng)取得了一定成果，但機(jī)器人可視化效果不夠優(yōu)化，功能較為單一，人機(jī)交互性不夠好。

數(shù)字孿生技術(shù)能夠創(chuàng)建一個實(shí)時精準(zhǔn)的可視化虛擬監(jiān)控系統(tǒng)，有助于構(gòu)建更高層次的巡檢機(jī)器人遠(yuǎn)程操作系統(tǒng)，為上述問題的解決提供了新途徑。因此，筆者提出了基于VR 和數(shù)字孿生的煤礦井下巷道巡檢機(jī)器人，通過構(gòu)建巡檢機(jī)器人數(shù)字孿生體，來實(shí)現(xiàn)對機(jī)器人運(yùn)行狀態(tài)進(jìn)行遠(yuǎn)程監(jiān)控及完成巷道巡檢任務(wù)。

1 系統(tǒng)的總體設(shè)計方案

煤礦井下巷道巡檢機(jī)器人硬件結(jié)構(gòu)框圖如圖1所示。

圖1 煤礦井下巷道巡檢機(jī)器人的硬件結(jié)構(gòu)框圖

機(jī)器人采用履帶式車體，應(yīng)用ROS2 開發(fā)。機(jī)器人分為導(dǎo)航控制單元、監(jiān)測單元和數(shù)字虛擬軟件平臺三部分。導(dǎo)航控制單元實(shí)現(xiàn)激光雷達(dá)導(dǎo)航和機(jī)器人運(yùn)動控制功能。激光雷達(dá)掃描礦下巷道全景，生成巷道二維柵格地圖，再生成全局代價地圖和局部代價地圖，輸出規(guī)劃地圖以實(shí)現(xiàn)煤礦井下復(fù)雜環(huán)境的智能導(dǎo)航。監(jiān)測單元對機(jī)器人的運(yùn)行狀態(tài)、電池電量及巷道內(nèi)甲烷等氣體進(jìn)行檢測與處理，應(yīng)用攝像頭獲取巷道場景圖像，同時利用YOLOv5 算法識別礦工是否佩戴安全帽和自救器；數(shù)字虛擬軟件平臺主要利用VR 設(shè)備來實(shí)現(xiàn)巡檢機(jī)器人數(shù)字孿生體的可視化同步控制。

2 VR 和數(shù)字孿生平臺建立

2.1 VR 建模與數(shù)據(jù)交互

在黑龍江科技大學(xué)模擬礦井巷道內(nèi)，按照規(guī)劃路徑進(jìn)行拍攝，捕捉巷道路面和墻壁各個角度、不同深度和紋理等細(xì)節(jié)信息。同時也對巡檢機(jī)器人進(jìn)行拍照與測量，獲得相應(yīng)信息。

將照片導(dǎo)入到圖像處理軟件進(jìn)行后期處理獲得巷道和巡檢機(jī)器人的基礎(chǔ)數(shù)據(jù)，然后通過建模軟件Blender 依據(jù)數(shù)據(jù)手動構(gòu)建模擬礦井巷道和巡檢機(jī)器人的虛擬模型。模型完成后，通過USD 流程將模型導(dǎo)入到虛幻引擎軟件中。利用虛幻引擎軟件可以對模擬礦井巷道進(jìn)行建模，應(yīng)用適當(dāng)?shù)募y理、光照和物理效果來增強(qiáng)虛擬巷道的真實(shí)感，在計算機(jī)中建立的模擬礦井巷道虛擬平臺如圖2 所示。完成對模擬礦井巷道的建模后，將虛幻引擎項(xiàng)目導(dǎo)出為可執(zhí)行文件存儲到VR 頭盔中。虛幻引擎通過Open XR 協(xié)議與VR 頭盔之間進(jìn)行數(shù)據(jù)的實(shí)時傳輸和同步。虛幻引擎根據(jù)接收到的頭盔傳感器數(shù)據(jù)，實(shí)時渲染虛擬場景中的畫面。VR 頭盔配備了人機(jī)交互設(shè)備手柄，手柄通過無線通訊向計算機(jī)發(fā)送數(shù)據(jù)，這些數(shù)據(jù)用于控制虛擬現(xiàn)實(shí)平臺上數(shù)字巡檢機(jī)器人的運(yùn)動，進(jìn)而同步控制物理巡檢機(jī)器人的運(yùn)動。

圖2 模擬礦井巷道虛擬平臺

2.2 數(shù)字孿生數(shù)據(jù)交互

數(shù)字孿生(Digital Twin，DT) 是以數(shù)字化方式創(chuàng)建物理實(shí)體的虛擬模型，通過虛實(shí)交互反饋、數(shù)據(jù)融合分析、決策迭代優(yōu)化等手段，為物理實(shí)體提供更加實(shí)時、高效、智能的運(yùn)行或操作服務(wù)[6]。通過構(gòu)造煤礦井下巷道巡檢機(jī)器人的數(shù)字孿生體，不僅能高度逼真地反映機(jī)器人實(shí)體的特征、運(yùn)行和性能，還能在虛擬巷道環(huán)境中實(shí)現(xiàn)對物理巡檢機(jī)器人的狀態(tài)監(jiān)控。

數(shù)字孿生煤礦井下巷道巡檢機(jī)器人是一個數(shù)據(jù)可視化、人機(jī)強(qiáng)交互三維鏡像，包括物理巡檢機(jī)器人、數(shù)字巡檢機(jī)器人和數(shù)據(jù)信息交互等3 個部分，其概念模型如圖3 所示。

圖3 煤礦井下巷道巡檢機(jī)器人的數(shù)字孿生概念模型

物理巡檢機(jī)器人通過5G 無線通訊模塊將數(shù)據(jù)發(fā)送到遠(yuǎn)端云服務(wù)器。同時，機(jī)器人的控制器也能接收云服務(wù)器發(fā)送過來的指令和數(shù)據(jù)。建立云服務(wù)器的數(shù)據(jù)庫，在云服務(wù)器上通過Python 腳本監(jiān)控物理巡檢機(jī)器人和虛擬平臺端的數(shù)字巡檢機(jī)器人，將收到的數(shù)據(jù)進(jìn)行解析處理之后，存入相應(yīng)數(shù)據(jù)庫。通過另外一個Python 腳本監(jiān)控數(shù)據(jù)庫，只要相應(yīng)數(shù)據(jù)庫有更新，就立即將所更新的數(shù)據(jù)分發(fā)到物理巡檢機(jī)器人和數(shù)字巡檢機(jī)器人，以保證物理巡檢機(jī)器人和數(shù)字巡檢機(jī)器人的數(shù)據(jù)實(shí)時同步。物理巡檢機(jī)器人與數(shù)字巡檢機(jī)器人數(shù)據(jù)交互如圖4 所示。

圖4 巡檢機(jī)器人數(shù)字孿生數(shù)據(jù)交互

3 系統(tǒng)測試與分析

巡檢機(jī)器人在黑龍江科技大學(xué)模擬礦井巷道中進(jìn)行測試，測試現(xiàn)場如圖5 所示。工作人員佩戴VR 設(shè)備對虛擬礦井巷道中的數(shù)字巡檢機(jī)器人進(jìn)行運(yùn)動控制，從而實(shí)現(xiàn)遠(yuǎn)程對物理巡檢機(jī)器人的同步控制。物理巡檢機(jī)器人也可通過激光雷達(dá)自主導(dǎo)航在巷道內(nèi)巡檢，巡檢過程中將巷道內(nèi)甲烷、氧氣、CO 氣體和圖像信息通過5G 模塊上傳到虛擬礦井巷道平臺軟件中，巡檢機(jī)器人的運(yùn)動狀態(tài)和電池電量等信息顯示在虛擬平臺軟件界面上，便于工作人員監(jiān)控模擬礦井巷道及巡檢機(jī)器人狀況，虛擬平臺軟件如圖6 所示。

圖5 黑龍江科技大學(xué)模擬礦井測試現(xiàn)場

圖6 虛擬平臺軟件界面

物理巡檢機(jī)器人通過攝像頭捕捉礦工的安全帽和自救器圖像信息，通過YOLOv5 算法對礦工的安全帽和自救器進(jìn)行目標(biāo)檢測，識別效果如圖7 所示。從圖7可以看出，安全帽識別準(zhǔn)確率在90%以上，自救器識別準(zhǔn)確率在80%以上。

圖7 安全帽和自救器識別效果

4 結(jié)論

本文利用VR 和數(shù)字孿生技術(shù)設(shè)計了煤礦井下巷道巡檢機(jī)器人，在建立的虛擬礦井巷道平臺實(shí)現(xiàn)了物理巡檢機(jī)器人與數(shù)字機(jī)器人的同步控制，同時可將實(shí)時檢測到的甲烷、氧氣、機(jī)器人的電量和運(yùn)行狀態(tài)顯示在虛擬平臺上，增強(qiáng)了機(jī)器人巡檢可視化的效果，人機(jī)交互性好。巡檢機(jī)器人采用YOLOv5 算法對礦工的安全帽和自救器進(jìn)行識別，檢測實(shí)時性好，檢測精度較高，可以高效監(jiān)控礦工的違規(guī)行為，有力推進(jìn)煤礦安全管理工作。