張旭輝，張 超，王妙云，王 巖，杜昱陽(yáng)，毛清華，呂欣媛

(1.西安科技大學(xué) 機(jī)械工程學(xué)院，陜西 西安 710054；2.陜西省礦山機(jī)電裝備智能監(jiān)測(cè)重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710054)

control

0 引言

近年來，我國(guó)綜采工作面智能化水平發(fā)展迅速，生產(chǎn)效率大幅提升。相比之下，掘進(jìn)效率低下導(dǎo)致采掘失衡，采掘接續(xù)問題成為高采高效礦井面臨的首要難題[1]。懸臂式掘進(jìn)機(jī)可同時(shí)完成切割、裝載、運(yùn)輸、行走和噴霧除塵等功能，尤其在全巖巷道和半煤巖巷道施工中不可替代。由于施工中工作面粉塵、水霧等影響，掘進(jìn)機(jī)控制決策困難，容易造成超挖欠挖，巷道成形質(zhì)量難以保證，迫切需要提升掘進(jìn)作業(yè)的智能化水平。

國(guó)內(nèi)外學(xué)者致力于煤礦巷道掘進(jìn)智能化技術(shù)及裝備研發(fā)，推動(dòng)了掘進(jìn)裝備智能化發(fā)展[2]。王蘇彧等[3]研發(fā)無(wú)人機(jī)值守掘進(jìn)機(jī)遠(yuǎn)程監(jiān)測(cè)與控制系統(tǒng)，操作者參考視覺監(jiān)控信息，通過鍵盤或遙控手柄對(duì)遠(yuǎn)端掘進(jìn)機(jī)進(jìn)行一鍵式控制，監(jiān)測(cè)中心實(shí)時(shí)顯示掘進(jìn)機(jī)的狀態(tài)信息和健康狀況，保障掘進(jìn)機(jī)安全高效開采。由于井下低照度、高粉塵、潮濕等環(huán)境因素影響，圖像信息不能完整表達(dá)井下環(huán)境和設(shè)備狀況，人為干預(yù)決策的信息繁雜，目前采用的“視頻監(jiān)控+人工遠(yuǎn)程干預(yù)”策略難以解決掘進(jìn)裝備遠(yuǎn)程智能操控和設(shè)備碰撞預(yù)警問題。

近年來數(shù)字孿生(Digital Twin, DT)技術(shù)在工業(yè)領(lǐng)域得到廣泛關(guān)注[4]，數(shù)字孿生體為跨層級(jí)、跨尺度的現(xiàn)實(shí)世界和虛擬世界建立了溝通的橋梁，將物理對(duì)象的數(shù)字模型，通過實(shí)測(cè)、仿真和數(shù)據(jù)分析來實(shí)時(shí)感知、診斷、預(yù)測(cè)物理實(shí)體對(duì)象的狀態(tài)，通過優(yōu)化和指令來調(diào)控物理實(shí)體對(duì)象。中國(guó)礦業(yè)大學(xué)葛世榮[5]研究了數(shù)字孿生綜采工作面技術(shù)架構(gòu)，闡述了相比于現(xiàn)有遠(yuǎn)程中心智能性的突出特點(diǎn)。吳淼團(tuán)隊(duì)[6]針對(duì)快速掘進(jìn)系統(tǒng)并行掘進(jìn)工藝，提出基于數(shù)字孿生技術(shù)的實(shí)現(xiàn)框架。西安科技大學(xué)張旭輝團(tuán)隊(duì)[7]致力于數(shù)字孿生驅(qū)動(dòng)的采掘設(shè)備智能操控技術(shù)研究，將虛擬現(xiàn)實(shí)(Virtual Reality, VR)技術(shù)應(yīng)用于采掘裝備遠(yuǎn)程智能控制，利用多種傳感器和多維化信息的環(huán)境交互能力，結(jié)合計(jì)算機(jī)的邏輯思維和人的抽象思維能力，將物理世界數(shù)字信息呈現(xiàn)于可視化的虛擬數(shù)字世界，實(shí)現(xiàn)了“數(shù)據(jù)驅(qū)動(dòng)，虛實(shí)同步，動(dòng)態(tài)修正，碰撞檢測(cè)，人機(jī)協(xié)作”的遠(yuǎn)程控制理念。文獻(xiàn)[8-9]研究了數(shù)字孿生技術(shù)在智慧礦山應(yīng)用中的現(xiàn)狀及關(guān)鍵技術(shù)。數(shù)字孿生驅(qū)動(dòng)和虛擬現(xiàn)實(shí)呈現(xiàn)為井下采掘工作面復(fù)雜工況下設(shè)備群控制提供了新思路。但是，如何深度融合采掘過程數(shù)據(jù)、可視化呈現(xiàn)復(fù)雜施工過程，自主預(yù)測(cè)碰撞并智能操控，提升掘進(jìn)裝備作業(yè)效率仍然面臨嚴(yán)峻挑戰(zhàn)。

本文結(jié)合數(shù)字孿生技術(shù)、虛擬現(xiàn)實(shí)技術(shù)、工業(yè)物聯(lián)網(wǎng)等先進(jìn)技術(shù)，對(duì)懸臂式掘進(jìn)機(jī)的遠(yuǎn)程操控、人機(jī)協(xié)作、數(shù)據(jù)驅(qū)動(dòng)等關(guān)鍵技術(shù)進(jìn)行研究，提出一種面向懸臂式掘進(jìn)機(jī)智能交互系統(tǒng)全局的人—信息—物理系統(tǒng)(Human-Cyber-Physical System, HCPS)體系結(jié)構(gòu)，研發(fā)數(shù)字孿生驅(qū)動(dòng)的掘進(jìn)機(jī)智能交互控制系統(tǒng)，為遠(yuǎn)程控制提供可視化智能監(jiān)測(cè)與控制支撐。

1 面向懸臂式掘進(jìn)機(jī)智能交互系統(tǒng)的HCPS體系結(jié)構(gòu)

信息系統(tǒng)是數(shù)字孿生技術(shù)發(fā)展過程中連接人與掘進(jìn)工作面的信息集成空間，幫助操作人員進(jìn)行分析決策和人機(jī)協(xié)作控制[10]。通過集成人、信息系統(tǒng)和物理系統(tǒng)的多源數(shù)據(jù)，形成了基于HCPS的煤礦設(shè)備閉環(huán)智能交互模式，如圖1所示。利用數(shù)據(jù)驅(qū)動(dòng)的掘進(jìn)機(jī)虛擬仿真與遠(yuǎn)程控制技術(shù)實(shí)現(xiàn)了人與設(shè)備之間的協(xié)同控制，借助虛擬現(xiàn)實(shí)(Virtual Reality, VR)/增強(qiáng)現(xiàn)實(shí)(Augmented Reality, AR)/混合現(xiàn)實(shí)(Mixed Reality, MR)技術(shù)完成人與數(shù)字空間的交互控制，以數(shù)字孿生驅(qū)動(dòng)的采掘設(shè)備智能化技術(shù)實(shí)現(xiàn)了數(shù)字空間與物理空間的虛實(shí)融合交互，構(gòu)成面向懸臂式掘進(jìn)機(jī)智能交互系統(tǒng)全局的HCPS體系結(jié)構(gòu)[11]。

基于HCPS的懸臂式掘進(jìn)機(jī)智能操控系統(tǒng)由懸臂式掘進(jìn)機(jī)物理空間數(shù)據(jù)感知融合模塊、數(shù)字孿生模塊和基于HCPS的人機(jī)協(xié)同控制3部分構(gòu)成。其中，HCPS可以超越時(shí)間和空間的界限，實(shí)現(xiàn)人與物理系統(tǒng)和信息系統(tǒng)的深度融合，使井下采掘工作面與虛擬工作面處于實(shí)時(shí)交互。圖1中的物理系統(tǒng)利用各類傳感設(shè)備實(shí)現(xiàn)對(duì)掘進(jìn)機(jī)設(shè)備狀態(tài)和環(huán)境狀態(tài)的感知，通過工業(yè)以太網(wǎng)將感知信息發(fā)送到信息系統(tǒng)。信息系統(tǒng)對(duì)感知的多源信息、異構(gòu)信息分析處理形成統(tǒng)一的數(shù)據(jù)模型，結(jié)合礦山地理信息系統(tǒng)(Geographic Information System, GIS)數(shù)據(jù)形成設(shè)備群控制模型。實(shí)時(shí)數(shù)據(jù)與控制模型相結(jié)合，對(duì)控制過程中潛在行為屬性進(jìn)行預(yù)判。數(shù)字空間將數(shù)據(jù)、模型、預(yù)判結(jié)果等控制信息通過VR/AR/MR等技術(shù)手段進(jìn)行呈現(xiàn)，為操作者提供可視化輔助決策依據(jù)。操作人員通過觀測(cè)數(shù)字空間交互平臺(tái)下達(dá)控制指令，通過虛擬通訊接口將控制決策指令反饋至信息系統(tǒng)與預(yù)測(cè)結(jié)果進(jìn)行匹配，最終利用工業(yè)以太網(wǎng)將控制指令發(fā)送到物理空間的末端執(zhí)行器，實(shí)現(xiàn)整個(gè)系統(tǒng)的閉環(huán)控制。

以懸臂式掘進(jìn)機(jī)智能操控系統(tǒng)的HCPS構(gòu)成模型為基礎(chǔ)，研究井下生產(chǎn)過程數(shù)據(jù)對(duì)虛擬設(shè)備的數(shù)字孿生驅(qū)動(dòng)技術(shù)，構(gòu)建多源傳感器數(shù)據(jù)實(shí)時(shí)驅(qū)動(dòng)的懸臂式掘進(jìn)機(jī)遠(yuǎn)程智能操控系統(tǒng)。首先，地測(cè)部門、生產(chǎn)部門以及機(jī)電信息部門提供礦山環(huán)境及設(shè)備數(shù)據(jù)建立基礎(chǔ)數(shù)據(jù)庫(kù)；其次，生產(chǎn)過程中根據(jù)巷道幾何特征變化、設(shè)備運(yùn)行情況分別建立各設(shè)備子系統(tǒng)數(shù)據(jù)庫(kù)，實(shí)現(xiàn)工礦多源異構(gòu)數(shù)據(jù)的實(shí)時(shí)采集、存儲(chǔ)與共享；同時(shí)，利用數(shù)字孿生技術(shù)將煤礦掘進(jìn)工作面的設(shè)備狀態(tài)及環(huán)境信息變化實(shí)時(shí)映射于可視化的三維虛擬空間，通過訪問遠(yuǎn)端數(shù)據(jù)庫(kù)，分析數(shù)據(jù)之間的邏輯關(guān)系，構(gòu)建統(tǒng)一的數(shù)字模型和數(shù)字孿生體，為可視化決策提供孿生模型、孿生控制以及孿生服務(wù)；進(jìn)入自動(dòng)生產(chǎn)過程后，虛擬模型實(shí)時(shí)修正相互位置，并對(duì)異常情況如人機(jī)、設(shè)備間的碰撞進(jìn)行自主預(yù)警；對(duì)于復(fù)雜突發(fā)情況，由監(jiān)控室人員按下急停按鈕進(jìn)行人為干預(yù)；最后，在構(gòu)建掘進(jìn)工作面虛擬仿真場(chǎng)景的基礎(chǔ)上，增加設(shè)備狀態(tài)預(yù)警分析和歷史數(shù)據(jù)回溯模塊，為遠(yuǎn)程操控提供可靠的決策依據(jù)，保證人員和設(shè)備安全，實(shí)現(xiàn)煤礦少人甚至無(wú)人自動(dòng)化開采。

2 懸臂式掘進(jìn)機(jī)物理空間數(shù)據(jù)感知與互聯(lián)

2.1 基于多傳感器的掘進(jìn)機(jī)位姿監(jiān)測(cè)

懸臂式掘進(jìn)機(jī)空間位姿監(jiān)測(cè)是實(shí)現(xiàn)掘進(jìn)機(jī)遠(yuǎn)程操控和斷面自動(dòng)成形控制的基礎(chǔ)，包括截割頭和機(jī)身位姿測(cè)量?jī)刹糠止δ?。如圖2所示，掘進(jìn)機(jī)位姿監(jiān)測(cè)平臺(tái)由傳感檢測(cè)模塊、機(jī)載控制器和掘進(jìn)機(jī)上位監(jiān)測(cè)軟件平臺(tái)構(gòu)成，其中機(jī)載計(jì)算機(jī)借助傳感檢測(cè)模塊實(shí)現(xiàn)對(duì)掘進(jìn)機(jī)機(jī)身和截割頭的位姿檢測(cè)，檢測(cè)數(shù)據(jù)通過通信模塊發(fā)送至計(jì)算機(jī)。機(jī)載計(jì)算機(jī)將檢測(cè)數(shù)據(jù)通過工業(yè)以太網(wǎng)上傳至掘進(jìn)機(jī)監(jiān)測(cè)平臺(tái)，同時(shí)將控制指令下發(fā)至可編程邏輯控制器(Programmable Logic Controller, PLC)控制器，通過液壓系統(tǒng)驅(qū)動(dòng)懸臂式掘進(jìn)機(jī)完成相應(yīng)的掘進(jìn)功能。

傳統(tǒng)截割頭位姿檢測(cè)通常采用伸縮油缸行程傳感器安裝于液壓缸內(nèi)部，監(jiān)測(cè)截割臂的升降角度和水平回轉(zhuǎn)角度。由于掘進(jìn)機(jī)在工作時(shí)振動(dòng)噪聲，油缸行程傳感的穩(wěn)定性差，精度不足。課題組提出一種基于激光點(diǎn)—線特征的機(jī)器視覺非接觸式位姿測(cè)量方法[12]，利用防爆工業(yè)相機(jī)采集紅外LED標(biāo)靶圖像(安裝于截割頭)計(jì)算出截割臂的左右擺角與上下抬升角，另一個(gè)安裝于機(jī)身的防爆工業(yè)相機(jī)采集兩束激光指向儀圖像，按照建立的兩點(diǎn)三線模型計(jì)算出機(jī)身位姿。結(jié)合截割臂關(guān)節(jié)參數(shù)等實(shí)現(xiàn)截割頭相對(duì)于機(jī)身的位姿參數(shù)，并借助微波雷達(dá)獲得掘進(jìn)機(jī)前向煤壁距離，再融合捷聯(lián)慣導(dǎo)測(cè)量數(shù)據(jù)，實(shí)現(xiàn)懸臂式掘進(jìn)機(jī)截割頭位姿參數(shù)和機(jī)身位姿參數(shù)的智能感知。其他設(shè)備運(yùn)行工況數(shù)據(jù)和環(huán)境參數(shù)，包括管路壓力、溫度、粉塵監(jiān)測(cè)、瓦斯?jié)舛缺O(jiān)測(cè)、一氧化碳濃度監(jiān)測(cè)等數(shù)據(jù)均作為監(jiān)測(cè)信息上傳至監(jiān)測(cè)平臺(tái)。

2.2 多源信息互聯(lián)模型

構(gòu)建多源信息互聯(lián)模型，將復(fù)雜的抽象數(shù)據(jù)通過映射關(guān)系轉(zhuǎn)化為圖像形式，以此增強(qiáng)操作人員對(duì)掘進(jìn)環(huán)境的認(rèn)知。結(jié)合數(shù)據(jù)挖掘技術(shù)、可視化技術(shù)和人機(jī)交互技術(shù)加強(qiáng)對(duì)多源異構(gòu)數(shù)據(jù)的理解、推理和決策。

如圖3所示，通過固定在懸臂式掘進(jìn)機(jī)各關(guān)鍵部位的傳感器和裝置完成掘進(jìn)機(jī)截割頭位姿感知、機(jī)身位姿感知和環(huán)境數(shù)據(jù)的感知，將采集到的信息數(shù)據(jù)通過以太網(wǎng)傳輸至MySQL數(shù)據(jù)庫(kù)交互中心，進(jìn)行數(shù)據(jù)預(yù)處理后借助虛擬模型映射至虛擬空間，以可視化的方式實(shí)現(xiàn)人機(jī)交互，直觀地展示故障信息、掘進(jìn)狀態(tài)、環(huán)境狀態(tài)等。對(duì)孿生數(shù)據(jù)進(jìn)行挖掘，建立掘進(jìn)機(jī)碰撞檢測(cè)模型，結(jié)合懸臂式掘進(jìn)機(jī)運(yùn)動(dòng)學(xué)模型，為實(shí)現(xiàn)掘進(jìn)機(jī)智能控制建立數(shù)據(jù)支撐。多源信息互聯(lián)模型通過對(duì)數(shù)據(jù)的深入分析，獲得掘進(jìn)機(jī)故障監(jiān)測(cè)信息以及截割斷面質(zhì)量狀況。反饋循環(huán)存儲(chǔ)了互聯(lián)模型中被深入分析的數(shù)據(jù)，協(xié)助操控者對(duì)設(shè)備故障進(jìn)行預(yù)處理。

2.3 高效實(shí)時(shí)的數(shù)據(jù)交互

掘進(jìn)機(jī)遠(yuǎn)程控制過程中數(shù)據(jù)庫(kù)管理的主要任務(wù)是確保全系統(tǒng)各種各樣的數(shù)據(jù)互聯(lián)、交換與共享，保證數(shù)據(jù)的正確性、一致性與完整性。通過傳感器數(shù)據(jù)的集中管理，可以獲取傳感器的當(dāng)前狀態(tài)，追溯歷史數(shù)據(jù)實(shí)現(xiàn)感知對(duì)象的行為預(yù)測(cè)，通過對(duì)集中存放的數(shù)據(jù)群進(jìn)行分析，有望實(shí)現(xiàn)不確定性事件的預(yù)測(cè)感知。

掘進(jìn)機(jī)虛擬操控平臺(tái)與可視化虛擬仿真平臺(tái)之間的通訊利用機(jī)載防爆計(jì)算機(jī)采集控制平臺(tái)的操控指令，通過RS485通訊方式將控制命令發(fā)送至MySQL數(shù)據(jù)庫(kù)，虛擬仿真平臺(tái)通過訪問數(shù)據(jù)庫(kù)操作指令驅(qū)動(dòng)虛擬樣機(jī)運(yùn)動(dòng)。虛擬現(xiàn)實(shí)交互平臺(tái)與物理掘進(jìn)機(jī)之間的通訊也是將MySQL數(shù)據(jù)庫(kù)作為數(shù)據(jù)交互媒介實(shí)現(xiàn)數(shù)據(jù)傳輸。PLC控制器采集多源傳感器信息，并將收集的多源數(shù)據(jù)通過RS485總線傳輸至MySQL數(shù)據(jù)庫(kù)，虛擬交互平臺(tái)通過調(diào)用數(shù)據(jù)庫(kù)信息，實(shí)時(shí)修正虛擬掘進(jìn)機(jī)運(yùn)動(dòng)狀態(tài)。數(shù)據(jù)傳輸示意圖如圖4所示。

數(shù)據(jù)傳輸過程中，如何協(xié)調(diào)物理空間與虛擬環(huán)境之間的信息是需要考慮的首要問題，掘進(jìn)機(jī)遠(yuǎn)程虛擬操控系統(tǒng)建立過程中，基于統(tǒng)一坐標(biāo)系的數(shù)據(jù)協(xié)調(diào)方法將物理空間信息實(shí)時(shí)映射到遠(yuǎn)程控制的可視化虛擬交互界面。

數(shù)據(jù)傳輸?shù)膶?shí)時(shí)性是保證遠(yuǎn)程控制有效性和安全性的前提。本系統(tǒng)運(yùn)行中需要物理掘進(jìn)機(jī)的位姿、工況等方面數(shù)據(jù)，傳輸?shù)竭h(yuǎn)程監(jiān)控平臺(tái)的位姿數(shù)據(jù)用于虛擬掘進(jìn)機(jī)位姿的實(shí)時(shí)更新，因此，數(shù)據(jù)傳輸量小，虛實(shí)環(huán)境之間的操作同步延遲影響較小。筆者團(tuán)隊(duì)前期對(duì)網(wǎng)絡(luò)控制系統(tǒng)實(shí)時(shí)性進(jìn)行研究[13]，通過采用高效的微處理器、實(shí)時(shí)操作系統(tǒng)以及高效的協(xié)議編/解碼算法，可減小協(xié)議打包、解包延遲時(shí)間。對(duì)于煤礦裝備可以采用煤礦井下光纖環(huán)網(wǎng)加上合理的采集和傳輸參數(shù)設(shè)置來解決通信延遲問題。另外，隨著5G技術(shù)、WIFI6技術(shù)的不斷進(jìn)步與更新，低延遲高帶寬的通信將不再成為數(shù)字孿生驅(qū)動(dòng)的障礙。

3 數(shù)字孿生模型的構(gòu)建

3.1 數(shù)字煤層模型

將地質(zhì)鉆孔勘探數(shù)據(jù)采用插值方法形成頂?shù)装遄兓?，結(jié)合工作面煤巖界面開切眼數(shù)據(jù)、工作面運(yùn)輸巷與回風(fēng)巷地質(zhì)測(cè)量數(shù)據(jù)，構(gòu)建數(shù)字煤層三維模型，如圖5所示。將數(shù)字煤層模型導(dǎo)入U(xiǎn)nity3D開發(fā)平臺(tái)，經(jīng)過渲染得到虛擬巷道模型，為建立虛擬交互平臺(tái)提供可視化環(huán)境模型。

3.2 設(shè)備虛擬仿真模型

在三維造型軟件中完成的掘進(jìn)機(jī)幾何建模導(dǎo)入U(xiǎn)nity3D開發(fā)平臺(tái)，將視體中的場(chǎng)景數(shù)據(jù)映射到屏幕坐標(biāo)系完成模型渲染。對(duì)掘進(jìn)機(jī)幾何模型添加重力、關(guān)節(jié)組件鉸接組件等物理特性建立設(shè)備物理模型。通過對(duì)掘進(jìn)機(jī)虛擬樣機(jī)聯(lián)動(dòng)方法的研究，實(shí)現(xiàn)設(shè)備虛擬仿真模型的動(dòng)態(tài)編程[14-15]。

為了將虛擬仿真模型與虛擬空間耦合在一起，如圖6所示，在虛擬空間中建立虛擬世界坐標(biāo)系W系(OwXwYwZw),對(duì)象坐標(biāo)系O系(OoXoYoZo)描述虛擬樣機(jī)坐標(biāo)，各個(gè)視角攝像機(jī)可以用觀察坐標(biāo)系V系(OvXvYvZv)描述。Unity3D虛擬現(xiàn)實(shí)開發(fā)平臺(tái)中使用左手坐標(biāo)系，選取X軸代表水平方向，Y軸代表垂直方向，Z軸代表深度。

實(shí)現(xiàn)虛實(shí)掘進(jìn)機(jī)同步控制時(shí)，虛擬掘進(jìn)機(jī)坐標(biāo)需進(jìn)行適當(dāng)?shù)淖儞Q，轉(zhuǎn)化為虛擬空間世界坐標(biāo)系下，才能進(jìn)行掘進(jìn)機(jī)運(yùn)動(dòng)狀態(tài)的虛實(shí)匹配。假設(shè)世界坐標(biāo)系中有一點(diǎn)ρ=[x,y,z],對(duì)象坐標(biāo)系中有一點(diǎn)ρ′=[x′,y′,z′],ρ向ρ′變換通過齊次變換矩陣表示為

(1)

式中：R表示旋轉(zhuǎn)矩陣，T表示平移、縮放等復(fù)合矩陣。引入四元數(shù)來表示旋轉(zhuǎn)矩陣R。

假設(shè)空間任意一點(diǎn)可以表示為q=[s,u],s是刻度因子，u為矢量坐標(biāo)，即：

(2)

式中：

(3)

任意一個(gè)位置矢量繞q的旋轉(zhuǎn)表達(dá)式為：

u′=quq-1。

(4)

式中q=[cosθ/2,usinθ/2],表示繞單位矢量u旋轉(zhuǎn)角度θ。如果θ是固定角，依次圍繞軸方向旋轉(zhuǎn)得到q=qyawqpicthqroll；如果θ是歐拉角，則q=qrollqpicthqyaw。將q表示成四元數(shù)形式：q=[s+xi+yj+zk],將其化為齊次矩陣：

(5)

式中：

M11=1-2(y2+z2);M12=2(xy-sz);

M13=2(xz+sy);M21=2(xy+sz);

M22=1-2(x2+z2);M23=2(yz-sx);

M31=2(xz-sy);M32=2(yz+sx);

M33=1-2(x2+y2)。

(6)

變換后的虛擬掘進(jìn)機(jī)數(shù)據(jù)融合于虛擬空間中，形成虛擬掘進(jìn)面環(huán)境場(chǎng)景。

3.3 軌跡規(guī)劃模型

截割軌跡規(guī)劃模型建立截割頭在巷道斷面的運(yùn)動(dòng)路徑。巷道截割斷面有梯形、矩形、拱形等幾種，本節(jié)以矩形巷道斷面為例，采用先水平后垂直的循環(huán)截割方式，從斷面的最下方開始截割，按照規(guī)劃路線順次向上運(yùn)動(dòng)，最后進(jìn)行刷幫完成一次斷面截割，建立截割頭的運(yùn)動(dòng)軌跡模型。

(7)

采用三次多項(xiàng)式軌跡規(guī)劃法對(duì)截割頭軌跡進(jìn)行規(guī)劃，通過構(gòu)建截割軌跡光滑函數(shù)，計(jì)算得到截割頭在任意時(shí)刻的位置。假設(shè)起點(diǎn)位置截割頭的關(guān)節(jié)角度為θ0，終點(diǎn)位置截割頭關(guān)節(jié)角為θf(wàn)，截割所需時(shí)間為tf，則

θ(0)=θ0，

θ(tf)=θf(wàn)。

(8)

截割頭在起點(diǎn)和終點(diǎn)的速度為0，則

(9)

因此，截割頭在任意時(shí)刻的軌跡位置函數(shù)為：

θ(t)=k0+k1t+k2t2+k3t3。

(10)

將式(8)和式(9)代入式(10)中,可得：

k0=θ0，

k1=0，

(11)

構(gòu)建出截割軌跡光滑函數(shù)，通過確定截割頭運(yùn)動(dòng)的起點(diǎn)終點(diǎn)和所需時(shí)間，可以得到巷道斷面截割任意時(shí)刻截割頭的位置、角速度和角加速度的時(shí)間函數(shù)：

位置函數(shù)：

(12)

角速度函數(shù)：

(13)

角加速度函數(shù)：

(14)

3.4 動(dòng)態(tài)修正模型

在設(shè)備虛擬仿真模型和軌跡預(yù)測(cè)模型基礎(chǔ)上，通過實(shí)時(shí)訪問煤巖識(shí)別數(shù)據(jù)與預(yù)測(cè)截割曲線之間的空間投射關(guān)系，得到影響設(shè)備運(yùn)行的關(guān)鍵參數(shù)修正量。單一設(shè)備修正量融合設(shè)備群耦合關(guān)系，構(gòu)建設(shè)備動(dòng)態(tài)修正模型，從而實(shí)現(xiàn)設(shè)備位姿動(dòng)態(tài)修正的目的。

懸臂式掘進(jìn)機(jī)操控過程中重點(diǎn)關(guān)注截割頭的運(yùn)動(dòng)軌跡，參考截割臂升降運(yùn)動(dòng)示意圖(如圖7)，根據(jù)余弦定理截割臂升降角度α的數(shù)學(xué)模型為：

(15)

參考回轉(zhuǎn)臺(tái)水平運(yùn)動(dòng)示意圖(如圖8)，根據(jù)余弦定理水平回轉(zhuǎn)角度β的數(shù)學(xué)模型可以表示為：

(16)

懸臂式掘進(jìn)機(jī)機(jī)身坐標(biāo)分布如圖9所示，以機(jī)身質(zhì)心為坐標(biāo)原點(diǎn)建立機(jī)身坐標(biāo)系O0X0Y0Z0，回轉(zhuǎn)臺(tái)坐標(biāo)系為O1X1Y1Z1，懸臂坐標(biāo)系為O2X2Y2Z2，伸縮油缸坐標(biāo)系為O3X3Y3Z3，截割頭坐標(biāo)系為O4X4Y4Z4。經(jīng)過D-H解算[17]得到截割頭中心位置在掘進(jìn)機(jī)機(jī)身坐標(biāo)系中的位置模型可表示為：

x=-(L3+L4+d)cosβsinα+H2cosβcosα+

L2cosβ+L1,

y=-(L3+L4+d)sinβsinα+H2sinβcosα+

L2sinβ,

z=-(L3+L4+d)cosα-H2sinα+H1。

(17)

式中：L1為掘進(jìn)機(jī)機(jī)身中心在水平方向上到回轉(zhuǎn)臺(tái)中心的距離；L2表示回轉(zhuǎn)臺(tái)中心到截割臂抬升關(guān)節(jié)的水平距離；L3表示截割臂抬升關(guān)節(jié)到截割頭伸縮油缸前關(guān)節(jié)的水平距離；L4表示伸縮油缸前關(guān)節(jié)到截割頭頂端的水平距離；H1表示地面到抬升關(guān)節(jié)的距離；H2為截割臂抬升關(guān)節(jié)到截割臂水平的垂直距離;d為截割頭伸縮油缸的伸縮量。

將式(15)和式(16)帶入式(17)可以得到掘進(jìn)機(jī)截割頭的空間位姿，在虛擬現(xiàn)實(shí)交互平臺(tái)讀取虛擬掘進(jìn)機(jī)截割頭位姿，通過比較兩組位姿數(shù)據(jù)，即可得到截割頭的動(dòng)態(tài)修正量，完成掘進(jìn)機(jī)的實(shí)時(shí)修正。

3.5 碰撞檢測(cè)模型

以掘進(jìn)機(jī)運(yùn)動(dòng)學(xué)解算為理論依據(jù)，利用包圍盒碰撞檢測(cè)技術(shù)，分析設(shè)備的碰撞檢測(cè)數(shù)學(xué)模型。根據(jù)工況環(huán)境設(shè)置合理的碰撞約束條件，在虛擬現(xiàn)實(shí)開發(fā)平臺(tái)利用射線檢測(cè)模塊結(jié)合設(shè)備運(yùn)行位姿數(shù)據(jù)，建立設(shè)備群之間的碰撞檢測(cè)模型[18]。

在虛擬世界坐標(biāo)系中為待檢測(cè)的A,B兩物體分別添加包圍盒A(wa,ha,da)和B(wb,hb,db)，使物體都處于各自的包圍盒中，兩物體的中點(diǎn)分別為Oa(Ax,Ay,Az)，Ob(Bx,By,BZ)。包圍盒邊界總與x,y,z軸平行，lx,ly,lz分別表示A,B兩物體中心點(diǎn)距離x,y,z軸方向分量，A,B兩物體發(fā)生碰撞的條件為：

(18)

當(dāng)兩個(gè)碰撞體滿足上式條件時(shí)，被檢測(cè)物體將發(fā)生碰撞，操控人員需要提前控制設(shè)備當(dāng)前的運(yùn)動(dòng)狀態(tài)。

4 基于HCPS的人機(jī)協(xié)同控制策略

孿生體驅(qū)動(dòng)的協(xié)同控制包括遠(yuǎn)程操控和人機(jī)協(xié)作兩部分。借助VR技術(shù)構(gòu)建“人、機(jī)、環(huán)”有機(jī)交互的虛擬煤礦井下多維空間，工作面變化及設(shè)備位姿數(shù)據(jù)實(shí)時(shí)反饋至虛擬監(jiān)控平臺(tái)，控制中心的操作者通過觀察虛擬交互界面，實(shí)時(shí)修正設(shè)備運(yùn)行軌跡，實(shí)現(xiàn)沉浸式遠(yuǎn)程操控和在線狀態(tài)監(jiān)測(cè)。通過對(duì)歷史數(shù)據(jù)的挖掘分析，建立設(shè)備的超前預(yù)判系統(tǒng)，對(duì)碰撞等異常情況進(jìn)行預(yù)警。

懸臂式掘進(jìn)機(jī)遠(yuǎn)程智能虛擬操控系統(tǒng)借助捷聯(lián)慣導(dǎo)、圖像測(cè)量等多傳感器融合獲得掘進(jìn)機(jī)機(jī)身和截割頭的位置和姿態(tài)，在本地控制端建立多源異構(gòu)數(shù)據(jù)融合矩陣，利用TCP/IP網(wǎng)絡(luò)進(jìn)行遠(yuǎn)程控制與數(shù)據(jù)傳輸，在遠(yuǎn)程控制端建立數(shù)字孿生體，實(shí)現(xiàn)虛擬掘進(jìn)機(jī)與真實(shí)掘進(jìn)機(jī)的有效結(jié)合，完成了可視化截割、遠(yuǎn)程控制與虛擬監(jiān)控等功能，如圖10所示。

基于虛擬工作臺(tái)控制策略，利用虛擬現(xiàn)實(shí)圖像用戶界面(Graphical User Interface, GUI)技術(shù)，在虛擬可視化窗口中編寫控制器虛擬按鍵，形成虛擬交互平臺(tái)，實(shí)現(xiàn)泵站、刮板、星輪和截割的啟動(dòng)和停止、鏟板升降、懸臂的各種動(dòng)作、支撐的伸縮等真實(shí)的懸臂式掘進(jìn)機(jī)所有功能，既有效融合人與環(huán)境信息，又解決了硬件成本問題。操控者可以通過虛擬操控臺(tái)相應(yīng)按鈕或者控制桿，實(shí)現(xiàn)虛擬掘進(jìn)機(jī)的控制，在虛擬場(chǎng)景中將控制命令和真機(jī)數(shù)據(jù)結(jié)合，運(yùn)用控制策略實(shí)現(xiàn)掘進(jìn)機(jī)虛實(shí)同步運(yùn)動(dòng)。

懸臂式掘進(jìn)機(jī)人機(jī)交互遠(yuǎn)程操控時(shí)需要校準(zhǔn)的模型參數(shù)包括虛實(shí)同步和傳感系統(tǒng)兩部分。前者利用物理掘進(jìn)機(jī)的位姿等參數(shù)，“實(shí)時(shí)修正”虛擬場(chǎng)景的掘進(jìn)機(jī)位姿，保證虛擬同步，為遠(yuǎn)程虛擬操控提供技術(shù)支撐；后者校準(zhǔn)相關(guān)傳感器，包括截割頭視覺系統(tǒng)的內(nèi)外參標(biāo)定和捷聯(lián)慣導(dǎo)的初始校準(zhǔn)。傳感器校準(zhǔn)通常在系統(tǒng)運(yùn)行開始階段進(jìn)行校準(zhǔn)，理論上校準(zhǔn)一次即可，實(shí)際應(yīng)用中由于振動(dòng)、人為等因素，推薦在每次換班時(shí)重新校準(zhǔn)，以保證測(cè)量與控制精度。

5 懸臂式掘進(jìn)機(jī)遠(yuǎn)程智能虛擬操控系統(tǒng)實(shí)驗(yàn)

5.1 系統(tǒng)實(shí)驗(yàn)平臺(tái)搭建

為了驗(yàn)證系統(tǒng)功能，構(gòu)建懸臂式掘進(jìn)機(jī)遠(yuǎn)程智能虛擬操控系統(tǒng)實(shí)驗(yàn)平臺(tái)，平臺(tái)由掘進(jìn)機(jī)、本地控制系統(tǒng)和遠(yuǎn)程虛擬操控軟件組成。如圖11所示，按照EBZ160型懸臂式掘進(jìn)機(jī)5:1縮小的掘進(jìn)機(jī)相關(guān)結(jié)構(gòu)參數(shù)如表1所示。實(shí)驗(yàn)平臺(tái)搭載的傳感器主要有MV_EM130工業(yè)防爆相機(jī)，16點(diǎn)SE3470型紅外LED標(biāo)靶，GUC6礦用本安型超聲波傳感器，GJJ-5礦用本安型激光傳感器，TM352型防爆組合捷聯(lián)慣導(dǎo)裝置等。選用三菱FX3U-64M型PLC控制器作為本地控制下位機(jī)，負(fù)責(zé)工作面數(shù)據(jù)的采集，控制命令的下發(fā)。

表1 懸臂式掘進(jìn)機(jī)實(shí)驗(yàn)平臺(tái)結(jié)構(gòu)參數(shù)

遠(yuǎn)程虛擬操控軟件基于Unity3D開發(fā)，如圖12所示。遠(yuǎn)程控制時(shí)通過虛擬控制面板的按鈕下發(fā)控制指令，感知系統(tǒng)獲得掘進(jìn)頭實(shí)時(shí)姿態(tài)數(shù)據(jù)，驅(qū)動(dòng)虛擬掘進(jìn)機(jī)與實(shí)體掘進(jìn)機(jī)同步運(yùn)動(dòng)。虛擬現(xiàn)實(shí)交互平臺(tái)通過切換相機(jī)視角，從多角度觀測(cè)掘進(jìn)機(jī)工作狀態(tài)。

5.2 遠(yuǎn)程監(jiān)控系統(tǒng)功能驗(yàn)證

5.2.1 掘進(jìn)機(jī)遠(yuǎn)程控制

為了驗(yàn)證基于數(shù)字孿生的懸臂式掘進(jìn)機(jī)智能操控技術(shù)優(yōu)越性，本文模擬煤礦井下低照度、高粉塵的實(shí)際工況，搭建“視頻監(jiān)控”+二維監(jiān)測(cè)信息的遠(yuǎn)程控制平臺(tái)、虛擬遠(yuǎn)程控制平臺(tái)進(jìn)行對(duì)比實(shí)驗(yàn)。

(1)“視頻監(jiān)控”+平面信息遠(yuǎn)程控制

采用可視化輔助截割系統(tǒng)作為平面信息監(jiān)測(cè)平臺(tái),輔以兩個(gè)角度的監(jiān)控視頻信號(hào)作為監(jiān)測(cè)手段，實(shí)現(xiàn)遠(yuǎn)程控制。圖13所示為模擬井下低照度、高粉塵的環(huán)境搭建的遠(yuǎn)程控制平臺(tái)。粉塵濃度過大，視頻失效導(dǎo)致無(wú)法判斷截割頭位置，二維監(jiān)測(cè)信息簡(jiǎn)單，難以用于遠(yuǎn)程決策。

(2)虛擬遠(yuǎn)程操控

搭建的虛擬遠(yuǎn)程控制平臺(tái)如圖14所示。在“視

頻監(jiān)控”+二維監(jiān)測(cè)信息基礎(chǔ)上增加虛擬操控平臺(tái)。利用本地采集的掘進(jìn)機(jī)狀態(tài)信息驅(qū)動(dòng)虛擬模型，以三維虛擬場(chǎng)景實(shí)現(xiàn)人機(jī)交互。視頻信號(hào)不是主要決策依據(jù)，可以做到“無(wú)視”粉塵和水霧，借助虛擬場(chǎng)景中的碰撞檢測(cè)實(shí)現(xiàn)碰撞預(yù)測(cè)，對(duì)復(fù)雜場(chǎng)景和設(shè)備群異常碰撞自主預(yù)測(cè)意義重大。

虛擬樣機(jī)通過讀取數(shù)據(jù)庫(kù)信息，利用數(shù)字孿生技術(shù)建立掘進(jìn)機(jī)動(dòng)態(tài)修正模型從而驅(qū)動(dòng)虛擬樣機(jī)的運(yùn)動(dòng)，使虛擬樣機(jī)與物理樣機(jī)的運(yùn)動(dòng)姿態(tài)實(shí)時(shí)保持一致。掘進(jìn)過程中，虛擬樣機(jī)與物理樣機(jī)在不同截割位置同步動(dòng)作如圖15所示。

5.2.2 可視化輔助截割功能實(shí)驗(yàn)

根據(jù)截割軌跡規(guī)劃模型，建立掘進(jìn)斷面的截割軌跡。利用機(jī)身、截割頭位姿檢測(cè)結(jié)果，通過機(jī)器人逆運(yùn)動(dòng)學(xué)計(jì)算，將截割頭實(shí)際的運(yùn)動(dòng)軌跡顯示于虛擬現(xiàn)實(shí)交互界面，如圖16所示。可視化輔助截割系統(tǒng)中，監(jiān)測(cè)界面可以顯示掘進(jìn)機(jī)在巷道中位置的動(dòng)態(tài)變化，以及掘進(jìn)機(jī)機(jī)身的航向角、俯仰角和偏航角變化。

使用可視化輔助截割系統(tǒng)時(shí)，先設(shè)定掘進(jìn)機(jī)機(jī)身和巷道斷面參數(shù)，系統(tǒng)自動(dòng)規(guī)劃巷道截割軌跡，以S型路線呈現(xiàn)于可視化界面中，為操作人員提供截割軌跡導(dǎo)引。通過實(shí)時(shí)監(jiān)測(cè)截割頭位置，將位置數(shù)據(jù)與模擬截割軌跡對(duì)比，實(shí)現(xiàn)了超挖報(bào)警和欠挖報(bào)警功能。

為驗(yàn)證掘進(jìn)機(jī)操控過程中虛實(shí)同步功能和可視化輔助截割導(dǎo)引界面的準(zhǔn)確性，采集了掘進(jìn)機(jī)對(duì)一個(gè)斷面截割過程的1330組數(shù)據(jù)。將表1的結(jié)構(gòu)參數(shù)帶入式(2)～式(4)計(jì)算出截割過程中實(shí)際掘進(jìn)機(jī)截割頭空間位姿，形成物理樣機(jī)截割軌跡，同時(shí)在虛擬交互平臺(tái)通過坐標(biāo)轉(zhuǎn)換實(shí)時(shí)顯示虛擬掘進(jìn)機(jī)截割頭空間位姿，形成虛擬樣機(jī)的截割軌跡，如圖17所示為兩種截割軌跡對(duì)比。由圖17可見，物理樣機(jī)和虛擬樣機(jī)的運(yùn)動(dòng)軌跡基本吻合，驗(yàn)證了虛實(shí)樣機(jī)截割頭位置實(shí)時(shí)一致性。由于物理樣機(jī)控制中存在的抖動(dòng)和執(zhí)行延遲因素，導(dǎo)致軌跡局部存在一定偏差，但是誤差在40 mm以內(nèi)，可以滿足煤礦安全規(guī)程對(duì)井下巷道掘進(jìn)的質(zhì)量要求(小于±50 mm)，達(dá)到了掘進(jìn)機(jī)智能操控和可視化輔助截割設(shè)計(jì)要求。

6 煤礦掘進(jìn)機(jī)器人系統(tǒng)虛擬操控系統(tǒng)實(shí)驗(yàn)

國(guó)內(nèi)煤炭生產(chǎn)中“采掘失衡”問題突出，目前行業(yè)集中攻關(guān)的巷道快速掘進(jìn)系統(tǒng)著眼于實(shí)現(xiàn)截割、錨鉆、支護(hù)、運(yùn)網(wǎng)、通風(fēng)除塵和輔助運(yùn)輸?shù)膮f(xié)同作業(yè)。由于生產(chǎn)工藝復(fù)雜，涉及多個(gè)設(shè)備的協(xié)同控制，監(jiān)控和遠(yuǎn)程操作的復(fù)雜度高，急需遠(yuǎn)程智能決策和有效的人機(jī)協(xié)作手段。筆者團(tuán)隊(duì)針對(duì)陜煤渝北煤業(yè)小保當(dāng)1號(hào)煤礦片幫與夾矸并存的地質(zhì)條件，研發(fā)了煤礦智能掘進(jìn)機(jī)器人系統(tǒng)，包括截割機(jī)器人、臨時(shí)支護(hù)機(jī)器人Ⅰ和Ⅱ、鉆錨機(jī)器人、錨網(wǎng)運(yùn)輸機(jī)器人、電液控系統(tǒng)、運(yùn)輸系統(tǒng)、通風(fēng)除塵系統(tǒng)等子系統(tǒng)，如圖18所示。

系統(tǒng)以截割機(jī)器人為控制核心，各子系統(tǒng)進(jìn)行掘—支—運(yùn)平行作業(yè)，以本文闡述的HCPS理念構(gòu)建了數(shù)字孿生系統(tǒng)監(jiān)控平臺(tái)，實(shí)現(xiàn)了掘進(jìn)、盾體移動(dòng)、鉆錨支護(hù)與錨網(wǎng)運(yùn)輸?shù)拳h(huán)節(jié)實(shí)時(shí)監(jiān)測(cè)與自動(dòng)控制，具有人員安全提示、設(shè)備碰撞預(yù)警、異常狀態(tài)遠(yuǎn)程人工干預(yù)等功能。如圖19所示為數(shù)字孿生驅(qū)動(dòng)的煤礦智能掘進(jìn)機(jī)器人地面遠(yuǎn)程監(jiān)控室。該系統(tǒng)已經(jīng)通過地面聯(lián)調(diào)，目前正在井下進(jìn)行生產(chǎn)運(yùn)行。

7 結(jié)束語(yǔ)

針對(duì)懸臂式掘進(jìn)機(jī)智能控制中面臨的遠(yuǎn)程操控問題，本文研究了基于DT+VR的煤礦井下懸臂式掘進(jìn)機(jī)遠(yuǎn)程監(jiān)控技術(shù)，通過實(shí)現(xiàn)掘進(jìn)工作面物理空間與掘進(jìn)信息虛擬空間的深度融合與交互，形成了面向懸臂式掘進(jìn)機(jī)智能控制的HCPS交互機(jī)制，初步實(shí)現(xiàn)了設(shè)備遠(yuǎn)程虛擬操控技術(shù)路線，為煤礦井下設(shè)備遠(yuǎn)程監(jiān)控提供了新思路。主要結(jié)論如下：

(1)結(jié)合數(shù)字孿生和虛擬現(xiàn)實(shí)技術(shù)，提出基于HCPS智能交互體系結(jié)構(gòu)，構(gòu)建數(shù)字孿生驅(qū)動(dòng)懸臂式掘進(jìn)機(jī)遠(yuǎn)程操控系統(tǒng)，將掘進(jìn)工作面人—信息—物理系統(tǒng)信息進(jìn)行有效融合，達(dá)到了采掘工作面環(huán)境的真實(shí)再現(xiàn)，實(shí)現(xiàn)了掘進(jìn)設(shè)備遠(yuǎn)程監(jiān)測(cè)、控制功能，該方式對(duì)實(shí)現(xiàn)煤礦井下危險(xiǎn)環(huán)境少人或無(wú)人作業(yè)提供了技術(shù)保障。

(2)以懸臂式掘進(jìn)機(jī)為對(duì)象，構(gòu)建智能感知平臺(tái)及數(shù)字孿生驅(qū)動(dòng)模型，利用VR整合多源數(shù)據(jù)實(shí)現(xiàn)智能遠(yuǎn)程掘進(jìn)，其中物理空間數(shù)據(jù)感知與互聯(lián)、虛擬世界掘進(jìn)工作面建模與驅(qū)動(dòng)，呈現(xiàn)了“數(shù)據(jù)驅(qū)動(dòng)、虛實(shí)同步、實(shí)時(shí)修正、碰撞預(yù)測(cè)”的遠(yuǎn)程監(jiān)控系統(tǒng)使能技術(shù)，對(duì)實(shí)現(xiàn)數(shù)字孿生驅(qū)動(dòng)的設(shè)備遠(yuǎn)程操控具有一定的借鑒意義。

(3)搭建的懸臂式掘進(jìn)機(jī)遠(yuǎn)程控制實(shí)驗(yàn)驗(yàn)證了數(shù)字孿生技術(shù)在煤礦設(shè)備交互控制方面應(yīng)用的可行性。將該技術(shù)體系推廣應(yīng)用到煤礦智能掘進(jìn)機(jī)器人的遠(yuǎn)程監(jiān)控系統(tǒng)，已通過現(xiàn)場(chǎng)聯(lián)合試運(yùn)轉(zhuǎn)，實(shí)現(xiàn)了掘—支—運(yùn)平行作業(yè)，目前正在煤礦井下生產(chǎn)中運(yùn)行。

下一步研究將加大對(duì)設(shè)備監(jiān)測(cè)數(shù)據(jù)的分類分析和利用，在實(shí)現(xiàn)數(shù)字孿生系統(tǒng)“數(shù)化”、“互動(dòng)”的基礎(chǔ)上，深入研究設(shè)備之間、人機(jī)之間的碰撞檢測(cè)，以及設(shè)備狀態(tài)預(yù)警等內(nèi)容，豐富和深入“先知”、“先覺”，達(dá)到數(shù)字孿生更高的成熟度，促進(jìn)煤礦少人或無(wú)人生產(chǎn)的發(fā)展步伐。