楊鵬民

(中煤陜西榆林能源化工有限公司，陜西 榆林 719000)

煤炭是我國一次性消費(fèi)能源中經(jīng)濟(jì)可靠的資源，一直在我國能源生產(chǎn)總量和消費(fèi)總量中占據(jù)重要地位，是我國能源安全的壓艙石[1-3]。煤礦智能化作為目前煤炭工業(yè)高質(zhì)量發(fā)展新階段的核心技術(shù)支撐，代表著煤炭生產(chǎn)力和生產(chǎn)方式革命的新方向[1，4]，對(duì)于提升煤礦安全生產(chǎn)水平、保障煤炭穩(wěn)定供應(yīng)具有重要意義[3]。

目前，與煤礦成套采掘裝備技術(shù)相比，我國煤礦輔助作業(yè)自動(dòng)化水平遠(yuǎn)落后于國外采煤發(fā)達(dá)國家，煤礦井下輔助作業(yè)的人力成本約占煤礦開采總?cè)肆Τ杀镜?/4，導(dǎo)致煤礦開采間接成本過高[5，6]。井下輔助架管是煤礦輔助開采的重要組成之一，國內(nèi)外對(duì)于煤礦井下輔助管道安裝設(shè)備的研究較少，大多數(shù)礦企仍采用傳統(tǒng)人工安裝。宋和義[5]基于傳統(tǒng)機(jī)械手爪和鉆機(jī)設(shè)計(jì)經(jīng)驗(yàn)，研究設(shè)計(jì)了一種集運(yùn)管、架管、接管、固管為一體的煤礦巷道架管裝備。該文獻(xiàn)是從機(jī)械結(jié)構(gòu)的角度設(shè)計(jì)架管設(shè)備，進(jìn)而實(shí)現(xiàn)少人化操作。陳瑞云等[6，7]進(jìn)一步開展了輔助架管機(jī)械手爪的優(yōu)化設(shè)計(jì)。但是，上述文獻(xiàn)中研究的輔助管道安裝的架管機(jī)主要進(jìn)行了結(jié)構(gòu)設(shè)計(jì)與運(yùn)動(dòng)學(xué)分析，仍屬于理論研究階段，僅通過仿真和理論分析驗(yàn)證設(shè)計(jì)的有效性，未形成設(shè)備樣機(jī)并結(jié)合煤礦井下實(shí)際巷道場景開展實(shí)驗(yàn)分析。因此，研究直接應(yīng)用于實(shí)際煤礦井下輔助管道安裝設(shè)備對(duì)于降低人力成本，提高輔助作業(yè)自動(dòng)化水平具有重要意義和經(jīng)濟(jì)價(jià)值。

本文研究設(shè)計(jì)了一種應(yīng)用于實(shí)際煤礦井下的輔助管道安裝的煤礦井下多軸機(jī)械臂系統(tǒng)，并基于實(shí)際煤礦井下巷道接管場景，進(jìn)行接管環(huán)境三維重建與管架目標(biāo)識(shí)別實(shí)驗(yàn)分析。

1 多軸機(jī)械臂感知與控制系統(tǒng)

在實(shí)際井下輔助作業(yè)場景中，為實(shí)現(xiàn)有效感知井下巷道狀態(tài)和準(zhǔn)確輔助接管，本文基于嵌入式Linux操作系統(tǒng)、多源傳感器信號(hào)采集，分析與融合處理、多軸液壓機(jī)械臂及其控制系統(tǒng)，智能算法等技術(shù)，設(shè)計(jì)研發(fā)了多軸機(jī)械臂感知與控制系統(tǒng)。該系統(tǒng)包含三個(gè)子系統(tǒng)：整機(jī)控制系統(tǒng)，多軸液壓機(jī)械臂控制系統(tǒng)和多源信息感知與處理系統(tǒng)。

整機(jī)控制系統(tǒng)作為核心，同時(shí)連接多軸液壓機(jī)械臂控制系統(tǒng)，多源信息感知與處理系統(tǒng)和遠(yuǎn)程服務(wù)端。遠(yuǎn)程服務(wù)端通過有線或無線通信向多軸機(jī)械臂系統(tǒng)下發(fā)動(dòng)作控制指令，整機(jī)控制系統(tǒng)將接收到的指令進(jìn)行解析，隨后通過與機(jī)械臂各部分的通信接口對(duì)進(jìn)行控制，如多軸液壓機(jī)械臂動(dòng)作控制、機(jī)械臂工作模式與參數(shù)選擇等，在無遠(yuǎn)程服務(wù)端下發(fā)控制指令情況下，整機(jī)控制系統(tǒng)將按照預(yù)設(shè)程序進(jìn)行機(jī)械臂控制，通過多軸液壓機(jī)械臂控制系統(tǒng)實(shí)時(shí)采集、分析和處理機(jī)械臂壓力、位移、角度等傳感器的動(dòng)態(tài)反饋數(shù)據(jù)，并根據(jù)反饋數(shù)據(jù)結(jié)合機(jī)械臂閉環(huán)PID控制算法完成機(jī)械臂動(dòng)作控制和位置調(diào)整，構(gòu)建針對(duì)多軸液壓機(jī)械臂的動(dòng)作閉環(huán)控制系統(tǒng)，同時(shí)系統(tǒng)將根據(jù)傳感器的反饋數(shù)據(jù)實(shí)現(xiàn)對(duì)機(jī)械臂運(yùn)行狀態(tài)的實(shí)時(shí)監(jiān)控與異常狀態(tài)預(yù)警。整機(jī)控制系統(tǒng)還將從多源信息感知與處理系統(tǒng)獲取井下巷道環(huán)境狀態(tài)數(shù)據(jù)，如溫度信息、濕度信息、甲烷濃度等參數(shù)，并對(duì)異常環(huán)境狀態(tài)數(shù)據(jù)進(jìn)行預(yù)警；此外，多源信息感知與處理系統(tǒng)還將采集紅外視頻圖像和激光雷達(dá)點(diǎn)云數(shù)據(jù)處理后經(jīng)整機(jī)控制系統(tǒng)上傳至遠(yuǎn)程服務(wù)端，服務(wù)端基于圖像和點(diǎn)云數(shù)據(jù)進(jìn)行巷道管架目標(biāo)識(shí)別后，反饋下發(fā)機(jī)械臂控制指令，調(diào)整機(jī)械臂動(dòng)作。

1.1 整機(jī)控制系統(tǒng)

本文設(shè)計(jì)的整機(jī)控制系統(tǒng)功能架構(gòu)如圖1所示，共分為底層硬件，通信接口，系統(tǒng)應(yīng)用，指令交互和控制單元五層結(jié)構(gòu)。

圖1 機(jī)械臂整機(jī)控制系統(tǒng)架構(gòu)

1.1.1 整機(jī)控制系統(tǒng)硬件設(shè)計(jì)

整機(jī)控制系統(tǒng)采用高性能ARM Cortex-A9架構(gòu)內(nèi)核的四核心NXP i.MX6Q處理器[10，11]作為控制系統(tǒng)核心單元，該處理器每個(gè)核心的主頻高達(dá)1.2GHz，并擁有1MB L2 Cache，支持DDR2、DDR3內(nèi)存，還擁有豐富的存儲(chǔ)器和外設(shè)接口，它的外圍電路設(shè)計(jì)簡單，能夠有效降低開發(fā)難度和成本?；贜XP i.MX6Q處理器的整機(jī)控制系統(tǒng)硬件結(jié)構(gòu)如圖2所示。系統(tǒng)硬件中的NOR Flash用于存儲(chǔ)嵌入式Linux操作系統(tǒng)的U-boot，eMMC閃存用于存儲(chǔ)操作系統(tǒng)，存放可執(zhí)行程序與數(shù)據(jù)，最高可支持32GB容量。以太網(wǎng)接口用于實(shí)現(xiàn)網(wǎng)絡(luò)環(huán)境下的程序升級(jí)，與遠(yuǎn)程服務(wù)端交互以及后期功能的擴(kuò)展。多路DAC控制接口用于實(shí)現(xiàn)機(jī)械臂油缸、液壓馬達(dá)等部分動(dòng)作控制。壓力傳感器、位移傳感器、角度傳感器等通信接口均采用模擬量輸入采集接口。CAN總線，RS232/485通信接口用于和多軸機(jī)械臂其他執(zhí)行機(jī)構(gòu)和模塊連接交互。

圖2 機(jī)械臂整機(jī)控制系統(tǒng)硬件結(jié)構(gòu)

1.1.2 整機(jī)控制系統(tǒng)軟件設(shè)計(jì)

機(jī)械臂整機(jī)控制系統(tǒng)軟件設(shè)計(jì)是基于嵌入式Linux操作系統(tǒng)實(shí)現(xiàn)的，得益于Linux系統(tǒng)的開源生態(tài)，擁有大量基礎(chǔ)支持軟件包，常見的通信接口都擁有穩(wěn)定的協(xié)議驅(qū)動(dòng)包，使應(yīng)用程序開發(fā)更佳便捷高效。基于輔助接管操作的需求，整機(jī)控制系統(tǒng)軟件需實(shí)現(xiàn)的功能程序主要有：傳感數(shù)據(jù)采集與處理、指令數(shù)據(jù)收發(fā)與解析、機(jī)械臂動(dòng)作控制、機(jī)械臂狀態(tài)分析、上下級(jí)數(shù)據(jù)交互、異常報(bào)警以及數(shù)據(jù)實(shí)時(shí)分析等功能。整機(jī)控制系統(tǒng)軟件架構(gòu)如圖3所示，基于圖3架構(gòu)設(shè)計(jì)的系統(tǒng)軟件框架如圖4所示。

圖3 基于嵌入式Linux系統(tǒng)的整機(jī)控制系統(tǒng)軟件架構(gòu)

圖4 整機(jī)控制系統(tǒng)軟件設(shè)計(jì)框架

1.2 多軸液壓機(jī)械臂控制系統(tǒng)

本文設(shè)計(jì)的多軸液壓機(jī)械臂控制系統(tǒng)功能架構(gòu)與整機(jī)控制系統(tǒng)架構(gòu)類似，如圖5所示，共分為底層硬件，通信接口，系統(tǒng)應(yīng)用和指令交互四層結(jié)構(gòu)，整機(jī)控制系統(tǒng)作為上位機(jī)或者遙控器向機(jī)械臂控制系統(tǒng)下發(fā)控制指令。

圖5 多軸液壓機(jī)械臂控制系統(tǒng)功能架構(gòu)

液壓機(jī)械臂控制系統(tǒng)的硬件結(jié)構(gòu)與整機(jī)控制系統(tǒng)相似，如圖6所示。機(jī)械臂控制系統(tǒng)軟件架構(gòu)與整機(jī)控制系統(tǒng)相似，整機(jī)控制系統(tǒng)與機(jī)械臂通過USB2.0接口通信，下發(fā)機(jī)械臂控制指令。本文機(jī)械臂控制系統(tǒng)的工作流程如圖7所示。

圖6 多軸液壓機(jī)械臂控制系統(tǒng)硬件結(jié)構(gòu)

圖7 多軸液壓機(jī)械臂控制系統(tǒng)工作流程

1.3 多源信息感知與處理系統(tǒng)

該系統(tǒng)主要實(shí)現(xiàn)兩個(gè)功能：①感知井下巷道環(huán)境狀態(tài)數(shù)據(jù)，如溫度信息、濕度信息、甲烷濃度等參數(shù)，并對(duì)異常環(huán)境狀態(tài)數(shù)據(jù)進(jìn)行預(yù)警；②采集紅外視頻圖像和激光雷達(dá)點(diǎn)云數(shù)據(jù)處理后經(jīng)整機(jī)控制系統(tǒng)上傳至遠(yuǎn)程服務(wù)端，服務(wù)端基于圖像和點(diǎn)云數(shù)據(jù)進(jìn)行巷道接管環(huán)境三維重建與管架目標(biāo)識(shí)別后，反饋下發(fā)機(jī)械臂控制指令，調(diào)整機(jī)械臂動(dòng)作。多源信息感知與處理系統(tǒng)硬件結(jié)構(gòu)如圖8所示，硬件核心仍采用高性能的四核心NXP i.MX6Q處理器，系統(tǒng)設(shè)計(jì)的多種通信接口用于采集多種傳感器數(shù)據(jù)，溫濕度，瓦斯?jié)舛葌鞲衅鞑捎肦S485通信接口；激光雷達(dá)傳感器采用海伯森科技的HPS-3D160面陣固態(tài)激光雷達(dá)傳感器，可采用USB通信和RS232通信獲取點(diǎn)云數(shù)據(jù)；設(shè)計(jì)的以太網(wǎng)通信接口用于獲取紅外攝像機(jī)采集的圖像數(shù)據(jù)。

圖8 多源信息感知與處理系統(tǒng)硬件結(jié)構(gòu)

系統(tǒng)的軟件設(shè)計(jì)與與整機(jī)控制系統(tǒng)相似，仍是基于嵌入式Linux系統(tǒng)進(jìn)行軟件設(shè)計(jì)，軟件架構(gòu)與圖3所示相似。多源信息感知與處理系統(tǒng)軟件設(shè)置3個(gè)任務(wù)：①與整機(jī)控制系統(tǒng)間交互，通過USB通信接口與整機(jī)控制系統(tǒng)連接，接收數(shù)據(jù)采集與上傳指令，根據(jù)采集指令調(diào)節(jié)各傳感器，激光雷達(dá)和紅外圖像數(shù)據(jù)采集的頻率，同時(shí)根據(jù)整機(jī)控制系統(tǒng)下發(fā)的數(shù)據(jù)上傳指令，實(shí)時(shí)上報(bào)所需傳感器數(shù)據(jù)；②按照設(shè)定的傳感器數(shù)據(jù)采集頻率，依次采集各傳感器數(shù)據(jù)并存儲(chǔ)于本地?cái)?shù)據(jù)硬盤；③對(duì)采集到的傳感器數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗等預(yù)處理，對(duì)異常數(shù)據(jù)進(jìn)行預(yù)警并主動(dòng)上報(bào)整機(jī)控制系統(tǒng)。

本文設(shè)計(jì)的多軸機(jī)械臂感知與控制系統(tǒng)目前已實(shí)際應(yīng)用于煤礦井下的管道輔助安裝。

2 巷道接管環(huán)境激光掃描與管架目標(biāo)識(shí)別

2.1 激光雷達(dá)點(diǎn)云數(shù)據(jù)處理與降采樣

激光雷達(dá)掃描作為正在快速發(fā)展的新型測繪技術(shù)，能夠快速，準(zhǔn)確的獲取三維空間信息[12，13]，在許多人工智能的應(yīng)用場景中發(fā)揮了重要作用。激光雷達(dá)傳感器通過發(fā)射激光線束來探測物體的距離，同時(shí)光束打到不同物體上會(huì)形成不同強(qiáng)度的回波，多線束激光按照一定的規(guī)矩進(jìn)行掃描，形成三維環(huán)境的點(diǎn)云圖。受環(huán)境以及采集設(shè)備等因素影響，往往會(huì)造成采集到的點(diǎn)云數(shù)據(jù)中存在噪聲和離群點(diǎn)[12]。此外，采集的原始高密度點(diǎn)云數(shù)據(jù)用于后續(xù)的分析處理，會(huì)帶來巨大計(jì)算量和消耗大量硬件資源，增加系統(tǒng)負(fù)荷，降低處理效率。因此，對(duì)采集到的原始點(diǎn)云數(shù)據(jù)需進(jìn)行噪聲剔除和降采樣處理[14]。

煤礦巷道背景下的管架點(diǎn)云圖實(shí)例如圖9所示。從圖9中能夠看出物體的大致輪廓，管道托架、傳送帶托架等，且不同顏色表示不同的回波強(qiáng)度。但是物體輪廓較模糊，且由于傳感器形成的數(shù)據(jù)存在噪聲，即點(diǎn)云中形成離散點(diǎn)云，同時(shí)地面?zhèn)魉蛶?duì)管道目標(biāo)的檢測也存在干擾。點(diǎn)云數(shù)據(jù)中噪聲分為一般噪聲和離散噪聲[15，16]，均值濾波能夠?qū)σ话阍肼曔M(jìn)行去噪[16]，其基本原理是在建立三維點(diǎn)云拓?fù)潢P(guān)系基礎(chǔ)上，對(duì)選取的點(diǎn)云數(shù)據(jù)點(diǎn)的領(lǐng)域內(nèi)所有點(diǎn)進(jìn)行加權(quán)，利用均值代替點(diǎn)云數(shù)據(jù)點(diǎn)。針對(duì)離散噪聲，需進(jìn)行離散點(diǎn)濾波[17，18]，采用基于K近鄰的去噪方法，首先根據(jù)待處理的點(diǎn)云數(shù)據(jù)，構(gòu)造KD-tree，建立點(diǎn)云拓?fù)潢P(guān)系；然后，設(shè)定一參考點(diǎn)，計(jì)算參考點(diǎn)和K近鄰的平均距離，距離公式為：

式中，k為KD-tree的近鄰系數(shù)，N(q)表示參考點(diǎn)q的K近鄰；其次，根據(jù)設(shè)定的經(jīng)驗(yàn)閾值，對(duì)平均距離d大于閾值的數(shù)據(jù)點(diǎn)進(jìn)行剔除，小于閾值的保留；按照上一步操作循環(huán)處理所有點(diǎn)云數(shù)據(jù)為止。

圖9 煤礦巷道背景下的管架點(diǎn)云圖實(shí)例

為進(jìn)一步展示去噪處理的效果，噪聲背景下巷道點(diǎn)云數(shù)據(jù)均值濾波去噪處理實(shí)例如圖10所示，其中，左側(cè)圖片為包含噪聲的點(diǎn)云數(shù)據(jù)，右側(cè)圖片為經(jīng)過去噪處理后的點(diǎn)云數(shù)據(jù)。實(shí)例表明，激光雷達(dá)掃描通常會(huì)產(chǎn)生密度不均勻的點(diǎn)云數(shù)據(jù)，測量中的誤差也會(huì)引起稀疏的離群點(diǎn)，使用均值濾波能夠去除明顯離群點(diǎn)，濾除測量噪聲。

圖10 噪聲背景下點(diǎn)云數(shù)據(jù)均值濾波處理實(shí)例

巷道點(diǎn)云數(shù)據(jù)經(jīng)離散點(diǎn)濾波后去除巷道空間的離散點(diǎn)云實(shí)例如圖11所示，激光點(diǎn)云噪聲的存在使局部點(diǎn)云特征(如曲面法線或曲率變化)的估計(jì)變得復(fù)雜，從而導(dǎo)致錯(cuò)誤的值，進(jìn)而可能導(dǎo)致點(diǎn)云配準(zhǔn)失?。浑x散點(diǎn)濾波通過對(duì)每個(gè)點(diǎn)的鄰域進(jìn)行統(tǒng)計(jì)分析，并對(duì)不符合統(tǒng)計(jì)結(jié)果的點(diǎn)進(jìn)行刪除，進(jìn)而增強(qiáng)了點(diǎn)云數(shù)據(jù)特征。

圖11 巷道點(diǎn)云數(shù)據(jù)經(jīng)離散點(diǎn)濾波后去除巷道空間的離散點(diǎn)云實(shí)例

針對(duì)點(diǎn)云降采樣，本文采用經(jīng)典的體素柵格降采樣算法[14]，能夠在降采樣的同時(shí)不破壞點(diǎn)云數(shù)據(jù)的幾何特性，該算法通過在三維空間坐標(biāo)系中建立體素柵格，再將點(diǎn)云數(shù)據(jù)放入柵格，在三維立方體內(nèi)用體素中所有點(diǎn)的質(zhì)心代替體素中其他點(diǎn)。采樣步驟如下[14]：

1)基于點(diǎn)云數(shù)據(jù)坐標(biāo)集合，計(jì)算X、Y、Z三個(gè)坐標(biāo)軸上的最大值X_max、Y_max、Z_max和最小值X_min、Y_min、Z_min；設(shè)置體素小柵格的邊長r。

2)根據(jù)X、Y、Z三個(gè)坐標(biāo)軸上的最大和最小值來求點(diǎn)云最小包圍盒的邊長l_x、l_y、l_z，計(jì)算公式如下：

l_x=X_max-X_min

(2)

l_y=Y_max-Y_min

(3)

l_z=Z_max-Z_min

(4)

3)計(jì)算體素網(wǎng)格的尺寸，計(jì)算公式如下：

Dx=?l_x/r」

(5)

Dy=?l_y/r」

(6)

Dz=?l_z/r」

(7)

式中，?」表示數(shù)據(jù)向下取整。

4)計(jì)算點(diǎn)云中每個(gè)在體素小柵格內(nèi)的索引h，計(jì)算公式如下：

hx=?(x-X_min)/r」

(8)

hy=?(y-Y_min)/r」

(9)

hz=?(z-Z_min)/r」

(10)

5)將h中的元素進(jìn)行遞增排序，計(jì)算每個(gè)體素小柵格質(zhì)心，以質(zhì)心代替小柵格內(nèi)的所有點(diǎn)。

2.2 基于圖像和點(diǎn)云數(shù)據(jù)的管架目標(biāo)識(shí)別

為有效識(shí)別煤礦井下巷道環(huán)境中管架目標(biāo)，將識(shí)別結(jié)果反饋給機(jī)械臂，完成輔助管道安裝，分別采用機(jī)械臂上安裝的紅外攝像機(jī)采集的圖像和安裝的激光雷達(dá)采集的點(diǎn)云數(shù)據(jù)研究兩種管架目標(biāo)識(shí)別方法，一種是基于圖像和YOLOv4網(wǎng)絡(luò)的管架目標(biāo)識(shí)別，另一種是基于激光雷達(dá)點(diǎn)云數(shù)據(jù)和機(jī)器學(xué)習(xí)分類器的管架目標(biāo)識(shí)別算法。這兩種識(shí)別方法目前各自單獨(dú)與機(jī)械臂配合使用。

2.2.1 基于圖像和YOLOv4網(wǎng)絡(luò)的管架目標(biāo)識(shí)別

YOLO網(wǎng)絡(luò)[9，19]是一種目前使用較多的基于One-Stage思路的目標(biāo)識(shí)別算法，YOLOv4網(wǎng)絡(luò)是YOLO網(wǎng)絡(luò)的改進(jìn)版，YOLOv4 能夠降低訓(xùn)練門檻，大幅度提升了算法的效率和識(shí)別精度，還降低來對(duì)硬件性能的要求[19]。YOLOv4網(wǎng)絡(luò)的結(jié)構(gòu)[19]由四部分組成：輸入，主干網(wǎng)絡(luò)，頸部，頭部。網(wǎng)絡(luò)結(jié)構(gòu)中的CSPDarknet53作為骨干網(wǎng)絡(luò)增加了卷積神經(jīng)網(wǎng)絡(luò) (CNN)的學(xué)習(xí)能力，即便將模型輕量化，也能夠保持準(zhǔn)確性，同時(shí)去掉計(jì)算量較高的計(jì)算瓶頸結(jié)構(gòu)，并且降低內(nèi)存占用。Neck部分的主要作用在于能夠擴(kuò)大感受野以及融合不同尺度特征圖的信息(更好地進(jìn)行特征融合)。SPP和 PANet分別作為Neck的附加模塊和特征融合模塊；YOLO HEAD模塊作為預(yù)測模塊，使用CIOU loss函數(shù)[19]。由于本節(jié)采用YOLOv4網(wǎng)絡(luò)進(jìn)行目標(biāo)識(shí)別的技術(shù)相對(duì)成熟，許多研究者采用其成功實(shí)現(xiàn)目標(biāo)識(shí)別，其網(wǎng)絡(luò)結(jié)構(gòu)和使用方法相似，因此，本節(jié)簡要概述使用該網(wǎng)絡(luò)進(jìn)行管架目標(biāo)識(shí)別的過程和結(jié)果。

本文將紅外攝像頭采集的視頻流進(jìn)行切片獲得巷道中管架和管路的圖像，首先對(duì)圖像數(shù)據(jù)進(jìn)行劃分處理，選取有管架目標(biāo)的有效圖像并人工標(biāo)注管路與管架，作為訓(xùn)練集訓(xùn)練YOLOv4目標(biāo)檢測網(wǎng)絡(luò)，最后利用訓(xùn)練好的目標(biāo)檢測網(wǎng)絡(luò)對(duì)測試集進(jìn)行管架目標(biāo)識(shí)別。實(shí)際井下巷道管架識(shí)別效果如圖12所示，表明該網(wǎng)絡(luò)能夠有效識(shí)別管路(紅色方框內(nèi))與管架(綠色方框內(nèi))。

圖12 巷道管架與管路識(shí)別效果

2.2.2 基于激光雷達(dá)點(diǎn)云數(shù)據(jù)和機(jī)器學(xué)習(xí)分類器的管架目標(biāo)識(shí)別

為實(shí)現(xiàn)有效的煤礦井下巷道環(huán)境中管架目標(biāo)識(shí)別，將識(shí)別結(jié)果反饋給機(jī)械臂，完成輔助管道安裝。本節(jié)研究一種是基于激光雷達(dá)點(diǎn)云數(shù)據(jù)和機(jī)器學(xué)習(xí)分類器的管架目標(biāo)識(shí)別算法。為本文提出的管架目標(biāo)識(shí)別流程如圖13所示。

圖13 基于點(diǎn)云數(shù)據(jù)和機(jī)器學(xué)習(xí)分類器的管架目標(biāo)識(shí)別流程

1)激光點(diǎn)云數(shù)據(jù)采集和處理。對(duì)于原始點(diǎn)云數(shù)據(jù)，根據(jù)2.1節(jié)描述的處理方法，需進(jìn)行預(yù)處理。

2)原始點(diǎn)云數(shù)據(jù)中，包含大量巷道墻面，傳送帶以及其他物體等背景點(diǎn)云數(shù)據(jù)，影響，目標(biāo)識(shí)別，因此，需將背景點(diǎn)云數(shù)據(jù)過濾掉，非背景點(diǎn)云進(jìn)行分割用于提取管路和管架模型。本文采用隨機(jī)抽樣一致性算法(Random sample consensus，RANSAC)[20，21]來去除背景點(diǎn)云數(shù)據(jù)。

3)通過點(diǎn)云聚類從非背景點(diǎn)云數(shù)據(jù)中提取待分類目標(biāo)，把具有相似屬性的數(shù)據(jù)點(diǎn)劃分為同一簇，每一簇點(diǎn)云數(shù)據(jù)則代表對(duì)應(yīng)類別的目標(biāo)物體。本文采用經(jīng)典的K-means聚類算法[22]進(jìn)行點(diǎn)云聚類。

4)目標(biāo)識(shí)別特征提取。基于第三步聚類得到的點(diǎn)云簇，進(jìn)行特征提取。提取的特征共有7種(參考自文獻(xiàn)[19，23])：F1，點(diǎn)云簇內(nèi)數(shù)據(jù)點(diǎn)數(shù)，不同大小的物體對(duì)其掃描得到的點(diǎn)云數(shù)有一定差異；F2，目標(biāo)物體到激光雷達(dá)的距離；F3，目標(biāo)物體的長度；F4，目標(biāo)物體的寬度；F5，目標(biāo)物體的高度；F6，目標(biāo)物體的高度與長度比；F7，目標(biāo)物體的高度與寬度比。

5)基于第4步提取的特征構(gòu)建目標(biāo)識(shí)別特征集，并劃分訓(xùn)練集和測試集，訓(xùn)練集特征數(shù)據(jù)用于訓(xùn)練機(jī)器學(xué)習(xí)分類器，獲得管架和管路目標(biāo)識(shí)別模型，測試機(jī)特征數(shù)據(jù)輸入訓(xùn)練好的目標(biāo)識(shí)別模型，輸出目標(biāo)識(shí)別結(jié)果。

本節(jié)采用煤礦井下實(shí)際管道與管架激光點(diǎn)云數(shù)據(jù)進(jìn)行實(shí)驗(yàn)驗(yàn)證，手動(dòng)對(duì)非背景點(diǎn)云數(shù)據(jù)進(jìn)行聚類標(biāo)注，提出40個(gè)管路目標(biāo)和50個(gè)管架目標(biāo)。然后對(duì)這90個(gè)目標(biāo)提取7種(F1—F7)特征。分別隨機(jī)選取20個(gè)管路目標(biāo)和25個(gè)管架目標(biāo)的特征樣本作為訓(xùn)練集，剩余作為測試集。本文選用了經(jīng)典的機(jī)器學(xué)習(xí)分類器用于管路和管架目標(biāo)識(shí)別，分別是支持向量機(jī)(SVM)，K最近鄰(KNN)，隨機(jī)森林(RF)，樸素貝葉斯(NB)和Softmax分類器。管路與管架目標(biāo)識(shí)別準(zhǔn)確率的對(duì)比如圖14所示，其中，采用RF分類器時(shí)的識(shí)別準(zhǔn)確率最高，管路和管架的識(shí)別準(zhǔn)確率分別可達(dá)95.67%和87.67%，驗(yàn)證了本節(jié)提出的管路和管架識(shí)別方法的有效性。

圖14 管路與管架目標(biāo)識(shí)別結(jié)果對(duì)比

圖15 不同特征維數(shù)下的目標(biāo)識(shí)別結(jié)果對(duì)比

為進(jìn)一步驗(yàn)證本文選用的7種特征的優(yōu)勢，進(jìn)行了不同維數(shù)特征下的目標(biāo)識(shí)別對(duì)比，對(duì)比結(jié)果如圖15所示。根據(jù)圖中所示結(jié)果能夠看出，選取F1—F5這五種特征時(shí)，目標(biāo)識(shí)別準(zhǔn)確率最低，其次是F1—F6這六種特征下的識(shí)別準(zhǔn)確率。因此，選取本文使用的F1—F7這7種特征，再結(jié)合隨機(jī)森林分類器，能夠?qū)崿F(xiàn)有效的管路和管架識(shí)別，具有實(shí)際應(yīng)用的潛力。

3 結(jié) 語

本文研究設(shè)計(jì)了一種應(yīng)用于實(shí)際煤礦井下的多軸機(jī)械臂系統(tǒng)，主要包括兩個(gè)方面：①基于高性能NXP i.MX6Q處理器，嵌入式Linux操作系統(tǒng)、多源傳感器信號(hào)采集，分析與融合處理、多軸液壓機(jī)械臂及其控制系統(tǒng)，智能算法等技術(shù)，設(shè)計(jì)研發(fā)了多軸機(jī)械臂感知與控制系統(tǒng)；②基于機(jī)械臂感知與控制系統(tǒng)采集的激光雷達(dá)點(diǎn)云數(shù)據(jù)和紅外視頻圖像，分別提出基于圖像與點(diǎn)云數(shù)據(jù)的管架目標(biāo)識(shí)別方法，紅外圖像結(jié)合YOLOv4目標(biāo)檢測網(wǎng)絡(luò)，能夠有效實(shí)現(xiàn)管路和管教目標(biāo)識(shí)別與自動(dòng)標(biāo)注，激光點(diǎn)云數(shù)據(jù)結(jié)合機(jī)器學(xué)習(xí)分類器也有效實(shí)現(xiàn)了管路和管架目標(biāo)識(shí)別，在選用7種特征和RF分類器時(shí)，管路和管架識(shí)別準(zhǔn)確率分別可達(dá)95.67%和87.67%。表明所提出方法的具有較大的應(yīng)用潛力。