張燁，馬宏偉，王鵬，曹現(xiàn)剛，魏小榮，周文劍

（1.西安科技大學 機械工程學院，陜西 西安 710054；2.陜西省礦山機電裝備智能檢測與控制重點實驗室，陜西 西安 710054）

0 引言

煤炭清潔加工和利用是實現(xiàn)煤炭工業(yè)綠色發(fā)展的重中之重，提高煤炭入選率是實現(xiàn)煤炭增值提效的有效途徑。目前一些發(fā)達國家的原煤入選率已超過80%，而我國原煤入選率僅為60%。國家能源局、科學技術(shù)部印發(fā)的《“十四五”能源領域科技創(chuàng)新規(guī)劃》將煤炭精準智能化洗選加工技術(shù)作為重點任務之一，并要求形成煤炭精確分選技術(shù)工藝及裝備。揀矸是煤炭洗選加工最基本、最重要的方法。傳統(tǒng)揀矸工作（矸石粒度為50～300 mm）主要在地面依靠人工完成，存在人員需求多、揀矸效率低、勞動強度大、工作環(huán)境惡劣等問題[1]。另外煤矸石的堆放存在占用土地、污染大氣、危害水土、潛在災變等一系列嚴重問題[2-3]。因此，需要探尋一種新煤矸石分揀方法，以實現(xiàn)“矸石不升井，揀矸不用人”的新理念。所謂“矸石不升井”，即揀矸地點遷移至離井下采煤工作面較近的區(qū)域，并構(gòu)建煤矸石分揀機器人系統(tǒng)，將矸石在井下直接回填至采空區(qū)，不僅能夠避免環(huán)境污染，實現(xiàn)充填開采，而且能夠節(jié)約巨大的運輸費用。所謂“揀矸不用人”，即研發(fā)煤矸石智能分揀機器人代替人工完成揀矸工作，不僅能夠有效解放生產(chǎn)力，而且能夠大大提高揀矸效率和準確性。

隨著煤礦智能化的發(fā)展，煤矸石分揀已進入一個新的階段，特別是煤矸石智能分揀機器人概念的提出，為其提供了新的發(fā)展思路[4]。煤矸石智能分揀機器人集煤矸石智能識別、動態(tài)目標精準定位、多任務最優(yōu)分配、煤矸石穩(wěn)準分揀等優(yōu)勢于一體，能夠有效實現(xiàn)大粒度煤矸石的高效分選，初步解決了目前依靠人工揀矸效率低、準確性差等問題。目前，煤矸石智能分選機器人已在一些煤礦企業(yè)地面選煤廠得到應用。由于井下矸石被煤泥包裹，導致煤矸石識別難、分揀難；井下工作空間狹小，導致設備布局難、煤矸石分流難。因此，分析煤矸石智能分揀機器人研究進展，提出亟待解決的關鍵技術(shù)和解決方案，對于研發(fā)高性能、高可靠的煤矸石智能分揀機器人系統(tǒng)具有十分重要的意義。

1 煤矸石智能分揀機器人研究現(xiàn)狀

煤矸石智能分揀機器人主要基于視覺、射線等識別原理，利用機器人機械系統(tǒng)對煤矸石進行分離。分離裝置主要有桁架式[5]、并聯(lián)式[6]、串聯(lián)式、柔索驅(qū)動[7]等（圖1），常常以“撥”和“抓”的形式分離煤矸石。許多學者從煤矸石識別、機器人軌跡規(guī)劃、多動態(tài)目標多機器人協(xié)同控制等3個方面對煤矸石智能分揀機器人進行了研究。

圖1 煤矸石智能分揀機器人Fig.1 Intelligent coal-gangue sorting robot

1.1 煤矸石識別研究現(xiàn)狀

煤矸石識別技術(shù)包括射線識別法和視覺識別法，其關鍵是對獲取的煤矸石圖像進行處理并提取特征，最后實現(xiàn)準確識別。

在射線識別法方面，研究較多的為基于γ射線[8]和基于X射線的方法。楊慧剛等[9]采用X射線透射技術(shù)，實現(xiàn)了煤矸石的分離。徐琦等[10]采用γ射線結(jié)合模糊模式識別建立模糊系統(tǒng)，提高了煤矸石分揀的準確率。射線識別法效率高、識別速度快，但射線輻射對人體有害，需要加強防護[11]。

在視覺識別法方面，先提取煤矸石灰度和紋理信息[12]等特征，再計算這些特征信息的灰度均值、灰度共生矩陣最大值、二階矩、對比度、相關性、熵等參數(shù)，同時結(jié)合小波變換[13-14]、支持向量機等方法進行閾值計算，實現(xiàn)煤矸識別。以上方法往往提取的圖像特征較單一，在實驗條件下識別效率高、速度快，但對于復雜的煤矸石分揀環(huán)境，其算法的準確率和普適性還有待提高。隨著深度學習在圖像處理方面的應用日益廣泛，基于深度學習的煤矸石識別已成為該領域的研究熱點[15]。曹現(xiàn)剛等[16]提出了基于遷移學習的GoogLenet煤矸石視覺圖像識別，通過對數(shù)據(jù)集擴增，采用Inception模型對煤矸石圖像數(shù)據(jù)集進行識別訓練，取得了較高的分類準確率。為進一步提高煤矸石識別速率，沈科等[17]對YOLOv5模型中的Neck區(qū)域進行適當精簡，不僅降低了模型復雜度，還提高了檢測實時性。

此外，學者們研究了基于紅外圖像[18]和多光譜圖像[19]的煤矸石高清圖像提取方法，在此基礎上融合深度學習算法實現(xiàn)煤矸石的準確識別。基于深度學習的煤矸石識別方法的識別效率較傳統(tǒng)煤矸石識別方法高[20]，但由于煤矸石分揀環(huán)境的特殊性和復雜性，基于深度學習的煤矸石識別方法作為主流識別方法之一，仍需構(gòu)建高效的煤矸石數(shù)據(jù)集，在煤矸石識別算法泛化性、實時性和魯棒性等方面進行深入研究。

1.2 機器人軌跡規(guī)劃

煤矸石智能分揀機器人軌跡規(guī)劃是提高機器人自主性和智能化的關鍵問題，是機器人完成復雜環(huán)境下煤矸石分揀任務的前提。在非結(jié)構(gòu)環(huán)境下機器人如何進行最優(yōu)軌跡規(guī)劃是實現(xiàn)煤矸石分揀的難點。趙明輝[21]采用拋物線過渡的插值函數(shù)、三次多項式及五次多項式插值函數(shù)對機器人的軌跡進行規(guī)劃，使分揀機器人的運動軌跡更加平穩(wěn)。李寧[22]采用比例導引法對機械臂軌跡進行規(guī)劃，實現(xiàn)了較高精度的抓取。王鵬等[23]采用余弦定理?PID方法實現(xiàn)了大質(zhì)量、動態(tài)煤矸石的同步跟蹤。馬宏偉等[24]采用“位置?速度?加速度”的三環(huán)PID控制，確保機械臂末端到達抓取點時位置、速度與抓取目標同步運動，實現(xiàn)平穩(wěn)快速抓取。夏晶等[25]在傳統(tǒng)人工勢場法的基礎上引入相對速度勢場、相對加速度勢場，實現(xiàn)了煤矸石分揀機器人動態(tài)避障及對動態(tài)目標的實時跟蹤。

以上機器人軌跡規(guī)劃方法對移動對象狀態(tài)的預測能力較弱，對變軌跡運動目標適應性不強。特別是在帶式輸送機發(fā)生打滑和跑偏時，不能及時對機械臂軌跡進行修正。因此，以視覺伺服技術(shù)為基礎，結(jié)合概率路圖法[26]、快速擴展隨機樹算法[27-28]和強化學習的全局自主規(guī)劃算法[29]解決復雜環(huán)境下機械臂軌跡規(guī)劃問題。研究建立動態(tài)預測模型，根據(jù)機械臂運動軌跡在線預測機械手抓取姿態(tài)，采用視覺定位方法提高動態(tài)目標定位精度，從而實現(xiàn)機器人最優(yōu)軌跡規(guī)劃。

1.3 多動態(tài)目標多機器人協(xié)同控制

協(xié)同控制是多機器人系統(tǒng)研究的基礎問題，體現(xiàn)了系統(tǒng)的高層組織形式與運行機制[30]。多機器人任務協(xié)同能夠合理調(diào)度機器人隊伍，對機器人的工作量飽和、任務沖突、欠缺能力、出現(xiàn)故障等特殊情形進行協(xié)同調(diào)度。因此，協(xié)同策略的好壞很大程度上影響了多機器人系統(tǒng)的作業(yè)效率與實際性能。Wang Peng等[31]提出了基于免疫空間的多機械臂系統(tǒng)控制方法，進一步提高了機器系統(tǒng)的分揀效率。曹現(xiàn)剛等[32]引入?yún)f(xié)作反饋機制，建立多機械臂協(xié)同分揀策略的數(shù)學模型，實現(xiàn)多動態(tài)目標矸石的準確、高效分揀。在多機器人智能控制方面，黃宛寧等[33]提出的單親遺傳算法，較好地處理了多機器人任務分配時任務競價拍賣的確定獲標者問題。李濟澤[34]提出了粒子群遺傳優(yōu)化算法，在粒子群優(yōu)化算法中引入了克隆算子和變異算子，實現(xiàn)了多機器人任務的協(xié)調(diào)分配。姜健等[35]提出了一種基于蟻群算法的多機器人協(xié)作策略，很好地解決了多機器人系統(tǒng)中由于任務分配不當而引起的沖突問題。強化學習、神經(jīng)網(wǎng)絡等智能任務分配理論減少了對先驗知識的依賴[36]，得到了快速發(fā)展和廣泛應用。

上述方法雖然能夠?qū)崿F(xiàn)多機器人協(xié)同控制，但是仍然存在單機器人自主性不高、多機器人協(xié)同度低等問題，沒有實現(xiàn)多機器人高效智能協(xié)同分揀。因此，還需在多機器人煤矸石分揀系統(tǒng)智能協(xié)同控制方法上進行深入研究。

2 煤矸石智能分揀機器人關鍵技術(shù)

目前，煤矸石分揀工作環(huán)境復雜，其質(zhì)量和形狀不規(guī)則且呈隨機分布，許多關鍵技術(shù)還有待分析、論證。因此，從復雜環(huán)境下煤矸石識別與抓取特征提取、非結(jié)構(gòu)環(huán)境下煤矸石穩(wěn)定可靠抓取、多目標任務多機器人智能協(xié)同分揀3個方面分析抓取煤矸石智能分揀機器人關鍵技術(shù)。

2.1 復雜環(huán)境下煤矸石識別與抓取特征提取

（1）煤矸石數(shù)據(jù)集構(gòu)建與擴增技術(shù)?；跈C器學習的煤矸石識別算法往往通過數(shù)據(jù)擴增獲得大量圖像數(shù)據(jù)，并對大量的圖像數(shù)據(jù)進行訓練，同時構(gòu)建高質(zhì)量的煤矸石圖像數(shù)據(jù)集，為后續(xù)實現(xiàn)煤矸石圖像的精準識別奠定基礎。

（2）煤矸石識別與抓取特征提取技術(shù)。煤矸石識別的準確性是決定分揀機器人高效分揀煤矸石的關鍵。煤矸石表面特征復雜、形狀各異，特別是煤礦井下煤泥包裹嚴重，對煤矸石識別造成嚴重影響。因此，在煤矸石識別方面，除了要結(jié)合多種檢測方法對特征信息進行提取，提高原始信息的準確性外，還需在識別方法上進行深入研究，提高煤矸石識別速度和精度。基于深度學習理論的煤矸石識別技術(shù)雖具有較強的特征提取能力和較高的識別效率，但在復雜目標快速識別和抓取特征提取方面還需進行深入研究，以提高算法的魯棒性和泛化性。

2.2 非結(jié)構(gòu)環(huán)境下煤矸石穩(wěn)定可靠抓取

（1）動態(tài)煤矸石精準跟蹤技術(shù)。獲取煤矸石實時位姿時，因帶式輸送機打滑而存在定位不準情況，導致機械手抓取失敗，嚴重時會對機械手造成損壞，分揀機器人整體效率降低。因此，需要研究動態(tài)目標精準跟蹤方法，在動態(tài)環(huán)境下對目標進行精準定位和跟蹤，確保機械臂在執(zhí)行軌跡規(guī)劃任務時輸入數(shù)據(jù)的準確性。

（2）機械臂同步跟蹤動態(tài)目標軌跡規(guī)劃技術(shù)。煤矸石在帶式輸送機上傳輸時，大質(zhì)量動態(tài)煤矸石和機械手之間難以避免速度差會產(chǎn)生較大抓取沖擊，因此，需研究機械臂動態(tài)目標同步跟蹤軌跡規(guī)劃技術(shù)，確保機械手在執(zhí)行抓取動作時和目標矸石保持相對靜止，從而實現(xiàn)煤矸石目標的穩(wěn)定可靠抓取。

（3）快速大質(zhì)量目標穩(wěn)定抓取技術(shù)。煤矸石具有質(zhì)量差別大、移動速度快等特點，當機械手以不同速度搬運煤矸石時會產(chǎn)生較大的慣性沖擊，直接影響抓取的穩(wěn)定性和可靠性。因此，需研究抓取質(zhì)量、抓取沖擊力、搬運慣性力等對抓取力的影響機理及準確控制，確保機械手穩(wěn)定可靠抓取煤矸石。

2.3 多目標任務多機器人智能協(xié)同分揀

（1）多機械臂多任務高效分配技術(shù)。針對煤矸石目標處于復雜動態(tài)環(huán)境、抓取不同質(zhì)量煤矸石的優(yōu)先級別等問題，通過多機械臂多任務高效分配技術(shù)，在確保任務分配均衡的前提下，以最小的代價高效地完成多機械臂的任務分配。

（2）多機械臂防碰撞路徑規(guī)劃技術(shù)。機械臂在執(zhí)行已分配的任務時，要考慮任務狀態(tài)、與其相鄰機械臂之間的位置關系及在進行軌跡規(guī)劃時機械手與障礙物之間的碰撞問題。因此，研究機械臂抓取動態(tài)目標防碰撞路徑規(guī)劃技術(shù)，可提高機械臂分揀穩(wěn)定性和安全性。

（3）多機械臂智能協(xié)同控制技術(shù)。通過任務分配和機械臂路徑規(guī)劃方法，構(gòu)建多機械臂智能協(xié)同分揀模型，提高機械臂利用率，最大限度發(fā)揮多機械臂系統(tǒng)性能。采用智能學習方法，提高機械臂自主避障、自主協(xié)同能力，并根據(jù)環(huán)境進行自主決策。

3 煤矸石智能分揀機器人關鍵技術(shù)解決方案

針對目前煤矸石智能分揀機器人在實際應用中存在的問題，本文提出了煤矸石識別與抓取特征提取、機械臂動態(tài)目標精準跟蹤與穩(wěn)定抓取、多機械臂復雜環(huán)境下高效智能協(xié)同分揀3個方面的解決方案。

3.1 X射線+雙目視覺的煤矸石識別與抓取特征提取方法

X射線+雙目視覺的煤矸石識別與抓取特征提取方法如圖2所示。首先，通過煤矸石X射線和機器視覺（雙目視覺）圖像采集系統(tǒng)，獲取帶式輸送機目標區(qū)域的X射線圖像和場景深度圖像。其次，通過隨機裁剪、翻轉(zhuǎn)、明亮度變化、添加噪聲等方法對X射線圖像和場景深度圖像進行預處理，提高圖像數(shù)據(jù)質(zhì)量，生成對抗網(wǎng)絡數(shù)據(jù)擴增模型，以擴充煤矸石圖像數(shù)據(jù)樣本庫。再次，構(gòu)建灰度特征、深度特征和輪廓特征分類器，以提取煤矸石圖像的3類特征，通過融合灰度特征和深度特征構(gòu)建煤矸石識別分類模型，實現(xiàn)煤矸石快速識別；融合深度特征和輪廓特征建立抓取矩形分類模型，實現(xiàn)煤矸石抓取特征的快速生成。最后，建立基于多模態(tài)卷積神經(jīng)網(wǎng)絡的頂層分類器，聯(lián)合3個特征分類器、2個模態(tài)分類模型，得到基于多模態(tài)識別與抓取特征模型，實現(xiàn)煤矸石的精確分類與最優(yōu)抓取立方體提取。

圖2 煤矸石識別與抓取特征提取方法Fig.2 Recognition and grasping featuresextraction of coal-gangue

3.2 機械臂動態(tài)目標精準跟蹤與穩(wěn)定抓取方法

機械臂動態(tài)目標精準跟蹤與穩(wěn)定抓取主要包括動態(tài)煤矸石的快速匹配、機械臂對動態(tài)目標的精準跟蹤和機械手的自適應穩(wěn)定抓取，其流程如圖3所示。首先，通過基于視覺伺服多目標在線定位模型獲取待抓取煤矸石實時位置，當目標到達機器人工作空間后，采用基于圖像特征的模板匹配方法進行快速匹配，完成全局規(guī)劃與局部視覺之間目標信息傳遞。其次，建立基于圖像視覺伺服動態(tài)目標跟蹤模型，通過圖像雅克比矩陣估計方法和參數(shù)優(yōu)化方法提高視覺伺服跟蹤精度和速度，結(jié)合運動目標運動狀態(tài)預測模型對視覺伺服跟蹤軌跡進行修正，實現(xiàn)機械臂對目標的快速精準跟蹤。再次，建立機器人視覺伺服控制模型，由機械臂動態(tài)目標同步跟蹤方法得到跟蹤抓取軌跡，并結(jié)合抓取立方體完成機械手抓取姿態(tài)控制。最后，通過自適應抓取機械手模型和機械手變負載工況下的動力學模型，獲取不同負載、不同運動狀態(tài)與抓取力的映射關系，構(gòu)建基于模糊神經(jīng)網(wǎng)絡的機械手抓取力動態(tài)自適應控制模型，確保機械手對矸石進行穩(wěn)定可靠抓取和快速搬移。

圖3 機械臂動態(tài)目標精準跟蹤與穩(wěn)定抓取方法Fig.3 Precise dynamic target tracking and stable grasping method of mechanical arm

3.3 多機械臂復雜環(huán)境下高效智能協(xié)同分揀方法

多機械臂高效智能協(xié)同分揀方法包括環(huán)境感知層、環(huán)境地圖層、路徑規(guī)劃層和智能協(xié)同層，如圖4所示。

圖4 多機械臂復雜環(huán)境下高效智能協(xié)同分揀方法Fig.4 Efficient and intelligent collaborative sorting method of multi-mechanical arm in complex environment

環(huán)境感知層主要完成分揀環(huán)境空間信息采集、煤矸石識別和識別結(jié)果發(fā)送。環(huán)境地圖層對環(huán)境感知層提供的環(huán)境信息進行三維柵格圖描述，為路徑規(guī)劃層提供機器人和任務的位置、障礙物分布等環(huán)境信息。路徑規(guī)劃層在環(huán)境信息的基礎上，通過基于視覺伺服的動態(tài)目標跟蹤軌跡規(guī)劃和基于A*算法的機械臂自主避障路徑規(guī)劃，實現(xiàn)機械臂動作策略選擇。智能協(xié)同層包括任務分配和協(xié)同控制，根據(jù)機械臂狀態(tài)和目標信息，建立多因素約束下機械臂綜合收益函數(shù)，實現(xiàn)機械臂分揀最優(yōu)任務分配；采用分布式架構(gòu)，通過基于強化學習的多機械臂協(xié)同分揀算法對機械臂動作及收益推理系統(tǒng)進行下一步?jīng)Q策收益優(yōu)化，實現(xiàn)機械臂自主協(xié)同和自主避障。

4 結(jié)論

在煤矸石智能分揀機器人研究現(xiàn)狀的基礎上，梳理了煤矸石智能分揀機器人的關鍵技術(shù)及其存在問題，提出了煤矸石識別與抓取特征提取、機械臂動態(tài)目標精準跟蹤與穩(wěn)定抓取、多機械臂復雜環(huán)境下高效智能協(xié)同分揀3個方面的解決方案。

（1）針對復雜環(huán)境下煤矸石識別問題，提出X射線+雙目視覺的多模態(tài)傳感器融合技術(shù)，采用基于深度學習的多信息融合方法，實現(xiàn)煤矸石快速識別；提取抓取立方體特征，建立最優(yōu)抓取立方體模型。

（2）針對煤矸石定位不準和直接抓取存在抓取沖擊力的問題，提出采用基于煤矸石圖像特征的匹配方法實現(xiàn)快速定位，通過基于視覺伺服跟蹤方法獲取實時位置，實現(xiàn)煤矸石目標的精準定位；采用機械臂同步跟蹤煤矸石軌跡規(guī)劃方法，確保抓取時機械臂和目標矸石相對靜止，實現(xiàn)機械手的穩(wěn)定抓取。

（3）針對復雜環(huán)境下多機械臂協(xié)同分揀問題，構(gòu)建了包括環(huán)境感知、環(huán)境地圖、路徑規(guī)劃、智能協(xié)同的分揀系統(tǒng)架構(gòu)。采用基于A*算法的機械臂自主避障路徑規(guī)劃方法，實現(xiàn)機械臂動作策略選擇；通過建立多因素約束下機械臂綜合收益函數(shù)，實現(xiàn)機械臂分揀最優(yōu)任務分配；采用基于強化學習的多機械臂協(xié)同分揀策略優(yōu)化方法，實現(xiàn)機械臂自主避障和自主協(xié)同。