王冠軍，蘇婷婷，劉文博，錢智平，李佳澤

(中國礦業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院， 江蘇 徐州 221116)

0 引言

傳統(tǒng)的煤矸石人工分選方法是指原煤被運(yùn)出井口后，經(jīng)帶式輸送機(jī)運(yùn)到人工揀矸樓，由工人把矸石與雜物揀出來，再輸送到選煤車間。對煤矸石自動分揀方法的研究主要集中在煤矸石圖像識別技術(shù)上，例如小波分析與DSP[1-2]、粗糙集理論[3]、紋理分析[4-5]、核典型相關(guān)分析[6]、灰度自適應(yīng)邊緣檢測[7]等。以上方法均可實(shí)現(xiàn)簡單的矸石檢測，存在的主要不足是實(shí)時性較差且整體分揀準(zhǔn)確率不高。利用密度進(jìn)行分選[8-9]的方法適用于井下初選，且成本較高。針對上述問題，本文設(shè)計(jì)了一種基于EAIDK的智能煤矸分揀系統(tǒng)。

1 系統(tǒng)總體設(shè)計(jì)

1.1 系統(tǒng)結(jié)構(gòu)

基于EAIDK的智能煤矸分揀系統(tǒng)由EAIDK-610平臺、視覺系統(tǒng)、機(jī)械臂等組成，如圖1所示。EAIDK-610是一種面向邊緣計(jì)算的嵌入式人工智能開發(fā)平臺，硬件方面，使用高性能ARM SoC搭載OPEN AI LAB嵌入式AI開發(fā)平臺AID，具備語音、視頻等數(shù)據(jù)采集能力，有適用于多場景的運(yùn)動控制接口；軟件方面，支持視覺處理與分析、語音識別、語義分析、SLAM(即時定位與地圖構(gòu)建)等應(yīng)用的基礎(chǔ)平臺和主流開源算法。視覺系統(tǒng)由PLC、智能攝像機(jī)、觸摸屏等構(gòu)成，實(shí)現(xiàn)圖像采集與處理功能。機(jī)械臂安裝于輸送帶一側(cè)軌道上，可以水平運(yùn)動。

圖1 基于EAIDK的智能煤矸分揀系統(tǒng)結(jié)構(gòu)

1.2 系統(tǒng)工作流程

原煤經(jīng)過帶式輸送機(jī)輸送到原煤倉時，通過帶式輸送機(jī)上方的攝像機(jī)獲得當(dāng)前原煤圖像，識別煤和矸石，并測量矸石位置和朝向；通過手眼標(biāo)定獲得攝像機(jī)坐標(biāo)系與機(jī)械臂坐標(biāo)系之間的關(guān)系；機(jī)械臂以合適的姿態(tài)運(yùn)動到矸石位置，抓取矸石并移動到矸石桶位置后放下矸石；最后機(jī)械臂歸位，進(jìn)入下一輪煤矸分揀。系統(tǒng)工作流程如圖2所示。

圖2 基于EAIDK的智能煤矸分揀系統(tǒng)工作流程

2 基于EAIDK的矸石識別

在處理的圖像中，煤塊是黑色的，而矸石基本上是灰色的，煤塊本身灰度比較低，只有當(dāng)煤塊反光時，反光部分出現(xiàn)亮點(diǎn)，煤塊的這些部分灰度級才會較高，而矸石一般灰度級都比較高。以灰度分布的均值和方差作為特征值來區(qū)分煤塊和矸石，根據(jù)模式識別的原理，將煤和矸石的標(biāo)準(zhǔn)特征值作為分揀標(biāo)準(zhǔn)。在識別時，將實(shí)際煤和矸石的灰度分布與之比較，理論上就可以將煤和矸石區(qū)分開來。

2.1 圖像預(yù)處理

使用TEngine深度學(xué)習(xí)框架所支持的基于卷積神經(jīng)網(wǎng)絡(luò)的VGG16深度學(xué)習(xí)模型搭建檢測模型，VGG16模型如圖3所示。VGG16總共有16層，含13個卷積層和3個全連接層。圖像經(jīng)過64個卷積核的2次卷積，128個卷積核2次卷積，256個卷積核3次卷積，2次512個卷積核3次卷積后，分別進(jìn)行一次池化處理，最后進(jìn)行3次全連接。將矸石分揀圖像輸入VGG16模型，在VGG16模型中將圖片的每個像素值減去在訓(xùn)練集上計(jì)算得到的平均RGB值，并將智能處理單元EAIDK-610接收到的圖像信息調(diào)整為符合神經(jīng)網(wǎng)絡(luò)輸入數(shù)據(jù)要求的格式。

2.2 圖像識別標(biāo)記

(1) 特征提取。將預(yù)處理后的圖像輸入特征提取網(wǎng)絡(luò)得到特征圖。VGG16模型經(jīng)過fine-tune處理后作為特征提取網(wǎng)絡(luò)，即移除VGG16模型中conv5最后一層的后續(xù)所有層，并使用剩余的權(quán)重作為模型下一次訓(xùn)練的起點(diǎn)。這種特征提取方式相比投影方法更為科學(xué)合理，且可通過改變卷積核大小、池化和最后輸出的特征向量的大小控制整體模型的擬合能力，相比其他特征提取方法更為靈活。

圖3 VGG16模型

(2) 目標(biāo)檢測。對特征圖進(jìn)行滑動掃描，生成一組預(yù)定義的錨點(diǎn)框。用回歸模型和分類模型對預(yù)定義的錨點(diǎn)框進(jìn)行坐標(biāo)預(yù)測和矸石概率預(yù)測，判定目標(biāo)是否為矸石并定位錨點(diǎn)框頂點(diǎn)坐標(biāo)。最后，將回歸和分類預(yù)測的輸出進(jìn)行非極大值抑制篩選，得到最終矸石篩選結(jié)果。在conv5中加入3個新的卷積層搭建目標(biāo)檢測網(wǎng)絡(luò)：第1部分是一個常規(guī)卷積層，用于對前一層提供的數(shù)據(jù)進(jìn)行編碼；第2部分卷積層用于回歸和預(yù)測；第3部分負(fù)責(zé)預(yù)測目標(biāo)概率。

(3) 圖像標(biāo)記。根據(jù)預(yù)定義區(qū)域矸石檢測結(jié)果對矸石進(jìn)行標(biāo)記。

通過多媒體接口將識別標(biāo)記出的矸石信息輸出到機(jī)器人接口進(jìn)行后續(xù)揀矸操作，并在顯示設(shè)備上實(shí)時顯示，EAIDK-610可提供顯示觸摸一體屏配件。

3 矸石分揀控制

3.1 手眼標(biāo)定

為獲得攝像機(jī)與機(jī)械臂坐標(biāo)系的關(guān)系，需要進(jìn)行手眼標(biāo)定。對于固定視覺手眼系統(tǒng)的標(biāo)定，兩坐標(biāo)系之間的齊次坐標(biāo)變換關(guān)系可記為[10-11]

(1)

式中：xc,yc,zc為目標(biāo)點(diǎn)在攝像機(jī)坐標(biāo)系中的坐標(biāo)；xr,yr,zr為目標(biāo)點(diǎn)在機(jī)械臂坐標(biāo)系中的坐標(biāo)；R為機(jī)械臂坐標(biāo)系相對攝像機(jī)坐標(biāo)系旋轉(zhuǎn)3×3的正交矩陣，描述了機(jī)械臂坐標(biāo)系在攝像機(jī)坐標(biāo)系中的位置和姿態(tài)；Y為機(jī)械臂坐標(biāo)系的原點(diǎn)在攝像機(jī)坐標(biāo)系中的坐標(biāo)。

3.2 機(jī)械臂控制

為實(shí)現(xiàn)煤矸石揀取，需要控制機(jī)械臂運(yùn)動，使機(jī)械臂在規(guī)定時間內(nèi)以合理姿態(tài)到達(dá)規(guī)定位置。在保證控制性能和精度的情況下，首先建立兩自由度機(jī)械臂簡化模型，通過拉格朗日方程建立動力學(xué)方程[12]：

(2)

根據(jù)動力學(xué)方程對機(jī)械臂進(jìn)行正逆運(yùn)動學(xué)解算，利用FPGA技術(shù)構(gòu)建專用的機(jī)器人主-從手臂運(yùn)動學(xué)硬件模型，在毫秒級的時間內(nèi)實(shí)現(xiàn)復(fù)雜的主機(jī)械臂模型正解和從機(jī)械臂模型逆解計(jì)算，最后結(jié)合軌跡規(guī)劃完成機(jī)械臂運(yùn)動規(guī)劃。機(jī)械臂運(yùn)動過程分為3個階段：① 趨近階段：機(jī)械臂運(yùn)動到輸送帶末端并打開抓手到合適大小。② 揀取階段：抓取煤矸石并投放到矸石通道中。③ 回位階段：機(jī)械臂回位到初始位置，等待下一次揀取。

4 實(shí)驗(yàn)驗(yàn)證

通過基于EAIDK的智能煤矸分揀系統(tǒng)采集100組數(shù)據(jù)，每組包含100張圖像，原始圖像預(yù)處理后送入VGG16模型進(jìn)行訓(xùn)練，模型平均訓(xùn)練時間為10 min，利用訓(xùn)練完的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行矸石識別和分揀。模型的訓(xùn)練在服務(wù)器端進(jìn)行，使用AI高性能計(jì)算(Alibaba Cloud HPC)平臺完成。由于模型只需訓(xùn)練一次，所付出的時間代價是可接受的。經(jīng)平臺處理后的矸石識別圖像如圖4所示。矸石識別準(zhǔn)確率曲線如圖5所示?？梢钥闯觯肥R別準(zhǔn)確率穩(wěn)定保持在95%以上。

圖4 經(jīng)平臺處理后的矸石識別圖像

圖5 矸石識別準(zhǔn)確率曲線

在河南神火集團(tuán)薛湖選煤廠進(jìn)行了系統(tǒng)測試，得出視覺系統(tǒng)的平均工作周期為110 ms，選煤廠自動機(jī)械臂響應(yīng)跟蹤時間小于30 ms，執(zhí)行誤差為1 mm左右，可以滿足分揀工藝要求。

5 結(jié)語

設(shè)計(jì)了基于EAIDK的智能煤矸分揀系統(tǒng)，利用EAIDK-610平臺作為控制中心，通過視覺系統(tǒng)實(shí)現(xiàn)圖像采集與處理，并采用機(jī)械臂實(shí)現(xiàn)矸石分揀。該系統(tǒng)矸石識別準(zhǔn)確率高，機(jī)械臂跟蹤時間短，執(zhí)行誤差小。該系統(tǒng)存在的主要問題是當(dāng)原煤含矸量較高時，系統(tǒng)響應(yīng)受限，此外，由于自然光源和燈光等干擾，增加了圖像處理難度，圖像檢測模型的訓(xùn)練時間也較長，下一步工作將集中于提高系統(tǒng)響應(yīng)速度，進(jìn)一步提高矸石識別率，并完善實(shí)時追蹤系統(tǒng)。