趙明輝

(1.中煤科工集團(tuán)上海有限公司， 上海 200030；2.同濟(jì)大學(xué) 電子與信息工程學(xué)院， 上海 201804)

0 引言

煤炭開(kāi)采過(guò)程中混有大量矸石，將矸石從煤炭中分選出來(lái)是煤炭生產(chǎn)環(huán)節(jié)重要的組成部分。傳統(tǒng)的煤矸石分選主要依靠人工，存在分選效率低、勞動(dòng)強(qiáng)度大等問(wèn)題。隨著圖像處理技術(shù)的快速發(fā)展，圖像識(shí)別逐漸應(yīng)用到煤矸石分選環(huán)節(jié)中[1-2]。傳統(tǒng)的煤矸石圖像識(shí)別方法對(duì)圖像進(jìn)行濾波、邊緣檢測(cè)和分割等處理，基于灰度、紋理等特征區(qū)分煤和矸石[3-5]。然而在實(shí)際應(yīng)用過(guò)程中，輸送帶磨損會(huì)給視覺(jué)檢測(cè)帶來(lái)嚴(yán)重噪聲，定位煤或矸石時(shí)會(huì)出現(xiàn)目標(biāo)區(qū)域過(guò)大或過(guò)小的情況，導(dǎo)致目標(biāo)區(qū)域出現(xiàn)過(guò)多輸送帶背景或丟失邊緣信息，影響煤矸石識(shí)別準(zhǔn)確率。本文將深度學(xué)習(xí)引入煤矸石圖像識(shí)別，利用深度學(xué)習(xí)進(jìn)行目標(biāo)檢測(cè)，定位目標(biāo)在圖像中的位置，再依據(jù)圖像灰度直方圖的三階矩特征參數(shù)對(duì)煤矸石進(jìn)行分類，從而提高煤矸石識(shí)別準(zhǔn)確率。

1 煤矸石識(shí)別方法

1.1 深度學(xué)習(xí)網(wǎng)絡(luò)

利用深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測(cè)時(shí)，每個(gè)檢測(cè)框只能檢測(cè)1個(gè)目標(biāo)，如果2個(gè)目標(biāo)同時(shí)落在1個(gè)檢測(cè)框中，也只能檢測(cè)到1個(gè)目標(biāo)。通過(guò)引入anchor boxes可實(shí)現(xiàn)多目標(biāo)檢測(cè)，但增加了深度學(xué)習(xí)網(wǎng)絡(luò)的復(fù)雜程度，導(dǎo)致訓(xùn)練過(guò)程收斂速度慢、網(wǎng)絡(luò)計(jì)算能力降低等問(wèn)題[6-7]。深度學(xué)習(xí)網(wǎng)絡(luò)CornerNet只需通過(guò)檢測(cè)bounding box的左上角關(guān)鍵點(diǎn)和右下角關(guān)鍵點(diǎn)來(lái)實(shí)現(xiàn)目標(biāo)檢測(cè)，消除了對(duì)anchor boxes的需求。但CornerNet網(wǎng)絡(luò)在COCO數(shù)據(jù)集上測(cè)試的平均單幀推理時(shí)間為1.147 s[8]，不能滿足實(shí)時(shí)性要求。

CornerNet-Lite是在CornerNet基礎(chǔ)上進(jìn)行優(yōu)化，具體分為CornerNet-Saccade和CornerNet-Squeeze。CornerNet-Saccade通過(guò)降采樣減少像素量，同時(shí)使用多尺度的卷積，從而降低推理量，提高計(jì)算精度。CornerNet-Saccade在COCO數(shù)據(jù)集上測(cè)試，平均每張圖耗時(shí)190 ms且平均精度達(dá)43.2%[9]，適用于離線計(jì)算，準(zhǔn)確率高。CornerNet-Squeeze通過(guò)減少每個(gè)像素的計(jì)算量來(lái)提高計(jì)算速度，在Hourglass卷積層將第1層residual block替換為SqueezeNet中的Fire Module，第2層3×3標(biāo)準(zhǔn)卷積替換為MobileNet 3×3深度可分離卷積。CornerNet-Squeeze在COCO數(shù)據(jù)集上測(cè)試，平均每張圖耗時(shí)30 ms且平均精度達(dá)34.4%[9]。由此可見(jiàn)，CornerNet-Saccade是在提高準(zhǔn)確率的情況下兼顧計(jì)算速度，即準(zhǔn)確率優(yōu)先，而CornerNet-Squeeze是在提高計(jì)算速度的情況下兼顧準(zhǔn)確率，即速度優(yōu)先。

在實(shí)際生產(chǎn)中，輸送帶運(yùn)行速度較快，為保證煤矸石能夠被快速識(shí)別，本文采用CornerNet-Squeeze網(wǎng)絡(luò)對(duì)煤矸石進(jìn)行目標(biāo)檢測(cè)，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

1.2 灰度特征選取

常用的灰度直方圖統(tǒng)計(jì)特征參數(shù)包括均值、方差、三階矩和熵[10-11]。

均值反映圖像的總體亮度，其表達(dá)式為

(1)

式中：i為灰度級(jí)；Pi為第i個(gè)灰度級(jí)出現(xiàn)的概率。

圖1 CornerNet-Squeeze網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure of CornerNet-Squeeze

方差反映圖像的灰度在數(shù)值上的離散分布情況，其表達(dá)式為

(2)

三階矩反映圖像直方圖分布的不對(duì)稱程度，其表達(dá)式為

(3)

熵反映圖像包含的信息量大小，其表達(dá)式為

(4)

在實(shí)驗(yàn)室條件下，選取50張以輸送帶為背景的煤和矸石圖像，統(tǒng)計(jì)煤與矸石圖像灰度直方圖的均值、方差、三階矩和熵等特征參數(shù)，結(jié)果見(jiàn)表1?？煽闯雒汉晚肥瘓D像的三階矩特征差異最明顯，因此本文選取三階矩作為煤矸石分類的依據(jù)。

表1 煤和矸石圖像灰度直方圖統(tǒng)計(jì)特征參數(shù)Table 1 Statistical characteristic parameters of gray histogram of coal-gangue images

1.3 煤矸石識(shí)別流程

煤矸石識(shí)別流程如圖2所示。采集的圖像經(jīng)過(guò)裁切、去噪、灰度化等預(yù)處理后，利用訓(xùn)練好的CornerNet-Squeeze深度學(xué)習(xí)模型判斷圖像內(nèi)是否存在待檢測(cè)的煤或矸石，若存在則定位煤或矸石在圖像中的位置，然后對(duì)定位區(qū)域進(jìn)行灰度直方圖分析，根據(jù)三階矩特征參數(shù)判定是煤還是矸石。

2 實(shí)驗(yàn)驗(yàn)證

為驗(yàn)證本文方法的有效性，以煤矸石分選機(jī)器人系統(tǒng)為實(shí)驗(yàn)平臺(tái)。該系統(tǒng)主要由圖像采集系統(tǒng)、工控機(jī)、機(jī)械臂控制器及機(jī)械臂組成，如圖3所示。圖像采集系統(tǒng)獲得輸送帶上煤及矸石圖像，并通過(guò)以太網(wǎng)發(fā)送給工控機(jī)；工控機(jī)對(duì)圖像進(jìn)行分析處理，經(jīng)串口發(fā)送指令給機(jī)械臂控制器，控制多組機(jī)械臂將輸送帶上的矸石從煤流中靶取到矸石洞中[12-14]，實(shí)現(xiàn)煤矸石自動(dòng)分選。圖像采集系統(tǒng)采用視覺(jué)暗箱降低外部環(huán)境光照對(duì)圖像特征變化的影響，并通過(guò)大功率LED表面光源及光源控制器提供均勻穩(wěn)定的照明環(huán)境。過(guò)低像素的圖像容易造成關(guān)鍵信息丟失，而過(guò)高像素的圖像不利于數(shù)據(jù)傳輸及處理，因此采用Rosa系列千兆網(wǎng)工業(yè)相機(jī)，采集的圖像為200萬(wàn)像素[15]。

圖2 煤矸石識(shí)別流程Fig.2 Flow of coal-gangue identification

圖3 煤矸石分選機(jī)器人系統(tǒng)組成Fig.3 Composition of coal-gangue separation robot system

調(diào)用在Ubuntu下訓(xùn)練好的CornerNet-Squeeze深度學(xué)習(xí)模型文件，加載到工控機(jī)的視覺(jué)軟件中，進(jìn)行煤矸石識(shí)別實(shí)驗(yàn)。實(shí)驗(yàn)配置：1080 Ti GPU，Intel Core i7-8700K CPU，Ubuntu 16.04操作系統(tǒng)，PyTorch 1.0.0深度學(xué)習(xí)框架，CUDA 9.0。

2.1 圖像數(shù)據(jù)集

選取大同煤礦集團(tuán)有限責(zé)任公司同忻礦的煤矸石，共拍攝1 845張圖像，其中煤1 249張，矸石596張。為提高數(shù)據(jù)集容量、解決數(shù)據(jù)集不平衡問(wèn)題，對(duì)現(xiàn)有圖像進(jìn)行鏡像、旋轉(zhuǎn)等正則變換后，共得到7 380張圖像，其中7 196張作為訓(xùn)練集，184張作為測(cè)試集。對(duì)訓(xùn)練集的圖像進(jìn)行打標(biāo)簽處理，即將每張圖像的目標(biāo)區(qū)域用矩形框選出并標(biāo)注分類信息，標(biāo)記矩形框4個(gè)頂點(diǎn)的坐標(biāo)，對(duì)應(yīng)于csv文件中的第1行，其編碼格式為UTF-8。

2.2 參數(shù)設(shè)置

CornerNet-Squeeze網(wǎng)絡(luò)模型參數(shù)設(shè)置：batch_size為32；初始學(xué)習(xí)率為0.000 25；學(xué)習(xí)衰減因子為10；優(yōu)化器為adam；隊(duì)列預(yù)取數(shù)據(jù)量為5；soft-NMS閾值為 0.5。

2.3 實(shí)驗(yàn)結(jié)果分析

分別采用傳統(tǒng)的煤矸石圖像識(shí)別方法和本文方法對(duì)圖像中目標(biāo)進(jìn)行檢測(cè)，結(jié)果如圖4所示，可看出本文方法能準(zhǔn)確定位被檢測(cè)目標(biāo)。

(a) 傳統(tǒng)的煤矸石圖像識(shí)別方法

(b) 本文方法

利用測(cè)試集對(duì)傳統(tǒng)的煤矸石圖像識(shí)別方法和本文方法的識(shí)別準(zhǔn)確率和識(shí)別速度進(jìn)行比較，結(jié)果見(jiàn)表2?？煽闯霰疚姆椒ㄗR(shí)別準(zhǔn)確率高，且實(shí)時(shí)性好。

表2 煤矸石識(shí)別準(zhǔn)確率和識(shí)別速度對(duì)比Table 2 Comparison of identification accuracy and identification speed of coal-gangue

3 結(jié)語(yǔ)

提出了一種煤矸石識(shí)別方法。該方法使用深度學(xué)習(xí)網(wǎng)絡(luò)模型CornerNet-Squeeze對(duì)煤矸石進(jìn)行目標(biāo)檢測(cè)，再依據(jù)圖像灰度直方圖的三階矩特征參數(shù)對(duì)煤矸石進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明，該方法能有效提高煤矸石目標(biāo)定位精度，避免因輸送帶磨損造成的背景干擾問(wèn)題，保證煤矸石能夠被快速識(shí)別，提高煤矸石識(shí)別準(zhǔn)確率。