張釋如，朱 萌

(西安科技大學(xué) 通信與信息工程學(xué)院，陜西 西安 710054)

煤矸分選是將煤和矸石在采煤或洗煤過程中分選出來。傳統(tǒng)方法有人工法、跳汰法、浮選法等。近幾年陸續(xù)提出了基于射線和圖像的方法，前者速度快，但難以控制且輻射強(qiáng)度大[1]。隨著機(jī)器視覺技術(shù)成為礦物識別的研究熱點(diǎn)，基于圖像的方法得到了迅速發(fā)展[2]，但仍存在一些問題。一方面利用煤矸圖像空間域信息，在特定環(huán)境可進(jìn)行有效分類，但模型穩(wěn)定性有待改進(jìn)；另一方面利用圖像特征提取方法結(jié)合機(jī)器學(xué)習(xí)，一定條件下能解決煤矸分類問題，但有效的特征較難確定，且模型泛化能力較差[3]。

為改進(jìn)這些問題，相關(guān)研究[4-7]采用深度學(xué)習(xí)的目標(biāo)檢測算法及圖像分類方法實現(xiàn)了多目標(biāo)圖像中煤矸的自動分類。然而，在該領(lǐng)域已有的煤矸特征提取及選擇方法仍存在一些問題[8，9]。DOU[10]等提取了19個煤矸圖像特征，利用SVM識別最優(yōu)特征構(gòu)造分類模型，驗證了模型的分類效果，但特征提取及選擇工作上仍存在局限：提取的特征可能存在冗余而影響特征表達(dá)、消耗更多時間；特征選擇只使用Relief，而單一特征選擇算法不能得到最優(yōu)子集[11]。故本文做出了改進(jìn)。特征提取方面，引入了LBP(Local Binary Patterns，局部二值模式)局部紋理特征，并與GLCM(Gray Level Co-occurrence Matrix，灰度共生矩陣)全局特征結(jié)合能更好地表達(dá)圖像紋理[12]；特征選擇方面，提出了一種結(jié)合Relief、MRMR(Max-Relevance and Min-Redundancy，最大相關(guān)最小冗余)及SVM的混合式特征選擇方法。在兩個煤矸數(shù)據(jù)集進(jìn)行多次試驗，驗證了該方法的有效性。

1 特征提取

機(jī)器視覺的煤矸自動分選中，特征提取是后續(xù)工作的基礎(chǔ)，故提取紋理和顏色特征為主要分類依據(jù)。

1.1 紋理特征

GLCM能較好地反映圖像灰度關(guān)于方向和像素間隔的信息，但缺乏局部特征的描述，LBP從局部像素描述紋理，將二者結(jié)合能提高煤矸分類的準(zhǔn)確性[13]。故共提取了4個GLCM和10個LBP紋理特征。采用4個間隔像素和角度的GLCM，提取了角二階矩(ASM)、對比度(CON)、逆差矩(HOMO)、熵(ENT)的煤矸圖像紋理特征，由式(1)-式(4)給出定義。

角二階矩反映紋理粗細(xì)，值越大則紋理越粗。

(1)

對比度反映圖像清晰度及紋理強(qiáng)弱，值越大則紋理溝紋越深、圖像越清晰。

(2)

逆差矩是圖像局部灰度均衡性的度量，值越大表示局部灰度變化越小。

(3)

熵反映圖像紋理復(fù)雜度，值越大紋理越復(fù)雜。

(4)

式中，i，j表示圖像中任意兩點(diǎn)的灰度值；p(i，j)表示i，j同時出現(xiàn)的概率；L表示灰度最大取值。

LBP通過比較圖像任意一點(diǎn)與周圍點(diǎn)的灰度值大小表征局部紋理。圓形LBP的定義由式(5)給出。

(5)

式中，s(x)為單位階躍函數(shù)；R為鄰域半徑；P為等間隔分布在半徑為R的圓上的鄰域像素點(diǎn)的個數(shù)，gc為鄰域中心點(diǎn)的灰度值；gp是周圍鄰域點(diǎn)的灰度值。

對圓形LBP降維處理得到等價LBP，其使用較少的模式數(shù)可表達(dá)圖像的大部分紋理，在特征提取中應(yīng)用廣泛。故采用了半徑為1，鄰域像素數(shù)為8的等價LBP，提取過程為：①將圖像每個像素依次看作中心點(diǎn)，與周圍8個像素點(diǎn)的灰度值比較，若大于中心點(diǎn)像素值，則標(biāo)記該像素點(diǎn)為1，否則為0。經(jīng)比較得到8位二進(jìn)制數(shù)，即是該中心點(diǎn)的LBP編碼值；②統(tǒng)計圖像中所有LBP編碼值出現(xiàn)的頻次，并對編碼區(qū)間等間隔量化成10段，得到LBP直方圖，10個區(qū)間對應(yīng)10個LBP特征。

1.2 顏色特征

采用HSV顏色空間的色相(H)、飽和度(S)和明度(V)分量的三階矩，提取了9個顏色矩特征，由式(6)-式(8)計算。另外，灰度分量的三階矩也可以作為顏色特征，式(9)給出計算。因此，共提取12個顏色特征。

(6)

(7)

(8)

Gary=0.2989R+0.5870G+0.1141B

(9)

式中，pi，j表示彩色圖像的第i個顏色通道中灰度為j的像素出現(xiàn)的概率；N表示圖像的像素個數(shù)。

另外，式(9)給出灰度分量的計算，提取它的3階矩也作為顏色特征，因此共提取12個顏色特征。

綜上，對煤和矸石圖像共提取26個特征用于分類，其中包含14個紋理和12個顏色特征見表1。

表1 煤和矸石圖像表面特征提取

2 特征選擇

特征選擇通過剔除數(shù)據(jù)集冗余的特征，以減少特征數(shù)量、提高模型精確度。通常，特征選擇方法分為兩類[14]：過濾式方法，先按某種規(guī)則過濾初始特征，再用過濾后的特征訓(xùn)練學(xué)習(xí)器；封裝式方法，使用學(xué)習(xí)器的性能作為特征選擇的評價依據(jù)，選出最有利于學(xué)習(xí)器性能的特征子集[15]。

2.1 Relief算法

Relief算法是一種多變量過濾式特征選擇方法。用于二分類實現(xiàn)特征選擇的過程為：①從訓(xùn)練集隨機(jī)采樣一個樣本M，并在與M同類的樣本集尋找最近鄰樣本S，在與M異類的樣本集尋找最近鄰樣本D；②根據(jù)該規(guī)則更新特征權(quán)重：如果M和S在某個特征的距離小于M和D的距離，說明該特征對區(qū)分同類和異類的最近鄰樣本有益，則增加特征權(quán)重，反之降低；③重復(fù)以上過程m次，求得每個特征的平均權(quán)重，其值越小表示特征的區(qū)分能力越弱。

2.2 MRMR算法

MRMR算法也是一種過濾式特征選擇方法，通過在特征空間最大化特征與類別的相關(guān)性，最小化特征間的冗余性實現(xiàn)特征選擇，由式(10)-式(12)表示。

(10)

(11)

maxφ(D，R)=D-R

(12)

式中，I(x，y)表示互信息函數(shù)；S表示特征集合，xi，xj表示各個特征；c表示目標(biāo)類別。式(10)計算特征與目標(biāo)類別間的相關(guān)性，式(11)計算特征間的冗余性，式(12)是目標(biāo)函數(shù)。

MRMR是一種啟發(fā)式貪心算法，不能保證特征子集全局最優(yōu)。為解決該問題，可采用NICOLAS等提出的集成MRMR[16]。

2.3 Relief-MRMR-SVM混合式特征選擇

Relief采用特征與類別間的關(guān)系賦予特征權(quán)重，沒有考慮特征間的相關(guān)性。集成MRMR同時考慮特征與類別間的相關(guān)性及特征間的冗余性，但選出的每個特征對分類器的貢獻(xiàn)是均勻的。將兩種算法結(jié)合可有效彌補(bǔ)相互的缺陷，得到更優(yōu)的特征子集。但兩個算法都屬于過濾式方法，分類準(zhǔn)確率較低，因此需與封裝式方法結(jié)合，利用分類器對特征子集進(jìn)行評價得到最優(yōu)特征子集，提高分類準(zhǔn)確率[17]。

綜合以上算法及兩種特征選擇方法的優(yōu)缺點(diǎn)，本文提出了一種結(jié)合Relief-MRMR-SVM的混合式特征選擇方法，工作流程如圖1所示。

圖1 Relief-MRMR-SVM混合式特征選擇方法的工作流程

3 實驗與分析

3.1 數(shù)據(jù)來源

本文采用的煤和矸石來自于銅川陳家山煤礦。首先在實驗室固定光照和相機(jī)高度下，以膠帶輪為背景采集煤和矸石的圖像。按煤矸的大、小尺寸分別進(jìn)行批量裁剪及預(yù)處理，經(jīng)篩選保留了300張(煤130張、矸石170張)大尺寸(640×480)和400張(各200張)小尺寸(150×120)的圖像，樣例如圖2所示；然后應(yīng)用設(shè)計的特征分別對兩組圖片特征提取，得到對應(yīng)含26個特征的數(shù)據(jù)集。為消除特征間的量綱誤差，采用式(13)對數(shù)據(jù)集歸一化處理。為便于區(qū)分，將大、小尺寸煤矸圖像數(shù)據(jù)集分別記為數(shù)據(jù)集A和B。實驗對兩組數(shù)據(jù)集均按7∶3劃分訓(xùn)練和測試集。數(shù)據(jù)集A中，210個樣本為訓(xùn)練集，90個樣本為測試集；數(shù)據(jù)集B中，280個樣本為訓(xùn)練集，120個樣本為測試集。

圖2 煤和矸石樣例圖像(左為煤，右為矸石)

(13)

式中，x表示特征取值。

3.2 特征選擇學(xué)習(xí)器的確定

在默認(rèn)參數(shù)下使用支持向量機(jī)、K近鄰、決策樹、隨機(jī)森林這4種常用分類模型，對數(shù)據(jù)集A進(jìn)行分類評估得到PR和AUC曲線如圖3所示，對比得最適宜該數(shù)據(jù)集的模型是支持向量機(jī)，其在未做任何特征處理情況下AUC值達(dá)0.92。

圖3 分類學(xué)習(xí)器的對比

3.3 LBP紋理特征驗證

隨機(jī)抽樣一組煤和矸石的圖片，畫出LBP直方圖如圖4所示，兩者LBP特征之間存在顯著差別，初步認(rèn)為LBP可用作煤和矸石分類的重要紋理特征。

圖4 煤和矸石的LBP直方圖

在確定最佳分類模型SVM后，對去掉和保留LBP特征的數(shù)據(jù)集A分類結(jié)果見表2，可得在保留LBP特征時，準(zhǔn)確率和AUC值均明顯更高，再次驗證了LBP特征對煤矸分類的重要作用。

表2 LBP特征對煤矸分類的影響

3.4 Relief-MRMR-SVM特征選擇及模型訓(xùn)練

按圖1特征選擇的工作流程，進(jìn)行如下實驗。

1)輸入原始?xì)w一化訓(xùn)練集，使用Relief算法計算各特征權(quán)重如圖5所示，(a)和(b)對應(yīng)數(shù)據(jù)集A和B。數(shù)據(jù)集A設(shè)置閾值0.07，剔除末尾7個特征，數(shù)據(jù)集B設(shè)置閾值0.06，剔除8個特征，得到各自候選特征子集。

圖5 Relief特征權(quán)重

2)采用集成MRMR算法對候選特征子集做進(jìn)一步處理：對歸一化數(shù)據(jù)集進(jìn)行4次有放回重復(fù)抽樣，利用MRMR算法分析得到的特征排序見表3。

表3 MRMR的4組特征排序子集

3)根據(jù)4組特征排序，結(jié)合構(gòu)建的PSO-SVM模型，逐個引入特征變量計算分類準(zhǔn)確率的結(jié)果如圖6所示。通過對比，(a)中數(shù)據(jù)集A上特征排序2是最優(yōu)的，(b)中數(shù)據(jù)集B上特征排序1是最優(yōu)的。

由圖6的最優(yōu)特征排序，結(jié)合表1和3得，數(shù)據(jù)集A上前7個特征構(gòu)成最優(yōu)特征子集，即(V1、LBP6、V3、H1、ASM、H2、S2)，最高準(zhǔn)確率為96.6667%，此時PSO-SVM得到的最佳模型參數(shù)為C=2.5167，gamma=1.1884；數(shù)據(jù)集B上前9個特征(LBP6、V1、S3、H1、H2、V2、V3、ENT、Gary1)構(gòu)成數(shù)據(jù)集B的最優(yōu)特征子集，最高準(zhǔn)確率為95.3571%，最佳模型參數(shù)為C=4.1821，gamma=1.2723。

圖6 不同特征子集下煤矸分類準(zhǔn)確率的對比

4)為進(jìn)一步驗證本文特征選擇方法的有效性，在兩個數(shù)據(jù)集上，表4中將本文方法與文獻(xiàn)[11]采用單一的特征選擇方法進(jìn)行了對比；圖7對比了4種特征選擇方法(不進(jìn)行特征選擇、只進(jìn)行MRMR特征選擇、只進(jìn)行Relief特征選擇、本文特征選擇)對分類準(zhǔn)確率的影響。

表4 與文獻(xiàn)[11]所采用特征選擇方法的對比

圖7和表4的結(jié)果顯示，采用本文特征選擇方法能選出更優(yōu)特征子集，即在選擇出較少特征下能達(dá)到最高分類準(zhǔn)確率；另外，該方法剔除了更多冗余特征，數(shù)據(jù)量減少，計算時間減少，從而提高了煤矸分類的效率。表4顯示特征選擇階段用時較長，這是由于Relief算法本身計算權(quán)重所需時間長，但這并不妨礙模型的應(yīng)用。在同一煤礦上，采集部分煤矸圖像，提取特征并篩選后，事先訓(xùn)練得到最優(yōu)特征子集和最佳分類模型，測試模型較穩(wěn)定后，可直接使用訓(xùn)練好的模型進(jìn)行分類應(yīng)用，其僅需極少的時間，見表4中粗體顯示。

圖7 不同特征選擇方法下煤矸分類準(zhǔn)確率的對比

3.5 模型評估

將最佳參數(shù)模型與特征選擇得到的最優(yōu)特征子集排序應(yīng)用于測試集進(jìn)行分類評估，如圖8所示。在測試集A上分類準(zhǔn)確率達(dá)到95.56%，與未做特征選擇及參數(shù)優(yōu)化前的測試集分類準(zhǔn)確率(91.11%)相比，提高了4.45%；在測試集B上分類準(zhǔn)確率達(dá)到93.33%。

圖8 測試集上分類準(zhǔn)確率的評估

以上是隨機(jī)選擇訓(xùn)練集和測試集樣本的單次試驗，可能存在偶然性，因此對原始樣本集分別進(jìn)行3次隨機(jī)取樣得到測試集，依次進(jìn)行分類評估，結(jié)果見表5，可得在數(shù)據(jù)集A和B上平均準(zhǔn)確率分別達(dá)到96.12%和94.17%。

表5 基于最優(yōu)模型和子集的4組隨機(jī)煤矸分類試驗

4 結(jié) 論

1)針對機(jī)器學(xué)習(xí)的煤矸圖像分類領(lǐng)域已有的特征提取及選擇方法仍存在的局限做出了改進(jìn)。特征提取方面，引入了LBP局部紋理，共提取26個特征；特征選擇方面，提出了Relief-MRMR-SVM混合式特征選擇方法來識別更優(yōu)的煤矸圖像特征子集。

2)實驗顯示，該方法在兩個數(shù)據(jù)集的平均分類準(zhǔn)確率分別達(dá)到96.12%和 94.17%，與單一的特征選擇方法對比，該方法在更少特征下達(dá)到最高分類準(zhǔn)確率，有效剔除冗余特征，提高煤矸分類效率。

3)目前，該方法不能像基于深度學(xué)習(xí)的目標(biāo)檢測算法進(jìn)行端到端的定位。受文獻(xiàn)[4]啟示，下一步將與目標(biāo)檢測算法結(jié)合對煤矸實時分類做進(jìn)一步研究，即使用目標(biāo)檢測算法定位出煤矸在多目標(biāo)圖像中的位置，然后對定位區(qū)域使用本文方法提取并選出最優(yōu)特征，進(jìn)而實現(xiàn)準(zhǔn)確且高效的煤矸分類。