保 江，謝永芳，劉金平，唐朝暉，艾明曦

(1.中南大學自動化學院，湖南長沙 410083;2.湖南師范大學信息科學與工程學院，湖南長沙 410081)

1 引言

泡沫浮選是一種應(yīng)用廣泛的將有用礦物從礦石中分離出來的選礦方法，泡沫浮選的目的是得到較高品位的精礦[1]，進料條件的劇烈波動和浮選過程參數(shù)的急劇變化可能導(dǎo)致“沉槽”、“冒槽”等異常工況，最終導(dǎo)致礦物回收率降低，精礦品位不合格.因此，準確進行異常工況識別對整個浮選過程至關(guān)重要[2].

一直以來，操作工人依靠主觀經(jīng)驗通過觀察泡沫外觀判斷浮選工況.但浮選現(xiàn)場環(huán)境惡劣，勞動力強度大，人工判別的方式主觀性太強，缺乏客觀標準，使得人工觀測為主的礦物浮選過程難以穩(wěn)定在最優(yōu)運行狀態(tài)[3].機器視覺技術(shù)具有快速性、非接觸性等優(yōu)點，基于圖像處理的浮選過程監(jiān)控系統(tǒng)越來越受到重視[4].目前，國內(nèi)外學者利用圖像處理技術(shù)從泡沫圖像中提取出視覺特征，對浮選泡沫進行客觀描述，并將視覺特征應(yīng)用于浮選過程的工況識別.Peng等[5]針對與浮選性能相關(guān)的局部光譜特征形狀、大小無規(guī)則性，提出了一種基于多維主元分析的特征提取方法，并且將提取的特征應(yīng)用于銅粗選過程的病態(tài)工況識別;Zhao等[6]基于多尺度紋理特征和嵌入先驗知識K-Means對銻浮選過程故障狀態(tài)進行了分類識別;Lu等[7]提出了一種浮選泡沫圖像等效尺寸分布特征提取方法，提取一種新的浮選泡沫圖像特征-等效尺寸分布特征，并且將其應(yīng)用于銅浮選泡沫圖像分類識別;Supomo A等[8]通過自動控制泡沬流速來提高浮選礦物回收率，主要利用泡沫表面的單一特征關(guān)聯(lián)浮選過程的局部操作調(diào)整開展了研究.盡管以上采用機器視覺技術(shù)對泡沫的顏色、大小、紋理等表觀特征進行了研究，但都是基于清晰泡沫圖像進行特征提取，而銻粗選異常工況下的泡沫圖像存在離焦模糊，影響了圖像特征提取的準確度.因此，如何從模糊泡沫圖像中提取顯著、有效的視覺特征在銻粗選工況識別和性能預(yù)測中起著關(guān)鍵作用.

銻粗選作為銻浮選的首要工序，其首槽上安裝有泡沫圖像采集設(shè)備.因為圖像采集設(shè)備在安裝完成后焦距固定，當浮選過程出現(xiàn)“沉槽”、“冒槽”等現(xiàn)象時，泡沫圖像在離焦的影響下，存在不同程度的離焦模糊.根據(jù)圖像退化理論[9]，模糊核零范數(shù)和圖像復(fù)原前后的灰度平均梯度差能較好的反映圖像模糊程度.因此，如何獲取兩個復(fù)原圖像特征是本文研究的焦點之一.

泡沫層由大量單個氣泡聚集起來，氣泡表面視覺特征通常屬于經(jīng)典的隨機分布，這意味著一些隱含的特征難以描述和提取.從而，利用上面所提到的一些基于灰度圖像統(tǒng)計計算的特征提取方法會導(dǎo)致在特征提取過程中丟失一些圖像信息.同時，浮選過程通常隨時間變化，僅從少量圖像中提取的特征不能準確描述當前工況，從泡沫浮選現(xiàn)場收集的大量泡沫圖像未能得到充分利用.

深度學習在最近幾年的圖像識別難題中得到普遍應(yīng)用.深度神經(jīng)網(wǎng)絡(luò)通過大量數(shù)據(jù)和高性能并行計算技術(shù)，能夠克服以往的小批量數(shù)據(jù)和淺層網(wǎng)絡(luò)帶來的阻礙.將泡沫圖像直接輸入到深度神經(jīng)網(wǎng)絡(luò)提取深度視覺特征，可以避免以往人為提取特征和數(shù)據(jù)重建的復(fù)雜過程.Wang等人[10]使用從泡沫圖像提取的單個氣泡圖像的大量數(shù)據(jù)集構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)，使用所提出的兩步策略實現(xiàn)工況識別.

訓(xùn)練包含數(shù)百萬個參數(shù)的深度神經(jīng)網(wǎng)絡(luò)需要數(shù)百萬個標注樣本.比如ImageNet圖像分類數(shù)據(jù)集中有120萬標注圖片，所以才能將152層的ResNet模型訓(xùn)練到大約96.5%的準確率[11].在真實應(yīng)用中，很難收集到如此多的標注數(shù)據(jù).即使可以收集到，也需要花費大量人力物力.而且即使有海量的訓(xùn)練數(shù)據(jù)，要訓(xùn)練一個復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)也需要幾天甚至幾周的時間.為了解決標注數(shù)據(jù)和訓(xùn)練時間的問題，遷移學習方法應(yīng)運而生.其目標是將一個問題上訓(xùn)練好的模型通過合理的調(diào)整使其適用于另一個新的問題.遷移學習被應(yīng)用于解決不同的圖像分類問題[12-15].Chris Aldrich等人[16]基于遷移學習對AlexNet預(yù)訓(xùn)練模型進行微調(diào)實現(xiàn)泡沫圖像的4分類問題.由于礦石性質(zhì)與浮選工藝等的不同，不同浮選過程的泡沫呈現(xiàn)出具有明顯差別的狀態(tài).因此，針對不同的浮選對象，如何選取和調(diào)整深度神經(jīng)網(wǎng)絡(luò)，利用遷移學習來獲取深度視覺特征，再對深度視覺特征進行關(guān)鍵性特征選取是本文研究的焦點之二.

基于泡沫浮選中存在的上述問題，本文提出了一種基于圖像退化理論提取的復(fù)原圖像特征與基于深度神經(jīng)網(wǎng)絡(luò)提取的深度視覺特征融合的泡沫圖像異常工況識別方法.本文的其余部分安排如下:第2部分，異常工況分析以及整體方法流程;第3部分，基于圖像退化理論提取復(fù)原圖像特征，再基于深度神經(jīng)網(wǎng)絡(luò)與遷移學習提取深度視覺特征;第4部分，XGBoost機器學習算法以及關(guān)鍵性深度視覺特征篩選方法;第5部分，進行了實驗過程數(shù)據(jù)及實驗結(jié)果的分析;第6部分，進行了總結(jié)及進一步的討論.

2 異常工況分析及識別方法

因為浮選槽安裝的圖像采集設(shè)備焦距固定，浮選工況正常時，泡沫層在圖像采集設(shè)備的焦平面上，此時采集到的泡沫圖像通常較為清晰.當出現(xiàn)冒槽現(xiàn)象時，礦漿液位較高，大量礦化泡沫和礦漿外溢，流動速度較快，礦漿容易被帶到精礦里，從而導(dǎo)致精礦品位降低.而當出現(xiàn)沉槽現(xiàn)象時，礦漿液位偏低，泡沫在浮選槽的停留時間較短，泡沫層厚度增加，泡沫間的兼并時間變長，刮出來的泡沫較少.當出現(xiàn)沉槽或冒槽這樣的異常工況時，因為圖像采集設(shè)備不能自動變焦，所以此時泡沫層不在圖像采集設(shè)備的焦平面上，采集的泡沫圖像往往會因為離焦而產(chǎn)生不同程度的模糊.圖1為工業(yè)攝像機采集泡沫圖像時泡沫成像及離焦模糊示意圖.

本文首先基于圖像退化理論提取了模糊核零范數(shù)和灰度平均梯度差兩個復(fù)原圖像特征.因為復(fù)原圖像特征的表征能力有限，所以，再基于深度神經(jīng)網(wǎng)絡(luò)與遷移學習提取深度視覺特征，其中使用的InceptionResNetV1深度神經(jīng)網(wǎng)絡(luò)模型已經(jīng)在1400萬ImageNet數(shù)據(jù)集上進行了預(yù)訓(xùn)練.利用泡沫圖像數(shù)據(jù)對預(yù)訓(xùn)練模型進行微調(diào)后提取泡沫圖像深度視覺特征，最后，通過XGBoost進行關(guān)鍵性特征篩選，融合復(fù)原圖像特征進行工況分類.如圖2是銻粗選的線上、線下工況識別流程圖.

圖1 泡沫成像及離焦模糊示意圖Fig.1 Diagram of froth imaging and defocus blur

圖2 銻粗選工況識別流程圖Fig.2 Flow chart of working condition recognition for antimony roughly selected

3 泡沫圖像特征提取

本文首先基于圖像復(fù)原算法提取復(fù)原圖像特征，即模糊核零范數(shù)與灰度平均梯度差，再基于深度神經(jīng)網(wǎng)絡(luò)與遷移學習提取深度視覺特征.

3.1 復(fù)原圖像特征提取

大多數(shù)圖像復(fù)原算法如維納濾波復(fù)原、逆濾波復(fù)原等都是建立在對圖像的點擴散函數(shù)已知的前提下，而泡沫浮選過程中的成像條件復(fù)雜，導(dǎo)致點擴散函數(shù)無法精確得知，只能在模糊核未知的情況下根據(jù)模糊圖像的先驗知識來進行圖像盲復(fù)原.

3.1.1 模糊核零范數(shù)特征提取

本文首先提取模糊核零范數(shù)特征，提出了一種基于L0和L2正則項的模糊核估計方法.根據(jù)圖像金字塔理論[17]，由粗到細地從圖像金字塔的頂層至底層求解估計模糊核.圖3為模糊核估計整體流程圖.根據(jù)模糊模型y=k*x+n和貝葉斯理論p(x，k|y)∝p(y|x，k)p(x)p(k)可以得到模糊核估計模型[18]為

其中:y為初始模糊圖像，x為中間清晰圖像，*為卷積算子，k為模糊核，p(x)為中間清晰圖像的先驗知識，p(k)為模糊核的先驗知識，‖k*x-y‖為數(shù)據(jù)擬合項.在對模糊核進行估計時，采用交替迭代的方法來求解式(1)-(2)中的兩個未知量x和k，最終求解的x為中間清晰圖像，用于提高模糊核k的準確度.

圖3中根據(jù)圖像金字塔是否到達底層來決定交替迭代是否結(jié)束，其中圖像金字塔的層數(shù)為

其中:N為圖像金字塔的底層值，ks為模糊核的尺寸.

圖3 模糊核估計流程圖Fig.3 Flow chart of blur kernel estimation

因為梯度先驗可以有效的抑制振鈴效應(yīng)，并且清晰圖像的梯度圖像較為稀疏，模糊圖像的梯度圖像較為稠密[19].因此選用L0梯度先驗作為正則項，即

所以，中間清晰圖像的求解方程為

其中:‖?x‖0為L0正則項，λ為L0正則項參數(shù).

在清晰圖像的求解過程中，首先引入對應(yīng)于圖像梯度信息的輔助變量g=(gh，gv)T，其中:gh為水平分量，gv為垂直分量，再基于二次分裂的方法求解，即

當g初始化為全0矩陣時，中間清晰圖像的求解方程為

其中:F-1(·)，F(xiàn)(·)分別代表快速傅里葉反變換和快速傅里葉變換，為F(·)的復(fù)共軛算子，

?h，?v分別為水平微分算子和垂直微分算子.

當x確定時，通過逼近估計得到g的解為

根據(jù)數(shù)字圖像的成像機理和泡沫浮選的現(xiàn)場環(huán)境，當出現(xiàn)“冒槽”和“沉槽”這樣的異常工況時，工業(yè)攝像機因為泡沫表面高度發(fā)生變化導(dǎo)致對焦不準，雖然同時受到其他因素(噪聲、泡沫流速)的影響，但泡沫圖像的模糊類型主要為離焦模糊.而離焦模糊的模糊核理論上為一個高斯函數(shù)[20]，模型為

其中σ為高斯離焦參數(shù).因此，基于模糊核先驗知識的L2正則項為

則由式(2)和式(10)可知，模糊核的求解方程為

對給定的中間清晰圖像，在梯度空間求解式(11)得到模糊核k，其解為

得到估計模糊核之后，對模糊核進行優(yōu)化處理.優(yōu)化處理包括:針對模糊核的非負特性，將模糊核中負值元素設(shè)為0;針對模糊核的連續(xù)特性，保留模糊核的主要結(jié)構(gòu)，剔除分支;針對模糊核的能量守恒特性，對模糊核進行歸一化處理，使元素和等于1.圖4是采用以上方法得到的不同工況下的模糊核.

圖4 不同工況下的模糊核Fig.4 Blur kernel under different working conditions

通過統(tǒng)計模糊核中的非零元素個數(shù)即可得到模糊核零范數(shù)統(tǒng)計特征‖k‖0.

3.1.2 灰度平均梯度差特征提取

在第3.1.1節(jié)中對模糊核進行了估計和優(yōu)化處理，接下來利用已估計出的模糊核對模糊泡沫圖像進行復(fù)原.本文采用L-R(Lucy-Richardson)算法對模糊泡沫圖像進行復(fù)原[21].該算法假設(shè)像素點滿足泊松分布，在貝葉斯條件概率模型的基礎(chǔ)上采用極大似然估計通過迭代的方式求解清晰圖像，其迭代方程為

其中:xj為原始圖像進行j次迭代，為退化圖像，y為估計模糊核，*為卷積運算.

然后采用無參考評價中的灰度平均梯度值(grayscale mean gradient，GMG)對泡沫復(fù)原圖像的質(zhì)量進行評價，其表達式為

其中:m，n分別為圖像的寬和高，fi，j為位置(i，j)的灰度值.通過式(14)得到復(fù)原前的灰度平均梯度值G1和復(fù)原后的灰度平均梯度值G2，從而得到復(fù)原前后的灰度平均梯度差ˉG

3.2 深度視覺特征提取

因為基于第3.1節(jié)提取的兩個復(fù)原圖像特征不足以描述異常工況的全部信息.為了往更深層次挖掘泡沫圖像特征，本文提出了基于InceptionResNetV1深度神經(jīng)網(wǎng)絡(luò)，利用遷移學習提取深度視覺特征.該方法利用一定量的泡沫圖像數(shù)據(jù)對在ImageNet公共數(shù)據(jù)集上預(yù)訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)模型進行微調(diào)，通過調(diào)整深度神經(jīng)網(wǎng)絡(luò)各層結(jié)構(gòu)，構(gòu)造不同的卷積核來提取不同層次的深度泡沫圖像特征.

3.2.1 InceptionResNetV1深度神經(jīng)網(wǎng)絡(luò)

InceptionResNetV1深度神經(jīng)網(wǎng)絡(luò)結(jié)合了ResNet深度神經(jīng)網(wǎng)絡(luò)和Inceptionv3深度神經(jīng)網(wǎng)絡(luò)各自的優(yōu)點.對于一張泡沫圖像，泡沫表面可能有大的泡沫也可能有小的泡沫，不同區(qū)域的泡沫形態(tài)不同.基于Inceptionv3的多卷積核特性，可以提取到非常全面的泡沫圖像特征信息.因為Inceptionv3網(wǎng)絡(luò)趨向于很深，所以結(jié)合ResNet的殘差連接特性，使用殘差連接替代濾波器的連結(jié)，這將在保持計算量基本不變的情況下，允許Inception充分利用殘差連接的優(yōu)點，保證網(wǎng)絡(luò)在層次較深時不會產(chǎn)生梯度消失或梯度爆炸現(xiàn)象.如圖5是其中的一個Inception-Res-Net-A模塊結(jié)構(gòu)圖.

圖5 Inception-ResNet-A模塊Fig.5 Module of Inception-ResNet-A

圖5中的1*3，3*1，3*3等多個卷積核可以提取到更完備的深度視覺特征.同時，殘差特性:

使網(wǎng)絡(luò)可以不用學習整個輸出，而是學習上一個網(wǎng)絡(luò)輸出的殘差，從而提高了網(wǎng)絡(luò)訓(xùn)練速度.圖中的直接連接部分保護信息的完整性，保證網(wǎng)絡(luò)的性能不會隨著深度增加而降低.

3.2.2 遷移學習

對于復(fù)雜的神經(jīng)網(wǎng)絡(luò)，參數(shù)多、訓(xùn)練樣本大，所以從頭開始訓(xùn)練一個深度神經(jīng)網(wǎng)絡(luò)非常慢.為此，提出了遷移學習.遷移學習的優(yōu)勢在于，從一項任務(wù)中學到的知識可以應(yīng)用于解決其他類似問題，從而可以節(jié)省大量的模型訓(xùn)練時間.其過程為指定一個確定域D，D={Ω，P(X)}，X={x1，x2，…，xn}，其中:Ω是特征空間，P(X)是邊際概率分布.給定確定域D的學習任務(wù)T，T={Y，F(xiàn)(*)}，其中:Y 是標簽空間，F(xiàn)(*)是從特征向量和標簽空間中學習到的目標函數(shù).具體的，給定源域DS及對應(yīng)的學習任務(wù)TS，同時給定目標域DT及對應(yīng)的學習任務(wù)TT.其中:DS/=DT，TS/=TT[22].遷移學習的目標在于利用從源域DS及對應(yīng)的學習任務(wù)TS中學習到的知識應(yīng)用于改進目標域DT中的目標函數(shù)FT(*).

3.2.3 基于深度神經(jīng)網(wǎng)絡(luò)與遷移學習的深度視覺特征提取

利用一定量的泡沫圖像數(shù)據(jù)對在ImageNet公共數(shù)據(jù)集上預(yù)訓(xùn)練好的InceptionResNetV1深度神經(jīng)網(wǎng)絡(luò)進行微調(diào).基于遷移學習思想，將權(quán)重參數(shù)傳送到本文的泡沫圖像分類任務(wù)中，使其擬合的目標函數(shù)接近于目標域目標函數(shù)，保證深度神經(jīng)網(wǎng)絡(luò)提取到較高性能的深度視覺特征.然后將微調(diào)后的深度神經(jīng)網(wǎng)絡(luò)模型作為特征提取器，提取深度視覺特征.如圖6是深度視覺特征提取過程.深度神經(jīng)網(wǎng)絡(luò)由多個不同深度的網(wǎng)絡(luò)層組成，這些網(wǎng)絡(luò)層能夠?qū)W習到具有不同抽象級別的圖像特征.圖7是不同網(wǎng)絡(luò)層提取到的不同級別的深度視覺特征圖譜，可見，隨著層數(shù)的增加，提取到的深度視覺特征越具有代表性.淺層網(wǎng)絡(luò)提取的是紋理、細節(jié)特征，深層網(wǎng)絡(luò)提取的是輪廓、形狀等強特征.

圖6 遷移學習過程Fig.6 Process of transfer learning

圖7 深度神經(jīng)網(wǎng)絡(luò)提取的淺層特征(左)、中間層特征(中)和深層特征(右)Fig.7 The deep visual features of Shallow feature(left)，middle layer feature(middle)and deep features(right)

4 XGBoost分類器及關(guān)鍵性特征篩選方法

XGBoost以梯度提升樹為基礎(chǔ)，將弱學習器以迭代的方式組合成更強的學習器[23].其決策流程圖如圖8所示.梯度提升樹每次迭代都是為了減小上一次迭代留下的殘差，以此來矯正整體學習器的偏差，優(yōu)化指定的損失函數(shù).同時，XGBoost在其損失函數(shù)中加入了正則項，起到了對決策樹(Tree)進行預(yù)剪枝的效果，從而防止模型過擬合，并且對目標函數(shù)進行了二階泰勒展開[24]來優(yōu)化目標函數(shù)，其目標函數(shù)如下:

圖8 XGBoost決策樹訓(xùn)練過程Fig.8 Decision tree training process of XGBoost

正則項與葉子節(jié)點數(shù)和葉子權(quán)值平方和有關(guān)，即

其中:γ和λ分別是L1和L2正則化系數(shù)，T是決策樹葉子節(jié)點數(shù)，w為各個葉子節(jié)點的輸出向量.L2正則可以降低模型過擬合風險，L1正則在數(shù)據(jù)維度極高時可以提高算法的運行速度.本文中的深度視覺特征維度較高，所以基于L1和L2正則來構(gòu)建模型.即

式中:gt和ht分別是損失函數(shù)的一階導(dǎo)數(shù)和二階導(dǎo)，C是常數(shù)項.

基于樹的集成算法在模型訓(xùn)練結(jié)束后可以輸出模型所使用的特征的相對重要度，便于做選擇特征.在XGBoost中，特征j的全局重要度通過特征j在單棵樹中的重要度的平均值來衡量:

其中M是樹的數(shù)量.特征j在單棵樹中的重要度?J2j(T)為

其中:L為樹的葉子節(jié)點數(shù)，L-1即為樹的非葉子節(jié)點數(shù)，vt是和節(jié)點t相關(guān)聯(lián)的特征，是節(jié)點t分裂之后平方誤差的減少量[25].

5 實驗結(jié)果與分析

首先解釋實驗數(shù)據(jù)來源以及數(shù)據(jù)集的劃分，然后分別對復(fù)原圖像特征和深度視覺特征的分離性進行分析討論.最后，將所提方法與傳統(tǒng)方法進行比較.

5.1 實驗數(shù)據(jù)

本文使用的數(shù)據(jù)是通過位于銻粗選單元上方約110 cm處的機器視覺系統(tǒng)以7.5 fps的幀速率收集的泡沫視頻.LED照明強度為1500，用于提供一致的照明，同時相機設(shè)置的蓋子進一步減少了環(huán)境光的干擾.

根據(jù)工業(yè)攝像機拍攝到的銻粗選圖像數(shù)據(jù)和現(xiàn)場實際要求，將泡沫圖像分為5種典型工況，即嚴重冒槽、輕微冒槽、正常、輕微沉槽、嚴重沉槽，如圖9所示.選取12200張標注圖像作為訓(xùn)練集，2000張作為測試集.在訓(xùn)練時把訓(xùn)練集切分為訓(xùn)練集和驗證集兩部分，8200張圖像作為訓(xùn)練集，2000張作為驗證集.

圖9 銻粗選典型工況泡沫圖像Fig.9 Typical abnormal condition froth images of antimony roughly selected

表1給出了在實驗中用到的數(shù)據(jù)集劃分情況.

表1 工況識別數(shù)據(jù)集劃分Table 1 Working condition identification data set division

5.2 特征分離性分析

5.2.1 復(fù)原圖像特征分離性分析

用一定數(shù)量的銻粗選工業(yè)現(xiàn)場數(shù)據(jù)分析模糊核零范數(shù)和灰度平均梯度差對不同工況的分離性，結(jié)果如圖10-11所示.通過分析可以看出，模糊核零范數(shù)與灰度平均梯度差都能夠比較明顯的區(qū)分出嚴重冒槽、嚴重沉槽和正常工況，而輕微冒槽和輕微沉槽因為與其他工況的分離邊界存在模糊因素，所以部分分離邊界存在交叉重疊現(xiàn)象.

可見，模糊核零范數(shù)和灰度平均梯度差兩個復(fù)原圖像特征對不同工況都有一定程度的分離性，因此，可以將其應(yīng)用到銻粗選異常工況的分類識別中.但部分邊界仍存在交叉重疊，分離邊界不明顯，對不同工況的表征能力有限.所以，本文往更深層次挖掘了深度視覺特征，來彌補復(fù)原圖像特征對異常工況的識別誤差，進一步提高工況識別準確率.

5.2.2 深度視覺特征分離性分析

將第3.2.3節(jié)中提取的高維深度視覺特征利用第4節(jié)中的特征重要性篩選方法進行降維，通過設(shè)置特征重要性閾值來篩選關(guān)鍵性特征.如圖12是利用InceptionResNetV1深度神經(jīng)網(wǎng)絡(luò)提取的特征重要度大于50的39個深度視覺特征.從圖中的分布來看，重要度較大的居于少數(shù)，基本上是層次比較深的視覺特征，重要度在100以下的特征居多.本文設(shè)置特征重要度閾值為50，將分類器中貢獻比較大的深度視覺特征選取出來，在一定程度上降低了高維深度視覺特征之間的冗余程度，結(jié)合不同重要度的深度視覺特征來進一步提高工況識別準確率.

圖10 模糊核零范數(shù)特征分離性Fig.10 Separation of blur kernel zero norm feature

圖11 灰度平均梯度差特征分離性Fig.11 Separation of gray mean gradient deviation feature

圖13是選取特征重要度排在前3的3個深度視覺特征進行特征分離性分析的二維平面散點圖.本文利用灰度、紋理粗糙度和顏色分量3個傳統(tǒng)手動特征與深度視覺特征進行對比.從圖中可以看出，灰度、紋理粗糙度和顏色分量等傳統(tǒng)特征可以合理地分離不同的工況類別.但相對于InceptionResNetV1深度神經(jīng)網(wǎng)絡(luò)提取的深度視覺特征，傳統(tǒng)手動特征對于5種工況的劃分仍有較大的交叉重疊區(qū)域，而深度視覺特征的特征空間能夠更好的描繪5個類別，特別是可以把嚴重沉槽與其他工況完全分離.

圖12 重要度大于50的深度視覺特征Fig.12 Deep visual features with importance greater than 50

圖13 深度視覺特征與傳統(tǒng)手動特征的特征分離性比較Fig.13 The feature separation between deep visual features and traditional manual features

5.3 不同方法的實驗結(jié)果比較

本文選取了4組不同的泡沫圖像特征來進行實驗結(jié)果比較.第1組是采用傳統(tǒng)算法提取的泡沫圖像特征，包括顏色、尺寸、粗糙度和速度等泡沫圖像特征;第2組是本文基于圖像退化理論提取的復(fù)原圖像特征;第3組是本文基于深度神經(jīng)網(wǎng)絡(luò)與遷移學習提取的深度視覺特征;第4組是融合了復(fù)原圖像特征和深度視覺特征的特征集.通過準確率和時間復(fù)雜度兩個方面對不同工況識別方法進行了分析比較.

5.3.1 準確率比較

通過采用3種不同的分類算法進行工況識別比較，分別是隨機森林、支持向量機、XGBoost.表2是不同特征組、不同分類算法組合下的工況識別結(jié)果.基于傳統(tǒng)圖像特征對3種分類算法進行比較，可以看出XGBoost的識別準確率要比隨機森林和支持向量機高一些.因為隨機森林在決策樹構(gòu)建過程中，其樣本和特征是隨機采樣的，最終的分類結(jié)果是基于bagging的集成學習思想進行投票表決，所以無法控制模型內(nèi)部的運行，只能在不同的參數(shù)和隨機種子之間進行嘗試，可能會有很多相似的決策樹掩蓋了真實的結(jié)果，在一定程度上導(dǎo)致模型的穩(wěn)定性欠缺.而支持向量機主要適用于小樣本學習，并且特征維度不能過高，然而本文研究的內(nèi)容數(shù)據(jù)樣本量大，再加上深度視覺特征的高維特性，無法像樹模型那樣進行特征的學習和選擇降維，所以支持向量機不適用于本文的大樣本高維度學習.

基于此，本文選擇使用Xgboost對剩下的3組特征集進行分類識別比較.從表2可以看出利用復(fù)原圖像特征和利用深度視覺特征的識別準確率差不多，整體識別準確率比利用傳統(tǒng)圖像特征高.最后融合復(fù)原圖像特征和深度視覺特征，可以看出識別準確率明顯高于前3組特征集的識別準確率.

表2 不同工況識別方法的準確率比較Table 2 Comparison of accuracy of different working conditions identification methods

5.3.2 時間復(fù)雜度比較

由于SVM借助二次規(guī)劃來求解支持向量，而求解二次規(guī)劃涉及階矩陣的計算(為樣本數(shù))，當較大時該矩陣的存儲和計算將耗費大量的機器內(nèi)存和運算時間.同時，SVM在多分類問題中，需要通過組合多個分類器來解決，在一定程度上增加了運算時間復(fù)雜度.隨機森林在決策樹訓(xùn)練過程中引入隨機行采樣和隨機列采樣.同時，每棵樹在構(gòu)建過程中相互獨立，所以可以實現(xiàn)高度并行化，故而時間復(fù)雜度優(yōu)于SVM.相比于前兩者，XGBoost在保持隨機行采樣和隨機列采樣特性的基礎(chǔ)上增加了特征粒度上的并行，即對特征值進行了預(yù)排序，實現(xiàn)多線程計算特征增益.同時，XGBoost還增加了近似直方圖算法，使樹的節(jié)點進行分裂時不需要計算每個分割點對應(yīng)的增益，而是通過直方圖算法獲得候選分割點的分布情況，然后根據(jù)候選分割點將連續(xù)的特征信息映射到不同的buckets中，并統(tǒng)計匯總信息，提高運算效率.表3是不同工況識別方法的時間復(fù)雜度比較，從前3組實驗結(jié)果對比來看，XGBoost具有明顯優(yōu)勢.

表3 不同工況識別方法的時間復(fù)雜度比較Table 3 Comparison of time complexity of different working conditions identification methods

最后一組實驗將復(fù)原圖像特征與深度視覺特征融合，特征維度高于傳統(tǒng)圖像特征，XGBoost運算時間復(fù)雜度有所增加，但由表2可知準確率有明顯提高.

6 結(jié)論

銻粗選異常工況識別是銻浮選全流程監(jiān)控的關(guān)鍵.本文結(jié)合銻粗選機理和圖像退化理論，分析了復(fù)原圖像特征在不同工況中的差異性.提出了一種基于L0和L2正則項的模糊核估計方法提取模糊核零范數(shù)特征，再基于圖像非盲復(fù)原機理提取灰度平均梯度差特征.考慮到復(fù)原圖像特征只能描述泡沫圖像表面的部分信息，對異常工況的表征能力不足，為了獲取泡沫圖像的深層信息，本文提出了基于深度神經(jīng)網(wǎng)絡(luò)與遷移學習的深度視覺特征提取方法，利用大量泡沫圖像數(shù)據(jù)對InceptionResNetV1深度神經(jīng)網(wǎng)絡(luò)進行微調(diào)，構(gòu)建特征提取器，進而提取深度視覺特征.最后，基于XGBoost機器學習算法，對深度視覺特征進行篩選后，融合復(fù)原圖像特征與深度視覺特征，對不同工況下的泡沫圖像進行分類識別.銻粗選實驗結(jié)果表明，該方法能夠有效降低樣本錯分率，提高銻粗選異常工況識別準確率.