趙亞棟,孫 濤,劉詠詩,孫 凱

齊魯工業(yè)大學(山東省科學院) 信息與自動化學院,山東 濟南 250353

浮選精礦品位是選礦生產過程中的一項重要品質指標,對指導該過程優(yōu)化生產和智能控制至關重要。傳統(tǒng)精礦品位測量一般采用人工離線取樣的化學分析法,該方法測量精度高,但操作復雜、獲取周期長,導致生產效率相對較低。

隨著自動化行業(yè)的快速發(fā)展,銅礦浮選過程中精礦品位的實時測量方法大都采用載流X射線熒光分析法[1]。然而,該方法不僅須實時校正分析過程,而且日常消耗較高,分析的測量誤差也相對較大,存在一定的時滯性,因此可采用軟測量的技術方法實現(xiàn)測量過程的實時控制。軟測量技術通過構造易于測量的過程變量與目標變量之間的數(shù)學關系建立數(shù)學模型,間接實現(xiàn)關鍵變量的有效估計,目前已廣泛應用于銅礦浮選過程的控制領域。

極限學習機(extreme learning machine,ELM)由于結構簡單、訓練成本較低,成為工業(yè)領域的研究熱點[2]。其通過隨機選取網(wǎng)絡輸入權值和隱藏層偏置來解析計算輸出權值,有效克服了傳統(tǒng)前饋神經網(wǎng)絡由于不適當?shù)膶W習步長而導致算法收斂速度慢、容易陷入局部最優(yōu)等問題。然而,實際工業(yè)過程生產狀態(tài)通常隨時間不斷地動態(tài)變化,標準ELM難以滿足在線實時應用的需求。為此,SINGH等[3]提出一種在線序列極限學習機(online sequential extreme learning machine,OS-ELM)的網(wǎng)絡模型。該算法首先通過小樣本訓練網(wǎng)絡初始輸出權值,然后依據(jù)增量學習過程中新增的樣本或樣本塊,對上一步求出的網(wǎng)絡輸出權值進行結構更新,以實現(xiàn)模型的在線校正。由于OS-ELM具備優(yōu)秀的在線學習能力,因此往往被應用于復雜工業(yè)過程的實時預測。

另一方面,在礦物浮選過程中存在冗余變量,且變量之間具備強相關性和耦合性,導致網(wǎng)絡訓練時間增大,降低了模型的泛化能力。非負絞殺(nonnegative garrote,NNG)算法可將變量選擇與回歸系數(shù)的優(yōu)化過程融為一體,在處理高維度和強耦合的建模問題時具有良好的效果[4]。文獻[5]將NNG算法與多層感知機(multilayer perceptron,MLP)相結合,提出一種基于變量選擇的MLP神經網(wǎng)絡模型,可用于復雜工業(yè)過程的離線建模。然而,在實際應用中,由于生產工況的不斷變化,工業(yè)過程參數(shù)常具有時變特征,所建離線模型性能會不斷下降,為保證生產過程關鍵參數(shù)的測量精度,必須在實際應用中對模型進行在線校正。

本文將NNG算法與OS-ELM相結合,提出一種基于OS-ELM及其輸入變量選擇的精礦品位在線軟測量算法(NNG-OSELM)。一方面利用OS-ELM算法對網(wǎng)絡輸出權值進行遞推更新,實現(xiàn)模型的在線更新;另一方面通過NNG算法的懲罰能力對輸入權值進行壓縮,篩選出相關變量,提高預測精度;最后將其成功應用于某礦企浮選過程銅礦品位的在線軟測量,并通過與不同算法的性能對比,驗證了算法的有效性。

1 工業(yè)背景

銅礦浮選是銅礦選礦工藝的重要環(huán)節(jié),精礦品位是銅礦浮選過程的一項重要檢測指標[6]。隨著自動化水平的快速發(fā)展,載流分析儀的應用解決了傳統(tǒng)人工測量礦漿品位過程中存在檢測耗費勞力過高,測量準確率低以及生產滯后的問題[7]。

BOXA型載流X熒光品位分析儀是一款在線礦漿品位實時測量儀器[8],可在線同時測量多種礦漿金屬品位。載流X熒光品位分析儀安裝了檢測波長屬性(分光晶體+半導體探測器)和能量屬性(能量通道)兩種檢測原件,檢測出的數(shù)值也分為波長色散和能量色散兩種數(shù)據(jù)[9],如圖1所示。

目前,載流X熒光品位分析儀已采用在線建模技術,但主要采用多元線性回歸的建模方法[10],忽略了變量之間的非線性和強耦合性,影響最終目標金屬品位的預測精度;另一方面,其采用離線訓練模型,難以適應生產條件的不斷變化,導致分析儀穩(wěn)定性不足。

2 NNG-OSELM算法設計

2.1 在線序列極限學習機

OS-ELM網(wǎng)絡是在ELM的基礎上提出的一種在線學習算法,可針對固定或變化的數(shù)據(jù)塊進行學習,僅需調節(jié)隱藏層節(jié)點數(shù),而無需遴選其他參數(shù),具有收斂速度快、泛化性能高的優(yōu)點,其網(wǎng)絡拓撲結構如圖2所示。

OS-ELM網(wǎng)絡訓練過程分為兩個階段:初始學習階段和在線學習階段。初始學習階段為ELM網(wǎng)絡訓練過程,對于任意的N個樣本(xj,tj)(j=1,2,…,N)其中xj=[xj1,xj2,…,xjn]T∈Rn,tj=[tj1,tj2,…,tjn]T∈Rm, 如果具有L個隱藏節(jié)點的網(wǎng)絡結構能夠以零誤差近似這個樣本,則表明存在αi,bi和βi有:

(1)

式中αi、bi分別為輸入層到隱藏層的隨機輸入權值和偏置,βi=[βi1,βi2,…,βim]T為隱含層到輸出層的第i個連接權值,當對隱藏層附加sigmoid激活函數(shù)時,G(αi,bi,xj)=g(αi·xj+bi),αi·xj表示兩者的內積。

(2)

(3)

在線學習階段通過新舊數(shù)據(jù)樣本塊更新網(wǎng)絡輸出權重。假設第k+1(k為數(shù)據(jù)塊的數(shù)量,初始k=0)塊訓練樣本進入到模型中,則:

(4)

隱藏層輸出矩陣Hk+1和輸出權重β(k+1)計算如下:

(5)

(6)

為避免遞歸過程求逆,將上式通過Woodbury[11]恒等式修改為:

(7)

(8)

(9)

2.2 NNG算法原理

NNG算法通過對輸入權值施加約束懲罰實現(xiàn)變量系數(shù)的壓縮,從而達到變量選擇和系數(shù)優(yōu)化的目的,對于線性子集回歸問題:

(10)

式中,x=[x1,x2,…,xn]T與y分別表示輸入、輸出變量,ω=[ω1,ω2,…,ωn]為系數(shù)矩陣,ε為隨機誤差。假設一組絞殺向量θ=[θ1,θ2,…,θn],然后應用于最小二乘(ordinary least squares,OLS)[12]可得:

(11)

(12)

s表示NNG算法的懲罰力度:當s≥n時,其約束條件|θ|

2.3 算法設計

NNG-OSELM算法共分為兩個階段,首先,通過訓練集得到較優(yōu)的ELM網(wǎng)絡作為初始結構模型。其次,將NNG算法的絞殺算子θ嵌入ELM輸入權重,重新建立新的ELM模型結構,公式計算如下:

(13)

式中,θ=[θ1,θ2,…,θn]為輸入向量的收縮系數(shù),最優(yōu)收縮向量θ*計算公式如下:

(14)

式(14)屬于非線性不等式約束優(yōu)化問題,通過置信域算法求解得到最優(yōu)收縮向量θ*。該算法是一種迭代算法,基本思想是通過當前迭代點vd的一個小鄰域,求解鄰域中的某個子問題得到試驗步sd,利用評價函數(shù)來決定是否接受該試驗步,確定信任域為下一次迭代。

(15)

(16)

(17)

(18)

更新后的輸出模型為:

(19)

2.4 NNG-OSELM超參數(shù)調優(yōu)與模型選擇

模型的超參數(shù)很大程度會影響模型的預測性能,因此對超參數(shù)調優(yōu)至關重要。NNG-OSELM算法采用枚舉法與交叉驗證(cross validation,CV)相結合的方法尋找最優(yōu)值,具體包括OS-ELM網(wǎng)絡的隱含層節(jié)點數(shù)以及NNG算法的絞殺參數(shù)。

2.4.1 OS-ELM超參數(shù)調優(yōu)

OS-ELM算法僅需確定隱藏層節(jié)點數(shù),首先根據(jù)先驗知識確定隱藏層節(jié)點數(shù)的候選置信取值范圍,然后采用窮舉法進行超參數(shù)尋優(yōu),獲取訓練最好的初始ELM網(wǎng)絡,采用均方誤差(mean square error,MSE)評價網(wǎng)絡性能,計算公式如下:

(20)

圖3 不同節(jié)點數(shù)的校驗誤差

2.4.2 絞殺參數(shù)調優(yōu)

在NNG-OSELM算法中,絞殺超參數(shù)s取值會影響算法的絞殺強度,其最優(yōu)值s*由線性等分向量s=[s1,s2,…,sv]枚舉后,通過CV尋找模型的最小校驗MSE,并結合最小化赤池信息準則(akaike information criterion,AIC)以求得最優(yōu)值s*。具體過程如下:

(1)數(shù)據(jù)集劃分。將數(shù)據(jù)集δ=(X,Y)均勻劃分為J塊子集δ={δ1,δ2,…,δJ},其中δF={δ1,δ2,…,δf}為訓練集,余下數(shù)據(jù)集δF+1={δf+1,δf+2,…,δJ}為驗證集,之后逐步向后選擇新的訓練集和驗證集,直至J-f折交叉驗證結束。

(2)模型驗證。首先利用訓練集獲得s不同取值下的各個NNG-OSELM模型,然后通過驗證集驗證各模型性能,最后由MSE評價模型性能。

(21)

(22)

式中s1=0為向量下限,sv=n為向量上限,v為向量中元素個數(shù)。

2.4.3 算法流程

步驟1 隨機采樣樣本數(shù)據(jù),然后將輸入變量做歸一化處理。處理后的數(shù)據(jù)前80%作為訓練集,用于模型的超參數(shù)調優(yōu),剩余20%作為測試集,用于在線更新測試。

步驟2 采用枚舉法對ELM網(wǎng)絡超參數(shù)進行尋優(yōu),獲取最優(yōu)隱含層節(jié)點數(shù),通過式(3)計算ELM網(wǎng)絡初始輸出權重β(0)。

步驟3 將懲罰向量θ應用于訓練好的ELM網(wǎng)絡,以建立新的ELM網(wǎng)絡優(yōu)化表達式。

步驟4 初始化s,f,K:令s←s1、f←5、J←10,對于當前s,f,J,由式(14)求得收縮算子θ。

步驟5 將收縮向量θ代入式(13)中,然后通過式(20)獲取當前測試集下的MSE。

步驟6 令f←f+1,若f

步驟7 通過以上步驟獲取測試集交叉驗證下MSE的平均值。

步驟9 令s←s+Δs,若s

步驟10 通過式(22)求解最優(yōu)值s*。

步驟11 通過步驟10所求得的s*計算式(14),獲取最優(yōu)收縮向量θ*=[θ1*,θ2*,…,θn*]。

步驟13 通過式(22)輸出最終預測模型Tk+1。

3 仿真結果及分析

3.1 仿真實驗設置

(1)候選變量選擇。仿真實驗以某實際銅礦浮選過程中載流X熒光品位分析儀測量銅品位的實際歷史數(shù)據(jù)為研究對象。經測量過程研究及數(shù)據(jù)分析,選擇其中15個輔助變量組成候選輸入變量集(表1)和1個目標變量(實驗室標定銅的樣品品位)共924組數(shù)據(jù)組成樣本集。

表1 銅品位浮選過程候選輸入變量

表1(續(xù))

(2)數(shù)據(jù)歸一化。在回歸數(shù)學模型中,自變量X的量綱不一致將會導致回歸系數(shù)無法直接解讀或者錯誤解讀,數(shù)據(jù)歸一化后可以加快模型的收斂速度,提高模型的預測精度,歸一化的計算公式如下:

(23)

式中xmin、xmax為x樣本數(shù)據(jù)的最小值和最大值,其結果映射在[0,1]之間。

(3)異常點檢測。在采集的工業(yè)的數(shù)據(jù)中,由于人工操作失誤或機器故障會導致異常點的產生,從而影響模型的泛化性能,因此需對數(shù)據(jù)進行異常點檢測[13]并剔除。異常點檢測的方式通常有基于模型、基于鄰近度以及基于密度的方法。最常用的方法基于模型的方法,其根據(jù)數(shù)據(jù)構建模型,然后通過判斷對象擬合模型的情況來確定數(shù)據(jù)是否為異常點。

本文采用基于模型的方法進行異常點檢測并將數(shù)據(jù)中的異常點剔除,根據(jù)實際的工業(yè)過程,變量2為金屬銅的波長色散計數(shù)率,與銅品位的測量直接相關,因此建立銅的波長色散計數(shù)率與實驗室標定銅品位的回歸數(shù)學模型,通過設定的閾值判斷是否為異常點,其中閾值通過普通化殘差來表示[14],檢結果如圖4所示。

圖4 異常點檢測結果

3.2 模型性能評價指標

采用的模型性能評價指標共3個:

(1)模型預測誤差平方的平均值(MSE),反應真實值與預測值之間差異的一種度量,值越小表明預測精度越高,計算公式如式(20)所示。

(2)平均絕對值誤差(mean absolute error,MAE),預測值與實際值之間絕對誤差的平均值,可以避免誤差相互抵消的問題,值越小表明預測精度越高,計算公式如下:

(24)

(3)模型大小(model size,M.S.),最終模型的輸入變量個數(shù),反應了模型的復雜度,計算公式如下:

(25)

3.3 仿真結果及分析

將處理后的數(shù)據(jù)劃分為兩部分,第一部分為數(shù)據(jù)集的前20%用作算法訓練,第二部分的80%數(shù)據(jù)集劃分為3批數(shù)據(jù)集作為在線更新測試集。由于ELM網(wǎng)絡結構的初始參數(shù)都是人工確定的,因此每次仿真實驗的結果都會有所不同。為體現(xiàn)算法的穩(wěn)定性,將通過相同的數(shù)據(jù)樣本對不同算法進行10次仿真并取其MSE、MAE的最優(yōu)值作為模型性能評價標準,不同批次的測試集的結果如表2、表3及表4所示。

表2 第1批測試集的性能評價指標

表3 第2批測試集的性能評價指標

表4 第3批測試集的性能評價指標

通過上述結果表明,基于輸入變量選擇的NNG-OSELM在線預測算法對比其他算法MSE、MAE均有提升具有較好的預測結果,而且從實際工業(yè)過程出發(fā),對比于現(xiàn)階段載流X熒光品位分析儀只選用6個輸入變量作為關鍵影響變量,該算法不僅考慮到其他關鍵變量的影響比如分析儀自身的不穩(wěn)定以及外界因素的干擾(漂移系數(shù)對銅品位預測的影響),這些干擾變量會對最終銅品位的預測效果產生較大的影響,因此該結果充分表明NNG算法的篩選相關變量能力會提升模型的預測精度,提升檢測效率,充分驗證了算法的有效性。圖5至圖7為各批次數(shù)據(jù)的候選輸入變量對應的收縮系數(shù)。

圖5 第1批測試集的收縮系數(shù)

圖6 第2批測試集的收縮系數(shù)

圖7 第3批測試集的收縮系數(shù)

由表5可知,θ均值大于0.5的變量共有8個,其中對目標變量影響較大的變量2、變量5對應的θ均值均大于0.85,而實際的載流品位分析儀測量過程需要目標變量的能量色散和波長色散的計數(shù)率相結合,這一結果與實際工業(yè)測量過程中測量銅品位的關鍵影響因素相符合。

表5 θ均值大于0.5的候選輸入變量

變量1、變量3分別為波長色散鐵的計數(shù)率以及能量色散鐵的計數(shù)率,文獻[15]指出測量銅品位需要鐵的能量色散和波長色散的計數(shù)率作為輔助變量,因此這兩個變量也與銅品位的測量相關。

文獻[16]指出分析儀所測得的色散計數(shù)率中不僅包含激發(fā)金屬元素的色散計數(shù)率還包含一次射線的散射輻射,因此色散計數(shù)率不是單獨地與被分析礦物的熒光強度成比例,而變量6為散射道能量色散計數(shù)率,對銅品位的測量有直接影響。變量14、變量10、變量11、變量15表示與之對應變量的漂移系數(shù),漂移系數(shù)表征了分析儀測量穩(wěn)定性和精確度,是真值與分析儀測量值的比值結果,這個結果越接近1,表明分析儀測量精度和測量穩(wěn)定性越高,因此這4個變量也會影響最終銅品位的預測效果。

綜上所述,該算法輸入變量的選擇的結果與載流品位分析儀的測量機理及專家經驗基本一致,充分驗證了NNG-OSELM算法所建模型的可解釋性。

4 總 結

在線軟測量算法首先通過OS-ELM算法動態(tài)更新網(wǎng)絡輸出權重,建立在線軟測量模型;其次通過NNG算法的稀疏能力,篩選出相關變量,進一步提高模型的預測精度;最后將所提出的在線學習算法應用于某礦企浮選過程中銅精礦品位的在線測量,并與其它先進算法及現(xiàn)場載流X熒光品位分析儀測量結果相比較,結果表明,該算法所建模型具有更高的精度,輸入變量選擇的結果與載流分析儀的測量機理及專家經驗一致,充分驗證了算法的有效性。