劉 星,王文雙,*,趙建印,朱 敏

(1.中國人民解放軍海軍岸防兵學(xué)院,山東 煙臺 264001;2.中國人民解放軍91576部隊(duì),浙江 寧波 315020)

0 引 言

裝備在服役過程中不斷積累各類故障的特征數(shù)據(jù)。為了使故障診斷模型能夠有效應(yīng)對由于數(shù)據(jù)的不斷變化所引起的模型自身的快速更新問題,增量學(xué)習(xí)算法成為了裝備故障診斷領(lǐng)域中重要的研究內(nèi)容[1-5]。由新加坡南洋理工大學(xué)黃廣斌教授所提出的極限學(xué)習(xí)機(jī)(extreme learning machine,ELM)能夠?qū)崿F(xiàn)模型的快速訓(xùn)練和更新,具有良好的泛化性能,其各種模式的增量模型研究,在當(dāng)前故障診斷領(lǐng)域表現(xiàn)出獨(dú)特的性能優(yōu)勢,相關(guān)的模型受到廣泛的關(guān)注[6-7]。

按照增量產(chǎn)生的對象不同,ELM增量學(xué)習(xí)研究主要涉及三個(gè)大方面:一是以在線順序ELM(online sequential ELM,OS-ELM)為代表的基于ELM模型數(shù)據(jù)增量的研究[8],二是以增量ELM(incremental ELM,I-ELM)為代表的基于ELM隱藏層神經(jīng)元的結(jié)構(gòu)增量研究[9],三是以類增量ELM (class incremental ELM,CI-ELM)為代表的基于ELM的輸出層神經(jīng)元的結(jié)構(gòu)增量研究(因?yàn)檩敵鰧由窠?jīng)元的增加,即為故障類別的增加,所以此類增量學(xué)習(xí)也稱為類增量研究)。

針對ELM模型數(shù)據(jù)增量算法的相關(guān)研究成果很多[10-14]。Liang等人[12]于2006年提出了OS-ELM,其基于模型數(shù)據(jù)增量來更新模型,隱藏層節(jié)點(diǎn)數(shù)在初始化階段確定,隨著新數(shù)據(jù)的不斷增加,隱藏層到輸出層的權(quán)重得到不斷更新。近些年各種不同形式的OS-ELM得到長足的發(fā)展。Wang[15]于2014年將核方法引入到OS-ELM中提出了時(shí)間序列ELM(online sequential ELM with kernels,OS-ELMK),在非平穩(wěn)時(shí)間序列預(yù)測中表現(xiàn)性能優(yōu)異,有效減少增量學(xué)習(xí)時(shí)間。Guo[16]于2014年提出了基于核的I-ELM,其具有良好的在線學(xué)習(xí)性能、無需調(diào)整隱層節(jié)點(diǎn)數(shù)量等優(yōu)點(diǎn)受到了廣泛的關(guān)注。Soares等人[17]于2016年將動態(tài)集成策略與OS-ELM相結(jié)合,應(yīng)用到動態(tài)系統(tǒng)的預(yù)測中。Zhao等人[18]于2012年將遺忘策略與OS-ELM算法相結(jié)合并提出了具有遺忘機(jī)制的OS-ELM(OS-ELM with forgetting mechanism,FOS-ELM),將剔除最老數(shù)據(jù)策略融入到了增量學(xué)習(xí)過程中。Zhou等人[19]于2014年將核方法引入到FOS-ELM中,提出了FOS-ELM的核化版本,即具有遺忘機(jī)制的在線核化ELM(online kernelized ELM with forgetting mechanism,FOKELM),避免了核參數(shù)的選擇,提高了算法的穩(wěn)定性。Zhou等人[20]用Cholesky分解對FOKELM進(jìn)行優(yōu)化,縮短了計(jì)算時(shí)間,提高了效率。Mao等人[21]根據(jù)留一法所產(chǎn)生誤差的大小,對訓(xùn)練集中每個(gè)樣本在模型中產(chǎn)生的作用排序,并以此進(jìn)行加權(quán)學(xué)習(xí),實(shí)現(xiàn)了對非靜態(tài)時(shí)間序列數(shù)據(jù)集的訓(xùn)練。Wang等人[22]就Hessian矩陣和梯度向量的迭代訓(xùn)練兩個(gè)方面進(jìn)行了改進(jìn),提高了模型的正確率。這些算法所解決的是數(shù)據(jù)增量引起的模型權(quán)重的變化,但這類算法都需要事先確定ELM網(wǎng)絡(luò)結(jié)構(gòu),并未涉及模型組織結(jié)構(gòu)中的各層神經(jīng)節(jié)點(diǎn)的改變,模型的結(jié)構(gòu)與初始化時(shí)相同。針對模型數(shù)據(jù)增量的ELM算法的相關(guān)研究,雖然能夠解決數(shù)據(jù)增加帶來的模型隱藏層到輸出層權(quán)重的更新問題,但模型結(jié)構(gòu)在整個(gè)過程中需要事先確定,在增量學(xué)習(xí)中不再有變化,不具有通過逐步增加隱藏層神經(jīng)元從而提高模型診斷性能的能力;同時(shí)模型并不具備類增量學(xué)習(xí)能力,即訓(xùn)練后的模型只能識別訓(xùn)練階段中包含的故障類別,而在后續(xù)增量學(xué)習(xí)階段無法訓(xùn)練使用包含新類別的增量數(shù)據(jù)塊,模型不能添加新的故障類別。

針對模型隱藏層結(jié)構(gòu)增量的ELM算法,研究的成果較多。黃廣斌教授[23]于2006年提出了I-ELM,其增量學(xué)習(xí)的做法是在隱藏層中一個(gè)接一個(gè)的添加節(jié)點(diǎn),并在添加新的隱藏節(jié)點(diǎn)時(shí),前期存在的節(jié)點(diǎn)的輸出權(quán)重保持不變。由于增添到隱藏層中的節(jié)點(diǎn)的輸入權(quán)重和偏置具有隨機(jī)性,這導(dǎo)致一些添加到模型中的隱藏節(jié)點(diǎn)在模型中所發(fā)揮的作用很小。Chen等人[24]于2008年提出了一種增強(qiáng)的I-ELM(enhanced I-ELM,EI-ELM),EI-ELM在每次添加隱藏節(jié)點(diǎn)時(shí)不是簡單添加一個(gè)節(jié)點(diǎn),而是隨機(jī)生成幾個(gè)候選隱藏層節(jié)點(diǎn),然后從這些節(jié)點(diǎn)中選取一個(gè)引起最小誤差的隱藏節(jié)點(diǎn)作為最終選擇。Feng[25]于2009年提出了最小誤差ELM(error minimized ELM,EM-ELM)算法,可以將隱藏層節(jié)點(diǎn)單個(gè)或者逐組地進(jìn)行添加,并且輸出權(quán)重能夠在每次隱藏層添加節(jié)點(diǎn)完成后相應(yīng)更新,因此EM-ELM比I-ELM具有更好的泛化性能。Ye等人[26]于2015年將隱藏層輸出矩陣進(jìn)行了正三角分解,有效減少訓(xùn)練時(shí)間,自動確定隱藏層的節(jié)點(diǎn)數(shù),同時(shí)保持相似的泛化性能。黃廣斌教授[27]提出了凸優(yōu)化I-ELM(convex optimal I-ELM,COI-ELM),在新增一個(gè)隱藏層節(jié)點(diǎn)后,同時(shí)會計(jì)算前期己有節(jié)點(diǎn)權(quán)重,保證模型在誤差減小的同時(shí)具有泛化性。此類算法能夠有效地解決ELM在增量學(xué)習(xí)時(shí)隱藏層神經(jīng)元的增量模式問題,但這類算法并沒有探討數(shù)據(jù)增量的應(yīng)用場景,只是針對當(dāng)前數(shù)據(jù)集進(jìn)行隱藏層神經(jīng)元的增量學(xué)習(xí);并且此類算法也沒有考慮新故障類別樣本數(shù)據(jù)增量對模型輸出層結(jié)構(gòu)增量的影響,其和數(shù)據(jù)增量ELM相似,并不具備類增量學(xué)習(xí)能力。

針對模型輸出層結(jié)構(gòu)增量的ELM算法,是目前ELM模型結(jié)構(gòu)增量算法研究的一個(gè)重要方面。Zhao等人[28]于2014年提出了CI-ELM算法,實(shí)現(xiàn)了輸出層神經(jīng)元的增加,使得模型具有了類增量學(xué)習(xí)能力,能夠在后續(xù)學(xué)習(xí)階段中不斷添加新的故障類別。此方法不需要對前期的數(shù)據(jù)集進(jìn)行重復(fù)學(xué)習(xí),僅需要前期數(shù)據(jù)的訓(xùn)練結(jié)果以及增量數(shù)據(jù)集即可完成模型的類增量學(xué)習(xí)。針對模型輸出層結(jié)構(gòu)增量的ELM算法,能夠?qū)崿F(xiàn)對樣本中出現(xiàn)新故障類別的在線學(xué)習(xí)。但是這類方法在學(xué)習(xí)過程中,隱藏層的結(jié)構(gòu)是固定的,并不能根據(jù)學(xué)習(xí)過程中產(chǎn)生的誤差大小而相應(yīng)地增加隱藏層神經(jīng)元的數(shù)量。

以上是ELM增量學(xué)習(xí)的3個(gè)重要方面相關(guān)研究。然而在裝備實(shí)際服役過程中,相關(guān)故障數(shù)據(jù)集得到不斷豐富和補(bǔ)充。數(shù)據(jù)集是采用時(shí)間序列,以單個(gè)數(shù)據(jù)或塊數(shù)據(jù)集的方式進(jìn)行收集。并且數(shù)據(jù)集并不是由已有類別故障在數(shù)量上進(jìn)行簡單增加,而是由已有類別故障樣本數(shù)據(jù)與新類別故障樣本數(shù)據(jù)的混合增加。因此，單一的ELM的增量學(xué)習(xí)模型并不能滿足裝備故障診斷對增量學(xué)習(xí)的要求。這就要求故障診斷模型不僅僅考慮增量研究的某一方面,而應(yīng)根據(jù)樣本的特點(diǎn)及樣本對模型診斷性能的影響,智能化選擇相應(yīng)的ELM增量學(xué)習(xí)模式,實(shí)現(xiàn)模型的自適應(yīng)增量學(xué)習(xí)。

為滿足裝備根據(jù)數(shù)據(jù)集特點(diǎn)進(jìn)行自適應(yīng)故障診斷的需求,本文將ELM的數(shù)據(jù)增量學(xué)習(xí)、隱藏層增量學(xué)習(xí)和輸出層增量學(xué)習(xí)(類增量學(xué)習(xí))3種增量學(xué)習(xí)模式融合到一個(gè)統(tǒng)一的學(xué)習(xí)框架內(nèi)，提出凸最優(yōu)自適應(yīng)增量OS-ELM(convex optimal adaptive incremental OS-ELM,COAIOS-ELM)模型。該模型不僅具有數(shù)據(jù)增量學(xué)習(xí)能力,而且能夠在后續(xù)增量學(xué)習(xí)的過程中,根據(jù)增量數(shù)據(jù)集中新增的故障類別進(jìn)行類增量學(xué)習(xí),并且可以根據(jù)增量學(xué)習(xí)中誤差的變化情況,相應(yīng)地增加隱藏層神經(jīng)元,有效解決了ELM增量學(xué)習(xí)過程中模型自適應(yīng)動態(tài)選擇最佳網(wǎng)絡(luò)結(jié)構(gòu)的問題,提高模型故障診斷的精度和范圍。本文選擇UCI數(shù)據(jù)集中4個(gè)常用的公共數(shù)據(jù)集,以及Biquad低通濾波電路故障診斷數(shù)據(jù)集,通過與CI-ELM模型進(jìn)行對比實(shí)驗(yàn)驗(yàn)證了所提方法的有效性和先進(jìn)性。

1 改進(jìn)的COAIOS-ELM

1.1 在線ELM

H0β0=Y0

(1)

式中:

(2)

其中H0被稱為隱層輸出矩陣;h(xi)=[h1(xi),h2(xi),…,hL(xi)]表示從d-維輸入空間到L-維隱層特征空間的映射;β0可表示為

(3)

(4)

可以得到

(5)

因此,如果用數(shù)據(jù)集S0加上新增的數(shù)據(jù)集S1進(jìn)行訓(xùn)練,可以得出更新后的權(quán)重β1:

(6)

1.2 類增量ELM

(7)

H0=

(8)

從數(shù)據(jù)集D和ELM算法,可以得到

H1=

(9)

數(shù)據(jù)集的類別數(shù)量由于增了一個(gè)新的類別成為了m+1,則

(10)

ELM使用數(shù)據(jù)集S0和數(shù)據(jù)集D數(shù)據(jù)來進(jìn)行訓(xùn)練,更新后的權(quán)重β1可以使用下式進(jìn)行計(jì)算:

(11)

式中：

(12)

(13)

M為變換矩陣,是在矩陣T0的右側(cè)增加了一個(gè)0列向量。因此,T0M和T1具有相同的列數(shù)。由式(12)可以得到更新的權(quán)重矩陣β1：

(14)

通過引入變換矩陣M,改變了ELM的輸出層結(jié)構(gòu),實(shí)現(xiàn)了模型的類增量學(xué)習(xí)。由圖1所示,類增量學(xué)習(xí)只是根據(jù)增量數(shù)據(jù)集中的故障類別的增加,相應(yīng)地增加了輸出層神經(jīng)元,但是其并未根據(jù)預(yù)測誤差的變化而相應(yīng)地增加隱藏層神經(jīng)元的數(shù)量,因此CI-ELM方法對模型的性能提升有限。

圖1 類增量ELM示意圖Fig.1 Schematic diagram of class incremental ELM

1.3 COI-ELM

COI-ELM采用了Barron的凸最佳概念,在新增隱藏層神經(jīng)元的同時(shí),更新原有隱藏層節(jié)點(diǎn)與輸出層節(jié)目之間連接的權(quán)值。當(dāng)COI-ELM新增一個(gè)隱藏層節(jié)點(diǎn)時(shí),輸出節(jié)點(diǎn)與新增節(jié)點(diǎn)連接上的權(quán)值被設(shè)成:

(15)

式中：h(P)為第P個(gè)訓(xùn)練樣本所對應(yīng)新增隱藏節(jié)點(diǎn)的輸入激活函數(shù)；e(p)是添加第L隱藏節(jié)點(diǎn)之前第P個(gè)訓(xùn)練樣本所對應(yīng)的誤差。HL=[h(1),h(2),…,h(N)]是所有N個(gè)訓(xùn)練樣本所對應(yīng)新增第L隱藏層節(jié)點(diǎn)的激活向量,E=[e(1),e(2),…,e(N)]T是添加第L隱藏節(jié)點(diǎn)之前的誤差向量。

新增L節(jié)點(diǎn)后,重新計(jì)算所有現(xiàn)有隱藏節(jié)點(diǎn)的輸出權(quán)重向量,原有隱藏層節(jié)點(diǎn)與輸出層節(jié)點(diǎn)之間連接上的權(quán)值乘上1-βi,即:

βi=(I-βL)βi,i=1,2,…,L-1

(16)

從而對已存在的輸出權(quán)值進(jìn)行了一次更新操作。在添加新的隱藏節(jié)點(diǎn)L之后計(jì)算誤差用下式來計(jì)算:

E=(I-βL)E+βL(Y-HL)

(17)

由圖2所示,COI-ELM隱藏層增加一個(gè)神經(jīng)元節(jié)后,其網(wǎng)絡(luò)結(jié)構(gòu)發(fā)生變化,此時(shí)對誤差與閾值進(jìn)行判斷,當(dāng)誤差大于閾值時(shí),COI-ELM模型會再增加一個(gè)隱藏層神經(jīng)元,進(jìn)一步減小誤差,直到誤差小于閾值。

圖2 COI-ELM隱藏層增加一個(gè)節(jié)點(diǎn)示意圖Fig.2 Schematic diagram of adding a node to COI-ELM hidden layer

COI-ELM是隱藏層結(jié)構(gòu)增量ELM比較典型的一種增量算法,其能夠有效地解決ELM在增量學(xué)習(xí)時(shí)隱藏層神經(jīng)元的增量模式問題,但這類算法只是針對當(dāng)前數(shù)據(jù)集進(jìn)行隱藏層神經(jīng)元的增量學(xué)習(xí),也沒有考慮新故障類別樣本數(shù)據(jù)增量對模型輸出層結(jié)構(gòu)增量的影響,其和數(shù)據(jù)增量ELM相似,并不具備類增量學(xué)習(xí)能力。

1.4 改進(jìn)算法

以上3種增量ELM均可實(shí)現(xiàn)相應(yīng)模式的增量學(xué)習(xí),但是在實(shí)際的裝備故障診斷中,隨著保障時(shí)間增加,各類型故障數(shù)據(jù)不斷豐富,自動檢測設(shè)備所采集到的數(shù)據(jù)及其特征也會相應(yīng)地發(fā)生變化。這種變化要求ELM在增量學(xué)習(xí)中不能僅局限于增量模式的其中一種模式,而必然是3種模型的隨機(jī)組合。這要求ELM在增量學(xué)習(xí)時(shí)必須具有更加智能化的自適應(yīng)特征,并且應(yīng)該在增量學(xué)習(xí)時(shí)應(yīng)當(dāng)利用新生成的數(shù)據(jù)更新模型。

由圖3表示COAIOS-ELM模型的整個(gè)學(xué)習(xí)過程根據(jù)增量學(xué)習(xí)樣本特點(diǎn)及樣本對診斷模型的性能的影響主要分為3個(gè)模塊:初始化階段,COAIOS-ELM通過ELM訓(xùn)練一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)。當(dāng)增量數(shù)據(jù)集中有新類別故障樣本時(shí),采用CI-ELM類增量學(xué)習(xí)方式,增加輸出層神經(jīng)元,完成隱藏層到輸出層的權(quán)值矩陣更新;當(dāng)增量數(shù)據(jù)集中沒有新類別故障樣本,并且模型網(wǎng)絡(luò)收斂速度變化量大于等于0時(shí),算法采取OS -ELM的模型數(shù)據(jù)增量學(xué)習(xí)方式,更新輸出權(quán)值,而當(dāng)模型網(wǎng)絡(luò)收斂速度變化量小于0時(shí),算法則采用COI-ELM的結(jié)構(gòu)增量學(xué)習(xí)方式來增加隱藏層神經(jīng)元,完成輸出權(quán)值矩陣的增容和更新,提高模型診斷的精度。

圖3 COAIOS-ELM自適應(yīng)增量學(xué)習(xí)過程Fig.3 COAIOS-ELM adaptive incremental learning process

增量學(xué)習(xí)誤差變化量的度量,借鑒文獻(xiàn)[29]中的誤差變化量,卻為理想輸出向量與模型輸出向量差的二范數(shù)的平方。定義當(dāng)前模型網(wǎng)絡(luò)收斂速度變化量為

Δρ=Δεt-Δεt-1

(18)

當(dāng)Δρ≥0時(shí),模型收斂較快,因此不需要增加隱藏層節(jié)點(diǎn),模型按照OS-ELM更新輸出權(quán)重。

當(dāng)Δρ<0時(shí),模型收斂速度較慢,模型增加隱藏層節(jié)點(diǎn),以減小訓(xùn)練誤差,按照COI-ELM增容隱藏層神經(jīng)元輸出權(quán)值矩陣,并對前期已存在的輸出權(quán)值矩陣進(jìn)行更新。計(jì)算增加隱藏層節(jié)后,計(jì)算分類誤差并與誤差閾值比較,當(dāng)誤差大于誤差閾值時(shí),再增加隱藏層神經(jīng)元節(jié)點(diǎn),對前期已存在的輸出權(quán)值矩陣進(jìn)行更新,直到誤差小于誤差閾值。

具體算法流程表示如下。

2 實(shí)驗(yàn)分析

本節(jié)通過兩個(gè)實(shí)驗(yàn)來驗(yàn)證所提模型的有效性和先進(jìn)性。仿真實(shí)驗(yàn)主要考慮分類精度和時(shí)間開銷兩個(gè)方面的性能。

2.1 評價(jià)指標(biāo)

由于各類數(shù)據(jù)集均存在不同程的類不平衡,因此使用分類正確率來為評價(jià)指標(biāo)就顯得不太妥當(dāng)。針對該問題,在類不平衡數(shù)據(jù)集學(xué)習(xí)研究中,文獻(xiàn)[30]提出了G -mean、F-measure作為分類性能度量指標(biāo)。

引入G -mean來解決不平衡數(shù)據(jù)集中的分類性能性能評價(jià)。G -mean是所有m類分類精度的幾何平均值,只有均衡地提高各個(gè)類別的分類正確率,才能最大化G -mean的值。G -mean可表示為

(19)

F-measure廣泛用于評估二元分類系統(tǒng),其被定義為二元類問題中Precision(π)和Recall(ρ)的調(diào)和均值。Precision是預(yù)測值為正的例子中真實(shí)值為正的比例,而Recall是真實(shí)值為正的例子中被預(yù)測為正的比例。計(jì)算為

(20)

(21)

(22)

式中:TP,FP,FN的符號如表1所示。給出了分類器在二分類問題中的混淆矩陣,根據(jù)樣本實(shí)例和模型分類類別的組合劃分為表1中的4種情況。

表1 混淆矩陣Table 1 confusion matrix

為將F-measure擴(kuò)展到多類,通常使用F-measure-micro和F-measure-macro兩種類型。F-measure-micro是對所有類別決策進(jìn)行全局計(jì)算的,如下所示:

(23)

π和ρ是通過對所有類別計(jì)算求和而獲得的,如下所示:

(24)

(25)

計(jì)算F-measure-macro時(shí),先計(jì)算每個(gè)類別的F-measure,再求取所有類別F-measure的平均值 :

(26)

(27)

G-mean的側(cè)重點(diǎn)是綜合衡量各類別樣本數(shù)據(jù)的分類準(zhǔn)確度,F-measure在綜合體現(xiàn)各類別樣本數(shù)據(jù)的分類精度時(shí),更加側(cè)重于對少數(shù)類的分類性能評價(jià)。

2.2 UCI公共數(shù)據(jù)集實(shí)驗(yàn)

本文選取機(jī)器學(xué)習(xí)領(lǐng)域中廣泛使用的公開數(shù)據(jù)庫UCI數(shù)據(jù)中的4個(gè)分類數(shù)據(jù)集(Diabetes、Ionosphere、WBC、Cancer)進(jìn)行仿真實(shí)驗(yàn)。因?yàn)镃OAIOS -ELM具有類增量的學(xué)習(xí)功能,而在類增量相關(guān)算法中的研究相對較少,所以本文選取同樣具有類增量學(xué)習(xí)的CI-ELM算法作為對比算法。

通過實(shí)驗(yàn)仿真對比,驗(yàn)證模型的診斷性能。其中,CI-ELM算法通過文獻(xiàn)[28]所給出的方法來實(shí)現(xiàn)。首先對各數(shù)據(jù)進(jìn)行預(yù)處理,歸一化處理使其在[0,1]范圍內(nèi)進(jìn)行標(biāo)準(zhǔn)化,然后將所提出的方法應(yīng)用于每次訓(xùn)練/測試。各UCI數(shù)據(jù)集描述如表2所示。

表2 UCI實(shí)驗(yàn)分類數(shù)據(jù)集描述Table 2 UCI experiment classification data set description

相關(guān)實(shí)驗(yàn)的條件設(shè)置:在每個(gè)實(shí)驗(yàn)中,針對每個(gè)數(shù)據(jù)集,隨機(jī)選擇各類故障樣本的80%作為訓(xùn)練數(shù)據(jù),其余20%作為測試數(shù)據(jù),進(jìn)行20次試驗(yàn),精度指標(biāo)取均值和標(biāo)準(zhǔn)差,時(shí)間開銷指標(biāo)取均值。在實(shí)驗(yàn)中ELM的激活函數(shù)采用高斯函數(shù),最大迭代次數(shù)為500。訓(xùn)練樣本集初始規(guī)模設(shè)為100,增量數(shù)據(jù)集的大小設(shè)置為10,初始ELM隱藏層節(jié)點(diǎn)數(shù)為5,期望的學(xué)習(xí)精度最大誤差εmax=0.01,ELM最大隱藏層節(jié)點(diǎn)數(shù)為60。

(1)從診斷精度上來看,如圖4和表3所示,COAIOS-ELM與CI-ELM相比較,G -mean、F-measure(micro)、F-measure(macro)3個(gè)指標(biāo)上來看所提方法均優(yōu)于CI-ELM。這得益于隱藏層神經(jīng)元的增加有效減小了分類誤差,在新增隱藏層節(jié)點(diǎn)的同時(shí)對已存在的權(quán)值矩陣進(jìn)行更新。在保證誤差進(jìn)一步減小的同時(shí)具有良好的泛化性,其模型結(jié)構(gòu)更加緊湊,有效避免了冗余隱藏層神經(jīng)元的產(chǎn)生。以Cancer數(shù)據(jù)集為例,COAIOS-ELM方法與CI-ELM比較,G-mean、F-measure(micro)、F-measure(macro)3項(xiàng)指標(biāo)分別提高了4.84%、5.59%、5.91%。

圖4 COAIOS-ELM與CI-ELM算法的診斷性能比較Fig.4 Comparison of diagnostic performance between COAIOS-ELM and CI-ELM algorithms

表3 UCI數(shù)據(jù)集實(shí)驗(yàn)診斷性能比較Table 3 Comparison of UCI data set experimental diagnostic performance

(2)從時(shí)間開銷上來看,如表3和圖5所示,COAIOS-ELM與CI-ELM相比較,由于在過程中COAIOS-ELM的隱藏層節(jié)點(diǎn)隨著學(xué)習(xí)的進(jìn)行而增加,從而引起權(quán)值矩陣的增容與更新,因此訓(xùn)練階段COAIOS-ELM的時(shí)間開銷較CI-ELM有所長,但是增幅較小;而在測試階段,兩者的時(shí)間開銷基本相同。COAIOS-ELM完全滿足在線自適應(yīng)增量學(xué)習(xí)對時(shí)間開銷的要求。

圖5 COAIOS-ELM與CI-ELM算法的時(shí)間開銷比較Fig.5 Comparison of time cost between COAIOS-ELM and CI-ELM algorithms

以Cancer數(shù)據(jù)集為例,固定其中一次訓(xùn)練集和測試集的抽取結(jié)果，由圖6和圖7所示,兩圖從初始隱藏層節(jié)點(diǎn)數(shù)分別為5和8的情況下開始進(jìn)行增量學(xué)習(xí)時(shí),隱藏層節(jié)點(diǎn)的變化情況。兩種在不同的初始狀態(tài)下的隱藏層節(jié)點(diǎn)的模型,對同一數(shù)據(jù)集進(jìn)行增量學(xué)習(xí),其模型的診斷精度均在18個(gè)隱藏層節(jié)點(diǎn)的情況下,達(dá)到了最佳。如圖8所示,COAIOS-ELM的隱藏層節(jié)點(diǎn)的數(shù)量從1增加到18,F-measure (micro)值也逐步得到提高,當(dāng)節(jié)點(diǎn)數(shù)大于18以后,識別精度保持穩(wěn)定,沒有顯著的波動變化。使用更多的隱藏層節(jié)點(diǎn)可能會實(shí)現(xiàn)較高的分類精度,但是有可能會造成過擬合的風(fēng)險(xiǎn)。因此，為了更好地在分類精度和過擬合兩者之間進(jìn)行平衡,COAIOS-ELM選擇18個(gè)隱藏層節(jié)點(diǎn),這與COAIOS-ELM增量學(xué)習(xí)中模型隱藏層節(jié)點(diǎn)數(shù)量的變化相一致。

圖6 COAIOS-ELM隱藏層節(jié)點(diǎn)增量變化情況(初始隱藏層節(jié)點(diǎn)等于5)Fig.6 COAIOS-ELM hidden layer node incremental change (the initial hidden layer node is equal to 5)

圖7 COAIOS-ELM隱藏層節(jié)點(diǎn)增量變化情況(初始隱藏層節(jié)點(diǎn)等于8)Fig.7 COAIOS-ELM hidden layer node incremental change (the initial hidden layer node is equal to 8)

圖8 COAIOS-ELM的F-measure(micro)值隨隱藏層節(jié)點(diǎn)增加變化情況Fig.8 F-measure (micro)value of COAIOS-ELM changes with the increase of hidden layer nodes

由此可知,COAIOS-ELM的自適應(yīng)調(diào)整模型結(jié)構(gòu)能力不僅可以根據(jù)樣本的數(shù)量自動實(shí)現(xiàn)類增量學(xué)習(xí),還可以根據(jù)自身樣本數(shù)據(jù)集的特點(diǎn),自適應(yīng)實(shí)現(xiàn)模型隱藏層節(jié)點(diǎn)的增量學(xué)習(xí),而不必預(yù)先對模型結(jié)構(gòu)進(jìn)行設(shè)定,有效提高了增量學(xué)習(xí)的智能化特性。

由圖9可知,在學(xué)習(xí)樣本規(guī)模達(dá)到356 之前,由于模型只學(xué)習(xí)到一種類別故障樣本,所以模型的F-measure(micro)值一直穩(wěn)定在0.65附近,但是隨著增量學(xué)習(xí)的進(jìn)行,對模型訓(xùn)練的數(shù)據(jù)集中包含了更多類別的故障樣本,因此模型的診斷性能得到不斷提高。增量學(xué)習(xí)數(shù)據(jù)塊的大小對模型的診斷精度提高效率略有不同,增量學(xué)習(xí)數(shù)據(jù)集越大,精度提高的效率就越高,但是當(dāng)學(xué)習(xí)樣本達(dá)到一定規(guī)模以后,診斷精度均穩(wěn)定在0.97值附近。同時(shí)也可以看到,增量學(xué)習(xí)數(shù)據(jù)集的大小對模型的性能影響并不十分明顯,由此可知,模型在進(jìn)行增量學(xué)習(xí)的情下,不必預(yù)先對增量學(xué)習(xí)數(shù)據(jù)塊的大小進(jìn)行預(yù)先選擇。

圖9 COAIOS-ELM的F-measure(micro)值隨增量學(xué)習(xí)樣本增加變化情況Fig.9 F-measure (micro)value of COAIOS-ELM changes with the increase of incremental learning samples

2.3 Biquad低通濾波電路故障診斷實(shí)驗(yàn)

Biquad低通濾波電路是國際上最常見的用于驗(yàn)證診斷方法性能的基準(zhǔn)電路,其組成結(jié)構(gòu)如圖10所示。本文將其為實(shí)驗(yàn)對象,來此來驗(yàn)證所提方法的有效性。該電路中包含較多的元件,實(shí)驗(yàn)通過選擇具有代表性的故障模式,仿真實(shí)驗(yàn)共注入6類故障,如表4所示。其中,↑或↓表示元件參數(shù)值對標(biāo)稱值的正向偏離或負(fù)向偏離。

所有的實(shí)驗(yàn)結(jié)果通過Matlab 2018b得到,實(shí)驗(yàn)電腦配置為:Inter Core i7CPU,3.4 GHz主頻和8 GB RAM。

圖10 Biquad低通濾波電路結(jié)構(gòu)圖Fig.10 Diagram of Biquad low-pass filter circuit

表4 Biquad低通濾波電路故障描述Table 4 Faults description of Biquad low-pass filter circuit

各種故障分別產(chǎn)生40、40、50、50、60、60個(gè)變異體,以頻率為1 Hz～200 kHz(等間隔劃分為1 001個(gè)頻點(diǎn))的掃頻信號作為激勵(lì),采集輸出端的響應(yīng)信號作為原始數(shù)據(jù),得到由300個(gè)故障樣本構(gòu)成的、每個(gè)樣本1 001維特征的原始數(shù)據(jù)集。采用隨機(jī)抽取80%的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集,剩余20%作為測試數(shù)據(jù)集,進(jìn)行實(shí)驗(yàn)測試。相關(guān)實(shí)驗(yàn)的條件設(shè)置與上一實(shí)驗(yàn)相同。實(shí)驗(yàn)共進(jìn)行20次,G -mean、F-measure(micro)和F-measure(macro)3項(xiàng)指標(biāo)取均值和方差,訓(xùn)練時(shí)間和測試時(shí)間取均值,對模型性能進(jìn)行比較。結(jié)果記錄在表5中。

表5 Biquad低通濾波電路實(shí)驗(yàn)診斷性能比較Table 5 Comparison of Biquad low-pass filter circuit experimental diagnostic performance

由表5可知,在診斷精度上,本文所提方法與CI-ELM相比較,G-mean，F(xiàn)-measure(micro)，F(xiàn)-measure(macro)3項(xiàng)指標(biāo)分別提高了7.57%、6.49%、6.27%,得益于凸優(yōu)化的應(yīng)用,隱藏層神經(jīng)元節(jié)點(diǎn)自適應(yīng)增加,同時(shí)輸出層權(quán)重矩陣相應(yīng)更新,有效提升了模型的診斷精度。從時(shí)間開銷上來看,本文所提方法的訓(xùn)練時(shí)間和測試時(shí)間均值較CI-ELM的基本相當(dāng),有小幅提升,訓(xùn)練時(shí)間和測試時(shí)間分別增加了1.70%、0.89%。這是由于模型結(jié)構(gòu)改變所造成的,時(shí)間開銷上略有增加。

3 結(jié) 論

為滿足現(xiàn)役裝備根據(jù)故障樣本數(shù)據(jù)集積累的特點(diǎn)進(jìn)行自適應(yīng)故障診斷的需求,本文將ELM的數(shù)據(jù)增量學(xué)習(xí)、隱藏層增量學(xué)習(xí)和輸出層增量學(xué)習(xí)(類增量學(xué)習(xí))3種增量學(xué)習(xí)模式,融合到一個(gè)統(tǒng)一的學(xué)習(xí)框架內(nèi),提出一種凸最優(yōu)自適應(yīng)增量在線極限學(xué)習(xí)機(jī)模型COAIOS-ELM,與已經(jīng)有方法相比較,主要優(yōu)勢如下。

(1)模型能夠根據(jù)增量學(xué)習(xí)中分類誤差的變化情況,自適應(yīng)增加隱藏層神經(jīng)元,有效解決了極限學(xué)習(xí)機(jī)訓(xùn)練前需要預(yù)先對隱藏層神經(jīng)元確定并在訓(xùn)練過程不能改變隱藏層結(jié)構(gòu)的問題,提高了故障診斷的精度。以Cancer數(shù)據(jù)集為例,COAIOS-ELM與CI-ELM比較,G-mean，F(xiàn)-measure(micro)，F(xiàn)-measure(macro)3項(xiàng)指標(biāo)分別提高了4.84%、5.59%、5.91%。

(2)模型能夠根據(jù)增量學(xué)習(xí)數(shù)據(jù)集中出現(xiàn)的新類別故障數(shù)據(jù),自適應(yīng)在ELM輸出層中增加輸出神經(jīng)元,從而使模型具備類增量學(xué)習(xí)能力,有效拓寬故障診斷的范圍。

(3)自適應(yīng)增加隱藏層神經(jīng)元和輸出層神經(jīng)元,使得COAIOS-ELM模型有效解決了ELM在增量學(xué)習(xí)過程中自適應(yīng)動態(tài)選擇最佳網(wǎng)絡(luò)結(jié)構(gòu)的問題。通UCI公共數(shù)據(jù)集和Biquad低通濾波電路進(jìn)行實(shí)驗(yàn),驗(yàn)證了所提方法的有效性和優(yōu)越性。