王　凱，萬小金，徐增丙，李清蕾

(1.武漢理工大學(xué) 現(xiàn)代汽車零部件技術(shù)湖北省重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430070；2.武漢理工大學(xué) 汽車工程學(xué)院，湖北 武漢 430070；3.武漢科技大學(xué) 機(jī)械自動化學(xué)院，湖北 武漢 430081)

?

軟競爭ART-RBF神經(jīng)網(wǎng)絡(luò)算法及應(yīng)用

王凱1,2，萬小金1,2，徐增丙3，李清蕾1,2

(1.武漢理工大學(xué) 現(xiàn)代汽車零部件技術(shù)湖北省重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430070；2.武漢理工大學(xué) 汽車工程學(xué)院，湖北 武漢 430070；3.武漢科技大學(xué) 機(jī)械自動化學(xué)院，湖北 武漢 430081)

為了提高RBF網(wǎng)絡(luò)對時間序列的預(yù)測精度，引入軟競爭ART，提出了基于軟競爭機(jī)制的ART-RBF模型。在傳統(tǒng)RBF網(wǎng)絡(luò)的基礎(chǔ)上，自適應(yīng)控制生成隱含層節(jié)點(diǎn)的數(shù)目，并在第一階段的學(xué)習(xí)中引入基于相似度的軟競爭機(jī)制。與硬競爭ART-RBF網(wǎng)絡(luò)相比，軟競爭機(jī)制的采用，使得隱含層的每個節(jié)點(diǎn)都能參與對樣本的學(xué)習(xí)，提高了節(jié)點(diǎn)的利用率，并且減少對預(yù)測精度有著重要影響的類間混疊處樣本的誤分。使用Matlab對Mackey-Glass時間序列進(jìn)行仿真，并預(yù)測某軸承性能退化情況，結(jié)果表明該軟競爭算法可以在一定程度上提高預(yù)測精度。

ART;軟競爭;RBF;軸承;預(yù)測

目前，人工神經(jīng)網(wǎng)絡(luò)已廣泛應(yīng)用于模式識別、決策優(yōu)化、市場分析、智能控制及趨勢預(yù)測等領(lǐng)域。神經(jīng)網(wǎng)絡(luò)包含很多種，最常見的如BP神經(jīng)網(wǎng)絡(luò)，在分類識別、逼近、回歸、壓縮等領(lǐng)域有較多應(yīng)用，但其存在訓(xùn)練速度慢、易陷入局部極小等問題[1-2]。CPN網(wǎng)絡(luò)較之BP網(wǎng)絡(luò)，其訓(xùn)練速度有了較大提高，但由于網(wǎng)絡(luò)性能的限制其應(yīng)用面較窄[3]。徑向基函數(shù)網(wǎng)絡(luò)(radial basis function,RBF)，是在解決實(shí)多變量差值問題時提出的。1988年，BROOMHEAD等將RBF應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)，構(gòu)造了RBF網(wǎng)絡(luò)。POGGIO等[4]證明了RBF網(wǎng)絡(luò)具有最佳逼近特性，即存在一個權(quán)重集合，其逼近效果在所有可能的權(quán)重中是最佳的。傳統(tǒng)的RBF神經(jīng)網(wǎng)絡(luò)，采用一種離線的訓(xùn)練算法獲取參數(shù)，即從訓(xùn)練樣本空間中獲取隱含層聚類中心，從而確定網(wǎng)絡(luò)結(jié)構(gòu)。而當(dāng)訓(xùn)練樣本發(fā)生變化時，網(wǎng)絡(luò)無法作相應(yīng)改變，只能重新進(jìn)行網(wǎng)絡(luò)參數(shù)的選取。自適應(yīng)共振理論(adaptive resonance theory,ART)是美國Boston大學(xué)的GROSSBERG提出的，該網(wǎng)絡(luò)可以實(shí)現(xiàn)自組織聚類功能。由于RBF網(wǎng)絡(luò)隱含層節(jié)點(diǎn)生成及分布也可以被看作聚類問題，有學(xué)者將ART的特點(diǎn)與RBF結(jié)合進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)。LEE等[5]基于ART的特點(diǎn)對樣本進(jìn)行聚類得到的RBF網(wǎng)絡(luò)，結(jié)構(gòu)得到簡化，學(xué)習(xí)速度提升，與TRBF和SRBF相比也有較小的逼近誤差，但涉及的參數(shù)較多。徐增丙等[6-7]提出的ART-RBF網(wǎng)絡(luò)，在部分參數(shù)的選取上有所區(qū)別，但隱含層均采用硬競爭的模式，只利用了獲勝節(jié)點(diǎn)對參數(shù)進(jìn)行調(diào)整，在一定程度上造成了樣本信息的浪費(fèi)，且類間混疊處的樣本容易產(chǎn)生誤分，這些混疊處的樣本對預(yù)測精度有著重要的影響。筆者將基于相似度的軟競爭算法引入ART-RBF第一階段的學(xué)習(xí)中，非獲勝節(jié)點(diǎn)也可參與到節(jié)點(diǎn)中心的調(diào)整中，提高了節(jié)點(diǎn)的利用率，減少了混疊處樣本的誤分，在一定程度上提高了神經(jīng)網(wǎng)絡(luò)對時間序列擬合和預(yù)測的精度。

1　RBF網(wǎng)絡(luò)

RBF神經(jīng)網(wǎng)絡(luò)包括3層：輸入層、隱含層和輸出層。隱含層神經(jīng)元通過選取的基函數(shù)將輸入空間映射到一個新的空間，是一種非線性的變換，隱含層的輸出再通過該層與輸出層之間的權(quán)重實(shí)現(xiàn)線性加權(quán)組合。其拓?fù)浣Y(jié)構(gòu)如圖1所示。

圖1　RBF網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

RBF的激活函數(shù)最常用的是高斯函數(shù)：

式中：φj為隱含層第j個單元的輸出；h為隱含層節(jié)點(diǎn)的數(shù)目；X=(x1,x2,…,xn)T為輸入向量；Cj為第j個隱含層節(jié)點(diǎn)的中心；σj為寬度；‖X-Cj‖為輸入樣本與第j個隱層節(jié)點(diǎn)中心的歐氏距離，計(jì)算公式為：

(2)

網(wǎng)絡(luò)的輸出層是一組線性組合器，實(shí)現(xiàn)從隱含層激活函數(shù)到網(wǎng)絡(luò)輸出的線性映射，輸出層輸出即為隱含層節(jié)點(diǎn)輸出的線性組合，即：

(3)

式中：w為隱含層到輸出層的權(quán)重;m為輸出層節(jié)點(diǎn)數(shù)。

2　改進(jìn)的ART-RBF神經(jīng)網(wǎng)絡(luò)

2.1硬競爭ART-RBF

傳統(tǒng)的基于硬競爭的ART-RBF網(wǎng)絡(luò)，學(xué)習(xí)過程分為兩個階段：無監(jiān)督學(xué)習(xí)和有監(jiān)督學(xué)習(xí)。第一階段的訓(xùn)練方法有隨機(jī)選取固定中心法與K-means法[8]等；第二階段的訓(xùn)練方法主要有梯度下降法[9]與最小二乘法[10]等。

在無監(jiān)督階段學(xué)習(xí)過程中，通過計(jì)算樣本與隱含層節(jié)點(diǎn)中心相似度大小，并與警戒參數(shù)ρ對比調(diào)整隱含層節(jié)點(diǎn)數(shù)目。相似度采用余弦法計(jì)算，如式(4)所示：

(4)

對某一樣本，對比所有隱含層節(jié)點(diǎn)中心的相似度，選取相似度最大的節(jié)點(diǎn)為獲勝節(jié)點(diǎn)。在硬競爭機(jī)制下，節(jié)點(diǎn)中心的調(diào)整按式(5)進(jìn)行：

(5)

其中，α為第一階段學(xué)習(xí)率。在所有節(jié)點(diǎn)中，僅獲勝節(jié)點(diǎn)中心進(jìn)行學(xué)習(xí)調(diào)整。無監(jiān)督學(xué)習(xí)完成后，網(wǎng)絡(luò)已初步建立，但隱含層與輸出層的權(quán)值矩陣還未確定，這時通常使用梯度下降法調(diào)整權(quán)值矩陣。

2.2軟競爭ART-RBF

由于硬競爭機(jī)制對樣本信息的利用不足，節(jié)點(diǎn)利用率低，容易造成類間混疊處的樣本誤分，因此，筆者提出基于軟競爭機(jī)制的ART-RBF模型，其學(xué)習(xí)過程與硬競爭ART-RBF基本一致，軟競爭機(jī)制應(yīng)用于無監(jiān)督學(xué)習(xí)階段。

2.2.1無監(jiān)督學(xué)習(xí)

第一階段進(jìn)行樣本學(xué)習(xí)，調(diào)整節(jié)點(diǎn)中心時，硬競爭ART-RBF采用式(5)進(jìn)行，當(dāng)兩個節(jié)點(diǎn)對該樣本都有較大的相似度時，次獲勝節(jié)點(diǎn)或其他相似度也較大的非獲勝節(jié)點(diǎn)不能參與對樣本的學(xué)習(xí)，導(dǎo)致了樣本信息的浪費(fèi)和節(jié)點(diǎn)的利用率低。在此過程中，節(jié)點(diǎn)對樣本的學(xué)習(xí)按其與樣本的相似程度進(jìn)行：與樣本更相似的節(jié)點(diǎn)，學(xué)習(xí)的比重較大；反之，學(xué)習(xí)比重較小。這就要求構(gòu)造一個基于相似度的且輸出介于0～1之間的函數(shù)來計(jì)算隱含層節(jié)點(diǎn)參與樣本學(xué)習(xí)的比重:

(6)

式中：μ為軟競爭率；Sg為相似度中的最大值。

Bj在硬競爭的學(xué)習(xí)機(jī)制中，取值只能為0(所有的非獲勝神經(jīng)元)或1(獲勝神經(jīng)元)；對于一個樣本而言，兩個或多個神經(jīng)元獲勝，則這幾個隱含層節(jié)點(diǎn)的Bj均為1；若多個節(jié)點(diǎn)的相似度均較大，則Bj按式(6)進(jìn)行計(jì)算，越接近相似度最大節(jié)點(diǎn)，輸出越接近1。當(dāng)軟競爭率μ→0時，獲勝節(jié)點(diǎn)Bj為1，其他節(jié)點(diǎn)近似為0，這種情況相當(dāng)于硬競爭機(jī)制。中心的調(diào)整遵循以下的規(guī)則：

(7)

另外，在學(xué)習(xí)過程中，聚類中心應(yīng)向著新學(xué)習(xí)樣本的方向進(jìn)行調(diào)整。對比學(xué)習(xí)新樣本后，樣本與調(diào)整前后的類中心的距離：

(8)

可見樣本距離調(diào)整后的聚類中心更近。確定了隱含層節(jié)點(diǎn)的中心后，可以采用式(9)計(jì)算寬度[11]：

(9)

式中：λ為重疊系數(shù)；Ci為與Cj最近的聚類中心。

2.2.2有監(jiān)督學(xué)習(xí)

進(jìn)行了無監(jiān)督學(xué)習(xí)后，網(wǎng)絡(luò)已初步建立，但隱含層與輸出層的權(quán)值矩陣還沒有確定，調(diào)整權(quán)值矩陣常使用梯度下降法。

對于每個樣本，目標(biāo)函數(shù)均方誤差為：

(10)

(12)

(13)

式中：β為第二階段學(xué)習(xí)率；Rj為第j個隱含層節(jié)點(diǎn)的輸出。

軟競爭ART-RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法具體如下：

(3)由式(4)計(jì)算進(jìn)入網(wǎng)絡(luò)的樣本與當(dāng)前隱含層節(jié)點(diǎn)激活函數(shù)中心的相似度。

(4)選取Sj中的最大值Sg。

(5)對比Sg與警戒參數(shù)ρ，若Sg≥ρ，則將此樣本歸為Sg代表的類別，轉(zhuǎn)步驟(6)；否則此樣本單獨(dú)為一類，轉(zhuǎn)步驟(7)。

(6)按照式(7)對本類進(jìn)行中心的調(diào)整，其中各類別中心調(diào)整的幅度Bj由式(6)計(jì)算。

(7)增加新類別，h=h+1,新類別的中心即為該剛進(jìn)入網(wǎng)絡(luò)的樣本。

(8)返回步驟(2)進(jìn)行學(xué)習(xí)，直到所有的樣本訓(xùn)練結(jié)束，則第一階段的無監(jiān)督學(xué)習(xí)結(jié)束，第二階段的有監(jiān)督學(xué)習(xí)開始。

(9)初始樣本對Xk、Yk重新進(jìn)入網(wǎng)絡(luò)，按照式(13)對網(wǎng)絡(luò)權(quán)值進(jìn)行調(diào)整，直到達(dá)到最大迭代次數(shù)或誤差小于設(shè)定數(shù)。

3　案例分析

3.1仿真驗(yàn)證

用Mackey-Glass混沌時間序列進(jìn)行預(yù)測，以驗(yàn)證算法的有效性。

(14)

當(dāng)τ≥17時產(chǎn)生混沌現(xiàn)象，取參數(shù)α=0.2，β=0.1，γ=10，用Runge-Kutta解該時滯微分方程，得到一組離散點(diǎn)。按照[x(t)，x(t+6)，…，x(t+66)](t=1，2，…，933)構(gòu)造933組樣本，每個樣本的前11項(xiàng)作為輸入，第12項(xiàng)作為輸出。前600組作為訓(xùn)練樣本，后333組作為預(yù)測樣本。誤差計(jì)算使用均方誤差：

(15)

設(shè)置警戒參數(shù)ρ=0.995；第一階段的學(xué)習(xí)率設(shè)置為0.100，第二階段的學(xué)習(xí)率為0.001，軟競爭率為0.000 0，進(jìn)行1 000次迭代計(jì)算，與相同參數(shù)設(shè)置的ASCPN網(wǎng)絡(luò)[12]對比，測試結(jié)果如表1所示。Mackey-Glass時間序列的學(xué)習(xí)及預(yù)測的結(jié)果如圖2所示。

表1　網(wǎng)絡(luò)測試結(jié)果

圖2　Mackey-Glass時間序列的學(xué)習(xí)和預(yù)測結(jié)果

為了進(jìn)一步驗(yàn)證軟競爭率的變化對算法的影響，使用上述時間序列的933個樣本，取ρ=0.999 5，調(diào)整其他參數(shù)后保持不變，只改變軟競爭率的大小，得到誤差值以及其變化的比重，如表2所示。

由表2可知，軟競爭率σ=0.000 5時的綜合誤差比σ=0.000 0時降低23.6%。誤差隨軟競爭率整體呈現(xiàn)先下降后上升的趨勢。對于不同的樣本，樣本間的相似度和警戒參數(shù)的設(shè)置會影響軟競爭率的影響幅度。當(dāng)樣本之間的相似程度較低時，或警戒參數(shù)設(shè)置過大導(dǎo)致隱含層節(jié)點(diǎn)數(shù)目與樣本數(shù)一致即每個樣本分為一類時，即使調(diào)整軟競爭率大小，分類或預(yù)測效果也不會提高。

表2　軟競爭率的影響結(jié)果

3.2實(shí)驗(yàn)驗(yàn)證

使用辛辛那提大學(xué)智能維護(hù)系統(tǒng)中心提供的滾動軸承全壽命周期性能退化實(shí)驗(yàn)數(shù)據(jù)作為輸入樣本的數(shù)據(jù)源驗(yàn)證軟競爭ART-RBF算法。

實(shí)驗(yàn)裝置由直流電機(jī)驅(qū)動，在輸出軸上的不同位置安裝8個滾動軸承并施加徑向載荷,轉(zhuǎn)速保持在約2 000 r/min。每個軸承的水平與垂直方向安裝加速度傳感器，使用采集卡進(jìn)行加速度信號采集，采集一次的時間間隔為10 min。采樣頻率為20 kHz,數(shù)據(jù)長度為20 480點(diǎn)，共采集2 000組數(shù)據(jù)。根據(jù)潤滑油道內(nèi)磁性螺塞的碎屑收集情況，判斷3號軸承在16 000 min以后性能退化比較明顯，20 000 min時性能急劇退化產(chǎn)生故障。

此處筆者引入表征軸承性能退化的綜合指標(biāo)置信度(CV)[13]：

(16)

式中：MQE為最小量化指標(biāo)，定義為樣本與自組織映射網(wǎng)絡(luò)(SOM)競爭層最佳匹配單元的歐式距離，SOM網(wǎng)絡(luò)使用正常運(yùn)行狀態(tài)下的樣本進(jìn)行訓(xùn)練；c為調(diào)整常數(shù)，與置信度和狀態(tài)區(qū)間的劃分有關(guān)，筆者取c=5。

相對均方根值、相對方差、相對絕對平均值及相對方根幅值等特征參數(shù)作為表征軸承退化的敏感參數(shù)，影響著置信度指標(biāo)的變化趨勢，因此筆者將4個特征參數(shù)選為輸入樣本，置信度指標(biāo)為輸出樣本。選取60組上述4種敏感特征參數(shù)及對應(yīng)時刻的置信度作為訓(xùn)練樣本，其后時刻的40組特征參數(shù)組成預(yù)測樣本，分別使用兩種競爭模式的網(wǎng)絡(luò)進(jìn)行預(yù)測，預(yù)測結(jié)果如圖3所示。

圖3　置信度預(yù)測結(jié)果

由圖3可知，兩種預(yù)測模型都能得到較好的軸承運(yùn)轉(zhuǎn)置信度預(yù)測值，但基于軟競爭機(jī)制的預(yù)測模型預(yù)測精度顯然更高，其偏離置信度計(jì)算值的點(diǎn)數(shù)較硬競爭機(jī)制也較少,偏離比較明顯的點(diǎn)數(shù)由10個減少至4個(見圖3中圓形和方形標(biāo)記)，可以認(rèn)為基于軟競爭機(jī)制的ART-RBF模型對混疊處樣本進(jìn)行了優(yōu)化分類處理，提高了預(yù)測精度。對預(yù)測結(jié)果進(jìn)行誤差計(jì)算，如表3所示。

表3　網(wǎng)絡(luò)測試誤差結(jié)果

對兩種競爭機(jī)制的節(jié)點(diǎn)分類數(shù)進(jìn)行分析，除軟競爭率外，其他參數(shù)設(shè)置均相同，得到60個樣本的相似度矩陣，又由于樣本分類數(shù)與樣本的輸入順序有關(guān)，因此，每次將軟競爭和硬競爭分類中首個出現(xiàn)差別的樣本刪除，再次進(jìn)行分類，直到分類一致。按照這種方式，最后分類出現(xiàn)差別的樣本，可以認(rèn)為是類間混疊處樣本，其節(jié)點(diǎn)劃分情況，影響到隱含層節(jié)點(diǎn)的數(shù)目以及其與節(jié)點(diǎn)中心的距離，進(jìn)而導(dǎo)致隱含層節(jié)點(diǎn)響應(yīng)不同，最終通過線性加權(quán)得到不同的網(wǎng)絡(luò)輸出。采用軟競爭機(jī)制，混疊處的樣本分類更加合理，因此最終的預(yù)測精度也得到較大的提升。

4　結(jié)論

筆者的研究主要集中在網(wǎng)絡(luò)學(xué)習(xí)的第一階段，在網(wǎng)絡(luò)節(jié)點(diǎn)的生成與中心的調(diào)整中分別采用與ART結(jié)合和軟競爭的方式。當(dāng)樣本數(shù)量很大時，適當(dāng)?shù)販p少隱含層節(jié)點(diǎn)數(shù)，對增加網(wǎng)絡(luò)的穩(wěn)定性和減少運(yùn)算時間是必要的。另外，選擇合適的軟競爭率也可以減少類間混疊處樣本分類時的誤分現(xiàn)象，從而提高預(yù)測的精度。軟競爭率的選擇、樣本相似度及警戒參數(shù)之間的關(guān)系有待進(jìn)一步驗(yàn)證，以提高算法的適用性。

[1]張利，吳華玉，盧秀穎.基于粗糙集的改進(jìn)BP神經(jīng)網(wǎng)絡(luò)算法研究[J].大連理工大學(xué)學(xué)報(bào)，2009，49(6):971-976.

[2]王越，曹長修.BP網(wǎng)絡(luò)局部極小產(chǎn)生的原因分析及避免[J].計(jì)算機(jī)工程，2002，28(6):35-37.

[3]蔣宗禮.人工神經(jīng)網(wǎng)絡(luò)導(dǎo)論[M].北京:高等教育出版社，2005:55-69.

[4]POGGIO T，GIROSI F.Networks for approximation and learning[J].Proceedings of the IEEE，1990，78(9):1481-1497.

[5]LEE S J，HOU C L.An ART-based construction of RBF networks[J].IEEE Trans on Neural Networks，2002，13(6):1308-1321.

[6]徐增丙.基于自適應(yīng)共振理論的混合智能診斷方法及其應(yīng)用[D].武漢:華中科技大學(xué)，2009.

[7]蒙西，喬俊飛，韓紅桂.基于ART的RBF網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)[J].控制與決策，2014，29(10):1876-1880.

[8]BEZDEK J C.Pattern recognition with fuzzy objective function algorithm [M].New York: Plenum，1981:1-13.

[9]姜鵬飛，蔡之華.基于遺傳算法和梯度下降的RBF神經(jīng)網(wǎng)絡(luò)組合訓(xùn)練方法[J].計(jì)算機(jī)應(yīng)用，2007，27(2):366-369.

[10]CHEN S，COWAN C F N，GRANT P M.Orthogonal least squares learning algorithm for radial basis function networks[J].IEEE Transactions on Neural Networks，1991，2(2):302-309.

[11]吳秋明.基于RBF神經(jīng)網(wǎng)絡(luò)的故障診斷[D].鎮(zhèn)江: 江蘇大學(xué)，2006.

[12]DONG Y H，SHAO M，TAI X Y.An adaptive counter propagation network based on soft competition [J].Pattern Recognition Letters，2008(29):938-949.

[13]HONG S，ZHOU Z，ENRICO Z，et al.Condition assessment for the performance degradation of bearing based on a combinatorial feature extraction method[J].Digital Signal Processing，2014(27):159-166.

The Algorithm of ART-RBF Based on Soft Competition Mechanism and Its Application

WANG Kai, WAN Xiaojin, XU Zengbing, LI Qinglei

A prediction model which combines soft ART and RBF is proposed to improve the prediction accuracy of RBF.Based on traditional RBF network, the neurons in hidden layer is generated automatically by setting a vigilance parameter.A soft competition based on similarity is also introduced to this model.Compared with traditional ART-RBF network based on hard competition, the adoption of soft competition in learning process, every neuron will be used to adjust the center vectors; and it can also reduce the misclassification of similar samples that are very important to the prediction accuracy.This algorithm is proved to be efficient by the simulation of Mackey-Glass time series and prediction of bearing degradation.

ART; soft competition; RBF; bearing; prediction

WANG Kai:Postgraduate; School of Automotive Engineering, WUT, Wuhan 430070, China.

2095-3852(2016)04-0503-05

A

2016-03-04.

王凱(1989-)，男，山東泰安人，武漢理工大學(xué)汽車工程學(xué)院碩士研究生.

國家自然科學(xué)基金項(xiàng)目(51405353).

TP183

10.3963/j.issn.2095-3852.2016.04.023