莫紅枝

（玉林師范學(xué)院 教育技術(shù)中心，廣西 玉林 537000）

0 引言

神經(jīng)網(wǎng)絡(luò)算法是一種非線性計(jì)算模型，近年來(lái)成為模式識(shí)別中常用的工具之一。在多層神經(jīng)網(wǎng)絡(luò)中，系統(tǒng)的性能不僅受到隱含層數(shù)、隱含層神經(jīng)元數(shù)量的影響，而且還與激勵(lì)函數(shù)的選取和訓(xùn)練算法直接相關(guān)。

在目前的研究中，采用最為廣泛的為S型激勵(lì)函數(shù)[1-2]，S型函數(shù)容易減慢網(wǎng)絡(luò)的收斂速度，甚至可能導(dǎo)致陷入局部最小值[3]。針對(duì)這一問(wèn)題，近幾年采用自適應(yīng)激勵(lì)函數(shù)對(duì)神經(jīng)元輸入的加權(quán)和進(jìn)行計(jì)算已經(jīng)成為一種趨勢(shì)，并應(yīng)用于股票預(yù)測(cè)[4]、文字識(shí)別[5]等方面。本文針對(duì)常見(jiàn)的S型函數(shù),改進(jìn)了自適應(yīng)性激勵(lì)函數(shù)神經(jīng)網(wǎng)絡(luò)系統(tǒng)框架，提出基于馬爾可夫鏈的學(xué)習(xí)算法，并將其應(yīng)用到故障診斷領(lǐng)域，取得了比較好的實(shí)驗(yàn)結(jié)果。

1 自適應(yīng)性神經(jīng)網(wǎng)絡(luò)

1.1 多層神經(jīng)網(wǎng)絡(luò)

多層神經(jīng)網(wǎng)絡(luò)一般包括一個(gè)輸入層、一個(gè)輸出層、一個(gè)或者多個(gè)隱藏層。隱藏層每一層網(wǎng)絡(luò)中都包含多個(gè)神經(jīng)元，對(duì)每個(gè)神經(jīng)元的輸入都是由上一層輸出的加權(quán)和，例如對(duì)于第n組樣本數(shù)據(jù)，第k層上的第j個(gè)神經(jīng)元的輸入可以通過(guò)計(jì)算上一層的加權(quán)和來(lái)計(jì)算，計(jì)算公式為：

其中，wkji表示上一層網(wǎng)絡(luò)中的第i個(gè)神經(jīng)元對(duì)于第k層上的第j個(gè)神經(jīng)元之間的權(quán)重值。yki(n)表示第 k層網(wǎng)絡(luò)上第i個(gè)神經(jīng)元的輸出值。當(dāng)k=1時(shí)，表示該層為輸入層，其輸出值就是對(duì)于整個(gè)神經(jīng)網(wǎng)絡(luò)的輸入值，即y1i(n)=xi(n)，神經(jīng)元的輸出由輸入經(jīng)過(guò)激勵(lì)函數(shù)計(jì)算得到，即：

其中，φkj表示第k層第j個(gè)神經(jīng)元的激勵(lì)函數(shù)。為了增加神經(jīng)網(wǎng)絡(luò)算法的非線性映射能力，隱含層的激勵(lì)函數(shù)可以選取非線性函數(shù)，常見(jiàn)的包括雙正切函數(shù)和S型函數(shù)。輸出層上神經(jīng)元的輸出就是整個(gè)神經(jīng)網(wǎng)絡(luò)系統(tǒng)的輸出。為了獲得最優(yōu)的權(quán)重值，需要對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。在給定訓(xùn)練樣本后，對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練過(guò)程的實(shí)質(zhì)是不斷調(diào)整權(quán)重值，使神經(jīng)網(wǎng)絡(luò)計(jì)算的輸出值與理論上的輸出值之間的誤差最小，即：

其中，din和 yin分別為第i個(gè)神經(jīng)元上真實(shí)情況下的輸出值和實(shí)際計(jì)算結(jié)果的輸出值，N為訓(xùn)練樣本的個(gè)數(shù)。

1.2 激勵(lì)函數(shù)

本文以傳統(tǒng)的三層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)計(jì)出基于改進(jìn)的S函數(shù)的自適應(yīng)性神經(jīng)網(wǎng)絡(luò)。其特點(diǎn)在于隱含層的激勵(lì)函數(shù)不再是固定的函數(shù)，而是包含了可變參數(shù)的激勵(lì)函數(shù)，這種神經(jīng)網(wǎng)絡(luò)系統(tǒng)框架如圖1所示。其中輸入層的神經(jīng)元數(shù)量由選取的特征的個(gè)數(shù)決定(1，2，…，N)，輸出層神經(jīng)元個(gè)數(shù)為 4 個(gè)（S1，S2，S3，S4），隱含層神經(jīng)元的輸入是輸入層各個(gè)神經(jīng)元輸出的加權(quán)和，并采用了自適應(yīng)性的激勵(lì)函數(shù)對(duì)隱含層的輸入進(jìn)行計(jì)算(I1，I2…Ik)。計(jì)算結(jié)果通過(guò)加權(quán)求和作為輸出層的輸入。在輸入層并未采用任何激勵(lì)函數(shù)，輸出層采用經(jīng)典的S型激勵(lì)函數(shù)，如：

式（4）由S型函數(shù)演化而來(lái)，是一種常用的自適應(yīng)性激勵(lì)函數(shù)，式中的α和β為可變參數(shù)。雖然該函數(shù)已經(jīng)應(yīng)用到神經(jīng)網(wǎng)絡(luò)算法中，卻很少有文獻(xiàn)將其應(yīng)用在解決機(jī)械設(shè)備故障分類問(wèn)題中。

圖1 多層神經(jīng)網(wǎng)絡(luò)算法系統(tǒng)架構(gòu)

2 基于馬爾可夫鏈的訓(xùn)練算法

2.1 算法描述

樣本訓(xùn)練即是在給定一定數(shù)量的樣本時(shí)，利用式(3)對(duì)所有的權(quán)重進(jìn)行最優(yōu)化估計(jì)的過(guò)程[6-7]。當(dāng)樣本數(shù)據(jù)中含有噪聲時(shí)，會(huì)造成程序魯棒性很差，給傳統(tǒng)的訓(xùn)練方法帶來(lái)困難，本文假設(shè)式(3)中的誤差服從于高斯分布，然后根據(jù)后驗(yàn)概率構(gòu)造出馬爾可夫鏈，完成對(duì)權(quán)重的訓(xùn)練，可以有效避免噪聲對(duì)訓(xùn)練結(jié)果造成的影響，具有收斂速度快的優(yōu)勢(shì)。假設(shè)樣本中含有噪聲，因此實(shí)際輸出與理想輸出之間的關(guān)系為：

式(5)的含義是對(duì)權(quán)重和自適應(yīng)性參數(shù)進(jìn)行估計(jì)，首先建立出的最大似然估計(jì)為：

其中 θ={w，α，β}為要估計(jì)的參數(shù)向量，xi為第 i個(gè)含噪樣本。根據(jù)Hammersley-Clifford理論，在給定樣本X時(shí)，利用條件分布 pi(θi|θ{j≠i}，X，E)可以從聯(lián)合分布 p(θ|X，E)中產(chǎn)生足夠的點(diǎn)，趨近使得誤差E最小的最小二乘估計(jì)值。因此本文通過(guò)條件分布不斷調(diào)整權(quán)重和可變參數(shù)的值，使其得到訓(xùn)練：

假設(shè)樣本數(shù)據(jù)中的噪聲符合正態(tài)分布，則：

因此：

在得到θ的條件分布后，則各個(gè)權(quán)重及可變參數(shù)可以通過(guò)以下的算法進(jìn)行更新。

算法一：

輸入：樣本 X，迭代次數(shù) I，初始值 θ(0)={w0，α0，β0}

從上面算法可以看到，通過(guò)不斷對(duì)各個(gè)參數(shù)進(jìn)行更新，形成了馬爾可夫鏈，最終可以得到最小二乘估計(jì)。

2.2 參數(shù)分析

下面以式（4）為例給出條件分布的計(jì)算公式：

（1）對(duì)于權(quán)重 wk

求取其分布時(shí)只需要將其他變量看作固定值，則可以得到其分布：

算法二：

第二步：u～U(0，1)

第三步：wk～(wk)

圖2 正常軸承振動(dòng)信號(hào)

（2）對(duì)于參數(shù) α

通過(guò)簡(jiǎn)單的推導(dǎo)可以得出參數(shù)α的條件分布仍然服從于正態(tài)分布：

（3）對(duì)于參數(shù) β

式（12）中的概率也是很難處理的，為簡(jiǎn)化程序，同樣采用拒絕性采樣算法對(duì)β進(jìn)行更新。

3 實(shí)驗(yàn)結(jié)果仿真

3.1 數(shù)據(jù)準(zhǔn)備

為對(duì)神經(jīng)網(wǎng)絡(luò)性能進(jìn)行驗(yàn)證，利用本文設(shè)計(jì)的自適應(yīng)性神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)出了分類器，應(yīng)用于軸承故障診斷當(dāng)中。選取的樣本數(shù)據(jù)來(lái)自于美國(guó)凱斯西儲(chǔ)大學(xué)股東軸承數(shù)據(jù)中心。軸承型號(hào)為SKF公司的6205-2RS型的深溝球軸承?？紤]了4種軸承故障，分別為內(nèi)圈單點(diǎn)故障、外圈點(diǎn)蝕及滾動(dòng)體點(diǎn)蝕和正常工作信號(hào)。4種信號(hào)的波形分別如圖2～圖5所示。

訓(xùn)練樣本空間總共選取了1 136個(gè)個(gè)體，每個(gè)個(gè)體包含512個(gè)采樣點(diǎn)。通過(guò)小波分解提取出了20個(gè)小波系數(shù)作為分類器的輸入。

3.2 訓(xùn)練結(jié)果

圖3 滾動(dòng)體點(diǎn)蝕振動(dòng)信號(hào)

圖4 內(nèi)圈單點(diǎn)故障振動(dòng)信號(hào)

圖5 外圈點(diǎn)蝕故障振動(dòng)信號(hào)

由于每段數(shù)據(jù)提取的特征個(gè)數(shù)為20個(gè)，因此將分類器的輸入層神經(jīng)元個(gè)數(shù)設(shè)置為了20個(gè)。通過(guò)實(shí)驗(yàn)得到了最佳的隱含層神經(jīng)元數(shù)量。輸出層神經(jīng)元個(gè)數(shù)對(duì)應(yīng)于4種故障，最終的神經(jīng)網(wǎng)絡(luò)架構(gòu)和參數(shù)設(shè)置如表1所示。

表1 測(cè)試的神經(jīng)網(wǎng)絡(luò)架構(gòu)及其參數(shù)設(shè)置

其中S-MPL代表了S型函數(shù)作為隱含層激勵(lì)函數(shù)的神經(jīng)網(wǎng)絡(luò)系統(tǒng)。F1-MPL代表以式（4）中的函數(shù)作為激勵(lì)函數(shù)的神經(jīng)網(wǎng)絡(luò)系統(tǒng)。對(duì)F1-MPL的訓(xùn)練過(guò)程如圖6和圖7所示。圖6顯示的是利用本文算法的訓(xùn)練過(guò)程，其中σ=0.5，初始值在 0～1之間隨機(jī)生成。圖 7展示了利用共軛梯度法作為訓(xùn)練算法的收斂過(guò)程。共軛梯度法是介于最速下降法與牛頓法之間的一個(gè)方法，它僅需利用一階導(dǎo)數(shù)信息，但克服了最速下降法收斂慢的缺點(diǎn)，又避免了牛頓法需要存儲(chǔ)和計(jì)算Hesse矩陣并求逆的缺點(diǎn)，學(xué)習(xí)率選為1.2。

圖6 本文算法訓(xùn)練過(guò)程

圖7 共軛梯度算法訓(xùn)練過(guò)程

從圖6和圖7中的對(duì)比可以看出，利用本文提出的算法在第5次更新時(shí)就基本可以達(dá)到穩(wěn)定，具有穩(wěn)定性高、收斂速度快的特點(diǎn)。

3.3 分類結(jié)果

通過(guò)訓(xùn)練后兩種神經(jīng)網(wǎng)絡(luò)對(duì)4類信號(hào)最終的分類結(jié)果如表2所示。

表2 神經(jīng)網(wǎng)絡(luò)算法的比較結(jié)果

其中樣本個(gè)數(shù)一欄分別表示了4種類型的信號(hào)的樣本個(gè)數(shù)，S-MPL、F1-MPL分別指的是通過(guò) S-MPL網(wǎng)絡(luò)和F1-MPL網(wǎng)絡(luò)分類正確的4種信號(hào)的數(shù)目。因此可以計(jì)算出兩種神經(jīng)網(wǎng)絡(luò)算法的分類精度如表3所示。

表3 分類器的分類精度比較結(jié)果

從表1中看出，本文的訓(xùn)練算法比傳統(tǒng)固定型的S型函數(shù)更加耗時(shí)，這是由于將可變參數(shù)引入到激勵(lì)函數(shù)中后，系統(tǒng)在訓(xùn)練時(shí)往往需要更多的運(yùn)算。然而訓(xùn)練樣本的收斂精度也有所提高，這表明了本文算法訓(xùn)練精度也更高，因此可以推測(cè)，自適應(yīng)性的神經(jīng)網(wǎng)絡(luò)應(yīng)用到其他問(wèn)題當(dāng)中時(shí)，比傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)更加容易搜索到全局最優(yōu)值。

表2和表3證明了將本文的訓(xùn)練算法應(yīng)用在解決滾動(dòng)軸承故障診斷問(wèn)題方面的優(yōu)越性，取得了更高的分類精度。對(duì)于正常信號(hào)、滾動(dòng)體點(diǎn)蝕振動(dòng)信號(hào)、內(nèi)圈單點(diǎn)故障信號(hào)、外圈點(diǎn)蝕故障信號(hào)的分類精度分別可以達(dá)到99.69%、99.15%、98.90%、99.67%，平均分類精度可以達(dá)到99.38%。

4 結(jié)論

本文對(duì)傳統(tǒng)的S型激勵(lì)函數(shù)進(jìn)行了改進(jìn)，提出一種自適應(yīng)性的神經(jīng)網(wǎng)絡(luò)分類器；基于馬爾可夫鏈對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，提高了網(wǎng)絡(luò)訓(xùn)練速度；最后，將該分類器應(yīng)用到滾動(dòng)軸承故障診斷問(wèn)題中。結(jié)果證明，使用該分類器可以比傳統(tǒng)的S型神經(jīng)網(wǎng)絡(luò)分類器獲得更高的分類精度。

[1]唐貴基，范德功，胡愛(ài)軍，等.基于小波包能量特征向量神經(jīng)網(wǎng)絡(luò)的旋轉(zhuǎn)機(jī)械故障診斷[J].汽輪機(jī)技術(shù)，2006(3)：215-217.

[2]張來(lái)斌，崔厚璽，王朝暉，等.基于信息熵神經(jīng)網(wǎng)絡(luò)的風(fēng)力發(fā)電機(jī)故障診斷方法研究[J].機(jī)械強(qiáng)度，2009(1)：132-135.

[3]BURSE K，YADAV R N，SHRIVASTAVA S C.Channel equalization using neural networks：a review[J].IEEE Transactions on Systems，Man，and Cybernetics Part C-Applications and Reviews，2010，40(3)：352-357.

[4]BILDIRICI M，ALP E A，ERSIN O O.TAR-cointegration neural network model：An empirical analysis of exchange rates and stock returns[J].Expert Systems with Applications，2010，37(1)：2-11.

[5]KANG M，PALMER-BROWN D.A modal learning adaptive function neural network applied to handwritten digit recognition[J].Information Sciences，2008，178(20)：3802-3812.

[6]滕輝.一種改進(jìn)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法研究[J].科技通報(bào)，2012(4)：97-98.

[7]鄭緒枝，夏薇，雷靖.一種改進(jìn)的Jacobi正交多項(xiàng)式的BP神經(jīng)網(wǎng)絡(luò)算法[J].云南大學(xué)學(xué)報(bào)(自然科學(xué)版)，2011(S2)：188-191.