李 鋒，陳 勇，王家序，湯寶平

(1.四川大學(xué) 機械工程學(xué)院，四川 成都 610065；2.四川大學(xué) 空天科學(xué)與工程學(xué)院，四川 成都 610065；3.重慶大學(xué) 機械傳動國家重點實驗室，重慶 400044)

0 引言

滾動軸承是機械設(shè)備中應(yīng)用最廣泛的組件之一，其健康狀態(tài)直接影響整個機械設(shè)備的安全運行，對滾動軸承進行有效地狀態(tài)趨勢預(yù)測，能夠為預(yù)防和排除機械設(shè)備的安全隱患、提高機械設(shè)備的可靠性提供技術(shù)保障[1]。從主流的技術(shù)和應(yīng)用研究現(xiàn)狀來看，狀態(tài)趨勢預(yù)測方法主要分為基于物理模型的預(yù)測方法和基于數(shù)據(jù)驅(qū)動的預(yù)測方法兩大類?；谖锢砟Ｐ偷姆椒ㄒ?qū)ρ芯繉ο蟮南闰炛R要求非常高而適用性較低，并且由于對安裝在結(jié)構(gòu)復(fù)雜、運行環(huán)境惡劣及部件之間相互影響較大的設(shè)備中的軸承建立完備的物理失效預(yù)測模型非常困難，該方法在滾動軸承上的使用和推廣受到很大限制[2];基于數(shù)據(jù)驅(qū)動的預(yù)測方法通過分析設(shè)備的傳感器監(jiān)測數(shù)據(jù)得到設(shè)備潛在的退化規(guī)律，從而預(yù)測設(shè)備的狀態(tài)趨勢，該方法僅需收集足夠的性能退化數(shù)據(jù)，并將其轉(zhuǎn)換為相關(guān)信息和性能退化模型，即可對未來數(shù)據(jù)進行預(yù)測，而且該方法對設(shè)備相關(guān)先驗知識的要求比較低，使用簡單、效率高且模型通用性好[3]，因此獲得越來越多的關(guān)注和研究[4-7]?；跀?shù)據(jù)驅(qū)動的狀態(tài)趨勢預(yù)測方法分為3類：①現(xiàn)代模型預(yù)測方法，如灰色模型(Grey Model, GM)和粒子濾波(Particle Filter, PF)等；②數(shù)值分析預(yù)測方法，如支持向量回歸(Support Vector Regression, SVR)等；③人工智能的預(yù)測方法，如神經(jīng)網(wǎng)絡(luò)和專家系統(tǒng)等。Zhang等[8]利用實時數(shù)據(jù)和歷史數(shù)據(jù)建立了動態(tài)加權(quán)Markov模型，并利用PF對滾子軸承狀態(tài)趨勢進行預(yù)測；Loutas等[9]采用經(jīng)過貝葉斯處理的支持向量回歸(Epsilon-Support Vector Regression, E-SVR)模型預(yù)測滾子軸承退化趨勢；Rai等[10]設(shè)計了一個時滯神經(jīng)網(wǎng)絡(luò)(Time Delay Neural Network, TDNN)預(yù)測滾子軸承的健康指標。然而上述預(yù)測方法仍有不足：對于PF，重采樣階段會對樣本有效性和多樣性造成損失，導(dǎo)致樣本出現(xiàn)貧化現(xiàn)象；因為E-SVR的核函數(shù)類型和核參數(shù)依然很難準確設(shè)定，所以預(yù)測結(jié)果不確定；人工神經(jīng)網(wǎng)絡(luò)如TDNN的隱層層數(shù)和節(jié)點數(shù)的選擇沒有成熟的理論指導(dǎo)，一般根據(jù)經(jīng)驗選取，導(dǎo)致模型的預(yù)測精度和計算效率不理想。

作為解決序貫決策的機器學(xué)習(xí)方法，強化學(xué)習(xí)采用持續(xù)的“交互—試錯”機制[11-12]進行Agent與環(huán)境的不斷交互，從而學(xué)得完成任務(wù)的最優(yōu)策略，契合了人類提升智能的行為決策方式[13-14]。針對神經(jīng)網(wǎng)絡(luò)隱層層數(shù)和節(jié)點數(shù)根據(jù)經(jīng)驗選取造成非線性逼近能力和泛化性能不可控的問題，結(jié)合強化學(xué)習(xí)在智能決策方面的優(yōu)勢，在循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)的基礎(chǔ)上，本文提出一種新型神經(jīng)網(wǎng)絡(luò)理論——強化學(xué)習(xí)單元匹配循環(huán)神經(jīng)網(wǎng)絡(luò)(Reinforcement Learning Unit MacthingRecurrent Neural Network, RLUMRNN)。在RLUMRNN中構(gòu)造單調(diào)趨勢識別器，該識別器利用最小二乘線性回歸法對輸入序列進行線性擬合，并通過擬合函數(shù)的斜率來判斷輸入序列的趨勢(上升、下降、平穩(wěn))，用這3種趨勢和不同隱層層數(shù)及隱層節(jié)點數(shù)分別表示Q值表的狀態(tài)和動作，Agent根據(jù)更新后的Q值表采取最佳的動作(即選擇隱層層數(shù)和節(jié)點數(shù)與每種序列趨勢單元最匹配的RNN)，增強了RLUMRNN的非線性逼近能力和泛化性能，使所提出的狀態(tài)退化趨勢預(yù)測方法對具有復(fù)雜變化規(guī)律的滾動軸承狀態(tài)退化趨勢有較好的適應(yīng)性；另外，在Q值表更新過程中，構(gòu)造關(guān)于輸出誤差的新型獎勵函數(shù)，避免Agent盲目搜索，提高了網(wǎng)絡(luò)的收斂速度。

利用上述RLUMRNN的優(yōu)勢，本文提出基于RLUMRNN的狀態(tài)趨勢預(yù)測方法，將該方法用于滾動軸承狀態(tài)趨勢預(yù)測，可以達到較高的預(yù)測精度和計算效率。

1 強化學(xué)習(xí)單元匹配循環(huán)神經(jīng)網(wǎng)絡(luò)

1.1 強化學(xué)習(xí)

強化學(xué)習(xí)是基于Markov決策過程(Markov Decision Process, MDP)的理論框架[15]。如圖1所示，一個標準的強化學(xué)習(xí)框架中主要有動作、獎勵、狀態(tài)、環(huán)境4個要素，其目標是學(xué)習(xí)一個行為策略，使Agent選擇的動作最終能夠獲得環(huán)境最大的獎勵。

記t時刻的狀態(tài)為st，下一個時刻的狀態(tài)為st+1，t時刻狀態(tài)和下一時刻狀態(tài)下采取的動作分別為at和at+1。定義折扣累積獎勵期望值

(1)

式中：π為策略空間；γ為折扣因子，0<γ<1；rt+k為t+k時刻狀態(tài)下采取動作at+k獲得的獎勵。

在每次采取動作后，就通過貝爾曼方程對Q值進行迭代更新，表達式為

Q(st+1,at+1)=(1-α)Q(st,at)+

α(r(st,at,st+1)+γV(s))。

(2)

式中：α為調(diào)節(jié)系數(shù)；r(st,at,st+1)表示從狀態(tài)st選擇動作at達到狀態(tài)st+1獲得的獎勵，狀態(tài)st下的價值函數(shù)

(3)

st狀態(tài)下的最優(yōu)策略，即獲得最大獎勵的決策函數(shù)(即Agent)

(4)

1.2 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)通過使用帶有自反饋的神經(jīng)元，能夠處理任意長度(存在時間關(guān)聯(lián)性)的序列；與傳統(tǒng)的深度前饋神經(jīng)網(wǎng)絡(luò)相比，其更符合生物神經(jīng)元的連接方式。一個單隱層的循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

設(shè)t時刻網(wǎng)絡(luò)的輸入為xt，則其隱層狀態(tài)

ht=σ(Uxt+Wht-1+b)。

(5)

式中：U為隱層輸入權(quán)值矩陣；W為自反饋權(quán)值矩陣；b為隱層偏置向量。根據(jù)隱層輸出ht計算網(wǎng)絡(luò)的最終輸出

yt=σ(Vht+c)。

(6)

式中：V為輸出層權(quán)值矩陣；c為輸出層偏置向量。

1.3 強化學(xué)習(xí)單元匹配循環(huán)神經(jīng)網(wǎng)絡(luò)

RLUMRNN模型通過構(gòu)造單調(diào)趨勢識別器將時間序列分為3個基本趨勢單元(上升、下降、平穩(wěn))，并利用強化學(xué)習(xí)分別為每一個趨勢單元選擇一個隱層層數(shù)和節(jié)點數(shù)與其變化規(guī)律相適應(yīng)的循環(huán)神經(jīng)網(wǎng)絡(luò)，其模型如圖3所示。

RLUMRNN模型的詳細思路如下：

(1)強化學(xué)習(xí)選擇RNN的過程

記時間序列為xt=[x1,x2,…,xt]T；在時域坐標里與xt相對應(yīng)的點的坐標為(1,x1),(2,x2),…,(t,xt)。首先構(gòu)造最小二乘線性回歸單調(diào)趨勢識別器，并利用該識別器對點(1,x1),(2,x2),…,(t,xt)進行線性擬合，設(shè)擬合的直線方程為

x=βt+ω，

(7)

則平方擬合誤差為

(8)

為了求出最優(yōu)的擬合方程，根據(jù)微積分求極值思想，需滿足如下條件：

(9)

將這3種趨勢狀態(tài)作為強化學(xué)習(xí)的環(huán)境狀態(tài)，Agent根據(jù)當前的趨勢狀態(tài)從動作集a中選擇執(zhí)行一個動作，動作集a如表1所示。

表1 動作集a

在選擇動作的過程中，采用由狀態(tài)集s和動作集a構(gòu)成的Q值表代替折扣累積獎勵期望值，如表2所示。

表2 Q值表

根據(jù)Q值表，采用決策函數(shù)(即Agent)為每一個狀態(tài)選擇一個對應(yīng)的動作，決策函數(shù)

(10)

式中：i∈1,2,3；a*(si)∈a1,a2,…,ad表示在狀態(tài)si下決策函數(shù)選擇的動作。

得到狀態(tài)si下的動作a*(si)后，再通過a*(si)表示的網(wǎng)絡(luò)隱層數(shù)和節(jié)點數(shù)設(shè)置一個多隱層的RNN，得到一個與時間序列xt(即趨勢狀態(tài)si)對應(yīng)的RNN，記為i-RNN。

(2)計算網(wǎng)絡(luò)輸出過程

將時間序列xt=[x1,x2,…,xt]T作為i-RNN的輸入，若i-RNN隱層為一層，隱層節(jié)點為m個，則隱層狀態(tài)和最終輸出分別為：

(11)

(12)

若i-RNN隱層為兩層，隱層節(jié)點為m個，則第一隱層狀態(tài)、第二隱層狀態(tài)和最終輸出分別為：

(13)

(14)

(15)

1.4 學(xué)習(xí)算法

RLUMRNN的學(xué)習(xí)過程分為兩個步驟：①更新強化學(xué)習(xí)Q值表；②更新每個趨勢狀態(tài)對應(yīng)的最終i-RNN權(quán)值。

(1)強化學(xué)習(xí)Q值表的更新

(16)

結(jié)合輸出誤差，在狀態(tài)si下，選擇執(zhí)行動作a得到的獎勵

(17)

式中e為自然指數(shù)。顯然，該新構(gòu)造的獎勵函數(shù)滿足r∈(0,1)且與輸出誤差E負相關(guān)，即誤差越大，得到的獎勵值越小。

再根據(jù)得到的獎勵和貝爾曼方程更新計算Q值表中在狀態(tài)si下選擇執(zhí)行動作a的Q值：

q(si,a)′=(1-α)q(si,a)+

(18)

(2)最終i-RNN權(quán)值的更新

本文采用隨機梯度下降法對權(quán)值進行更新，若最終i-RNN隱層為一層，則根據(jù)式(11)和式(12)及鏈式求導(dǎo)法則，可計算各權(quán)值的梯度分別為：

(19)

(20)

(21)

同理，若最終i-RNN隱層為兩層，則根據(jù)式(13)～式(15)可計算各權(quán)值的梯度分別為：

(22)

(23)

(24)

(25)

求得梯度后，分別采用如下公式進行更新：

(26)

式中：W′，U′，V′，H′為更新后的權(quán)值矩陣；ψ為學(xué)習(xí)率。以此類推，若最終i-RNN隱層為n層，則可對n層中的各權(quán)值進行更新。

綜上，在RLUMRNN中，構(gòu)造單調(diào)趨勢識別器來判斷輸入序列的趨勢(上升、下降、平穩(wěn))，用這3種趨勢和不同隱層層數(shù)及隱層節(jié)點數(shù)分別表示Q值表的狀態(tài)與動作，Agent根據(jù)更新后的Q值表選擇執(zhí)行最優(yōu)的動作(即選擇隱層層數(shù)和隱層節(jié)點數(shù)與每種序列趨勢單元最匹配的RNN)，增強了RLUMRNN的泛化能力，使所提預(yù)測方法具有較高的預(yù)測精度；另外，為了明確強化學(xué)習(xí)的學(xué)習(xí)目標(即使i-RNN的輸出誤差E較小)，避免Agent在Q值表更新過程中的盲目搜索動作，通過輸出誤差計算獎勵，避免了Agent的盲目搜索，提高了RLUMRNN的收斂速度，使所提預(yù)測方法具有較高的計算效率。

2 基于RLUMRNN的滾動軸承狀態(tài)趨勢預(yù)測方法

本文提出的基于RLUMRNN的滾動軸承狀態(tài)趨勢預(yù)測方法的實現(xiàn)流程(如圖4)如下：

(1)采用奇異譜熵[16]對滾動軸承全壽命振動數(shù)據(jù)進行特征提取。

(2)對特征(即奇異譜熵)進行滑動平均降噪處理，并將處理后的奇異譜熵作為滾動軸承狀態(tài)退化特征。

(3)將該特征輸入到RLUMRNN進行訓(xùn)練。由1.4節(jié)的學(xué)習(xí)過程可知，RLUMRNN的訓(xùn)練分為用單調(diào)趨勢識別器判斷輸入序列的趨勢、強化學(xué)習(xí)的訓(xùn)練和最終與趨勢狀態(tài)對應(yīng)的i-RNN的訓(xùn)練3個過程。

(4)將訓(xùn)練好的與趨勢狀態(tài)對應(yīng)的i-RNN用于滾動軸承狀態(tài)趨勢預(yù)測。

RLUMRNN的訓(xùn)練過程如下：

取樣一段奇異譜熵序列[xg,xg+1,…,xg+(l+1)t-1]作為訓(xùn)練樣本，將該序列分解為：

T1=[xg,xg+1,…,xg+t-1]→

T2=[xg+t,xg+t+1,…,xg+2t-1]→

?

Tl=[xg+(l-1)t,xg+(l-1)t+1,…,xg+lt-1]→

將樣本依次輸入RLUMRNN，根據(jù)強化學(xué)習(xí)Q值表的更新過程完成強化學(xué)習(xí)的訓(xùn)練，即先利用單調(diào)趨勢識別器為l組訓(xùn)練樣本判別趨勢狀態(tài)，再由強化學(xué)習(xí)根據(jù)最終訓(xùn)練更新好的Q值表選擇執(zhí)行最佳動作，為所判別的趨勢狀態(tài)選擇對應(yīng)的i-RNN(1-RNN，2-RNN，3-RNN)。然后，采用隨機梯度下降法分別對強化學(xué)習(xí)選擇的i-RNN進行M次訓(xùn)練，每次訓(xùn)練前從狀態(tài)si的訓(xùn)練樣本中隨機抽取一組樣本(包括作為期望輸出的樣本)輸入對應(yīng)的i-RNN，再根據(jù)i-RNN的更新法則完成i-RNN的一次訓(xùn)練，循環(huán)重復(fù)以上訓(xùn)練過程M次，就完成了i-RNN的M次訓(xùn)練，即完成了RLUMRNN的完整訓(xùn)練過程。

通過將信息熵與奇異值分解相結(jié)合而構(gòu)造的奇異譜熵可定量度量由奇異值分解所反映的信號的復(fù)雜程度。奇異譜熵的構(gòu)造過程如下：

(1)對時間時間序列x進行m維相空間重構(gòu)，得到n×m維矩陣Y，根據(jù)奇異值分解原理必存在n×s的矩陣U、s×s的對角陣Λ和s×m的矩陣Γ，使如下關(guān)系成立：

Y=U·Λ·ΓT。

(27)

式中對角陣Λ的主對角線元素λ1≥λ2≥…λs≥0，當信號具有較高的信噪比時，對其進行奇異值分解后得到

Λ=diag(λ1,λ2,…,λk,0,…,0)。

(28)

式中k

(2)通過奇異值計算奇異譜熵。奇異譜熵定義如下：

(29)

因為奇異值λi的大小反映了不同模式在總模式中的比重，所以奇異譜熵SE反映了時域信號在奇異譜劃分下各模式的分布，體現(xiàn)了信號能量分布的時域復(fù)雜程度。在正常狀態(tài)下，滾動軸承的振動時域信號近似為高斯分布，此時信號主要源于保持架的轉(zhuǎn)頻和軸頻，以及保持架對軸旋轉(zhuǎn)所產(chǎn)生的微弱調(diào)制，信號頻率成分比較簡單，能量集中于少數(shù)幾個頻率分量,從奇異譜熵的機理可知，其奇異值分解結(jié)果集中于少數(shù)幾個模式，故此時信號的奇異譜熵取值較低；隨著滾動軸承最細微性能退化的出現(xiàn)，信號中出現(xiàn)了微弱的故障頻率(包括引起的微弱共振)，信號能量分布開始分散，奇異值分解結(jié)果也隨之分散，從而使奇異譜熵有所增加；當出現(xiàn)明顯的性能退化時，噪聲信號頻率成分所占比例急劇增加，能量分散加劇，導(dǎo)致奇異譜熵增大。因此，可采用奇異譜熵獲取反映滾動軸承內(nèi)在復(fù)雜性的特征，來描述滾動軸承狀態(tài)的退化特征。

3 實例分析

采用Cincinnati大學(xué)實測的滾動軸承退化數(shù)據(jù)[17]驗證所提狀態(tài)趨勢預(yù)測方法。實驗裝置如圖5所示，軸承實驗臺的轉(zhuǎn)軸上安裝有4個Rexnord公司制造的ZA-2115雙列滾子軸承，交流電機通過帶傳動以2 000 r/min的恒定轉(zhuǎn)速帶動轉(zhuǎn)軸旋轉(zhuǎn)，實驗過程中軸承被施加6 000 lbs的徑向載荷。采樣頻率為20 kHz，采樣長度為20 480個點，每隔10 min采集一次軸承的振動數(shù)據(jù)，軸承持續(xù)運行直到不能正常工作。在第一組實驗中，實驗臺持續(xù)運行21 560 min后，軸承3出現(xiàn)內(nèi)圈故障而失效。本文采用該組實驗采集到的軸承3的完整退化數(shù)據(jù)驗證本文所提方法。

軸承3的全壽命振動數(shù)據(jù)共計2 156組，每組數(shù)據(jù)的長度為20 480個點，分別從每一組數(shù)據(jù)中提取前10 000個數(shù)據(jù)點進行矩陣重組得到維數(shù)1 000×10的矩陣并計算奇異譜熵，如圖6a所示。對奇異譜熵序列進行滑動平均降噪處理得到降噪后的奇異譜熵序列，如圖6b所示。由圖6b可知，從起始點至第200點奇異譜熵快速攀升，軸承處于跑合階段；從第200點～1 700點奇異譜熵變化速率緩慢，奇異譜熵曲線比較平直，軸承處于運行較為平穩(wěn)的階段；第1 700點之后奇異譜熵變化速率開始持續(xù)加快，奇異譜熵曲線急劇上升，軸承處于狀態(tài)退化加劇即故障加劇階段，直至失效。因為該軸承失效為其內(nèi)圈故障逐漸惡化造成，所以在平穩(wěn)運行階段后期(即第1 300點～第1 700點區(qū)間)，軸承實際處于初始退化即故障早期階段。取處于初始退化階段的第1 301點～第1 500點(共200個點)作為訓(xùn)練樣本(即g=1 301,作為訓(xùn)練樣本的奇異譜熵序列為[x1 301,x1 302,…,x1 500])；根據(jù)第2章闡述的RLUMRNN預(yù)測過程預(yù)測最后656個點(即第1 501點～第2 156點)的奇異譜熵。

RLUMRNN各參數(shù)設(shè)置如下：單調(diào)趨勢識別器臨界值λ=-7×10-6，μ=7×10-6；強化學(xué)習(xí)過程訓(xùn)練輪數(shù)P=5，動作選擇參考值ε=[0.9,0.7,0.5,0.3,0.1]，每輪訓(xùn)練次數(shù)Kρ=100ερ；動作集為可選隱層數(shù)[1,2,3]和可選隱層節(jié)點數(shù)3～10兩兩組合一共24種動作的集合；Q值表中各Q值初始數(shù)據(jù)為[0,1]的隨機值；Q值更新折扣因子γ=0.1，Q值更新調(diào)節(jié)系數(shù)α=0.1；i-RNN學(xué)習(xí)率ψ=0.001，訓(xùn)練次數(shù)M=2 000；訓(xùn)練樣本組數(shù)l=49；預(yù)測回合數(shù)N=164，每回合預(yù)測次數(shù)(即樣本維數(shù)，也即輸入節(jié)點數(shù))t=4；輸出節(jié)點數(shù)為1。設(shè)置好RLUMRNN的參數(shù)后，再對RLUMRNN進行訓(xùn)練，訓(xùn)練分兩步：

(1)訓(xùn)練強化學(xué)習(xí)，并選擇與3種趨勢狀態(tài)對應(yīng)的i-RNN。首先對作為訓(xùn)練樣本的奇異譜熵序列進行分解，可得：

T1=[x1 301,x1 302,x1 303,x1 304]→

T2=[x1 305,x1 306,x1 307,x1 308]→

?

T49=[x1 493,x1 494,x1 495,x1 496]→

其次利用單調(diào)趨勢識別器判別以上49組訓(xùn)練輸入樣本的趨勢狀態(tài)。然后將訓(xùn)練輸入樣本及其期望輸出依次輸入RLUMRNN，根據(jù)1.4節(jié)采用ε-貪婪策略并結(jié)合由輸出誤差構(gòu)造的獎勵函數(shù)對Q值表進行P=5輪迭代更新(各輪更新次數(shù)分別為90，70，50，30，10)，以完成強化學(xué)習(xí)的訓(xùn)練。最后強化學(xué)習(xí)依據(jù)最終更新的好的Q值表選擇執(zhí)行最佳動作，為所判別的3種趨勢狀態(tài)選擇對應(yīng)的i-RNN(1-RNN，2-RNN，3-RNN)。

(2)采用隨機梯度下降法分別對強化學(xué)習(xí)選擇的i-RNN進行M=2 000次訓(xùn)練。每次訓(xùn)練前從狀態(tài)si的訓(xùn)練樣本中隨機抽取一組樣本(包括作為期望輸出的樣本)輸入對應(yīng)的i-RNN，根據(jù)i-RNN的更新法則完成i-RNN的一次訓(xùn)練。循環(huán)重復(fù)以上訓(xùn)練過程2 000次，就完成了i-RNN的2 000次訓(xùn)練，即完成了RLUMRNN的完整訓(xùn)練過程。

為更好地評估模型預(yù)測效果，采用Nash系數(shù)(NSE)、平均絕對百分比誤差(MAPE)和均方根誤差(RMSE)作為預(yù)測精度評價指標，即：

(30)

(31)

(32)

表3 5種狀態(tài)退化趨勢預(yù)測方法的預(yù)測效果對比

將RNN，MK-LSSVM，GA-BPNN，ELM進行狀態(tài)退化趨勢預(yù)測所耗用的計算時間(即訓(xùn)練時間與預(yù)測時間之和)與RLUMRNN所耗用的計算時間進行對比，記錄各預(yù)測方法重復(fù)執(zhí)行100次的平均計算時間，結(jié)果如圖9所示?？梢?，RLUMRNN，RNN，MK-LSSVM，GA-BPNN，ELM消耗的時間分別為10.739 s，8.616 s，28.855 s，33.514 s，15.971 s，顯然RLUMRNN的計算時間比MK-LSSVM，GA-BPNN，ELM都要短得多，僅比RNN稍長。以上比較結(jié)果表明，將RLUMRNN應(yīng)用于雙列滾子軸承的狀態(tài)退化趨勢預(yù)測，比MK-LSSVM，GA-BPNN，ELM具有更高的收斂速度和計算效率。

4 結(jié)束語

本文在所提出的RLUMRNN中，通過構(gòu)造單調(diào)趨勢識別器判斷輸入序列的趨勢，用3種趨勢狀態(tài)與不同隱層層數(shù)和隱層節(jié)點數(shù)分別表示Q值表的狀態(tài)和動作，根據(jù)更新后最終的Q值表選擇執(zhí)行最優(yōu)動作(即選擇隱層層數(shù)和隱層節(jié)點數(shù)與每種序列趨勢單元最匹配的循環(huán)神經(jīng)網(wǎng)絡(luò))，使RLUMRNN獲得了較理想的非線性逼近能力和泛化性能。另外，在強化學(xué)習(xí)過程中，為了明確強化學(xué)習(xí)的學(xué)習(xí)目標(即使RNN的輸出誤差較小)，采用輸出誤差構(gòu)造新型獎勵函數(shù)，以避免Agent在Q值表更新過程中的盲目搜索動作，提高了RLUMRNN的收斂速度?；谝陨蟁LUMRNN在非線性逼近能力、泛化性能、收斂速度上的優(yōu)勢，本文進一步提出基于RLUMRNN的滾動軸承狀態(tài)趨勢預(yù)測方法：首先構(gòu)造滑動平均奇異譜熵作為滾動軸承狀態(tài)的退化特征，然后將該特征輸入RLUMRNN預(yù)測滾動軸承狀態(tài)的趨勢，最后通過雙列滾子軸承狀態(tài)趨勢預(yù)測實例驗證了該方法的有效性。