黃冠澤

（廣東工業(yè)大學(xué)，廣州 510006）

0 引言

隨著柔性材料加工技術(shù)的快速發(fā)展，柔性薄膜材料的制備工藝也不斷得到完善。新型柔性薄膜材料制品，如柔性電路板、太陽能電池薄膜等在各個行業(yè)的使用日益增多。柔性材料卷對卷設(shè)備（Roll to Roll，R2R）作為薄膜材料的主要生產(chǎn)設(shè)備之一，被廣泛應(yīng)用到柔性電路板（FPC）、有機(jī)發(fā)光二極管（OLED）、太陽能電池薄膜、干粘合劑等柔性薄膜材料的制備生產(chǎn)當(dāng)中[1-3]。卷對卷設(shè)備加工過程具有高速、高精度、持續(xù)生產(chǎn)的特點(diǎn)。當(dāng)其核心零部件發(fā)生性能衰退，加工精度將大幅度下降，引起柔性薄膜產(chǎn)品的變形，使得良品率降低，造成經(jīng)濟(jì)損失。非常有必要對卷對卷設(shè)備進(jìn)行預(yù)測性維護(hù)。

近年來，有學(xué)者進(jìn)行了LSTM（Long Short-Term Memory）在預(yù)測性維護(hù)領(lǐng)域的應(yīng)用研究[4-7]，取得了一定進(jìn)展，證明了LSTM 網(wǎng)絡(luò)在預(yù)測性維護(hù)領(lǐng)域應(yīng)用的可行性。但是LSTM網(wǎng)絡(luò)的預(yù)測結(jié)果仍存在誤差疊加及預(yù)測結(jié)果滯后[8]、學(xué)習(xí)速率低[9]等問題。Funa[10]中提到，建立RUL 預(yù)測模型時，傳統(tǒng)的LSTM模型不能合理利用在線數(shù)據(jù)和非生命周期數(shù)據(jù)。

金樑[11]中提出一種SVM 算法加權(quán)融合LSTM 算法的模型，在短期電力負(fù)荷預(yù)測實驗中得到不錯的結(jié)果，預(yù)測誤差小且速度快，表明SVM 對于LSTM 神經(jīng)網(wǎng)絡(luò)具有降低預(yù)測滯后率的效果。因此，本文提出了LSTM-SVM 算法融合預(yù)測模型，將完整且經(jīng)過訓(xùn)練的LSTM 模型的softmax 輸出層更換為SVM分類器，再進(jìn)行SVM分類器的訓(xùn)練，最后得到LSTM-SVM算法融合模型。又由于自身算法的抗擬合特性，SVM 常被用于解決神經(jīng)網(wǎng)絡(luò)過擬合的問題[7]，提升算法融合網(wǎng)絡(luò)的抗過擬合特性。SVM 在處理低維數(shù)據(jù)分類問題時，速度更快，精度更高，作為網(wǎng)絡(luò)的輸出層時，能很好地對LSTM網(wǎng)絡(luò)所提取的特征數(shù)據(jù)進(jìn)行分類。最后經(jīng)過實驗證明，本文提出的LSTM-SVM 算法融合預(yù)測模型得到的健康狀態(tài)層級多，預(yù)測精度高，能很好地進(jìn)行卷對卷設(shè)備預(yù)測性維護(hù)。

1 LSTM-SVM神經(jīng)網(wǎng)絡(luò)模型框架

本文提出了一種基于LSTM 神經(jīng)網(wǎng)絡(luò)和SVM 神經(jīng)網(wǎng)絡(luò)的性能衰退預(yù)測模型——LSTM-SVM模型。圖1所示為性能衰退預(yù)測模型的結(jié)構(gòu)。該模型由兩部分組成，第一部分是深度遞歸循環(huán)神經(jīng)網(wǎng)絡(luò)，采用LSTM神經(jīng)網(wǎng)絡(luò)從原始輸入向量中提取數(shù)據(jù)特征；第二部分是用來進(jìn)行特征分類的SVM神經(jīng)網(wǎng)絡(luò)輸出層。LSTM神經(jīng)網(wǎng)絡(luò)最后一層的隱含層表示作為設(shè)備健康狀態(tài)概括的表示輸入到SVM神經(jīng)網(wǎng)絡(luò)層中。

該融合模型的訓(xùn)練方式為：首先訓(xùn)練LSTM模型，將軸承振動加速度數(shù)據(jù)經(jīng)過標(biāo)準(zhǔn)化后輸入到網(wǎng)絡(luò)中，然后獲得經(jīng)過調(diào)整的神經(jīng)元參數(shù)，輸出隱含層信息。將隱含層信息輸入到SVM分類器中，進(jìn)行特征數(shù)據(jù)的分類，從而獲得健康狀態(tài)。

圖1 LSTM-SVM性能衰退預(yù)測模型

2 基于LSTM-SVM 的卷對卷設(shè)備性能衰退預(yù)測模型建模

2.1 LSTM（Long Short-Term Memory）

LSTM 是RNN（Recurrent Neural Network）的改進(jìn)模型之一，即LSTM 也是遞歸神經(jīng)網(wǎng)絡(luò)，具有遞歸神經(jīng)網(wǎng)絡(luò)的特性，常常被用于處理時間序列數(shù)據(jù)。當(dāng)LSTM處理分類問題時，其輸出層一般為softmax 邏輯回歸網(wǎng)絡(luò)[12]。該模型的基本單元是記憶模塊，包含記憶單元和3個控制記憶單元狀態(tài)的門結(jié)構(gòu)，分別是遺忘門、輸入門和輸出門。遺忘門決定從記憶狀態(tài)信息中遺忘相關(guān)度低的歷史信息，而輸入門決定記憶單元狀態(tài)對輸入數(shù)據(jù)對的敏感程度，輸出門決定輸出該時刻的信息。圖2 所示為t時刻的LSTM 記憶模塊狀態(tài)。ft、it、ot分別為t時刻遺忘門的狀態(tài)值、輸入門的輸入和輸出門的輸出；ht-1為記憶模塊輸入的隱含信息；ht為記憶模塊輸出的隱含信息；xt為t時刻的輸入向量；gt和kt為計算過程為了方便計算而設(shè)定的中間量；Ct-1為t-1時刻的記憶單元狀態(tài)；Ct為t時刻的記憶單元狀態(tài)；C~t為記憶單元的中間狀態(tài)。

圖2 LSTM記憶模塊

LSTM記憶單元狀態(tài)更新和輸出信息的過程如下。首先，通過遺忘門刪除相關(guān)度低的歷史信息：

然后，輸入門根據(jù)輸入信息和歷史信息來更新序列信息：

設(shè)gt=ft×Ct-1，kt=it×C~t，則有Ct=gt+kt。最后，輸出t時刻的信息為：

式中：U為隱含狀態(tài)h的權(quán)重矩陣；W為輸入狀態(tài)x的權(quán)重矩陣；Uf、Ui、UC、UO、Wf、Wi、WC、Wo分別為對應(yīng)門的權(quán)重矩陣；bf、bi、bC、bO分別為對應(yīng)門的偏置向量；σ為sigmoid激活函數(shù)；tanh為雙曲正切激活函數(shù)。

LSTM 網(wǎng)絡(luò)需要設(shè)置的超參數(shù)Input time step、Input Dimension、Output Units、Batch Size、Epoch、Optimizer、Learning Rate、Decay、Dropout rate 等。Input time step 為時間步，即每次輸入數(shù)據(jù)的長度；Input Dimension為輸入維度，即輸入數(shù)據(jù)的維度；Output Units 為輸出類，即輸出層輸出類別的數(shù)目；Batch Size 為單次訓(xùn)練樣本數(shù)；Epoch 為模型訓(xùn)練次數(shù)；Optimizer為優(yōu)化算法，即將模型梯度下降的算法；Learning Rate為模型的學(xué)習(xí)率，可直觀表示模型的學(xué)習(xí)性能；Decay為衰減率，是正則項的一個系數(shù)，控制權(quán)值衰減的速率，用于防止過擬合；Dropout rate 為丟失率，用于在模型訓(xùn)練途中，去掉冗余的神經(jīng)元，留下貢獻(xiàn)更高的神經(jīng)元，以提高模型性能。

2.2 支持向量機(jī)

支持向量機(jī)（support vector machines, SVM）是一種用于解決二分類問題的模型，通過求解數(shù)據(jù)簇在特征空間上的最大間隔來進(jìn)行線性分類。添加核函數(shù)后，SVM 轉(zhuǎn)變?yōu)榉蔷€性分類器。間隔最大化是SVM的學(xué)習(xí)策略，具體為求解凸二次規(guī)劃。其基本過程是求解劃分訓(xùn)練數(shù)據(jù)簇并且?guī)缀伍g隔最大的超平面，用w·x+b=0 表示。在平面上，w 可視為直線的斜率，b為直線的截距。

對于給定的數(shù)據(jù)集T={(x1,y1),(x2,y2),…,(xN,yN)}和分離超平面w·x+b=0，超平面關(guān)于樣本點(diǎn)的幾何間隔定義如下式所示：

具體地，K(x,z)是一個函數(shù)，或正定核，存在一個映射φ(x)，對任意輸入空間中的x，z，都滿足下式條件：

K(x,z)=φ(x)·φ(z) （8）

用核函數(shù)K( x, z )代替內(nèi)積，求解得到非線性支持向量機(jī)。參數(shù)α*為拉格朗日乘子，且α*>0。

非線性支持向量機(jī)的學(xué)習(xí)算法如下。

輸入：訓(xùn)練數(shù)據(jù)集T={( x1, y1), ( x2, y2), …, ( xN, yN)}。其中，xi∈?n，yi∈{+1,-1}，i=1,2,…N。

輸出：分離超平面和分類決策函數(shù)。選取適當(dāng)?shù)暮撕瘮?shù)K(x,z)和懲罰參數(shù)C>0，構(gòu)造并求解凸二次規(guī)劃問題。其中，0 ≤αi≤C，i=1,2,…N。

選擇α*的一個分量滿足條件

得到最優(yōu)解分類決策函數(shù)如下式所示：

高斯核函數(shù)是SVM處理非線性問題的常用核函數(shù)，如下式所示：

將上式代入分類決策函數(shù)，得到下式：

根據(jù)以上理論不難看出，SVM 算法在處理低維數(shù)據(jù)分類問題時，由于其算法復(fù)雜程度低，可以同時進(jìn)行大量數(shù)據(jù)的計算，計算效率極高，且精度較高。結(jié)合SVM自身的抗擬合特性，其常被用于解決神經(jīng)網(wǎng)絡(luò)過擬合的問題，提升了算法融合網(wǎng)絡(luò)的抗過擬合特性。作為網(wǎng)絡(luò)的輸出層時，能很好地對LSTM網(wǎng)絡(luò)所提取的特征數(shù)據(jù)進(jìn)行分類。

構(gòu)建SVM分類器，需要設(shè)置懲罰參數(shù)C和幾何間隔γ，C用來約束α*i的范圍，防止模型出現(xiàn)過擬合和欠擬合的現(xiàn)象。為了簡化計算，可將γ設(shè)置為1。

2.3 LSTM-SVM神經(jīng)網(wǎng)絡(luò)模型參數(shù)

根據(jù)上述原理，構(gòu)建LSTM-SVM 神經(jīng)網(wǎng)絡(luò)模型，表1 所示為LSTM網(wǎng)絡(luò)的參數(shù)設(shè)置情況。時間步與輸入數(shù)據(jù)的長度相同，設(shè)置為1000。由于數(shù)據(jù)的維度對本實驗的影響不大，不對數(shù)據(jù)進(jìn)行壓縮，故輸入維度為1維。輸出類與數(shù)據(jù)標(biāo)記類相同，即為健康狀態(tài)的個數(shù)，定為100類。由于訓(xùn)練模型的計算機(jī)顯卡并行計算的特性，單次訓(xùn)練樣本數(shù)需要定為2 的冪次方，即2、4、8、16、32、64 等。根據(jù)實驗數(shù)據(jù)量，取32 為單次訓(xùn)練樣本數(shù)，有助于模型的訓(xùn)練。將模型訓(xùn)練次數(shù)設(shè)置為15 次，觀察模型損失值的變化。RMSProp 優(yōu)化算法是AdaGrad算法的一種改進(jìn)，加了一個衰減系數(shù)來控制歷史信息的獲取多少，所以在優(yōu)化用于處理時序問題的模型時，更具有優(yōu)勢。學(xué)習(xí)率根據(jù)經(jīng)驗?zāi)J(rèn)為0.001；衰減率定為0.9，防止因樣本數(shù)量小而導(dǎo)致過擬合；丟失率定為0.5，即在每次訓(xùn)練過程中，將模型中一半的神經(jīng)元清零，以提高貢獻(xiàn)度高的神經(jīng)元的權(quán)重。

表1 LSTM網(wǎng)絡(luò)參數(shù)設(shè)置

表2 所示為SVM 層的參數(shù)設(shè)置情況。懲罰參數(shù)C用來約束的范圍，防止模型出現(xiàn)過擬合和欠擬合的現(xiàn)象，取中值，設(shè)為0.5。在低維問題中，幾何間隔的值對SVM分類器的性能影響不大，為了簡化計算，可將γ設(shè)置為1。以此，訓(xùn)練SVM分類器100 個，作為LSTM-SVM 的輸出層，劃分卷對卷設(shè)備的健康狀態(tài)。

表2 SVM層參數(shù)設(shè)置

3 LSTM-SVM性能衰退預(yù)測模型試驗研究

3.1 搭建實驗平臺

圖3 為搭建LSTM-SVM 性能衰退預(yù)測模型實驗平臺，用于驗證LSTM-SVM 性能衰退預(yù)測模型的性能。該平臺為安捷利FPC 產(chǎn)線的收卷裝置，是FPC 產(chǎn)線制備柔性電路板的關(guān)鍵裝備之一。在其輥軸上安裝振動加速度傳感器，將傳感器連接采集卡以采集數(shù)據(jù)。在完整的壽命周期中，采集軸承的振動信號。實驗條件參數(shù)如表3所示。數(shù)據(jù)的采集頻率為20 kHz，每10 min采集1次，每次采集20480個數(shù)據(jù)點(diǎn)。

圖3 LSTM-SVM 性能衰退預(yù)測模型實驗平臺

表3 實驗條件參數(shù)

為了訓(xùn)練網(wǎng)絡(luò)模型，需要在計算機(jī)上搭建虛擬環(huán)境，其配置如表4所示。采用了Pycharm作為網(wǎng)絡(luò)模型程序運(yùn)行的編譯器，并在其環(huán)境中調(diào)用常見的AI 模型框架Tensorflow 作為LSTM-SVM模型的框架。

表4 虛擬環(huán)境搭建配置

3.2 實驗測試及結(jié)果分析

LSTM-SVM 性能衰退預(yù)測模型針對卷對卷設(shè)備輥軸出現(xiàn)的性能衰退問題，對其進(jìn)行性能衰退預(yù)測，為設(shè)備維護(hù)提供決策依據(jù)。卷對卷設(shè)備高速運(yùn)行，重要組成部分即將失效，將導(dǎo)致設(shè)備整體報廢，造成嚴(yán)重?fù)p失?，F(xiàn)在對其進(jìn)行性能衰退預(yù)測實驗。

實驗分為兩部分。首先，使用訓(xùn)練集訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。然后，使用驗證集驗證已訓(xùn)練模型的性能。對數(shù)據(jù)情況進(jìn)行分析。

R2R 設(shè)備性能衰退有4 個狀態(tài)，分別為性能良好狀態(tài)、前期衰退狀態(tài)、中期衰退、輥軸失效等?？梢杂孟鄳?yīng)的原始軸承信號表示，在不同性能狀況下軸承振動信號如圖4所示。

從良好狀態(tài)的振動信號數(shù)據(jù)中隨機(jī)取10組數(shù)據(jù)，標(biāo)記為最高健康狀態(tài)（即滿分100，分值為0～100，0 為衰退失效），再從前期衰退狀態(tài)到輥軸失效狀態(tài)間的振動信號數(shù)據(jù)中，按比例取100 組數(shù)據(jù)作為訓(xùn)練集，依次標(biāo)記為99、98、97、…、1、0分。同理，另取110 組數(shù)據(jù)作為驗證集。每組數(shù)據(jù)含數(shù)據(jù)點(diǎn)1000 個，采樣時間為0.05 s。對應(yīng)網(wǎng)絡(luò)模型結(jié)構(gòu)為1000-100-100-100，即輸入層含1000 個神經(jīng)元，輸出層含100個SVM分類器，即輸出100類。另外，兩個隱含層的含100個神經(jīng)元。

圖4 原始軸承振動信號

為了評估LSTM-SVM 模型在性能衰退預(yù)測上的性能，采用損失值和準(zhǔn)確度來量化LSTM-SVM 模型的性能。損失值是預(yù)測值和真實值之間概率分布差異的量化，損失值越小則表明預(yù)測值越接近真實值，損失值的計算公式下式所示。

式中：y為真實值；y^為預(yù)測值；w為模型參數(shù)。

準(zhǔn)確度為模型輸出結(jié)果的總結(jié)，能直觀表現(xiàn)模型的預(yù)測性能。準(zhǔn)確度越高表明模型性能越好。

訓(xùn)練模型得到其損失函數(shù)曲線如圖5 所示?？梢钥闯?，當(dāng)LSTM-SVM 模型訓(xùn)練第7 次時，訓(xùn)練集的損失值基本收斂到0.47，繼續(xù)訓(xùn)練模型得到的收益較低。而驗證集在模型訓(xùn)練第8次時，這是由訓(xùn)練集和驗證集的數(shù)據(jù)差異性導(dǎo)致的，所以驗證集的損失值收斂在0.38，優(yōu)于訓(xùn)練集的結(jié)果。

圖5 LSTM-SVM模型的損失函數(shù)曲線

圖6 LSTM-SVM模型的預(yù)測準(zhǔn)確度曲線

模型訓(xùn)練過程中準(zhǔn)確度曲線如圖6 所示。實驗結(jié)果最終得到，訓(xùn)練集的準(zhǔn)確度為0.620，驗證集的準(zhǔn)確度為0.535。因為模型采用訓(xùn)練集來訓(xùn)練，對訓(xùn)練集的擬合程度更高，故準(zhǔn)確度比驗證集高。

表5 模型訓(xùn)練效果對比

為了驗證LSTM-SVM模型的預(yù)測性能，本研究建立了LSTM-SVM模型與LSTM 模型的對比實驗。LSTM 模型使用相同的訓(xùn)練集和驗證集。經(jīng)過驗證，兩種模型的效果對比如表5所示。

通過兩種預(yù)測模型的對比實驗，可以發(fā)現(xiàn)LSTM-SVM 的訓(xùn)練速度比LSTM模型快很多，而且精度也有所提升。

4 結(jié)束語

本文針對柔性材料卷對卷設(shè)備的性能衰退問題，提出了一種LSTM-SVM 性能衰退模型。通過實驗發(fā)現(xiàn)LSTM-SVM 模型有效預(yù)測了卷對卷設(shè)備的性能衰退情況，成功劃分了設(shè)備的健康狀態(tài)且模型擬合情況良好，表明該模型在卷對卷設(shè)備性能衰退預(yù)測方面具有可行性。最后進(jìn)行了對比實驗，發(fā)現(xiàn)LSTM-SVM的訓(xùn)練速度比LSTM模型快很多，而且預(yù)測精度也有所提升。該結(jié)果表明SVM 能很好地對LSTM 網(wǎng)絡(luò)所提取的特征數(shù)據(jù)進(jìn)行分類。這是因為模型很好地融合了SVM在處理低維數(shù)據(jù)分類問題時的優(yōu)越性。而更快的學(xué)習(xí)速率意味著，當(dāng)算力一定時，用于訓(xùn)練的數(shù)據(jù)規(guī)?？梢愿螅@對于工業(yè)大數(shù)據(jù)而言十分具有應(yīng)用前景。綜上，本文提出的LSTM-SVM 性能衰退預(yù)測模型得到的健康狀態(tài)層級多、訓(xùn)練時間短、預(yù)測精度高，能很好地進(jìn)行卷對卷設(shè)備預(yù)測性維護(hù)，為后續(xù)的柔性材料卷對卷加工決策系統(tǒng)提供重要決策依據(jù)。