荊昱陽，張利強

（1.北京郵電大學，北京 100876；2.北京機械工業(yè)自動化研究所有限公司，北京 100120）

0 引言

以大數(shù)據(jù)（Big Data）為基礎的機器學習（Machine Learning）、人工智能（Artificial Intelligence）和深度學習（Deep Learning）是當前信息技術領域最重要的發(fā)展領域。隨著計算能力的提升和軟件技術的發(fā)展，2012年以后深度學習再次成為研究和應用領域的熱點，在音視頻數(shù)據(jù)處理、語音識別、高維高頻傳感器數(shù)據(jù)處理等領域得到了廣泛的應用。

自2015年谷歌公司以開源形式發(fā)布深度學習框架TensorFlow以來，進一步簡化了深度學習模型的開發(fā)和部署過程，推動了深度學習由理論研究向實踐應用的發(fā)展。目前比較流行的深度學習框架主要有兩個：一個是TensorFlow，另一個是Pytorch。Pytorch由Facebook于2018年5月開源發(fā)布。盡管Pytorch的發(fā)布晚于TensorFlow，但在短短的幾年內已成為重要的深度學習開源框架，特別是在科研領域得到了大量的應用[1]。

在深度學習的應用領域中，時間序列數(shù)據(jù)（Time series data）是一類常見的數(shù)據(jù)，其主要特征是數(shù)據(jù)存在時間上的相關性。現(xiàn)實生活中，具有時間序列特征的數(shù)據(jù)非常多，常見的如股票交易數(shù)據(jù)、大氣相關數(shù)據(jù)、企業(yè)的銷售數(shù)據(jù)、人體的生理指標、傳感器數(shù)據(jù)等。掌握時間序列的波動特征、了解數(shù)據(jù)變化規(guī)律并預測未來是時間序列分析的主要目的。在深度學習得到廣泛應用之前，人們主要采用統(tǒng)計學方法進行時間序列分析，其中以自回歸移動平均（Auto-regressive moving average）模型[2，3]和差分自回歸移動平均（Auto-regressive Integrated Moving Average）模型[4，5]的應用最為廣泛。近年來，隨著數(shù)據(jù)采集、存儲技術的發(fā)展，高頻高維時間序列數(shù)據(jù)已變得越來越常見，例如間隔為秒級的股票交易數(shù)據(jù)、間隔為毫秒級的傳感器數(shù)據(jù)等。由于統(tǒng)計方法在處理高頻高維時間序列數(shù)據(jù)存在的局限性，采用深度學習方法處理時間序列數(shù)據(jù)正受到越來越多的關注。本文主要關注用于時間數(shù)列分析的深度學習方法——長短期記憶（Long short-term memory，LSTM）網(wǎng)絡的基本原理，并介紹了基于Pytorch開源框架的實現(xiàn)和應用。

1 長短期記憶網(wǎng)絡

LSTM是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(Recurrent neural network，RNN)。RNN具有循環(huán)網(wǎng)絡結構，能夠處理需要記憶（歷史數(shù)據(jù)的影響）的時間序列數(shù)據(jù)，RNN采用如圖1所示的結構。圖1中表示輸入層和隱含層連接權重；表示隱含層和輸出層連接權重；和分別表示隱含層和輸出層的偏置；表示t時刻的輸入；h表示隱含層輸出；表示t時刻的輸出；表示第t-1時刻隱含層的輸出。RNN為了處理時間序列數(shù)據(jù)，將隱含層節(jié)點之間互相連接，使得隱含層的輸入不僅包含當前輸入數(shù)據(jù)，還包含上一時刻隱含層的輸出。通過這種方式，RNN實現(xiàn)了對歷史信息的記憶。但是，當RNN處理長度比較大的時間序列時，存在梯度爆炸和梯度消失的問題，而且RNN難以保持較長時間的記憶[6]。

圖1 RNN網(wǎng)絡結構

LSTM網(wǎng)絡是特殊的RNN網(wǎng)絡，能夠學習并記憶序列長期信息的遞歸模型，其組成結構如圖2所示。LSTM神經(jīng)元專門設計了記憶單元（memory cell）用于保存歷史信息。歷史信息通過輸入門（Input gate）、遺忘門（Forget gate）和輸出門（Output gate）的控制進行信息更新。其中sig和tanh為表示sigmoid和tanh激活函數(shù)，期作用分別是把輸入轉換為區(qū)間(0，1)和(-1，1)內的數(shù)，定義為：

圖2 LSTM網(wǎng)絡結構

遺忘門：通過一個逐點相乘的操作，實現(xiàn)選擇性的信息通過，其數(shù)學表達式為：

輸入門：決定單元狀態(tài)中保存的信息哪些需要更新，通過一個sigmoid層和一個tanh層實現(xiàn)，其數(shù)學表達式為：

輸出門：決定LSTM單元輸出的內容，包括網(wǎng)絡輸出和網(wǎng)絡狀態(tài)，其數(shù)學表達式為：

LSTM改善了RNN網(wǎng)絡存在的問題，在處理非線性模型方面體現(xiàn)出了很好的性能，并且適用于構造大型深度神經(jīng)網(wǎng)絡。

2 基于Pytorch的LSTM實現(xiàn)

Pytorch的神經(jīng)網(wǎng)絡(nn)模塊實現(xiàn)了LSTM方法，可以通過調用nn的LSTM方法構建LSTM網(wǎng)絡，下面列給出了LSTM網(wǎng)絡的python代碼。

LSTM網(wǎng)絡的定義：

3 LSTM在時間序列數(shù)據(jù)擬合與預測中的應用

3.1 LSTM訓練與擬合

以某加工過程中溫度監(jiān)控曲線為例。在一個正產(chǎn)周期內，溫度經(jīng)歷升溫、保持、降溫三個階段。由于生產(chǎn)過程存在多種因素的影響，測得的溫度有波動。一個生產(chǎn)周期測得的數(shù)據(jù)經(jīng)標準化處理后如圖3所示。

圖3 一個生產(chǎn)周期測得的溫度數(shù)據(jù)

在這里，首先使用移動窗口方法將時間序列數(shù)據(jù)轉換為LSTM網(wǎng)絡的訓練數(shù)據(jù)，將窗口寬度設為5。此時，表示用前5個觀測數(shù)據(jù)預測第6個數(shù)據(jù)。使用上一節(jié)建立的LSTM模型，初始化參數(shù)為5，8和1，即輸入數(shù)據(jù)的長度為5，隱含層節(jié)點數(shù)為8，輸出數(shù)據(jù)的長度為1。經(jīng)1000次訓練，均方誤差（Mean squared error，MSE）指標逐步減小，顯示LSTM網(wǎng)絡對數(shù)據(jù)有了較好的擬合，過程如圖4所示，圖5給出了數(shù)據(jù)的擬合結果。

圖4 LSTM訓練過程

圖5 數(shù)據(jù)擬合結果

3.2 LSTM擬合與曲線擬合對比

圍繞某加工過程中溫度監(jiān)控曲線為例，針對一個生產(chǎn)周期測得的數(shù)據(jù)，考慮到數(shù)據(jù)的特征，采用曲線擬合加平滑的方法對觀測數(shù)據(jù)進行擬合，并將結果與與LSTM擬合進行對比。圖6給出了兩種方法對數(shù)據(jù)的擬合結果，結果顯示LSTM模型能夠很好的擬合數(shù)據(jù)。

圖6 數(shù)據(jù)擬合對比

兩種方法的擬合效果的均方誤差，如表1所示。從表1可以看出，相比于曲線擬合方法，深度學習方法對數(shù)據(jù)的擬合更好。

表1 深度學習和曲線擬合的均方誤差

3.3 LSTM訓練預測應用

本研究建立的LSTM訓練深度學習模型，除了具有訓練高擬合性優(yōu)勢外，還具備滯后數(shù)據(jù)的預測能力，可提供以下應用功能。

1）基于多個周期的觀測數(shù)據(jù)對模型進行反復訓練，擬合出更精確生產(chǎn)過程的溫度曲線，為后續(xù)的過程生產(chǎn)分析及狀態(tài)預判提供基礎；

2）采用移動窗口方式，應用訓練好的模型，對后期的觀測數(shù)據(jù)進行預測；

3）基于數(shù)據(jù)預測，對生產(chǎn)過程的穩(wěn)定性進行預判，能夠增加檢測效果并避免過程異常的發(fā)生。

4 結語

本文簡要介紹RNN和LSTM基本原理，基于Pytorch開源庫開發(fā)LSTM模型，通過實例對比分析模型性能和應用，實現(xiàn)將LSTM應用于時間序列數(shù)據(jù)分析。結果顯示，所構建的LSTM模型能夠很好地擬合非線性時間序列數(shù)據(jù)，可用于生產(chǎn)過程的狀態(tài)分析和預測。