摘要：在時間序列數(shù)據(jù)下，針對傳統(tǒng)的器件故障檢測技術(shù)對不同的器件檢測率低、小樣本數(shù)據(jù)分類不平衡等問題，對數(shù)據(jù)異常檢測準確率造成很大的影響。該文構(gòu)建一種機器學(xué)習(xí)和深度學(xué)習(xí)相結(jié)合的時間序列異常檢測算法，針對時間序列數(shù)據(jù)分類不平衡問題，引入smote算法，使得各類別之間的數(shù)據(jù)達到均衡狀態(tài)，用Lasso算法進行特征選擇，從而得到對異常檢測結(jié)果影響較大的特征項，最后，使用基于添加注意力機制的LSTM網(wǎng)絡(luò)作為異常檢測分類器，完成基于時間序列異常檢測算法的實現(xiàn)。

關(guān)鍵詞：時間序列 異常檢測 smote lasso LSTM 注意力機制

中圖分類號：P14" " " " 文獻標識碼：A

Research of the Anomaly Detection Algorithm Based on Time Series

ZANG Jing" ZHANG Jingwei

（School of Information Science and Engineering， Shenyang Ligong University， Shenyang， Liaoning Province， 110159 China）

Abstract： Under time series data， the traditional device fault detection technology has a great impact on the accuracy of data anomaly detection due to the problems such as the low detection rate of different devices and the unbalanced classification of small sample data. This paper builds an anomaly detection algorithm of time series combining machine learning and deep learning， introduces the smote algorithm in view of the data classification imbalance of time series to enable the data between each category to reach the equilibrium state， uses the Lasso algorithm for feature selection to obtain the feature items that have great influence on anomaly detection results， and finally uses the LSTM network based on the added attention mechanism as the anomaly detection classifier to complete the realization of the anomaly detection algorithm based on time series.

Key Words： Time series; Anomaly detection; Smote; Lasso; LSTM; Attention mechanism

在時間序列數(shù)據(jù)中，研究一個問題往往涉及到很多可能的影響因素，明確哪些因素對異常檢測分類結(jié)果有更大的影響程度，就涉及特征選擇問題。

近年來，基于回歸分析地提取特征的正則化技術(shù)受到更多關(guān)注和研究[1-3]。Patil A R等人[4]使用自適應(yīng)Lasso方法對基因的重要性進行選擇， 通過自適應(yīng)Lasso處理后的基因有助于獲得更高的分類性能；朱海龍等人[5]將嶺回歸與Lasso算法分別與財政收入影響因素做特征選擇，結(jié)果表明Lasso回歸模型更優(yōu)；吳進等人[6]基于lasso回歸的網(wǎng)絡(luò)剪枝結(jié)合SVD分解算法，提高模型性能。在實踐中，很多研究通常先使用Lasso算法進行特征選擇，然后將獲得的子集作為模型的輸入以提高模型效率。

鑒于以上原因，該文構(gòu)建一種新的基于時間序列數(shù)據(jù)的檢測模型。首先對數(shù)據(jù)采用合成少數(shù)類過采樣技術(shù)[7]（Synthetic Minority Oversampling Technique， Smote）解決數(shù)據(jù)中樣本分類不均衡的問題，避免在檢測中出現(xiàn)過擬合；其次以最小絕對收縮和選擇算法[8]（Least Absolute Shrinkage and Selection Operator， Lasso）為基礎(chǔ)，達到時間序列數(shù)據(jù)重要特征信息提取的目的；最后以基于添加注意力機制的LSTM網(wǎng)絡(luò)為異常檢測模型，完成對時間序列數(shù)據(jù)進行異常檢測分類。

時間序列數(shù)據(jù)

時間序列是在一個統(tǒng)一的統(tǒng)計指標下，數(shù)值按照時間先后順序排列形成的序列。時間序列數(shù)據(jù)是對這些隨著時間變化而變化的數(shù)據(jù)的統(tǒng)稱，它用于描述事物或是現(xiàn)象隨時間變化的情況。例如：溫度傳感器讀數(shù)、股票價格、機器狀態(tài)等都屬于時間序列數(shù)據(jù)。

時間序列數(shù)據(jù)異常檢測算法構(gòu)建

2.1 數(shù)據(jù)預(yù)處理

解決數(shù)據(jù)分類不平衡問題的一種典型的過采樣方法是smote算法，該算法采用了合成新樣本的方法，避免隨機采樣方法在檢測過程中的過擬合。實驗表明，用smote方法在提高少數(shù)類數(shù)量的同時，分類器的準確性會隨之提高。實現(xiàn)過程如下：

Step1 對于少數(shù)類中每一個樣本X，用歐式距離計算它在少數(shù)類中的K和近鄰，通常K值由自己設(shè)定；

Step2 在K個近鄰中隨機選擇一個樣本。

Step3隨機生成一個（0，1）之間的隨機數(shù)，用下式合成一個新樣本：

2.2特征選擇算法

Lasso的核心是利用L1范數(shù)的稀疏性來解決回歸相關(guān)的懲罰優(yōu)化問題。該算法可以將一些不重要特征的系數(shù)縮減為零從而降低解釋變量矩陣的維數(shù)，在模型選擇方面具有較低的結(jié)構(gòu)風(fēng)險，從而快速處理高維數(shù)據(jù)。Lasso算法的目標函數(shù)可以表示為：

其中： 表示lasso算法的非負正則化參數(shù)，用于調(diào)節(jié)懲罰項對模型的壓縮強度。增大的值，被壓縮的解釋變量數(shù)目增加，不重要變量的系數(shù)可以壓縮為零，從而去除不重要的特征項。

2.3基于添加注意力機制的LSTM網(wǎng)絡(luò)模型檢測模型

長短期記憶（Long Short-Term Memory Network ， LSTM）神經(jīng)網(wǎng)絡(luò)是一種能夠很好地處理時間序列數(shù)據(jù)的網(wǎng)絡(luò)。通過對LSTM網(wǎng)絡(luò)引入注意力機制[10]，對于該文采集泵的傳感器數(shù)據(jù)中，將泵的多個傳感器作為輸入數(shù)據(jù)，將泵的工作狀態(tài)作為異常檢測分類的輸出，重點關(guān)注對象是對異常檢測結(jié)果起主導(dǎo)作用的輸入特征，對相關(guān)性和依賴性較弱的特征應(yīng)減少關(guān)注，可以做出更精準的異常檢測分類。LSTM添加注意力機制的模型如圖1所示：

3實驗仿真及算法應(yīng)用

3.1實驗數(shù)據(jù)采集及說明

該文采用Kaggle上公開的泵的傳感器時間序列數(shù)據(jù)，采集的時間從2018年4月1日至2018年8月31日。該數(shù)據(jù)集通過52個傳感器獲取的數(shù)據(jù)來表示系統(tǒng)故障信息，每條樣本數(shù)據(jù)由3個部分組成：（1）時間戳數(shù)據(jù)（timestamp），表示每條數(shù)據(jù)采集的時間；（2）傳感器數(shù)據(jù)（sensor00～sensor51），表示52個傳感器的信息；（3）機器狀態(tài)（machine_status），表示泵的工作狀態(tài)信息。實驗所用的數(shù)據(jù)信息如表1所示。測試環(huán)境條件如下：操作系統(tǒng)Windows10，實驗平臺為PyCharm。

3.2實驗結(jié)果分析

3.2.1數(shù)據(jù)處理

根據(jù)圖表1數(shù)據(jù)可知，數(shù)據(jù)集分類存在不均衡，使用smote方法對數(shù)據(jù)集作均衡化處理，均衡后的實驗數(shù)據(jù)如表2所示：

為了評價訓(xùn)練后的算法特性，該文將通過AUC值、測試損失值、測試準確率，對構(gòu)建的時間序列異常檢測模型作出評估。

由圖2的AUC值曲線圖可知，選擇不同個數(shù)的特征數(shù)量對檢測結(jié)果的影響不同。當(dāng)特征項為22個時，AUC值最大，對檢測模型影響最大，使用lasso特征選擇算法，選出對檢測結(jié)果影響較大的22個特征項，如圖3所示。

根據(jù)特征選擇結(jié)果，為了進一步說明構(gòu)建的時間序列異常檢測模型的可行性，該文用LSTM網(wǎng)絡(luò)和LSTM-attention網(wǎng)絡(luò)分別作為檢測模型進行對比分析，從測試損失值和測試準確率兩方面說明模型的有效性。

如圖4所示，兩種模型的訓(xùn)練的epoch均為15。兩種模型的損失值均呈下降趨勢。LSTM網(wǎng)絡(luò)在第三、第四epoch稍稍提升，在后面的epoch中呈緩慢下降。基于添加注意力機制的LSTM-attention模型中，在epoch等于6、7時稍有增長，在epoch等于8時又下降，在epoch為9、11時稍有波動，可能的原因是數(shù)據(jù)存在噪聲。在最后的epoch中，LSTM_attention的損失值比LSTM的損失值低。

如圖5可知，兩種模型在整體上都呈上升趨勢，中間稍有波動。LSTM網(wǎng)絡(luò)在前三個epoch中稍有下降，在第五個epoch中突然升高，隨后略有下降，但是還是呈上升趨勢。LSTM-attention模型epoch為6、7、9時有較大的震蕩，經(jīng)過10個epoch后一直上升，在最后的異常檢測準確率上比單一的LSTM網(wǎng)絡(luò)準確率高。

5結(jié)語

對于多特征的時間序列數(shù)據(jù)集，存在樣本分類不平衡問題時，首先進行樣本均衡化處理，然后使用lasso算法對數(shù)據(jù)進行特征選擇，再使用基于添加注意力機制的LSTM網(wǎng)絡(luò)作為異常檢測模型進行分類檢測。最后該文從AUC曲線，測試損失值以及測試準確率4個角度對構(gòu)建的時間序列異常檢測算法模型進行實驗驗證，說明了模型的有效性和可行性。

參考文獻

[1]李雪珂.基于正則化稀疏模型與Xgboost算法的估值預(yù)測研究[D].武漢：中南財經(jīng)政法大學(xué)，2019.

[2]Verstraete G，Aghezzaf E，Desmet B.A leading macroeconomic indicators ’based framework to.automaticallygenerate tactical sale forecasts[J].Computersamp;Industrial Engineering，2020，139（1）：106169.

[3]王格華，王璞玉，張海.分布式變量選擇：MCP正則化[J].工程數(shù)學(xué)學(xué)報，2021，38（3）：301-314.

[4]Patil A R，Park B K，Kim S.Adaptive lasso with weights based on normalized filtering scores in molecular big data[J].Journal of Theoretical and Computational Chemistry，2020.

[5].朱海龍，李萍萍.基于嶺回歸和LASSO回歸的安徽省財政收入影響因素分析[J].江西理工大學(xué)學(xué)報，2022，43（1）：59-65.

[6]吳進，吳漢寧，劉安，等.一種基于Lasso回歸與SVD融合的深度學(xué)習(xí)模型壓縮方法[J].電訊技術(shù)，2019，59（5）：495-500.

[7] 王俊紅，段冰倩. 一種基于密度的SMOTE方法研究［J］.智能系統(tǒng)學(xué)報，2017，12（6）：865-872.

[8]陳細軍.基于Lasso及其改進方法的仿真和GDP實證分析[D].武漢：武漢大學(xué)，2019.

[9] 唐蕾霞.自注意力LSTM在時間序列分析中的應(yīng)用研究[D].大連：大連理工大學(xué)，2021.