趙 飏 李 曉 馬 博 王保全 周 喜

(中國科學院新疆理化技術研究所 新疆 烏魯木齊 830011) (中國科學院大學 北京 100049) (新疆理化技術研究所新疆民族語音語言信息處理實驗室 新疆 烏魯木齊 830011)

0 引 言

隨著物聯(lián)網(wǎng)技術的普及，種類豐富的信息傳感器已經(jīng)在人們的生活中隨處可見，加油站中的信息采集也由人工記錄全面轉(zhuǎn)化為電子傳感設備自動錄入，使得數(shù)據(jù)采集更加高效。但由于系統(tǒng)故障錯誤或人為操作失誤等因素，會產(chǎn)生異常加油數(shù)據(jù)。如何高效、準確地在海量加油數(shù)據(jù)中檢測異常，成為加油站日常運營管理中不可忽視的問題。傳統(tǒng)上，基于規(guī)則的異常檢測方法是檢測異常數(shù)據(jù)的常用解決方案，但由于加油數(shù)據(jù)體量巨大且擁有多變量的時序特性，無法簡單通過基于規(guī)則的方法來準確判別異常。機器學習方法也逐步運用在異常檢測中并取得了一定成果，但想要在加油站時序數(shù)據(jù)中檢測異常，仍然是一項挑戰(zhàn)。因為有監(jiān)督機器學習方法需要大量真實的正常數(shù)據(jù)和帶有標注的異常數(shù)據(jù)來訓練學習，但實際中加油數(shù)據(jù)缺乏標記且異常數(shù)據(jù)較為稀少；而無監(jiān)督學習大多是將樣本數(shù)據(jù)進行線性變換和投影后嵌入向量空間，通過比較原始數(shù)據(jù)和預測數(shù)據(jù)的差異值來檢測異常，但實際加油數(shù)據(jù)雖然數(shù)量較多，但個體加油樣本普遍較少，且復雜的加油時序序列數(shù)據(jù)隱含的內(nèi)在相關性往往是非線性的。

為了解決這一問題，本文針對加油時序數(shù)據(jù)異常檢測提出一種基于生成式對抗網(wǎng)絡[1](Generative Adversarial Network,GAN)的無監(jiān)督異常檢測方法，該方法通過捕捉加油站時序數(shù)據(jù)之間的非線性相關性來建立模型，并結(jié)合模型中的生成器和鑒別器共同來進行異常檢測。

1 相關工作

目前關于無監(jiān)督學習的異常檢測算法主要可以分成四類：(1) 基于線性模型的方法；(2) 基于距離的方法；(3) 基于概率和密度估計的方法；(4) 基于統(tǒng)計機器學習的方法。

基于線性模型的無監(jiān)督異常檢測方法中，一種主流的方法是主成分分析(Principal Component Analysis,PCA)[2]，它對數(shù)據(jù)進行降維后嵌入到低維空間，通過比較單個數(shù)據(jù)樣本跟整體數(shù)據(jù)樣本的偏離程度來挖掘異常；另一種方法是偏最小二乘法(Partial Least Squares,PLS)[3]，它不僅可以克服共線性問題，還去除了對回歸無益的噪聲影響，因此被廣泛應用于模型建立和異常檢測。然而，它們只對具有高度相關性的數(shù)據(jù)有效[4]，加油數(shù)據(jù)中個體和個體之間的加油行為卻往往是相互獨立的，因此并不適用于加油時序數(shù)據(jù)。

基于距離的異常檢測方法中[5]，K近鄰(K-NearestNeighbor,KNN)算法是比較簡單有效的一種，它通過參考特征空間中距離該樣本最近的k個“鄰居”的類別來對樣本進行分類，從而達到檢測異常點的目的[6]。此外還有基于密度、基于聚類的一些衍生方法，例如局部異常因子(Local Outlier Factor,LOF)算法[7]，它會給數(shù)據(jù)中的每個點計算離群因子，通過判斷這個離群因子是否接近于1來判定該點是否離群。以及對前者進行改進的基于聚類的局部離群因子(Cluster-Based Local Outlier Factor,CBLOF)[8]方法，它使用一個預定義的異常評分函數(shù)來識別異常。雖然這些基于距離的方法在某些情況下是有效的，但在加油時序數(shù)據(jù)中，數(shù)據(jù)間的距離難以界定，且正常數(shù)據(jù)可能沒有足夠的樣本鄰居，因此基于距離的異常檢測方法不適用于加油時序數(shù)據(jù)。

基于概率和密度估計的方法中，有基于角度的異常檢測(Angle-Based Outlier Detection,ABOD)算法[9]，還有特征裝袋(Feature Bagging,FB)算法[10]，它們都是通過考慮變量之間的相關性來處理數(shù)據(jù)。但是這些方法不能考慮時序數(shù)據(jù)中時間步長上的相關性，因而并不適合用來處理加油時序數(shù)據(jù)。

還有基于統(tǒng)計機器學習的方法，通過神經(jīng)網(wǎng)絡具備的強特征提取能力和信息記憶能力來捕捉正常數(shù)據(jù)中的異常點，提出很多有效的模型，并應用在了各個領域。比較有代表性的有變分自編碼器(Variational Auto-Encoder,VAE)[11]和循環(huán)神經(jīng)網(wǎng)絡(Recurrent Neural Network,RNN)[12]等，它們都是利用正常數(shù)據(jù)訓練神經(jīng)網(wǎng)絡，然后通過檢測實際數(shù)據(jù)的重構(gòu)誤差來進行異常檢測。

綜上，通過神經(jīng)網(wǎng)絡來進行機器學習，捕獲數(shù)據(jù)特征間隱藏的相關性，建立符合實際需求的模型，能夠更好地開展對加油時序數(shù)據(jù)的異常檢測工作。

本文繼承了基于無監(jiān)督學習的異常檢測算法思想，并受到GAN模型博弈原理[13]的啟發(fā)后，提出一種新的異常檢測方法。主要工作如下：(1) 提出一種基于GAN的無監(jiān)督異常檢測方法，用于檢測加油時序數(shù)據(jù)中的異常；(2) 模型結(jié)構(gòu)采用了廣泛應用在圖像開發(fā)中的GAN框架，將長短期循環(huán)神經(jīng)網(wǎng)絡(LSTM)嵌入GAN框架作為生成器和鑒別器[14]來分析加油時序數(shù)據(jù)，捕捉其時間相關性；(3) 綜合鑒別器的判別結(jié)果和生成器的數(shù)據(jù)重構(gòu)殘差來對每一個測試樣本進行異常評分。

2 異常檢測模型

2.1 GAN模型

近年來提出的生成式對抗網(wǎng)絡(GAN)框架能夠通過博弈訓練生成模型，它以對抗的方式同時訓練生成器和鑒別器：生成器(generator,G)的思想是將一個噪聲包裝成一個逼真的樣本，判別器(discriminator,D)則需要判斷送入的樣本是否真實，即通過對抗訓練共同進步，判別器D對樣本的判別能力不斷上升，生成器G生成樣本能力也不斷上升[15]。目前GAN主要應用在一些生成圖像的工作中，并取得了一定成果，例如在醫(yī)學領域可以通過GAN模型來對腫瘤CT圖像進行語義分割與檢測[16]；或是在影像方面進行視頻修復[17]，但是目前在時間序列數(shù)據(jù)中采用GAN框架的工作還比較少，且加油時序數(shù)據(jù)還要求同時處理多個具有潛在關系的變量。

為了處理加油的時間序列數(shù)據(jù)，將GAN的生成器和鑒別器構(gòu)造為兩個長短期遞歸神經(jīng)網(wǎng)絡(LSTM)。首先將加油數(shù)據(jù)通過PCA進行降維后輸入至GAN模型，在添加來自潛在空間的隨機噪聲后將序列輸入至生成器中，生成器根據(jù)輸入生成序列樣本傳遞給鑒別器，鑒別器將嘗試區(qū)分生成的序列樣本和實際的訓練樣本，并根據(jù)鑒別結(jié)果更新自身和生成器的參數(shù)，這樣可以訓練鑒別器盡可能地為真序列和假序列分配正確的標簽。在經(jīng)過足夠多輪的迭代后，生成器將被訓練得能生成足夠逼真的樣本，并且鑒別器也能夠以較高精準度區(qū)分真(正常)數(shù)據(jù)和假(異常)數(shù)據(jù)。在加油時序數(shù)據(jù)異常檢測工作中，通過計算實際測試樣本和生成測試樣本之間的差異來得到數(shù)據(jù)的重構(gòu)損失以及鑒別器對實際測試樣本的判別損失，綜合這兩部分來檢測數(shù)據(jù)中的潛在異常。本文方法的總體流程如圖1所示。

圖1 GAN模型流程

2.2 LSTM神經(jīng)網(wǎng)絡

長短期記憶循環(huán)神經(jīng)網(wǎng)絡(LSTM)模型由Hochreiter等[18]在1997年提出，是對循環(huán)神經(jīng)網(wǎng)絡(RNN)的一種改進。RNN的隱藏層只有一個狀態(tài)，它對短時間內(nèi)的輸入較為敏感，而LSTM添加了一個內(nèi)部記憶單元c來保存長期狀態(tài)，并同時增加3個門用于控制[19]，分別是遺忘門ft、輸入門it和輸出門ot。遺忘門ft決定上一層隱藏層輸出被遺忘的程度大小：

ft=δ(Wf×xt+Uf×ht-1+Vf×Ct-1+bf)

(1)

式中：C表示LSTM中的細胞狀態(tài)。

輸入門it控制輸入和當前計算的狀態(tài)更新到記憶單元的程度大小：

it=δ(Wi×xt+Uiht-1+ViCt-1+bi)

(2)

輸出門ot控制輸入和當前輸出取決于當前記憶單元的程度大?。?/p>

ot=δ(Wo×xt+Uo×ht-1+Vo×Ct+bo)

(3)

通過這三個控制門，記憶單元c即可有效記憶歷史輸入值，從而增加了模型的特征包含能力和記憶能力，其在t時刻的狀態(tài)即可表示為：

ct=ft×ct-1+it×tanh(Wc×xt+Uc×ht-1+bc)

(4)

所以LSTM單元在t時間點的所有輸出為：

ht=ot×tanh(ct)

(5)

式中：W、U、V、b分別是系數(shù)組成的矩陣和偏置的向量；δ是激活函數(shù)Sigmoid。

2.3 基于LSTM-GAN的異常檢測

通過數(shù)據(jù)預處理以后，將訓練集Dtrain=(xi,i=1,2,…,n)以及對其添加隨機噪聲后生成的樣本Z=(zi,i=1,2,…,n)輸入GAN模型，對抗訓練可以看成是采用生成器與判別器之間的一個極小極大化策略[20]，目標函數(shù)如下：

min maxL(D,G)=εx～pdata(D)[logD(x)]+

εz～pz(z)[log(1-D(G(z)))]

(6)

式中：ε指代取期望；D(x)為判別映射函數(shù)；G(z)為生成映射函數(shù)；Pdata為真實數(shù)據(jù)分布；Pz為原始噪聲的分布。

經(jīng)過足夠多輪的迭代訓練后模型達到擬合，訓練好的鑒別器(D)和生成器(G)即可用于檢測測試集中的異常。模型訓練過程如圖2所示。

圖2 GAN模型訓練過程

這里通過加權計算鑒別器(D)的鑒別損失LD和生成器(G)的重構(gòu)殘差LG兩部分得到異常損失L，通過比較L的交叉熵H和預定值T來判斷是否為異常點。并將每一條數(shù)據(jù)標記如下：

(7)

式中：Li代表測試集中第i條數(shù)據(jù)yi的異常損失。

2.4 異常損失

在GAN模型訓練達到擬合后，將訓練好的鑒別器和生成器共同用來檢測異常，如圖3所示的測試過程中，將兩部分都應用于異常評判中能夠更好地來識別異常，所以基于GAN的異常檢測由兩部分構(gòu)成。

(1) 基于判別器的異常檢測：訓練后的鑒別器能夠以較高靈敏度將“假數(shù)據(jù)”(即異常數(shù)據(jù))與真實數(shù)據(jù)區(qū)分開來，可以直接用來進行異常檢測。

(2) 基于生成器的異常檢測：訓練后的生成器能夠生成足夠逼真的數(shù)據(jù)樣本，它實際上是一種從潛在空間到真實數(shù)據(jù)的映射：G(Z):Z→X。如果潛在空間中的輸入十分接近，則生成器可輸出相似的樣本。因此，如果能夠在測試集Dtest的潛在空間中找到對應的映射，那么測試集Dtest和通過生成器重構(gòu)的測試樣本G(Z)之間的相似性可以在一定程度上反映測試集是否符合生成器所反映的數(shù)據(jù)分布。這樣可以利用測試集和生成樣本之間的重構(gòu)殘差LG來識別測試數(shù)據(jù)中的異常點。

圖3 GAN模型測試過程

為了找到與測試樣本相對應的最佳Zt，首先從測試集中隨機抽取一個集合Z1作為樣本，通過潛在空間映射輸入生成器，得到重構(gòu)樣本G(Z1)。然后用Dtest和G(Z1)定義的誤差函數(shù)得到的梯度來更新映射到潛在空間中的樣本。為了便于計算，這里通過計算協(xié)方差來比較數(shù)據(jù)樣本之間的相似性[21]。

minErr(Dtest,G(Zi))=1-Sim(Dtest,G(Z1))

(8)

式中：Err(Dtest,G(Zi))為重構(gòu)樣本損失函數(shù)；G(Z1)為生成映射函數(shù)；Sim(Dtest,G(Z1))為相似性函數(shù)。

經(jīng)過迭代多輪更新后，誤差會達到足夠小，此時將樣本Zt記錄為測試樣本在潛在空間中的對應映射。所以得到測試樣本的重構(gòu)殘差：

(9)

再結(jié)合鑒別器的判別損失，可以得到異常檢測的損失L為：

L=λLG+(1-λ)LD

(10)

式中：LG為生成器的重構(gòu)殘差；LD為判別器的判別損失；λ為影響因子。

3 實 驗

3.1 實驗配置

為了驗證本文方法在時序數(shù)據(jù)異常檢測上的準確性和有效性，本文在兩個數(shù)據(jù)集上進行了實驗，第一個是在中國某省份各加油站采集的加油數(shù)據(jù)集，另一個是公開時序數(shù)據(jù)集UCR[22]。

實驗機系統(tǒng)為Windows 7 64位操作系統(tǒng)，CPU為Intel(R) Core(TM) i7-3770HQ CPU @ 3.40 GHz，內(nèi)存8 GB，Python版本為3.5，使用的數(shù)據(jù)庫為MongoDB 3.0。

加油數(shù)據(jù)集采用了某省份所有加油站兩個月的加油記錄作為原始數(shù)據(jù)，對其進行數(shù)據(jù)清洗、數(shù)據(jù)融合和特征處理等操作后得到真實可靠的實驗數(shù)據(jù)，將其作為實驗中的正常數(shù)據(jù)；異常數(shù)據(jù)選取歷史檢測工作中通過預警記錄、人工篩查等方式確認的部分異常數(shù)據(jù)。最后將正常數(shù)據(jù)的80%作為實驗的訓練集，另外20%正常數(shù)據(jù)和異常數(shù)據(jù)共同作為測試集。

3.2 實驗數(shù)據(jù)集

3.2.1加油數(shù)據(jù)集

加油數(shù)據(jù)集采用了某省份所有加油站兩個月的加油記錄作為原始數(shù)據(jù)，對其進行數(shù)據(jù)清洗、數(shù)據(jù)融合、特征處理等操作后得到真實可靠的實驗數(shù)據(jù)，將其作為實驗中的正常數(shù)據(jù)；異常數(shù)據(jù)選取歷史檢測工作中通過預警記錄、人工篩查等方式確認的部分異常數(shù)據(jù)。最后將正常數(shù)據(jù)的80%作為實驗的訓練集，另外20%正常數(shù)據(jù)和異常數(shù)據(jù)共同作為測試集。

3.2.2 UCR數(shù)據(jù)集

UCR數(shù)據(jù)集是一個用于時間序列分類預測的公開數(shù)據(jù)集，其中包含80多個用于時間序列分類的數(shù)據(jù)集，本文從中選取了Wafer數(shù)據(jù)集和Ford數(shù)據(jù)集作為對比實驗數(shù)據(jù)集。Wafer數(shù)據(jù)集共有7 174條記錄，含有類別標簽和152個特征；Ford數(shù)據(jù)集共有4 921條記錄，含有類別標簽和500個特征。兩個數(shù)據(jù)集都按照7 ∶3的比例劃分訓練集和測試集。

3.3 實驗結(jié)果及分析

3.3.1加油數(shù)據(jù)樣本生成

在GAN模型的博弈對抗過程中，為了使鑒別器能夠敏銳地分辨真假樣本，生成器會根據(jù)輸入盡可能生成逼真的數(shù)據(jù)樣本。為了驗證LSTM-GAN模型是否可以捕捉到時序數(shù)據(jù)樣本的特征分布，將加油數(shù)據(jù)集訓練過程中初期(第10輪)和后期(第80輪)生成的數(shù)據(jù)樣本進行可視化，這里選擇了t6和t8兩個特征，結(jié)果如圖4所示，其中：圖4(a)為原始數(shù)據(jù)的特征分布；圖4(b)為訓練初期(第10輪)生成的樣本；圖4(c)為訓練后期(第80輪)生成的樣本。

(a) 真實樣本分布

可以看出，在訓練初期生成器的穩(wěn)定性較差，產(chǎn)生的數(shù)據(jù)樣本有很強的隨機性，但隨著迭代輪數(shù)的增加，在訓練達到第80輪時，生成器產(chǎn)生的樣本已經(jīng)基本符合真實樣本的數(shù)據(jù)分布，說明通過多輪訓練LSTM-GAN模型可以有效學習到加油時序數(shù)據(jù)樣本特征的分布。

3.3.2最佳子序列長度分析對比

在實驗中，加油數(shù)據(jù)被處理成序列輸入模型中進行訓練，而子序列長度會影響到模型訓練時間以及預測結(jié)果的好壞，從而影響異常檢測的結(jié)果。選擇合適的子序列長度不僅可以提高模型的效率，還能提升模型的檢測效果。這里通過嘗試一些子序列長度來確定最佳值。具體結(jié)果如表1所示。

表1 不同子序列長度結(jié)果對比

可以看出子序列長度較小時，GAN模型在加油數(shù)據(jù)集上的預測效果一般，精確率低于60%；隨著子序列長度提升至50，預測效果相較于之前較好，精確率和F1值都有較大提升；而當子序列長度達到100左右時，雖然模型召回率能提升至接近90%，但精確率開始大幅下滑，整體預測效果較差。所以在模型訓練時子序列長度選定為50，此時模型異常檢測的效果最好。

3.3.3 PCA降維分析對比

如前所述，為了減少模型的計算量，提高模型效率，在輸入模型前對加油數(shù)據(jù)使用PCA進行降維處理，剔除次要變量。為了能夠盡可能保留原始樣本信息，這里計算了PCA各保留特征數(shù)的方差率，結(jié)果如圖5所示。

圖5 PCA方差率

可以看出當通過PCA保留5個特征時，占所有特征方差的百分比已超過90%，意味著基本保留了所有信息，所以確定PCA保留特征數(shù)為5。

3.3.4加油數(shù)據(jù)集實驗

在加油數(shù)據(jù)集實驗中，通過與已經(jīng)驗證在異常檢測領域上有效的K近鄰(KNN)、裝袋法(FB)、自動編碼機(AutoEncoder)和孤立森林(IsolationForest)[23]進行比較評估，來驗證本文算法的性能。為了考量模型檢測異常的整體效果，實驗結(jié)果使用精確率(Precision)、召回率(Recall)和F1值來綜合評估LSTM-GAN模型的異常檢測性能：

(11)

(12)

(13)

式中：TP是實際檢測出的異常樣本數(shù)量(檢測值：1；真實值：1)；FP是檢測為異常但實際非異常的樣本數(shù)量(檢測值：1；真實值：0)；FN是未被檢測出的異常樣本數(shù)量(檢測值：0；真實值：1)；TN是實際檢測為正常的樣本數(shù)量(檢測值：0；真實值：0)；Precision簡寫為Pre；Recall簡寫為Rec。

實驗結(jié)果如表2所示。

表2 加油數(shù)據(jù)集實驗結(jié)果對比

實驗結(jié)果表明相比于傳統(tǒng)的異常檢測算法，本文提出的LSTM-GAN模型在召回率和F1值上都具有較好的效果，雖然精確率相對于FeatureBagging和IForest較低，但是后兩者的召回率較差，無法同時兼顧精確率和召回率。而LSTM-GAN模型的精確率和召回率都在75%以上，且從F1值上可以看出LSTM-GAN模型整體預測效果更好，說明LSTM-GAN模型在加油時序數(shù)據(jù)上有著較好的檢測結(jié)果。

3.3.5 UCR數(shù)據(jù)集實驗

Wafer數(shù)據(jù)集上的結(jié)果如表3所示。

表3 Wafer數(shù)據(jù)集實驗結(jié)果對比

Ford數(shù)據(jù)集上的結(jié)果如表4所示。

表4 Ford數(shù)據(jù)集實驗結(jié)果對比

結(jié)果表明，在UCR的兩個數(shù)據(jù)集上LSTM-GAN模型相比于其他三種方法的整體預測效果較好。在Wafer數(shù)據(jù)集上IsolationForest和LSTM-GAN相較于其他兩種方法效果更好，且LSTM-GAN的F1值更高。在Ford數(shù)據(jù)集上由于數(shù)據(jù)的維數(shù)較高且樣本數(shù)量較少，整體預測結(jié)果都不是很理想，但LSTM-GAN模型還是能夠有近90%的精確率和超過60%的召回率，說明LSTM-GAN模型在時序數(shù)據(jù)上相比于其他方法有較好的預測結(jié)果。

4 結(jié) 語

本文鑒于目前在加油時序數(shù)據(jù)上的無監(jiān)督異常檢測方法存在一定缺陷，提出一種將LSTM嵌入GAN模型并通過生成器和鑒別器共同檢測數(shù)據(jù)異常的方法。該方法首先通過PCA對數(shù)據(jù)進行降維處理，提取有效特征后輸入GAN模型進行訓練，待模型擬合后將測試數(shù)據(jù)輸入，通過訓練好的生成器和鑒別器共同得到異常損失，與設定閾值進行比較來對時序數(shù)據(jù)進行異常檢測。在加油數(shù)據(jù)集和UCR中兩個數(shù)據(jù)集上的實驗結(jié)果表明該方法對于現(xiàn)有算法有了一定的改進與提升。但是LSTM-GAN模型中的LSTM神經(jīng)網(wǎng)絡在處理較長時間序列時需要更多的時間且GAN模型的博弈訓練過程自由性較高，還不是足夠穩(wěn)定，后續(xù)的研究過程中將探索是否能夠結(jié)合其他神經(jīng)網(wǎng)絡提高模型效率并且能使訓練過程更加穩(wěn)定的異常檢測方法。