王田豐，胡谷雨，王 睿，彭冬陽(yáng)

(陸軍工程大學(xué) 指揮控制工程學(xué)院，江蘇 南京 210007)

0 引 言

為了確保良好的網(wǎng)絡(luò)性能，需要對(duì)各個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)的吞吐量、延遲、丟包率等關(guān)鍵指標(biāo)進(jìn)行實(shí)時(shí)的監(jiān)測(cè)和維護(hù)。這些指標(biāo)在一定程度上反映了特定網(wǎng)絡(luò)中用戶的行為模式和網(wǎng)絡(luò)的特性，具有動(dòng)態(tài)性和周期性。網(wǎng)絡(luò)中物理鏈路出現(xiàn)故障、網(wǎng)絡(luò)遭受攻擊導(dǎo)致故障等多方面的因素，都會(huì)導(dǎo)致網(wǎng)絡(luò)出現(xiàn)異常，在這些監(jiān)測(cè)的指標(biāo)上也會(huì)有相應(yīng)的異常體現(xiàn)。及時(shí)高效地發(fā)現(xiàn)網(wǎng)絡(luò)指標(biāo)的異常可以給網(wǎng)絡(luò)運(yùn)維人員贏得寶貴的時(shí)間來(lái)處理網(wǎng)絡(luò)中出現(xiàn)的故障。

網(wǎng)絡(luò)KPI(key performance indicator)異常檢測(cè)(anomaly detection)問(wèn)題可以抽象為時(shí)序序列異常檢測(cè)問(wèn)題，目的是為了發(fā)現(xiàn)不符合正常模式的序列段。有監(jiān)督學(xué)習(xí)的方法[1-2]依賴準(zhǔn)確的標(biāo)注，而在實(shí)時(shí)的網(wǎng)絡(luò)系統(tǒng)中，需要維護(hù)的指標(biāo)數(shù)目多，并且數(shù)據(jù)都是實(shí)時(shí)產(chǎn)生的，數(shù)據(jù)量非常大，因此人工標(biāo)注難以滿足這一要求；無(wú)監(jiān)督學(xué)習(xí)的方法不依賴于標(biāo)注，在此問(wèn)題上也有應(yīng)用，但檢測(cè)效果上仍不如人意。

為了解決這些困難，該文提出一種基于AAE[3](adversarial autoencoders)的無(wú)監(jiān)督異常檢測(cè)方法。目前，AAE被廣泛應(yīng)用在語(yǔ)音和圖像生成領(lǐng)域，并取得很好的效果。在KPI異常檢測(cè)場(chǎng)景下，用滑動(dòng)窗把數(shù)據(jù)集切分成小樣本，其中異常的窗口樣本只占很小一部分。AAE模型在訓(xùn)練中學(xué)習(xí)到的是正常樣本的數(shù)據(jù)分布模式。因此在異常檢測(cè)階段，正常樣本能夠被很好地編解碼，重構(gòu)誤差很小，并且編碼器輸出的特征向量也更有可能被鑒別器識(shí)別為“正?！?，綜合兩者判斷是“異?！钡母怕时容^低；而異常樣本不符合正常模式，不僅重構(gòu)誤差大，而且編碼輸出的特征向量也更容易被鑒別器判為“異常”，總體上被判為“異?！钡母怕时容^高。

該文的創(chuàng)新點(diǎn)總結(jié)如下：

(1)針對(duì)網(wǎng)絡(luò)性能異常問(wèn)題，提出了基于AAE的無(wú)監(jiān)督的檢測(cè)方法；

(2)針對(duì)原始數(shù)據(jù)部分缺失問(wèn)題，引入了KNN算法進(jìn)行數(shù)據(jù)填充，進(jìn)一步提高了模型的檢測(cè)精度；

(3)實(shí)驗(yàn)結(jié)果表明，AAE-AD在最優(yōu)F分?jǐn)?shù)指標(biāo)，AUC指標(biāo)上均優(yōu)于其他的無(wú)監(jiān)督檢測(cè)算法；

(4)AAE和VAE兩個(gè)模型理論上有一定的相似性，對(duì)于兩個(gè)模型在檢測(cè)性能上的差異，給出了合理的解釋。

1 相關(guān)工作

通用異常檢測(cè)技術(shù)的調(diào)研報(bào)告[4]給出了異常檢測(cè)的定義和異常檢測(cè)可遵循的原則，異常檢測(cè)就是檢測(cè)測(cè)試數(shù)據(jù)是否符合正常的數(shù)據(jù)分布，不符合正常數(shù)據(jù)分布的就被劃分為異常，而且異常數(shù)據(jù)占比通常很小。許多新的方法被應(yīng)用在網(wǎng)絡(luò)異常檢測(cè)領(lǐng)域[5]，如集成學(xué)習(xí)[6]在網(wǎng)絡(luò)異常檢測(cè)中的運(yùn)用解決了網(wǎng)絡(luò)異常種類多、單一模型處理問(wèn)題時(shí)局限性大的問(wèn)題。

網(wǎng)絡(luò)關(guān)鍵指標(biāo)異常檢測(cè)問(wèn)題是網(wǎng)絡(luò)異常檢測(cè)問(wèn)題的一個(gè)分支，屬于時(shí)序序列異常檢測(cè)。由于在網(wǎng)絡(luò)監(jiān)測(cè)系統(tǒng)中，記錄的時(shí)序序列數(shù)據(jù)量非常龐大，人工難以給出滿足有監(jiān)督學(xué)習(xí)訓(xùn)練時(shí)需要的大量準(zhǔn)確標(biāo)注，因此這個(gè)問(wèn)題往往在無(wú)監(jiān)督學(xué)習(xí)范疇下解決比較合理。

自回歸移動(dòng)平均模型(autoregressive integrated moving average)是一種基于統(tǒng)計(jì)理論的無(wú)監(jiān)督預(yù)測(cè)模型，結(jié)合了自回歸模型(AR)和移動(dòng)平均模型(MA)的優(yōu)點(diǎn)，對(duì)于非平穩(wěn)序列也能達(dá)到良好的預(yù)測(cè)效果。ARIMA模型在異常檢測(cè)領(lǐng)域[7]也有廣泛的應(yīng)用，如孫建樹(shù)[8]等人將ARIMA運(yùn)用到水文時(shí)間序列異常檢測(cè)問(wèn)題中，取得了良好效果。

RNN和LSTM是最常用的兩種深度時(shí)序序列預(yù)測(cè)模型，同時(shí)也是時(shí)序序列異常檢測(cè)[9]的有效方法。一般在異常檢測(cè)中，采用預(yù)測(cè)值與真實(shí)值差值的絕對(duì)值作為異常分值。其中，李潔等人[10]提出了基于RNN的多維時(shí)序序列預(yù)測(cè)算法；仇媛等人[11]提出了基于LSTM和滑動(dòng)窗口的流數(shù)據(jù)異常檢測(cè)方法。

生成模型是一種典型的無(wú)監(jiān)督學(xué)習(xí)模型，在現(xiàn)在的圖像和語(yǔ)音生成領(lǐng)域運(yùn)用的非常廣泛，在異常檢測(cè)領(lǐng)域也衍生出一些可用的方法。變分自編碼器(variational autoencoder，VAE)和生成式對(duì)抗網(wǎng)絡(luò)(generative adversarial networks，GAN)是兩種運(yùn)用廣泛且具有代表性的生成器模型。其中VAE[12]使用了變分推斷技術(shù)[13-14]，通過(guò)不斷優(yōu)化證據(jù)下界(evidence lower bound，ELBO)來(lái)使得自編碼器在得到訓(xùn)練的同時(shí)，模型生成的樣本空間分布能不斷靠近先驗(yàn)分布，這里的先驗(yàn)分布一般假設(shè)為混合高斯分布；而GAN[15]模型分為生成器和鑒別器，通過(guò)交替訓(xùn)練生成器和鑒別器來(lái)使得生成器生成的樣本越來(lái)越真實(shí)，同時(shí)鑒別器對(duì)于真假樣本的鑒別能力越來(lái)越強(qiáng)，最終達(dá)到平衡。其中，VAE與雙向領(lǐng)域算法結(jié)合成一個(gè)混合模型[16]，在MNIST和CIFAR-10數(shù)據(jù)集上取得了較好的異常檢測(cè)效果。余廣民等人[17]綜合論述了基于GAN的異常檢測(cè)算法，同時(shí)GAN也被應(yīng)用到視頻異常檢測(cè)場(chǎng)景[18]中。

但是筆者發(fā)現(xiàn)上述方法中，傳統(tǒng)的有監(jiān)督模型的性能依賴于大量的人工標(biāo)簽，而現(xiàn)有的無(wú)監(jiān)督模型ARIMA、RNN、LSTM、VAE、GAN在網(wǎng)絡(luò)數(shù)據(jù)集上的異常檢測(cè)效果仍然不夠好，難以滿足業(yè)務(wù)上的需求。為此，提出了一種新的基于AAE的異常檢測(cè)模型AAE-AD。這是一種無(wú)監(jiān)督學(xué)習(xí)模型，適用于網(wǎng)絡(luò)運(yùn)維中人工標(biāo)注困難的情境,該模型能夠很好地學(xué)習(xí)到“正?！睍r(shí)序序列的特征空間分布，在針對(duì)網(wǎng)絡(luò)KPI的異常檢測(cè)中達(dá)到很好的效果。

2 AAE-AD模型介紹

2.1 AAE-AD數(shù)據(jù)預(yù)處理

網(wǎng)絡(luò)監(jiān)測(cè)器記錄的網(wǎng)絡(luò)數(shù)據(jù)往往長(zhǎng)達(dá)數(shù)周。第一，不同時(shí)間段內(nèi)的數(shù)值范圍相差可能很大，并且往往帶有噪聲；第二，由于監(jiān)測(cè)器故障或者人工操作失誤，數(shù)據(jù)可能存在部分缺失。針對(duì)這兩個(gè)問(wèn)題，先對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，然后進(jìn)行數(shù)據(jù)填充。數(shù)據(jù)標(biāo)準(zhǔn)化采用z-score方法，表示如下：

(1)

其中，μ為觀測(cè)值序列X的均值，σ為X的均方差；數(shù)據(jù)標(biāo)準(zhǔn)化消除了奇異樣本數(shù)據(jù)的影響，能夠提高算法精度并加快算法的收斂速度。

缺失數(shù)據(jù)填充借鑒KNN[19]算法思想，基本流程如以下偽代碼所示：

算法1：KNN填充空數(shù)據(jù)。

輸入:原始觀測(cè)值序列X'；

輸出:空值填充后的序列X''。

1:設(shè)置近鄰數(shù)量k，計(jì)算空值區(qū)間集合M={(s1,e1),(s2,e2),…,(sq,eq)}

2:for (si,ei) inM

3:j=0

4:whilesi+j≤eido

5:找到與下標(biāo)(si+j)最近的k個(gè)非空近鄰下標(biāo)，設(shè)為集合G

8:j=j+1

9:end while

10:end for

KNN填充算法中，首先獲取所有的空值區(qū)間M={(s1,e1),(s2,e2),…,(sq,eq)},s代表區(qū)間起始點(diǎn)，e代表區(qū)間結(jié)束點(diǎn)，從X'[s]到X'[e]都是空值。算法的主要思想是利用坐標(biāo)最近的k個(gè)點(diǎn)來(lái)計(jì)算填空值，其中鄰居的影響與相隔的距離成反比，距離越近影響越大。算法第6行中，對(duì)各個(gè)鄰居的影響力進(jìn)行了歸一化；第7行，對(duì)各個(gè)鄰居的值進(jìn)行加權(quán)求和，計(jì)算出填充值。

最后，采用滑動(dòng)窗口方法將觀測(cè)序列切分成固定長(zhǎng)度的樣本。模型訓(xùn)練中，每個(gè)長(zhǎng)度為W的時(shí)間窗口為一個(gè)訓(xùn)練樣本；異常檢測(cè)中，也以時(shí)間窗口為基本單位。在實(shí)際的網(wǎng)絡(luò)系統(tǒng)中，允許存在一定的時(shí)延，因此，只要選取合適的時(shí)間窗口，能夠保證異常檢測(cè)模型的實(shí)時(shí)性和實(shí)用性。

2.2 AAE-AD模型訓(xùn)練

整個(gè)AAE-AD框架分為模型訓(xùn)練和異常檢測(cè)兩部分。如圖1所示，訓(xùn)練過(guò)程包含了對(duì)編碼器、解碼器和鑒別器的訓(xùn)練。

圖1 AAE-AD模型的訓(xùn)練

編碼器和解碼器使用的是CNN網(wǎng)絡(luò)，將一維數(shù)據(jù)變成二維數(shù)據(jù)使模型更好地學(xué)習(xí)到數(shù)據(jù)的空間分布特性，能夠更好地進(jìn)行特征提取和還原。編碼器對(duì)訓(xùn)練樣本進(jìn)行特征提取產(chǎn)生特征向量，分別作為解碼器和鑒別器的輸入；解碼器將特征還原后結(jié)合原始輸入計(jì)算出重構(gòu)損失，并對(duì)編碼器和解碼器參數(shù)進(jìn)行更新；鑒別器結(jié)合編碼器產(chǎn)生的特征向量和從混合高斯模型中采樣出的向量計(jì)算出鑒別損失來(lái)更新鑒別器和編碼器，這在提高鑒別器鑒別能力的同時(shí)，也使得編碼器產(chǎn)生的特征向量越來(lái)越真實(shí)，最終能夠達(dá)到混淆鑒別器的程度，兩者達(dá)到一定的平衡。

2.2.1 自編碼器網(wǎng)絡(luò)的訓(xùn)練

自編碼器網(wǎng)絡(luò)實(shí)際上是一個(gè)信息壓縮和還原的過(guò)程，編碼器G1將高維數(shù)據(jù)向量x壓縮成低維特征向量z，而解碼器G2負(fù)責(zé)將低維特征向量z盡量還原回去。在編解碼的過(guò)程中存在信息損耗，信息損耗越大，重構(gòu)效果越差。自編碼器的訓(xùn)練就是通過(guò)最小化重構(gòu)損失來(lái)增強(qiáng)網(wǎng)絡(luò)的信息壓縮與還原的能力。這里采用均方差損失，所以自編碼器平均損失函數(shù)可以表示為：

(2)

其中，xi是來(lái)自原始數(shù)據(jù)的樣本。

2.2.2 對(duì)抗網(wǎng)絡(luò)的訓(xùn)練

AAE中對(duì)抗訓(xùn)練的思想來(lái)自于GAN，可以看成一個(gè)兩者博弈的過(guò)程。這里就是編碼器部分G1與鑒別器D的博弈[20]，訓(xùn)練的目標(biāo)就是能夠使G1編碼結(jié)果越來(lái)越接近“真實(shí)分布”，即預(yù)設(shè)的先驗(yàn)分布p(z)，同時(shí)使得鑒別器能夠更好地區(qū)分特征向量到底是來(lái)自于編碼器輸出的特征向量還是采樣自“真實(shí)分布”的向量。先驗(yàn)分布假設(shè)為混合高斯分布，因?yàn)榛旌细咚狗植冀?jīng)過(guò)神經(jīng)網(wǎng)絡(luò)投射可以擬合任意的分布?？傮w優(yōu)化目標(biāo)可以作如下表示：

Ex～pdata(x)[log(1-D(G1(x)))]

(3)

鑒別器優(yōu)化目標(biāo)表示為：

(4)

編碼器優(yōu)化目標(biāo)表示為：

(5)

其中，zi是采樣自先驗(yàn)分布的向量，xi是來(lái)自原始數(shù)據(jù)的樣本，n為樣本數(shù)。

自編碼器網(wǎng)絡(luò)和對(duì)抗網(wǎng)絡(luò)交替訓(xùn)練，訓(xùn)練過(guò)程如以下偽代碼所示：

算法2：AAE-AD模型訓(xùn)練。

輸入：訓(xùn)練樣本集X；

輸出：模型G1,G2,D。

1:對(duì)訓(xùn)練樣本集X進(jìn)行預(yù)處理，產(chǎn)生輸入樣本{x1,x2,…,xn}

2:for theqthepoch do

3:for theithsample do

4:將xi輸入AAE-AD模型，產(chǎn)生編碼器輸出G1(xi)，解碼器輸出G2(G1(xi))，鑒別器輸出D(G1(xi))

5:計(jì)算lossA=mse(xi,G2(G1(xi)))，使用Adam[21]優(yōu)化器更新編碼器和解碼器參數(shù)

6:從混合高斯分布中采樣出向量zi，產(chǎn)生鑒別器輸出D(zi)

7:計(jì)算lossD=-logD(zi)-log(1-D(G1(xi))),使用Adam優(yōu)化器更新鑒別器參數(shù)

8:計(jì)算lossG1=log(1-D(G1(xi)))，使用Adam優(yōu)化器更新編碼器參數(shù)

9:end for

10:end for

2.3 AAE-AD異常檢測(cè)

在網(wǎng)絡(luò)訓(xùn)練結(jié)束后，模型中自編碼器和鑒別器有相對(duì)獨(dú)立的異常判斷機(jī)制，如圖2所示，模型的異常檢測(cè)是將測(cè)試樣本輸入模型，結(jié)合模型的自編碼器部分產(chǎn)生的重構(gòu)誤差和鑒別器部分產(chǎn)生的鑒別分值來(lái)對(duì)樣本做異常判斷的過(guò)程。

圖2 AAE-AD模型的異常檢測(cè)

在異常檢測(cè)中，AAE-AD模型的判斷依據(jù)是測(cè)試樣本是否符合正常模式。自編碼器通過(guò)訓(xùn)練學(xué)習(xí)到了樣本空間X到特征空間Z的投射函數(shù)qφ(z|x)和特征空間Z到樣本空間X的投射函數(shù)hφ(x|z)，能夠?qū)Ψ险ＤＪ降臉颖具M(jìn)行很好的編解碼。因此，對(duì)于正常樣本來(lái)說(shuō)，經(jīng)過(guò)自編碼器網(wǎng)絡(luò)計(jì)算出的重構(gòu)誤差較小，而異常樣本的重構(gòu)誤差較大。對(duì)抗網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練，編碼器G1能夠?qū)⒎险７植嫉臉颖揪幋a成能夠混淆鑒別器D的特征向量，鑒別器D也往往認(rèn)為這是“真的”；而異常樣本難以被很好地編碼，其編碼出的特征向量會(huì)被鑒別器D判為“假的”。結(jié)合這兩者給出的結(jié)果計(jì)算測(cè)試樣本的異常分值，如果異常分值大于設(shè)定的閾值則被判為異常。

異常檢測(cè)過(guò)程如以下偽代碼表示:

算法3：AAE的異常檢測(cè)。

輸入：測(cè)試樣本集X；

輸出：測(cè)試樣本異常分值S。

1:對(duì)測(cè)試樣本集X進(jìn)行預(yù)處理，產(chǎn)生輸入樣本{x1,x2,…,xn}

2:for theithsample do

3:將xi輸入自編碼器網(wǎng)絡(luò)，輸出G2(G1(xi)),計(jì)算s1=mse(xi,G2(G1(xi)))

4:將xi輸入對(duì)抗網(wǎng)絡(luò)，輸出D(G1(xi)),記為s2=log(1-D(G1(xi)))

5:計(jì)算樣本xi的總異常分值s=λs1+(1-λ)s2

6:end for

3 實(shí)驗(yàn)驗(yàn)證

3.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)數(shù)據(jù)集選自2018年AIOps的KPI異常檢測(cè)競(jìng)賽中的8組KPI數(shù)據(jù)。網(wǎng)絡(luò)監(jiān)測(cè)設(shè)備的數(shù)據(jù)采樣間隔單位是分鐘，這8組數(shù)據(jù)的異常點(diǎn)已經(jīng)由專業(yè)網(wǎng)絡(luò)管理人員標(biāo)出，因此這8組數(shù)據(jù)可以在實(shí)驗(yàn)中用來(lái)比較不同算法間的性能。表1中列出了各組數(shù)據(jù)的檢測(cè)點(diǎn)數(shù)量、異常點(diǎn)數(shù)量和缺失點(diǎn)數(shù)量，其中F,G,H三組數(shù)據(jù)不包含缺失點(diǎn)。

表1 實(shí)驗(yàn)數(shù)據(jù)集

3.2 評(píng)價(jià)指標(biāo)

F1分?jǐn)?shù)是一種用來(lái)衡量分類模型性能的指標(biāo)，兼顧了分類模型的精確率(precision)和召回率(recall)，計(jì)算公式如下：

(6)

F1分?jǐn)?shù)值越大表明分類性能越好，最優(yōu)F1分?jǐn)?shù)指的是取不同分類閾值時(shí)，數(shù)值最大的F1分?jǐn)?shù)。

ROC曲線是根據(jù)一系列不同分類閾值，以真正例率(true positive rate，TPR)為縱坐標(biāo)，假正例率(false positive rate，F(xiàn)PR)為橫坐標(biāo)繪制的曲線。AUC(area under curve)為ROC曲線下面積,AUC越大代表分類模型效果越好。

在實(shí)驗(yàn)中，異常檢測(cè)的單位是窗口，每個(gè)窗口用該窗口中最后一個(gè)點(diǎn)作為記錄點(diǎn)。數(shù)據(jù)集中已經(jīng)給出真實(shí)的異常點(diǎn)，記包含異常點(diǎn)或者丟失點(diǎn)的窗口為“真實(shí)異常窗口”。預(yù)測(cè)結(jié)束以后，記異常分值大于閾值或者包含丟失點(diǎn)的窗口為“預(yù)測(cè)異常窗口”。通過(guò)改變異常判斷的閾值，可以計(jì)算出最優(yōu)F1分?jǐn)?shù)并且繪制出ROC曲線，進(jìn)而計(jì)算出AUC值。

3.3 實(shí)驗(yàn)參數(shù)設(shè)置

把每一個(gè)數(shù)據(jù)集都劃分為三部分，前50%用于訓(xùn)練，中間30%用于驗(yàn)證模型損失，后20%用于異常檢測(cè)。K代表了模型的特征空間維度，在訓(xùn)練中也是一個(gè)重要的參數(shù)。K取值太小會(huì)導(dǎo)致不同維度之間的相關(guān)性太高，特征空間的表示能力會(huì)變差，同時(shí)模型的訓(xùn)練也更容易過(guò)擬合。在經(jīng)過(guò)反復(fù)的實(shí)驗(yàn)后，選取K=10?；瑒?dòng)窗口是訓(xùn)練和檢測(cè)的基本單位，窗口長(zhǎng)度W設(shè)置太大會(huì)增加過(guò)擬合的風(fēng)險(xiǎn),設(shè)置過(guò)小會(huì)導(dǎo)致模型難以學(xué)習(xí)到數(shù)據(jù)的正常分布模式，在反復(fù)的實(shí)驗(yàn)中發(fā)現(xiàn)窗口大小W設(shè)置120較為合適。異常檢測(cè)中，異常分值由自編碼器和鑒別器的輸出共同決定，設(shè)置λ為0.8，這也是在反復(fù)實(shí)驗(yàn)中獲得的經(jīng)驗(yàn)值，λ如何取值能夠使得模型性能最佳也是后續(xù)的一項(xiàng)工作。

3.4 神經(jīng)網(wǎng)絡(luò)設(shè)置

模型分為三個(gè)子網(wǎng)絡(luò)，分別是編碼器網(wǎng)絡(luò)、解碼器網(wǎng)絡(luò)、鑒別器網(wǎng)絡(luò)。編碼器網(wǎng)絡(luò)中使用了4層神經(jīng)網(wǎng)絡(luò)，第一層為包含144個(gè)節(jié)點(diǎn)的全連接網(wǎng)絡(luò)；第二層為通道數(shù)32，5*5卷積核的卷積層，使用LeakyReLU做激活；第三層為通道數(shù)64，5*5卷積核的卷積層，使用LeakyReLU做激活；第四層為節(jié)點(diǎn)數(shù)2K(K為特征維度)的全連接層。編碼器輸出為特征向量z的均值和標(biāo)準(zhǔn)差，使用重參數(shù)化技巧采樣出特征向量z，分別作為解碼器和鑒別器的輸入。解碼器使用4層神經(jīng)網(wǎng)絡(luò)，第一層為包含576個(gè)節(jié)點(diǎn)的全連接層；第二層為通道數(shù)64，5*5卷積核的反卷積層，使用LeakyReLU做激活；第三層為通道數(shù)為32，5*5卷積核的反卷積層，使用LeakyReLU做激活；第四層為節(jié)點(diǎn)數(shù)為W的全連接層。鑒別器使用三層全連接網(wǎng)絡(luò)，節(jié)點(diǎn)數(shù)分別為128，128，1。優(yōu)化器選擇上，三個(gè)網(wǎng)絡(luò)都使用了Adam優(yōu)化器。

3.5 結(jié)果分析

3.5.1 模型間性能對(duì)比

如表2所示，在最優(yōu)F分?jǐn)?shù)指標(biāo)上，AAE-AD模型(“0”值填充)在數(shù)據(jù)集A,B,C,E,F,G,H上都優(yōu)于其他的無(wú)監(jiān)督檢測(cè)模型，性能提升分別為3.31%,14.06%,14.48%,13.58%,112.67%,356.19%,454.34%?？梢钥吹?，在F,G,H數(shù)據(jù)集上，異常點(diǎn)比較少，對(duì)于模型檢測(cè)的精確度要求非常高，其他無(wú)監(jiān)督算法的F分?jǐn)?shù)普遍在0.2以下，效果非常不理想；而AAE-AD在這幾個(gè)數(shù)據(jù)集上依然能保持良好的檢測(cè)精度。在數(shù)據(jù)集D上，RNN,LSTM模型性能超過(guò)了其他的無(wú)監(jiān)督模型，F(xiàn)分?jǐn)?shù)分別為0.966和0.936。除了AAE-AD之外，VAE的性能在A,B,C,E數(shù)據(jù)集上普遍優(yōu)于其他無(wú)監(jiān)督模型，總體來(lái)說(shuō)是一種次優(yōu)的方案。ARIMA優(yōu)點(diǎn)是不需要訓(xùn)練模型，能達(dá)到一定的精度，可見(jiàn)在對(duì)精確度要求不是很?chē)?yán)格的應(yīng)用場(chǎng)景中，可以采用ARIMA模型。

表2 最優(yōu)F分?jǐn)?shù)指標(biāo)對(duì)比

如表3所示，在AUC指標(biāo)上，AAE-AD模型(“0”值填充)在B,C,E,F,G,H數(shù)據(jù)集上都優(yōu)于其他無(wú)監(jiān)督檢測(cè)模型，性能提升分別為3.21%，2.78%，1.43%，59.09%，50%，64.29%。在數(shù)據(jù)集A上，GAN模型表現(xiàn)最佳，AUC值為0.844；在數(shù)據(jù)集D上，RNN和LSTM模型超過(guò)了其他方法，AUC值分別為0.978和0.970。與最優(yōu)F指標(biāo)類似，VAE僅次于AAE方法。

表3 AUC指標(biāo)對(duì)比

3.5.2 KNN填充與“0值填充”

因?yàn)閿?shù)據(jù)集F,G,H不包含缺失值，所以僅在A～E數(shù)據(jù)集上對(duì)比了KNN填充與“0”值填充的性能差異。在最優(yōu)F指標(biāo)上，KNN填充方法在C,D,E三個(gè)數(shù)據(jù)集上提升了檢測(cè)精度，在數(shù)據(jù)集A上沒(méi)有變化，在數(shù)據(jù)集B上降了0.71%的精度；在AUC指標(biāo)上，KNN填充方法在數(shù)據(jù)集D上提升了2.51%精度，在數(shù)據(jù)集B上降了0.60%的精度，其他三個(gè)數(shù)據(jù)集不變。由此，可以發(fā)現(xiàn)，KNN填充方法可以在一定程度上提高AAE-AD模型的檢測(cè)精度，是一種有效的缺失值填充方法。

3.5.3 AAE與VAE性能差異分析

AAE模型與VAE模型在模型訓(xùn)練中存在一定的相似性。其中AAE通過(guò)對(duì)抗訓(xùn)練的方式來(lái)約束特征空間的向量分布；而VAE通過(guò)KL散度的約束來(lái)實(shí)現(xiàn)這一點(diǎn)。在圖像分類任務(wù)中，VAE的特征空間分布存在空隙[3]，而AAE的特征空間結(jié)合非常緊密；在本實(shí)驗(yàn)中也發(fā)現(xiàn)了類似的現(xiàn)象。為了使特征空間更直觀可見(jiàn)，將特征維度設(shè)為2，在其他訓(xùn)練參數(shù)相同的情況下，兩者的特征空間如圖3所示。

圖3 AAE與VAE特征空間對(duì)比

其中兩圖中黑框區(qū)域?yàn)橄嗤瑫r(shí)間區(qū)域?qū)?yīng)的特征空間，AAE中此區(qū)域點(diǎn)分布密集而均勻，而VAE在此區(qū)域的分布較為零散；采樣了其中的一個(gè)點(diǎn)，分別用AAE和VAE進(jìn)行編碼解碼，結(jié)果如圖4所示?？梢?jiàn)，在特征空間離散區(qū)域，VAE對(duì)樣本的重構(gòu)效果并不好，容易把正常點(diǎn)判成異常點(diǎn)，從而影響整體的檢測(cè)精度，這也是VAE檢測(cè)性能低于AAE的主要原因。

圖4 AAE與VAE重構(gòu)效果對(duì)比

4 結(jié)束語(yǔ)

針對(duì)網(wǎng)絡(luò)性能異常發(fā)現(xiàn)任務(wù)中檢測(cè)精度不夠高的問(wèn)題，提出了AAE-AD模型，其中使用了KNN作為缺失值填充的方法。實(shí)驗(yàn)結(jié)果表明，AAE-AD模型在異常發(fā)現(xiàn)任務(wù)中性能普遍優(yōu)于現(xiàn)有的其他無(wú)監(jiān)督檢測(cè)模型；其中KNN缺失值填充技術(shù)能進(jìn)一步提升AAE-AD的性能。

后續(xù)工作包括兩方面，一是AAE-AD模型對(duì)參數(shù)敏感，如窗口大小W，特征空間維度K，異常分?jǐn)?shù)計(jì)算系數(shù)λ，需要進(jìn)一步探討參數(shù)變化和模型性能的定性關(guān)系來(lái)提高模型訓(xùn)練的效率；二是嘗試將AAE-AD模型運(yùn)用在多維時(shí)序序列異常檢測(cè)中，以提升它的實(shí)用性。