黃 聰，農(nóng)英雄，張 毅

(1.廣西中煙信息中心，廣西 南寧 530001；2.清華大學(xué) 自動(dòng)化系，北京 100018)

工業(yè)4.0時(shí)代，制造過(guò)程具有生產(chǎn)工藝復(fù)雜、成本管控精細(xì)、產(chǎn)品質(zhì)量嚴(yán)格等特點(diǎn)，通過(guò)技術(shù)手段確保并有效提升產(chǎn)品良率具有重要意義且需求迫切。產(chǎn)品質(zhì)量檢測(cè)是對(duì)產(chǎn)品或生產(chǎn)過(guò)程的一個(gè)或多個(gè)特征進(jìn)行測(cè)量、檢驗(yàn)、試驗(yàn)或估計(jì)，并將結(jié)果與工藝要求進(jìn)行比較[1]。質(zhì)量檢測(cè)的特征參數(shù)由生產(chǎn)線上配備的傳感器或?qū)ｉT定制的檢測(cè)裝置測(cè)量得到。傳統(tǒng)上，質(zhì)量檢測(cè)的標(biāo)準(zhǔn)主要依賴于以往經(jīng)驗(yàn)所制定的規(guī)則。但是，現(xiàn)代工業(yè)產(chǎn)品多樣化，生產(chǎn)工藝更新較快，而且生產(chǎn)過(guò)程數(shù)據(jù)容易受到生產(chǎn)環(huán)境的影響，規(guī)則的準(zhǔn)確度均會(huì)大幅降低。另外，當(dāng)數(shù)據(jù)空間快速增長(zhǎng)時(shí)，很難通過(guò)確定的規(guī)則對(duì)產(chǎn)品質(zhì)量進(jìn)行描述。

隨著物理計(jì)算傳感技術(shù)以及人工智能技術(shù)的飛速發(fā)展，基于機(jī)器學(xué)習(xí)的智能異常檢測(cè)技術(shù)應(yīng)運(yùn)而生，由于其在應(yīng)對(duì)復(fù)雜工藝過(guò)程具有大大超越傳統(tǒng)方法的獨(dú)特優(yōu)勢(shì)，得到學(xué)界和產(chǎn)業(yè)界的普遍關(guān)注，發(fā)展迅猛[2-4]。產(chǎn)品質(zhì)量的智能異常檢測(cè)成為確保產(chǎn)品高質(zhì)量穩(wěn)產(chǎn)出的重要保障手段，是工業(yè)智能運(yùn)維服務(wù)的重要環(huán)節(jié)之一。

無(wú)監(jiān)督智能異常檢測(cè)技術(shù)的原理是獲取正常產(chǎn)品特征數(shù)據(jù)的分布范圍，一旦測(cè)量數(shù)據(jù)超過(guò)正常分布范圍，則視為異常數(shù)據(jù)。目前，用于解決無(wú)監(jiān)督異常檢測(cè)問(wèn)題的機(jī)器學(xué)習(xí)方法主要有單類支持向量機(jī)(one-class support vector machine,OCSVM)[5]、局部異常因子(local outlier factor,LOF)[6]、獨(dú)立森林(isolation forest,IF)[7]等，這些方法雖然具有一定的穩(wěn)健性并已取得一些較好的應(yīng)用，但是在應(yīng)對(duì)大規(guī)模數(shù)據(jù)時(shí)，計(jì)算復(fù)雜度會(huì)大幅提高，尤其是在線檢測(cè)時(shí)異常檢測(cè)性能退化嚴(yán)重，并且擴(kuò)展性較差[8]。

深度學(xué)習(xí)方法在高維大規(guī)模數(shù)據(jù)的非線性建模方面具有顯著優(yōu)勢(shì)。受限玻爾茲曼機(jī)(restricted Boltzmann machine,RBM) 模型是一種無(wú)向二分圖的神經(jīng)網(wǎng)絡(luò)模型，相對(duì)于深層神經(jīng)網(wǎng)絡(luò)模型，能夠以較少的計(jì)算消耗表征數(shù)據(jù)復(fù)雜關(guān)系。RBM不僅可以作為一個(gè)生成模型，基于隱變量對(duì)一組輸入變量的聯(lián)合分布進(jìn)行建模，還可以作為判別模型實(shí)施無(wú)監(jiān)督分類[9-10]。

考慮到實(shí)際工業(yè)生產(chǎn)中產(chǎn)品參數(shù)的高斯特性，本文選取高斯RBM(GRBM) 用于建模，即可見(jiàn)層各神經(jīng)元是服從高斯分布的。與傳統(tǒng)基于GRBM異常檢測(cè)方法不同，本文研究聚焦用于描述網(wǎng)絡(luò)狀態(tài)的自由能量函數(shù)。文獻(xiàn)[11]與[12]同樣使用能量函數(shù)值作為異常控制標(biāo)準(zhǔn)，但對(duì)自由能量函數(shù)的研究?jī)H限于此，且應(yīng)用領(lǐng)域與本文不同。本文將自由能量函數(shù)整合到目標(biāo)函數(shù)中。在不同的階段進(jìn)行不同的梯度補(bǔ)償，使訓(xùn)練過(guò)程易于處理。本文將FE-GRBM與3種常用的異常檢測(cè)方法OCSVM、LOF、IF以及兩種分別以重建誤差和能量得分為決策準(zhǔn)則的常規(guī)GRBM模型，在卷煙產(chǎn)品檢測(cè)的實(shí)際應(yīng)用案例中進(jìn)行比較分析，驗(yàn)證FE-GRBM的有效性和優(yōu)越性。

1 受限玻爾茲曼機(jī)

1.1 基本模型

受限玻爾茲曼機(jī)(restricted Boltzmann machine,RBM) 是一種可用隨機(jī)神經(jīng)網(wǎng)絡(luò)(stochastic neural network,SNN) 解釋的概率圖模型(probabilistic graphical model,PGM) 。它由Smolensky于1986年在玻爾茲曼機(jī)(BM) 的基礎(chǔ)上提出。RBM采用兩層網(wǎng)絡(luò)來(lái)描述一組隨機(jī)變量之間的依賴關(guān)系，一層為隱藏層，另一層為可見(jiàn)層。相較于BM，RBM的層與層之間相互連接，但同一層內(nèi)各神經(jīng)元間沒(méi)有連接。RBM 具有如下性質(zhì)。

性質(zhì)1當(dāng)給定可見(jiàn)層各單元狀態(tài)時(shí)，隱藏層各單元的激活條件獨(dú)立；反之當(dāng)給定隱藏層各單元的狀態(tài)時(shí)，可見(jiàn)層各單元的激活也條件獨(dú)立。

RBM的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，n、m分別表示可見(jiàn)層和隱藏層神經(jīng)元個(gè)數(shù)?？梢?jiàn)層狀態(tài)向量x=(x1,x2,···,xn)與隱藏層狀態(tài)向量h=(h1,h2,···,hm)相連接。a=(a1,a2,···,an)表示可見(jiàn)層的偏置向量，其中，ai是可見(jiàn)層第i個(gè)神經(jīng)元的偏置。b=(b1,b2,···,bm)表示隱藏層的偏置向量，其中，bj是可見(jiàn)層第j個(gè)神經(jīng)元的偏置。W=(wij∈Rm*n)表示可見(jiàn)層與隱藏層各神經(jīng)元之間的權(quán)重矩陣，其中，wij是可見(jiàn)層第i個(gè)神經(jīng)元和隱藏層第j個(gè)神經(jīng)元的連接權(quán)重。

圖1 RBM模型結(jié)構(gòu)圖Figure 1 The RBM Model structure diagram

RBM模型是一個(gè)基于能量的模型(energy based model,EBM)，對(duì)于一組給定的狀態(tài)(x,h)能量函數(shù)定義為

根據(jù)能量函數(shù)，可以得到關(guān)于狀態(tài)的(x,h)聯(lián)合概率分布為

為歸一化因子，又稱為配分函數(shù)(partition function) 。對(duì)于一個(gè)實(shí)際問(wèn)題，更關(guān)心關(guān)于觀測(cè)數(shù)據(jù)x的概率分布Pθ(x)，即Pθ(x,h)的邊緣分布，也稱為似然函數(shù)(likelihood function)，通過(guò)對(duì)所有可能的隱藏層狀態(tài)向量求和得到

類似地，關(guān)于隱藏層狀態(tài)向量h的概率分布Pθ(h)的似然函數(shù)定義為

給定訓(xùn)練數(shù)據(jù)后，訓(xùn)練一個(gè)RBM意味著調(diào)整參數(shù)θ，以擬合給定的訓(xùn)練樣本，使得該參數(shù)下RBM表示的概率分布盡可能地與訓(xùn)練數(shù)據(jù)相符合。假定訓(xùn)練數(shù)據(jù)X=(x1,x2,···,xl)，l為訓(xùn)練數(shù)據(jù)數(shù)量，各數(shù)據(jù)滿足獨(dú)立同分布。這樣，訓(xùn)練RBM的目標(biāo)為最大化似然。為了簡(jiǎn)化計(jì)算，對(duì)似然的最大化等價(jià)于對(duì)似然對(duì)數(shù)的最大化。

采用梯度上升法最大化式(6)，通過(guò)迭代的方式逼近最大值，迭代公式為

其中，η＞0為學(xué)習(xí)率。

由于式(3) 計(jì)算復(fù)雜度大，很難直接求得，對(duì)比散度(contrastive divergence,CD)[13]一般被用于訓(xùn)練。CD算法執(zhí)行k次吉布斯采樣，其具體步驟如下。對(duì)?x∈X，取初始值x(0):=X，經(jīng)過(guò)k步吉布斯采樣生成樣本x(k)。其中，第s步(s=1,2,···,k) 先后執(zhí)行從P(h|x(s-1))采樣出h(s-1)及從P(x|h(s-1))采樣出x(s)。利用k步吉布斯采樣后得到的x(k)近似計(jì)算梯度如下。

一般設(shè)置k為1，即只進(jìn)行一次吉布斯采樣，就能達(dá)到較好的擬合效果[14]。

1.2 變種模型

傳統(tǒng)的RBM假設(shè)x∈{0,1}，h∈{0,1},這種情況下RBM又稱為伯努利-伯努利RBM(Bernoulli -Bernoulli RBM,BRBM) 。相關(guān)公式如下。

BRBM假設(shè)每個(gè)可見(jiàn)層神經(jīng)元和隱藏層神經(jīng)元的狀態(tài)都是二進(jìn)制的，而現(xiàn)實(shí)世界中很多數(shù)據(jù)參數(shù)的取值范圍都是不固定的且分布各異，這就大大限制了BRBM的應(yīng)用。雖然也可以通過(guò)一些方法改進(jìn)實(shí)現(xiàn)BRBM對(duì)其他分布的建模，但是效果較差。為了更好地對(duì)連續(xù)分布建模，提出通過(guò)修改能量函數(shù)的模型改進(jìn)，使用高斯可見(jiàn)層神經(jīng)元替代伯努利可見(jiàn)層神經(jīng)元，即高斯-伯努利RBM(Gaussian-Bernoulli RBM,GRBM)[15]。GRBM的能量函數(shù)定義為

其中，σi定義為第i個(gè)可見(jiàn)單元高斯噪音的標(biāo)準(zhǔn)差。

2 方法描述

本文提出一種基于自由能量函數(shù)的GRBM故障檢測(cè)方法，即自由能量函數(shù)GRBM(free energy GRBM,FE-GRBM) 。該方法采用GRBM作為數(shù)據(jù)模型框架，利用自由能量與邊緣概率自然對(duì)數(shù)的線性關(guān)系，提出基于能量分值的模型訓(xùn)練策略和故障檢測(cè)方案。

2.1 訓(xùn)練方法

模型的訓(xùn)練算法一般通過(guò)參數(shù)的對(duì)數(shù)似然函數(shù)(log-likelihood,LL)(式(6)) 最大化實(shí)現(xiàn)參數(shù)更新。但是由于配分函數(shù)計(jì)算復(fù)雜度大，很難直接在訓(xùn)練時(shí)計(jì)算得到，采用CD算法作為訓(xùn)練算法執(zhí)行梯度上升操作。CD算法利用k(一般取k=1) 步吉布斯采樣近似計(jì)算梯度，而重構(gòu)誤差被直接用于訓(xùn)練的性能度量。重構(gòu)誤差為吉布斯采樣生成樣本與原始訓(xùn)練數(shù)據(jù)的均方差距離，雖然計(jì)算方便，但是對(duì)模型訓(xùn)練而言是一種非常差的度量[16]。

GRBM模型中，每個(gè)可見(jiàn)層神經(jīng)元都服從高斯分布。可見(jiàn)層神經(jīng)元的邊界分布P(x)是每一個(gè)可見(jiàn)層神經(jīng)元的聯(lián)合概率密度。每個(gè)神經(jīng)元的高斯程度可以使用邊界分布來(lái)表示。數(shù)據(jù)的聯(lián)合概率密度越高則每個(gè)神經(jīng)元的概率越高，數(shù)據(jù)更有可能正常。相反，聯(lián)合概率密度越低，數(shù)據(jù)更可能異常，即異常程度與P(x)成反比。

其中，F(xiàn)是自由能量函數(shù)。

由于配分函數(shù)(式(3)) 不可計(jì)算，可見(jiàn)層神經(jīng)元的邊界分布也很難得到。但是每個(gè)數(shù)據(jù)的配分函數(shù)值相等?？梢酝ㄟ^(guò)抵消配分函數(shù)，并對(duì)P(x) 求對(duì)數(shù)，得到式(13) 。同時(shí)，由于異常程度是與P(x)成反比的，因此可以使用自由能量值作為數(shù)據(jù)分類的決策指標(biāo)。

為了簡(jiǎn)化計(jì)算，設(shè)置可見(jiàn)層神經(jīng)元的邊緣分布方差為1，得到

將自由能量作為模型學(xué)習(xí)的目標(biāo)函數(shù)，得到新的對(duì)數(shù)似然函數(shù)為

其中，x是原始數(shù)據(jù)；是重構(gòu)數(shù)據(jù)。

根據(jù)式(15) 得到梯度如下。

2.2 異常檢測(cè)

在線檢測(cè)階段，需要建立一個(gè)監(jiān)控統(tǒng)計(jì)量對(duì)新進(jìn)數(shù)據(jù)進(jìn)行實(shí)時(shí)檢測(cè)。最直接的方法是采用SPE統(tǒng)計(jì)量作為監(jiān)控指標(biāo)，當(dāng)重構(gòu)誤差超過(guò)檢測(cè)控制限后，即可視為故障數(shù)據(jù)。但是這個(gè)檢測(cè)控制限難于確定，因?yàn)殡m然原始數(shù)據(jù)及其重構(gòu)數(shù)據(jù)遵循多元高斯分布，但它們之間是相互依賴的，兩個(gè)相互依賴的多元高斯分布之間的差異不一定是高斯分布。因此，直接選用SPE統(tǒng)計(jì)量作為監(jiān)控指標(biāo)是不合適的。

2.1 節(jié)分析確定了自由能量與邊緣分布自然對(duì)數(shù)的負(fù)線性關(guān)系，考慮到故障檢測(cè)主要目標(biāo)是進(jìn)行正確的判別，尤其是有效識(shí)別出真正的故障，而不是非要構(gòu)建一個(gè)精確的數(shù)據(jù)模型，因此可以將-F(x)作為監(jiān)控統(tǒng)計(jì)量。新進(jìn)數(shù)據(jù)的自由能量可以直接通過(guò)式(15) 計(jì)算得到，式中的ai、bj及wij皆可在離線建模階段求得。另外，可見(jiàn)層神經(jīng)元通過(guò)標(biāo)準(zhǔn)化后服從標(biāo)準(zhǔn)高斯分布且相互獨(dú)立，獨(dú)立高斯分布的積仍是高斯分布，那么可見(jiàn)層神經(jīng)元的邊緣分布P(x)也服從標(biāo)準(zhǔn)高斯分布。

根據(jù)式(13)，得到

可以看到，F(xiàn)(x)與x2是成正比關(guān)系的，而x服從標(biāo)準(zhǔn)正態(tài)分布，則x2服從標(biāo)準(zhǔn)正態(tài)分布，相應(yīng)地，x也應(yīng)服從標(biāo)準(zhǔn)正態(tài)分布。因此，本文采用高斯核密度估計(jì)技術(shù)(kernel density estimation,KDE) 來(lái)確定F(x)統(tǒng)計(jì)量的控制限。

KDE通過(guò)非參數(shù)方式估計(jì)隨機(jī)變量概率密度函數(shù)[17]。概率密度函數(shù)(probability density function,PDF) 的基本估算公式為

其中，xi是觀測(cè)數(shù)據(jù)點(diǎn)；t是窗口寬度；n是觀測(cè)值數(shù)量；K是核函數(shù)。核函數(shù)滿足

核函數(shù)有幾種類型，如高斯核、不平滑核和余弦核等。考慮到F(x)統(tǒng)計(jì)量的高斯分布特征，選用高斯核函數(shù)。高斯核函數(shù)的數(shù)學(xué)形式為

另一個(gè)關(guān)鍵問(wèn)題是需要提前明確窗口寬度t。通常通過(guò)平均積分平方誤差(mean integrated squared error,MISE) 計(jì)算得到

首先，計(jì)算正常訓(xùn)練數(shù)據(jù)的-F(x)值。其次，使用KDE估計(jì)-F(x)統(tǒng)計(jì)量的PDF。最后，通過(guò)逆累積分布函數(shù)(inverse cumulative distribution function，ICDF) 求得PDF的相應(yīng)分位數(shù)，并將其作為置信限，當(dāng)新進(jìn)數(shù)據(jù)的-F(x)統(tǒng)計(jì)值小于控制限，則為故障數(shù)據(jù)。

2.3 算法實(shí)現(xiàn)

FE-GRBM方法的整體流程見(jiàn)算法1。整個(gè)數(shù)據(jù)集包括訓(xùn)練集、驗(yàn)證集及測(cè)試集需要首先經(jīng)過(guò)統(tǒng)一的預(yù)處理實(shí)現(xiàn)度量一致。

數(shù)據(jù)預(yù)處理采用零相位成分分析(zero-phase component analysis,ZCA) 白化技術(shù)。該技術(shù)(式(24))源于PCA，區(qū)別在于沒(méi)有減少原始數(shù)據(jù)的維度。

其中，xi是原輸入向量；x(PCA)是對(duì)x進(jìn)行PCA處理；λi是第i個(gè)特征值；ε是一個(gè)很小的常量用于避免公式分母為0，通常設(shè)置為10-5。ZCA模型是通過(guò)正常數(shù)據(jù)訓(xùn)練特征向量ui和特征值λi計(jì)算得到的。所有的原始數(shù)據(jù)都需要通過(guò)ZCA模型預(yù)處理，以得到最小相關(guān)度且具有相同方差的一組特征量。

模型初始需要對(duì)超參數(shù)Γ進(jìn)行初始化，包括W、b、a、動(dòng)量標(biāo)量m、小批次樣本量、隱單元數(shù)、學(xué)習(xí)率及稀疏度等。這些超參在訓(xùn)練過(guò)程不是固定值，而是在一個(gè)值域中波動(dòng)。通常，調(diào)節(jié)前5個(gè)參數(shù)就足夠了。在每個(gè)迭代周期結(jié)束，通過(guò)計(jì)算驗(yàn)證集的分類性能度量，取最高值的相應(yīng)參數(shù)值。

整個(gè)FE-GRBM異常檢測(cè)框架如圖2所示。離線建模階段通過(guò)正常歷史數(shù)據(jù)建立ZCA數(shù)據(jù)預(yù)處理模型及GRBM模型，并使用KDE方法求解確定-F(x) 的控制限。在線檢測(cè)階段，新進(jìn)數(shù)據(jù)首先通過(guò)ZCA模型進(jìn)行白化預(yù)處理，然后根據(jù)GRBM模型計(jì)算求得監(jiān)控統(tǒng)計(jì)量-F(x) 值，將該值與控制限比較，若小于控制限則該樣本為異常樣本，否則繼續(xù)檢測(cè)下一個(gè)樣本。

圖2 FE-GRBM異常檢測(cè)框架Figure 2 The framework of FE-GRBM

3 煙支成品異常檢測(cè)

煙支成品檢測(cè)是卷煙質(zhì)量檢驗(yàn)的一個(gè)重要組成部分[18]。本文對(duì)廣西南寧卷煙廠煙支成品實(shí)際檢測(cè)數(shù)據(jù)開(kāi)展案例分析，驗(yàn)證FE-GRBM的應(yīng)用效果。廣西南寧卷煙廠煙支成品重要物理指標(biāo)的檢測(cè)數(shù)據(jù)是由煙支/濾棒綜合測(cè)試臺(tái)采集得到的。本案例所使用的數(shù)據(jù)集由22 640個(gè)煙支檢測(cè)實(shí)例組成，每個(gè)實(shí)例包含6個(gè)參數(shù)，分別為重量、圓周、吸入阻力、通風(fēng)度、硬度和長(zhǎng)度。這些實(shí)例的質(zhì)量異常情況均是結(jié)合專家根據(jù)自己的經(jīng)驗(yàn)和知識(shí)進(jìn)行綜合感官驗(yàn)證后得到的標(biāo)注，其中66個(gè)實(shí)例為異常樣本，占總樣本的不到0.3%。

實(shí)驗(yàn)將FE-GRBM與3個(gè)通用的異常檢測(cè)方法OCSVM、IF和LOF性能比較，用于驗(yàn)證FE-GRBM在無(wú)監(jiān)督分類方面的優(yōu)越性。另外，還將FE-GRBM與傳統(tǒng)GRBM、采用重構(gòu)誤差作為監(jiān)控統(tǒng)計(jì)量的RE-GRBM方法比較，用于驗(yàn)證基于自由能量的學(xué)習(xí)和監(jiān)控策略的優(yōu)勢(shì)和必要性。所有用于比較的方法均直接利用scikit-learn工具箱編程[19]實(shí)現(xiàn)，各方法的超參數(shù)則通過(guò)交叉驗(yàn)證與網(wǎng)格搜索相結(jié)合的方法選擇最優(yōu)值。表1中列出了所有比較方法主要超參數(shù)的搜索空間。實(shí)驗(yàn)所有的結(jié)果都是用50個(gè)獨(dú)立實(shí)驗(yàn)的測(cè)試平均值計(jì)算得到的。

表1 實(shí)驗(yàn)比較方法主要超參的搜索空間Table 1 The search-space list of the main super-parameters from the comparison methods

分類方法性能通過(guò)受試者工作特征曲線下面積(receiver operating characteristic-area under curve,ROC-AUC) 和平均精度(average precision,AP) 作為評(píng)價(jià)指標(biāo)。實(shí)驗(yàn)采取交叉驗(yàn)證方法開(kāi)展。隨機(jī)選取80%的正常樣本用于訓(xùn)練，80%的異常樣本以及相等數(shù)量的正常數(shù)據(jù)用于測(cè)試，剩下的正常數(shù)據(jù)以及20%的異常樣本用于驗(yàn)證。所有的數(shù)據(jù)集包括訓(xùn)練集、驗(yàn)證集及測(cè)試集均需統(tǒng)一的標(biāo)準(zhǔn)化預(yù)處理。OCSVM、LOF和IF實(shí)施標(biāo)準(zhǔn)化預(yù)處理。其他方法使用ZCA白化預(yù)處理。在OCSVM，選擇rbf為核函數(shù)，通過(guò)調(diào)節(jié)核系數(shù)來(lái)選擇最好的結(jié)果。在LOF和IF中，異常點(diǎn)比例設(shè)置為0.05。

實(shí)驗(yàn)首先采用熱力圖技術(shù)對(duì)正常數(shù)據(jù)的相關(guān)性進(jìn)行分析，圖3為正常數(shù)據(jù)6個(gè)變量的相關(guān)系數(shù)熱力圖?？梢钥吹?，變量間具有顯著的線性不相關(guān)性。

圖3 正常數(shù)據(jù)變量相關(guān)系數(shù)熱力圖Figure 3 The heat map of correlation coefficient of normal data

實(shí)驗(yàn)中，F(xiàn)E-GRBM的隱藏層神經(jīng)元個(gè)數(shù)設(shè)置為20。為了避免權(quán)重爆炸，設(shè)定學(xué)習(xí)率為0.000 5，動(dòng)量參數(shù)設(shè)置為0.95，以提高學(xué)習(xí)速度?？傊芷跀?shù)為1 000，每個(gè)學(xué)習(xí)周期設(shè)置學(xué)習(xí)樣本個(gè)數(shù)為200。在建立好GRBM模型后，分別計(jì)算每個(gè)正常樣本點(diǎn)的-F(x) 統(tǒng)計(jì)量。然后使用KDE來(lái)確定-F(x) 統(tǒng)計(jì)量的上限作為監(jiān)控限。圖4為通過(guò)KDE方法確定控制限的效果展示。圖中虛線與x軸的交點(diǎn)是PDF的5%分位點(diǎn)，作為-F(x) 統(tǒng)計(jì)量的監(jiān)控限。當(dāng)新進(jìn)樣本點(diǎn)xi的統(tǒng)計(jì)值-F(x) 小于監(jiān)控限時(shí)，則被檢測(cè)為異常樣本。

圖4 KDE方法效果展示Figure 4 The illustration of KDE

實(shí)驗(yàn)結(jié)果見(jiàn)圖5和表2。在ROC-AUC空間，ROC-AUC得分表示ROC曲線下的面積，而ROC曲線通過(guò)計(jì)算5種異常檢測(cè)方法在不同閾值下的異常預(yù)測(cè)假陽(yáng)性率和真陽(yáng)性率(見(jiàn)式(25)) 的對(duì)應(yīng)情況來(lái)反映檢測(cè)效果。式(25) 中，TP是真質(zhì)量異常樣本數(shù)；TN是真質(zhì)量正常樣本數(shù)；FP是假質(zhì)量異常樣本數(shù)；FN是假質(zhì)量正常樣本數(shù)。因此，ROC-AUC得分是對(duì)異常檢測(cè)效果的無(wú)差別評(píng)估，不偏向于多數(shù)類或少數(shù)類。比較5種方法的ROC-AUC得分，LOF表現(xiàn)最差，IF其次，OCSVM、RE-GRBM與FE-GRBM均表現(xiàn)很好，取得了最高分值。

表2 實(shí)驗(yàn)比較結(jié)果Table 2 The experimental comparison results

圖5 實(shí)驗(yàn)比較結(jié)果散點(diǎn)圖Figure 5 The scatter diagram of experimental comparison results

在PR空間，AP得分(式(26)) 是對(duì)PR曲線(precision-recall,PR) 精準(zhǔn)率取均值。式中，Pn和Rn分別是第n個(gè)閾值的精準(zhǔn)率和召回率。AP得分展示了5種異常檢測(cè)方法在不同概率閾值條件下精準(zhǔn)率與召回率的配對(duì)。精準(zhǔn)率和召回率(式(27)) 都是在不考慮假質(zhì)量正常樣本的情況下計(jì)算得到的真質(zhì)量異常樣本數(shù)量的指標(biāo)。因此，AP分值更關(guān)注于少數(shù)類，是一個(gè)針對(duì)非平衡分類問(wèn)題的有效評(píng)估指標(biāo)。比較5種方法的AP得分，傳統(tǒng)方法OCSVM、IF和LOF均表現(xiàn)很差，LOF得到了最高分0.50，基于GRBM的方法明顯高于傳統(tǒng)方法，其中FE-GRBM取得最高分值0.84，比LOF高出0.34。這表明OCSVM、IF和LOF針對(duì)異常樣本的漏檢率很高，而FE-GRBM檢測(cè)出異常樣本的效果最好。

很顯然，基于GRBM的方法比其他3種經(jīng)典異常檢測(cè)方法(OCSVM、IF和LOF) 在高非線性異常檢測(cè)方面具有較大的優(yōu)勢(shì)，F(xiàn)E-GRBM在本實(shí)驗(yàn)5種方法中體現(xiàn)了絕對(duì)的優(yōu)勢(shì)。3個(gè)經(jīng)典異常檢測(cè)方法平均性能得分最高是LOF，為0.63，F(xiàn)E-GRBM高于LOF，為0.92。這說(shuō)明OCSVM、IF和LOF在處理高非線性多維度異常檢測(cè)問(wèn)題方面具有劣勢(shì)，基于GRBM的方法能夠很好地解決這個(gè)問(wèn)題。FE-GRBM平均得分高于RE-GRBM 0.04，這驗(yàn)證了使用基于自由能量函數(shù)的學(xué)習(xí)策略和監(jiān)控策略的優(yōu)越性。

4 結(jié)論

本文針對(duì)傳統(tǒng)多元統(tǒng)計(jì)分析方法在處理非平衡非線性異常檢測(cè)問(wèn)題上的缺陷，利用淺層深度神經(jīng)網(wǎng)絡(luò)在非線性建模和算法復(fù)雜性上的綜合優(yōu)勢(shì)，提出基于自由能量高斯玻爾茲曼機(jī)的故障檢測(cè)方法FE-GRBM。利用自由能量函數(shù)與概率密度函數(shù)的反向線性關(guān)系，設(shè)計(jì)基于自由能量函數(shù)的學(xué)習(xí)策略，有效解決使用重構(gòu)誤差訓(xùn)練效果差的問(wèn)題；并在此基礎(chǔ)上提出改進(jìn)的監(jiān)控策略。通過(guò)煙支成品異常檢測(cè)的實(shí)際工業(yè)案例，驗(yàn)證FE-GRBM的優(yōu)越性。下一步將繼續(xù)對(duì)不同的實(shí)際工業(yè)應(yīng)用場(chǎng)景進(jìn)行應(yīng)用研究。