基于稀疏自動(dòng)編碼器的飛參數(shù)據(jù)異常檢測(cè)

杜辰飛，曲建嶺，孫文柱，高峰

(海軍航空工程學(xué)院青島校區(qū)，山東 青島 266041)

摘要：為了改善人工判讀飛參數(shù)據(jù)效率低且易出現(xiàn)誤判和漏判的不良狀況，本文提出一種基于稀疏自動(dòng)編碼器(Sparse auto-encoder，SAE)的飛參數(shù)據(jù)異常檢測(cè)方法。首先構(gòu)建了SAE的基本框架，然后以滑動(dòng)窗口的形式生成訓(xùn)練樣本。其次，用正常樣本并結(jié)合BP算法對(duì)整個(gè)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和優(yōu)化以得到相應(yīng)的正常樣本重構(gòu)誤差分布閾值。最后，根據(jù)測(cè)試樣本的重構(gòu)誤差對(duì)飛參數(shù)據(jù)中的典型異常進(jìn)行檢測(cè)。實(shí)驗(yàn)證明，該方法可在樣本不平衡的情況下，僅利用正常樣本構(gòu)建參數(shù)空間，并得到正常樣本重構(gòu)誤差分布門限，準(zhǔn)確檢測(cè)出飛參數(shù)據(jù)中的異常，實(shí)現(xiàn)飛參數(shù)據(jù)機(jī)器判讀。

關(guān)鍵詞：飛參數(shù)據(jù)；異常檢測(cè)；稀疏自動(dòng)編碼器；反向傳播算法；重構(gòu)誤差

doi：10.11823/j.issn.1674-5795.2015.02.03

中圖分類號(hào)：V328.3；TP181

文章編號(hào)：1674-5795(2015)02-0011-04

收稿日期：2015-01-23；修回日期：2015-03-06

作者簡(jiǎn)介：杜辰飛(1988-)，男，碩士研究生，主要研究方向?yàn)楹娇諆x表；曲建嶺(1968-)，男，教授，博士，主要研究方向?yàn)楹娇諆x表、飛參數(shù)據(jù)應(yīng)用、人工智能、模式識(shí)別等。

Flight Data Abnormity Detection Method Based on Sparse Auto-encoder

DU Chenfei，QU Jianling，SUN Wenzhu，GAO Feng

(Naval Aeronautical Engineering Institute Qingdao Branch，Qingdao 266041，China)

Abstract：To improve the adverse conditions of flight data manual interpretation such as low efficiency and inevitable errors or omissions，this paper presents a method based on sparse auto-encoder(SAE)for flight data abnormity detection.Firstly，we make the basic framework for SAE.Secondly we generate the training samples in the form of a sliding window.Thirdly，we use normal samples and BP algorithm to fulfill training and optimization of the entire network so as to get reconstruction error distribution threshold of normal samples.Finally，according to the reconstruction error of test samples we detect typical abnormity in flight data.Experiments show that this computer-based flight data interpretation method can get reconstruction error threshold distribution of the normal samples in the case of sample imbalance and detect abnormity of flight data accurately.

Key words：flight data；abnormity detection；sparse auto-encoder；back-propagation algorithm；reconstruction error

0引言

高強(qiáng)度的飛參判讀工作使飛參判讀員長(zhǎng)期處于疲勞狀態(tài)，增加了飛參判讀誤判、漏判的概率，而不斷完善的飛機(jī)安全監(jiān)控和視情維護(hù)體制卻對(duì)飛參判讀的效率和準(zhǔn)確率提出了更高的要求。深度學(xué)習(xí)技術(shù)的興起和異常檢測(cè)方法的日趨完善為解決上述問題奠定了理論基礎(chǔ)。深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)是一種利用經(jīng)過無監(jiān)督逐層貪心預(yù)訓(xùn)練和精雕的多隱含層非線性網(wǎng)絡(luò)結(jié)構(gòu)從無類標(biāo)數(shù)據(jù)樣本中提取高維復(fù)雜輸入數(shù)據(jù)的分層特征，進(jìn)而得到數(shù)據(jù)集壓縮表示的機(jī)器學(xué)習(xí)算法[1]，其最大的優(yōu)勢(shì)在于它將模式識(shí)別和特征分類器結(jié)合到一個(gè)框架中，不但能發(fā)掘同類數(shù)據(jù)的內(nèi)在線性或非線性關(guān)系，而且能明確不同類別數(shù)據(jù)間的界限，提高了無類標(biāo)數(shù)據(jù)樣本的利用率，克服了傳統(tǒng)淺層神經(jīng)網(wǎng)絡(luò)梯度稀釋、訓(xùn)練時(shí)間長(zhǎng)和易陷入局部最小等缺陷[2-4]。稀疏自動(dòng)編碼器是一種典型的深度結(jié)構(gòu)，能充分體現(xiàn)深度理論的優(yōu)勢(shì)，彌補(bǔ)傳統(tǒng)淺層結(jié)構(gòu)的不足，在樣本數(shù)量不平衡的情況下，有效利用正常樣本得到重構(gòu)誤差函數(shù)的分布規(guī)律，確定分類邊界。因此本文提出基于SAE的飛參數(shù)據(jù)異常檢測(cè)方法，輔助機(jī)器判讀，減少誤判和漏判，提高飛參判讀的效率和準(zhǔn)確率。

1SAE方法原理

為解決淺層神經(jīng)網(wǎng)絡(luò)受到梯度稀釋的影響不能精確擬合高維復(fù)雜函數(shù)且容易陷入局部最小等問題，2006年Hinton提出深度學(xué)習(xí)的概念，將限制性波爾茲曼機(jī)用于構(gòu)建深度置信網(wǎng)絡(luò)，并用無監(jiān)督逐層貪心訓(xùn)練算法對(duì)DBN進(jìn)行預(yù)訓(xùn)練，取得了良好的效果，開啟了神經(jīng)網(wǎng)絡(luò)研究的新紀(jì)元[5]。2007年Benjio經(jīng)過對(duì)深度結(jié)構(gòu)的細(xì)致研究，提出稀疏自動(dòng)編碼器的概念，利用KL散度懲罰隱含層節(jié)點(diǎn)的激活值，將其約束在非激活狀態(tài)值附近，因而隱含層節(jié)點(diǎn)數(shù)量很大時(shí)，該結(jié)構(gòu)依然能提取輸入數(shù)據(jù)的結(jié)構(gòu)性特征，提取高維數(shù)據(jù)變量的稀疏解釋性因子，有效保留原始輸入的非0特征，提高了表示學(xué)習(xí)算法的魯棒性，增強(qiáng)了數(shù)據(jù)的線性可分性，使分類邊界更加清晰，并且能有效控制變量規(guī)模，在一定程度上改變數(shù)據(jù)內(nèi)部結(jié)構(gòu)，豐富了原始數(shù)據(jù)包含信息，使得信息表述的全面性和準(zhǔn)確率得到顯著的提高[6]，因此SAE被廣泛用于圖像分類、圖像還原和圖像去噪等領(lǐng)域[7-9]。2012年馬云龍將并列SAE用于異常值檢測(cè)取得了良好的效果[10]，2013年鄧俊利用SAE實(shí)現(xiàn)了語義情感辨識(shí)[11]。

SAE的基本結(jié)構(gòu)如圖1所示，輸入層接收d維輸入向量x∈[0，1]d，然后將其映射到隱含表示y∈[0，1]d′，該映射可表示為

y=fθ(x)=s(Wx+b)

(1)

式中：θ={W，b}為網(wǎng)絡(luò)參數(shù)；s為sigmoid函數(shù)；W為d′×d維的權(quán)值矩陣；b為偏置向量。

圖1　稀疏自動(dòng)編碼器

隱含層表達(dá)y通過逆映射得到重構(gòu)向量z∈[0，1]d，逆映射為

z=gθ′(y)=s(W′y+b′)

(2)

式中：θ′={W′，b′}；W′為d×d′維的權(quán)值矩陣；b′為偏置向量；且有W′=WT，因而SAE具有關(guān)聯(lián)的權(quán)值。

樣本xi首先映射到y(tǒng)i，然后通過逆映射得到重構(gòu)zi，{θ，θ′}用最小均方誤差函數(shù)來優(yōu)化網(wǎng)絡(luò)參數(shù)，其表達(dá)式為

(3)

式中：n為樣本數(shù)量；L為平方誤差，即

(4)

SAE的核心是對(duì)原型自動(dòng)編碼器的代價(jià)函數(shù)加入約束條件，使大部分隱含層節(jié)點(diǎn)處于“抑制”狀態(tài)，將隱含層節(jié)點(diǎn)輸出值限定在0附近[12]，SAE的代價(jià)函數(shù)表達(dá)式為

(5)

式中：ρ為隱含層節(jié)點(diǎn)的激活值；ρj為隱含層節(jié)點(diǎn)的平均激活值；β為常數(shù)，代表稀疏懲罰項(xiàng)的比重。

懲罰項(xiàng)的實(shí)質(zhì)是Kullback-Leibler(KL)散度[13]，表示的是分別具有平均值ρ和ρj且服從貝努利分布的兩個(gè)隨機(jī)變量之間的差距，一般形式為

(6)

為了對(duì)SAE進(jìn)行精雕，本文采用BP算法對(duì)SAE進(jìn)行整體性調(diào)整[13-15]，基本方法如下：

(7)

(8)

(9)

1)根據(jù)初始化的權(quán)值矩陣和偏置進(jìn)行前饋傳導(dǎo)計(jì)算，利用前向傳導(dǎo)公式，得到L2，L3，…，Lnl的激活值。

2)對(duì)于第Lnl層(輸出層)的每個(gè)輸出單元i，我們根據(jù)以下公式計(jì)算殘差

(10)

3)對(duì)l=nl-1，nl-2，nl-3，…，2的各個(gè)層，第l層的第i個(gè)節(jié)點(diǎn)的殘差計(jì)算方法如下

(11)

(12)

根據(jù)遞推過程我們將nl-1與nl的關(guān)系替換為l與l+1的關(guān)系，因而可以得到

(13)

因此，SAE梯度可表示為

(14)

4)計(jì)算SAE偏導(dǎo)數(shù)

(15)

(16)

2飛參數(shù)據(jù)異常檢測(cè)

飛參數(shù)據(jù)中的正常樣本遠(yuǎn)多于異常樣本，并且飛參數(shù)據(jù)異常的種類有很多，由此帶來的樣本不平衡問題嚴(yán)重影響了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的分類效果(如圖2、3所示)，同時(shí)，淺層結(jié)構(gòu)不能擬合高維復(fù)雜函數(shù)使分類器精度受到一定程度的影響[16-18]。為了克服上述缺陷，本文從某型飛機(jī)300個(gè)架次的飛行數(shù)據(jù)中提取正常樣本用于訓(xùn)練SAE以得到正常數(shù)據(jù)的重構(gòu)誤差分布閾值(如圖4所示)，最后用完成訓(xùn)練的SAE檢測(cè)帶有異常的飛行數(shù)據(jù)。若該數(shù)據(jù)存在異常，那么其對(duì)應(yīng)時(shí)刻的代價(jià)函數(shù)將超出閾值；因此，若超出閾值，則可判定該時(shí)刻的飛行數(shù)據(jù)出現(xiàn)異常。檢測(cè)結(jié)果用0，1表示，0表示該時(shí)刻飛行數(shù)據(jù)正常，1表示該時(shí)刻飛行數(shù)據(jù)異常。

圖2　樣本平衡分類效果

圖3　樣本不平衡分類效果

圖4　重構(gòu)誤差分布閾值

2.1飛參樣本提取方法

飛參訓(xùn)練樣本可由一個(gè)或幾個(gè)參數(shù)構(gòu)成，便于SAE捕捉到正常樣本代價(jià)函數(shù)特征，確定分類邊界，提升訓(xùn)練的效率和檢測(cè)的準(zhǔn)確率。

根據(jù)發(fā)生異常的參數(shù)種類，本文選取左發(fā)排氣溫度(T4_L)、右發(fā)排氣溫度(T4_R)、左發(fā)高壓轉(zhuǎn)子轉(zhuǎn)速(N2_L)、右發(fā)高壓轉(zhuǎn)子轉(zhuǎn)速(N2_R)、左發(fā)低壓轉(zhuǎn)子轉(zhuǎn)速(N1_L)、右發(fā)低壓轉(zhuǎn)子轉(zhuǎn)速(N1_R)、左發(fā)滑油壓力(PH_L)、右發(fā)滑油壓力(PH_R)、左發(fā)滑油溫度(TH_L)、右發(fā)滑油溫度(TH_R)共10個(gè)參數(shù)構(gòu)建一個(gè)寬度為12 s，移動(dòng)步長(zhǎng)為1 s的滑動(dòng)窗口作為一個(gè)訓(xùn)練樣本。

2.2飛參數(shù)據(jù)異常檢測(cè)實(shí)例

1)野值檢測(cè)

野值是一種與先驗(yàn)知識(shí)不符的數(shù)據(jù)，一般由線路接觸不良或瞬間強(qiáng)干擾產(chǎn)生，是數(shù)字式記錄設(shè)備中不可避免的電氣特性，一般表現(xiàn)為采樣點(diǎn)嚴(yán)重偏離正常狀態(tài)，曲線中含有尖峰或毛刺。如圖5所示，某架次飛行數(shù)據(jù)發(fā)動(dòng)機(jī)滑油壓力中含有野值，相應(yīng)的檢測(cè)效果如圖6所示。

圖5　含有野值的滑油壓力

圖6　滑油壓力野值檢測(cè)

2)發(fā)動(dòng)機(jī)喘振檢測(cè)

喘振是由于氣流在渦輪發(fā)動(dòng)機(jī)壓氣機(jī)的葉片通道內(nèi)嚴(yán)重分離而造成的壓氣機(jī)不穩(wěn)定，從而使渦輪發(fā)動(dòng)機(jī)的工作狀態(tài)嚴(yán)重地偏離了設(shè)計(jì)工作狀態(tài)的故障。發(fā)生喘振時(shí)，可以觀察到發(fā)動(dòng)機(jī)工作不連續(xù)，高壓轉(zhuǎn)子轉(zhuǎn)速迅速下降，排氣溫度急劇升高。如圖7所示，2203~2209 s右發(fā)發(fā)生喘振，相應(yīng)的檢測(cè)效果如圖8所示。

圖7　右發(fā)喘振

圖8　喘振檢測(cè)

2.3檢測(cè)效果比較

在樣本不平衡的情況下，本文所用方法的檢測(cè)效果明顯優(yōu)于基于淺層神經(jīng)網(wǎng)絡(luò)的方法和完全依靠熟練人工判讀的效果。實(shí)驗(yàn)與統(tǒng)計(jì)數(shù)據(jù)如表1所示(實(shí)驗(yàn)中，檢測(cè)飛參數(shù)據(jù)異常327個(gè))。

表1　檢測(cè)效果比較

3結(jié)論

傳統(tǒng)的異常檢測(cè)方法需要大量的先驗(yàn)知識(shí)，但是飛參數(shù)據(jù)中的異常樣本極少，已經(jīng)發(fā)生的異常僅是個(gè)

例，因而傳統(tǒng)檢測(cè)方法無法提取飛參數(shù)據(jù)異常的特征，對(duì)新生種類異常的檢測(cè)效果較差。同時(shí)，淺層結(jié)構(gòu)不能擬合高維復(fù)雜函數(shù)，非凸優(yōu)化能力較差，梯度稀釋使模型易陷入局部最小，分類效果較差。而以SAE為理論基礎(chǔ)的異常檢測(cè)方法的最大優(yōu)勢(shì)就是可以在遇到未知種類的異常時(shí)，通過學(xué)習(xí)正常飛行參數(shù)的代價(jià)函數(shù)模式來識(shí)別異常數(shù)據(jù)。理論上，如果訓(xùn)練樣本完備，基于SAE的方法可以發(fā)現(xiàn)所有異常模式并確定異常發(fā)生的時(shí)刻，檢測(cè)準(zhǔn)確率接近100%，因此，將SAE用于飛行數(shù)據(jù)異常檢測(cè)是實(shí)現(xiàn)飛行數(shù)據(jù)機(jī)器判讀的有效途徑。

參考文獻(xiàn)

[1] HINTON G，OSINDERO S.A fast learning algorithm for deep belief nets[J].Neural Computation，2006，18(7)：1527-1554.

[2] ERHAN D，BENGIO Y，COUVILLE A.Why does unsupervised pre-training help deep learning[J].Journal of Machine Learning Research，2010，11(3)：625-660.

[3] POON H，DOMINGOS P.Sum-product networks：a new deep architecture[C]//Proc of IEEE International Conference on Computer Vision.Barcelona：IEEE，2011：689-690.

[4] ZINKEVICH M，SMOLA A，WEIMER M，et al.Parallelized stochastic gradient descent[J]Advances in Neural Information Processing Systems.2010(23)：2595-2603.

[5] BENGIO Y.Learning deep architectures for AI[J].Foundations and Trends in Machine Learning，2009，2(1)：1-127.

[6] BENGIO Y，LAMBLIN P，POPOVICI D.Greedy layerwise training of deep networks in Advances[C]//Proc of the 20thInternational Conference on Neural Information Processing Systems.Cambridge：MIT Press，2007：153-159.

[7] 孫志軍，薛磊，許陽(yáng)明.深度學(xué)習(xí)研究綜述[J].計(jì)算機(jī)應(yīng)用研究，2012，29(8)：2805-2810.

[8] GLOROT X，BORDES A，BENGIO Y.Deep Sparse Rectifier Neural Networks[C]//Proc of the 14thInternational Conference on Artificial Intelligence and Statistics.Fort Lauderdale：IEEE，2011：315-323.

[9] BENGIO Y，DELALLEAU O.On the expressive power of deep architectures[C]//Proc of the 14thInternational Conference on Discovery Science.Berlin：Springer-Verlag，2011：18-36.

[10] YUNLONG MA，PENG ZHANG，YANAN CAO.Parallel Auto-encoder for Efficient Outlier Detection[C]//Proc of IEEE International Conference on Big Data.Silicon Valley：IEEE，2013：15-17.

[11] MUHAMMAD G，BASTIAAN K W，MENGJIE Zhang.Sparse Representations in Deep Learning for Noise-Robust Digit Classification[C]//Proc of the 28thInternational Conference on Image and Vision Computing.Wellington：IEEE，2013：340-345.

[12] CHARALAMPOUS K，KOSTAVELIS I，AMANATIADIS A. Sparse deep-learning algorithm for recognition and categorization[J].Electronics Letters，2012，48(20)：55-56.

[13] YUXI LUO，YI WAN.A Novel Efficient Method for Training Sparse Auto-Encoders[C]//Proc of the 6thInternational Congress on Image and Signal Processing.Hangzhou：IEEE，2013：1019-1023.

[14] XIAO JUAN JIANG，YINGHUA ZHANG，WENSHENG ZHANG.A Novel Sparse Auto-Encoder for Deep Unsupervised Learning[C]//Proc of the 6thInternational Conference on Advanced Computational Intelligence.Hangzhou：IEEE，2013：256-261.

[15] BENJAMIN L，ROMAIN H，CLEMENT C.Learning Deep Neural Networks for High Dimensional Output Problems[C]//Proc of the IEEE International Conference on Machine Learning and Applications.Miami Beach:IEEE，2009：63-68.

[16] WONG W K，MINGMING SUN.Deep Learning Regularized Fisher Mappings[J].IEEE Transactions on Neural Networks，2011，22(10)：1668-1675.

[17] BENGIO SAMY，LI DENG，HUGO LAROCHELLE.Guest Editors’ Introduction：Special Section on Learning Deep Architectures [J].IEEE Transactions On Pattern Analysis And Machine Intelligence，2013，35(8)：1795-1797.

[18] TELMO AMARAL，LUIS M，LUIS S.Using Different Cost Functions to Train Stacked Auto-encoders[C]//Proc of 12thMexican International Conference on Artificial Intelligence.Mexico City:IEEE，2013：114-120.