張?jiān)Q,肖士易,徐雪松,程振波,肖 剛

(浙江工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,浙江 杭州 310023)

0 引言

隨著裝備復(fù)雜程度和自動化程度的日益提高,科學(xué)有效地監(jiān)測裝備與核心部件(如發(fā)動機(jī)、曳引機(jī)等)的健康狀態(tài),對于保障裝備安全性和降低裝備維護(hù)成本具有重要的科學(xué)意義,在航空航天、軍用裝備以及特種設(shè)備等領(lǐng)域表現(xiàn)出良好的應(yīng)用前景。健康狀態(tài)評估是診斷、預(yù)測和健康管理(Diagnostics,Prognostics and Health Management, DPHM)的關(guān)鍵技術(shù)之一[1],旨在利用傳感器采集的大量監(jiān)測數(shù)據(jù)、信息以及先驗(yàn)知識,評價(jià)裝備的健康工作狀態(tài),對故障率、可靠性進(jìn)行估計(jì),為及時(shí)采取預(yù)測性維護(hù)措施提供重要依據(jù)。

根據(jù)采取的評估策略,健康狀態(tài)評估方法可分為模型驅(qū)動方法[2]和數(shù)據(jù)驅(qū)動方法。模型驅(qū)動方法是根據(jù)降級原理設(shè)計(jì)基于物理的數(shù)學(xué)模型[3],盡管可以獲得理想精度,但難以考慮運(yùn)行過程中的各類復(fù)雜因素。隨著傳感器在狀態(tài)監(jiān)測方面的廣泛應(yīng)用,數(shù)據(jù)驅(qū)動方法已成為健康狀態(tài)評估的主流,按照評估模型的不同可以分為基于統(tǒng)計(jì)的方法、基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法和基于深度學(xué)習(xí)的方法。基于統(tǒng)計(jì)的方法通常需要足夠的先驗(yàn)知識來構(gòu)建狀態(tài)評估模型,準(zhǔn)確性差,且不具有通用性。基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法依賴人工提取特征,數(shù)據(jù)擬合能力不足,泛化能力差。隨著監(jiān)測數(shù)據(jù)體量的不斷增長和數(shù)據(jù)處理能力(如采用圖形處理器(Graphic Processing Unit,GPU))的快速提升,基于深度學(xué)習(xí)的方法由于具有很強(qiáng)的數(shù)據(jù)分析能力和泛化能力而受到廣泛關(guān)注,在大量監(jiān)測數(shù)據(jù)驅(qū)動下采用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)、長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory Network, LSTM)等深度神經(jīng)網(wǎng)絡(luò)模型自動學(xué)習(xí)蘊(yùn)藏在監(jiān)測數(shù)據(jù)中的關(guān)聯(lián)知識,建立監(jiān)測數(shù)據(jù)與健康狀態(tài)之間的非線性數(shù)學(xué)模型,可以任意精度逼近任意連續(xù)函數(shù),實(shí)現(xiàn)復(fù)雜高維函數(shù)的近似表示,學(xué)習(xí)過程不依賴于專家經(jīng)驗(yàn)和知識,能夠?qū)崿F(xiàn)健康狀態(tài)的端到端學(xué)習(xí)[4]。

但是,現(xiàn)有基于深度學(xué)習(xí)的方法往往僅能夠提取監(jiān)測數(shù)據(jù)中時(shí)間域的特征信息,忽略了監(jiān)測數(shù)據(jù)空間域的特征信息[5]。例如,渦扇發(fā)動機(jī)監(jiān)測數(shù)據(jù)(速度、溫度、壓強(qiáng)等)一方面隨時(shí)間表現(xiàn)不同變化性特征,另一方面監(jiān)測數(shù)據(jù)間還存在相應(yīng)的空間依賴關(guān)系。針對該問題,基于圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Network,GNN)的方法成為當(dāng)前研究的熱點(diǎn),這類方法根據(jù)監(jiān)測數(shù)據(jù)生成圖數(shù)據(jù)模型,在非歐數(shù)據(jù)空間同時(shí)提取時(shí)空特征信息。例如文獻(xiàn)[6-9]通過K最近鄰(K Nearest Neighbors, KNN)、水平可視圖(Horizontal Visibility Graph, HVG)或結(jié)構(gòu)分析法生成關(guān)于監(jiān)測數(shù)據(jù)的同質(zhì)圖,利用圖卷積網(wǎng)絡(luò)(Graph Neural Network, GNN)[10]和圖注意力網(wǎng)絡(luò)(Graph Attention Network, GAT)[11]進(jìn)行特征提取。

現(xiàn)有從監(jiān)測數(shù)據(jù)中生成的圖數(shù)據(jù)只考慮了監(jiān)測數(shù)據(jù)自身的空間依賴關(guān)系,還沒有對裝備部件和監(jiān)測數(shù)據(jù)間的多種類型的空間依賴關(guān)系進(jìn)行建模,也沒有融合相關(guān)的先驗(yàn)知識,還不能全面刻畫這些異質(zhì)數(shù)據(jù)的依賴關(guān)系。為此,本文將知識圖譜引入健康狀態(tài)圖數(shù)據(jù)模型中,構(gòu)建了一種可深度融合部件數(shù)據(jù)、監(jiān)測數(shù)據(jù)和先驗(yàn)知識的健康知識圖譜。在此基礎(chǔ)上,利用知識圖譜圖池化技術(shù)將健康知識圖譜時(shí)空特征信息嵌入到圖級的表示向量,在圖表示學(xué)習(xí)基礎(chǔ)上進(jìn)行健康狀態(tài)分類。本文的主要貢獻(xiàn)包括:

(1)提出了基于知識圖譜的健康狀態(tài)圖數(shù)據(jù)模型,該模型能夠深度融合部件數(shù)據(jù)、監(jiān)測數(shù)據(jù)和先驗(yàn)知識等時(shí)空特征信息,為健康狀態(tài)評估提供結(jié)構(gòu)化異質(zhì)語義知識庫。

(2)提出了基于圖多集池化的健康狀態(tài)評估模型,通過圖卷積網(wǎng)絡(luò)、圖多集池化和自注意力機(jī)制將健康知識圖譜的整體時(shí)空特征嵌入到低維向量空間,實(shí)現(xiàn)了基于表示學(xué)習(xí)的健康狀態(tài)智能評估。

(3)在公開的發(fā)動機(jī)數(shù)據(jù)集上對所提方法進(jìn)行了量化評價(jià),證明了該評估方法的有效性、正確性和穩(wěn)定性。

1 相關(guān)工作

本章主要介紹基于深度學(xué)習(xí)[12]和基于圖神經(jīng)網(wǎng)絡(luò)的健康狀態(tài)評估的相關(guān)工作,闡明健康狀態(tài)評估的研究趨勢和本研究的特色。

1.1 基于深度學(xué)習(xí)的評估方法

隨著監(jiān)測數(shù)據(jù)體量的不斷增加和計(jì)算機(jī)算力的持續(xù)提升,基于深度學(xué)習(xí)的評估方法成為健康狀態(tài)評估的主流技術(shù),國內(nèi)外研究者提出了多種健康狀態(tài)評估模型,如卷積神經(jīng)網(wǎng)絡(luò)(CNN)、長短期記憶網(wǎng)絡(luò)(LSTM)、貝葉斯神經(jīng)網(wǎng)絡(luò)(Bayesian Neural Networks,BNN),以提高健康狀態(tài)評估的智能化水平[13]。

CNN模型是深度學(xué)習(xí)中最具代表性的算法之一,主要包括卷積層和池化層,卷積層將多個(gè)卷積濾波器與輸入數(shù)據(jù)進(jìn)行卷積生成特征圖,對高維輸入數(shù)據(jù)進(jìn)行降維處理,可以自動提取有效的特征;池化層對各個(gè)維度數(shù)據(jù)進(jìn)行采樣,進(jìn)一步降低數(shù)據(jù)規(guī)模并提高網(wǎng)絡(luò)泛化能力。陳仁祥等[14]提出基于電壓信號深度特征學(xué)習(xí)的諧波減速器健康狀態(tài)識別方法,利用CNN模型對電壓信號時(shí)頻信息進(jìn)行自學(xué)習(xí),在獲得減速器不同健康狀態(tài)下電壓信號深度特征的同時(shí)實(shí)現(xiàn)對其健康狀態(tài)的識別。吳繼春等[15]使用解剖學(xué)約束神經(jīng)網(wǎng)絡(luò)(Annularly Convolutional Neural Networks, ACNN)對不同狀況下刀具振動信號分解出故障信號特征,再通過時(shí)頻分析生成時(shí)頻圖進(jìn)行學(xué)習(xí),實(shí)現(xiàn)對刀具磨損狀態(tài)評估。沈濤等[16]采用批標(biāo)準(zhǔn)化(Batch Normalization, BN)的CNN-LSTM混合模型實(shí)現(xiàn)對多種模式和故障下的旋轉(zhuǎn)機(jī)械健康狀況診斷。

LSTM模型是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)模型,通過遺忘門、記憶門和輸出門解決了長序列訓(xùn)練過程中的梯度消失和梯度爆炸問題,能夠在更長的時(shí)間序列中有更好的表現(xiàn)。HUANG等[17]提出一種基于雙向LSTM的預(yù)測方法,將多個(gè)傳感器數(shù)據(jù)與操作條件數(shù)據(jù)集成并學(xué)習(xí)到高級的特征,通過全連接層和線性回歸層堆疊生成預(yù)測的目標(biāo)輸出。彭成等[18]利用LSTM編解碼器獲取軸承時(shí)序特征并融合空間特征,實(shí)現(xiàn)了滾動軸承的不同位置和故障的分類識別。ZHENG等[19]提出一種長短期記憶(LSTM)網(wǎng)絡(luò),充分利用傳感器序列信息,并在多種環(huán)境條件和故障模式下學(xué)習(xí)傳感器數(shù)據(jù)中的隱藏特征,結(jié)果優(yōu)于傳統(tǒng)的數(shù)據(jù)驅(qū)動方法。ELLEFSEN等[13]在半監(jiān)督設(shè)置下訓(xùn)練LSTM模型用于渦扇發(fā)動機(jī)退化預(yù)測。ZHAO等[20]利用膠囊網(wǎng)絡(luò)提高了LSTM的表示能力,提高了健康評估的精度。

BNN模型進(jìn)一步在深度神經(jīng)網(wǎng)絡(luò)的隱藏層中引入了基于高斯分布的不確定性并正則化,優(yōu)化網(wǎng)絡(luò)的權(quán)重的均值和方差,有效解決了過擬合的問題,并在輸出層中進(jìn)行多次采樣,對結(jié)果的誤差進(jìn)行有效預(yù)測。PAN等[21]將深度BNN模型提取結(jié)構(gòu)信息和概率確定結(jié)構(gòu)條件,解決了對結(jié)構(gòu)件的健康度評估中由于操作、損壞和噪聲干擾而導(dǎo)致的結(jié)構(gòu)不穩(wěn)定和不確定性問題。耿蘇杰等[22]使用模糊函數(shù)融合貝葉斯網(wǎng)絡(luò)對電力設(shè)備進(jìn)行故障診斷狀態(tài)評估。PENG等[23]提出了采用變分推理BNN模型進(jìn)行知識推理,提高了健康狀態(tài)評估的可擴(kuò)展性和泛化能力。

1.2 基于圖神經(jīng)網(wǎng)絡(luò)的評估方法

傳感器監(jiān)測數(shù)據(jù)是一種歐式空間數(shù)據(jù),傳統(tǒng)深度學(xué)習(xí)模型只能夠提取其中的時(shí)間域特征信息,因而近年來基于圖神經(jīng)網(wǎng)絡(luò)(GNN)的診斷、預(yù)測和健康管理(DPHM)成為新的研究熱點(diǎn),主要圍繞監(jiān)測圖數(shù)據(jù)建模與圖特征提取展開研究。針對圖數(shù)據(jù)建模方法,LI等[24]提出了KNN、Radius和Path三種圖數(shù)據(jù)生成方法,并研究了圖卷積網(wǎng)絡(luò)(GCN)、圖注意力網(wǎng)絡(luò)(GAT)、圖同構(gòu)網(wǎng)絡(luò)(Graph Isomorphism Network, GIN)等7種GNN模型提取圖數(shù)據(jù)特征的方法。HE等[6]提出一種面向電信網(wǎng)絡(luò)的故障診斷方法,通過網(wǎng)絡(luò)的嵌入表示來聚合整個(gè)圖的信息,利用GNN診斷設(shè)備故障并進(jìn)行定位。LI等[7]提出了基于可見性圖的軸承故障分類模型,通過水平可視圖(Horizontal Visibility Graph,HIG)算法將監(jiān)測數(shù)據(jù)轉(zhuǎn)換為保持不變動態(tài)特性的圖,并通過GNN進(jìn)行特征學(xué)習(xí)和故障分類。CHEN等[8]提出一種基于關(guān)聯(lián)圖的故障診斷模型,使用結(jié)構(gòu)分析將故障預(yù)診斷,結(jié)果轉(zhuǎn)化為關(guān)聯(lián)圖,再通過GCN進(jìn)行特征分析和診斷。KHORASGANI等[25]提出了基于加權(quán)無向圖的故障診斷模型,根據(jù)監(jiān)測數(shù)據(jù)構(gòu)建加權(quán)無向圖結(jié)構(gòu),使用GNN檢測和隔離故障組件。ZHAO等[26]提出了基于圖卷積深度置信網(wǎng)絡(luò)的機(jī)電系統(tǒng)智能故障診斷方法,利用標(biāo)記和未標(biāo)記的樣本來設(shè)計(jì)自適應(yīng)局部圖學(xué)習(xí)方法來建模圖鄰居關(guān)系,并在半監(jiān)督學(xué)習(xí)框架下進(jìn)行故障診斷。

根據(jù)已查閱的文獻(xiàn),當(dāng)前基于圖神經(jīng)網(wǎng)絡(luò)的健康狀態(tài)評估成果較少,尤其缺少知識圖譜和圖神經(jīng)網(wǎng)絡(luò)相結(jié)合的研究成果。為此,本文通過知識圖譜深度融合了監(jiān)測數(shù)據(jù)、部件數(shù)據(jù)和先驗(yàn)知識等不同類別異質(zhì)數(shù)據(jù),能夠完備刻畫不同類別數(shù)據(jù)的時(shí)空依賴語義關(guān)系,并利用圖神經(jīng)網(wǎng)絡(luò)得到圖譜整體時(shí)空特征的隱向量表示,再通過向量學(xué)習(xí)實(shí)現(xiàn)健康狀態(tài)的智能評估。

2 健康知識圖譜模型

知識圖譜通過結(jié)構(gòu)化方式描述客觀世界中概念、實(shí)體、屬性及其聯(lián)系,本質(zhì)上是一個(gè)大規(guī)模結(jié)構(gòu)化語義網(wǎng)絡(luò),一般通過(實(shí)體,關(guān)系,實(shí)體)或(實(shí)體,屬性,屬性值)三元組方式表示。為了刻畫與健康狀態(tài)相關(guān)的數(shù)據(jù)與知識間的關(guān)聯(lián)關(guān)系,首先定義了健康知識圖譜本體模型,其定義如下:

定義1健康知識圖譜本體。健康知識圖譜本體是用來描述裝備的部件組成和監(jiān)測傳感器的模式結(jié)構(gòu),主要包括部件實(shí)體、傳感器實(shí)體、相關(guān)屬性以及它們之間的關(guān)聯(lián)關(guān)系。

工程領(lǐng)域的先驗(yàn)知識是指領(lǐng)域?qū)＜腋鶕?jù)多年實(shí)踐總結(jié)得到的各實(shí)體間的相互關(guān)系的知識,可以反映不同實(shí)體間的影響關(guān)系,如零部件間的能量傳遞、控制關(guān)系、依賴關(guān)系等,零部件與監(jiān)測指標(biāo)間的依賴關(guān)系以及監(jiān)測指標(biāo)間的依賴關(guān)系和重要程度等。健康知識圖譜融合了相應(yīng)的先驗(yàn)知識,在不同類別的實(shí)體之間建立聯(lián)系,保證知識圖譜模型的正確性和準(zhǔn)確性。健康知識圖譜本體刻畫了各類數(shù)據(jù)與知識的靜態(tài)依賴關(guān)系,包含了相關(guān)先驗(yàn)知識。如圖1所示為渦輪發(fā)動機(jī)的健康知識圖譜本體,該圖譜包括了發(fā)動機(jī)部件間的關(guān)聯(lián)關(guān)系,如核心機(jī)、燃燒室、風(fēng)扇、渦輪機(jī)、壓氣機(jī)5個(gè)部件的關(guān)聯(lián)關(guān)系,以及部件與相應(yīng)傳感器的關(guān)聯(lián)關(guān)系,如燃燒室具有燃燒溫度、燃控比和進(jìn)口壓強(qiáng)3個(gè)傳感器;同時(shí)也描述了不同傳感器之間的關(guān)聯(lián)關(guān)系,其三元組形式如表1所示。

表1 健康知識圖譜本體模型三元組

圖1 健康知識圖譜本體

根據(jù)健康知識圖譜本體和傳感器采集的監(jiān)測序列數(shù)據(jù),可以構(gòu)建帶時(shí)間標(biāo)簽的健康時(shí)序知識圖譜(Health Temporal Knowledge Graph,HTKG),用來描述裝備部件一段時(shí)間內(nèi)部件狀態(tài)、監(jiān)測值和先驗(yàn)知識間的關(guān)聯(lián)關(guān)系,其定義為:

定義2健康時(shí)序知識圖譜。健康時(shí)序知識圖譜可以表示為一個(gè)圖譜集合G={Gt1,Gt2,…,Gtn}。其中Gti=(E,R,S),E={e1,e2,…,en}表示ti時(shí)刻部件的健康狀態(tài)和相應(yīng)監(jiān)測值集合;R={r1,r2, …,rm}表示帶時(shí)間標(biāo)簽的二元關(guān)系集合,用來描述ti時(shí)刻部件健康和監(jiān)測值之間的依賴關(guān)系;S?E×R|ti×E函數(shù)表示ti時(shí)刻的三元組集合;t1表示開始時(shí)間,tn表示結(jié)束時(shí)間。

表2 健康時(shí)序知識圖譜三元組

圖2 健康時(shí)序知識圖譜

3 基于圖多集池化的健康狀態(tài)評估模型

健康時(shí)序知識圖譜以自然的方式建模了部件健康狀態(tài)、監(jiān)測值等數(shù)據(jù)間的多種類型的關(guān)聯(lián)關(guān)系,有效融合了健康狀態(tài)的時(shí)空特征。在此基礎(chǔ)上,本章利用圖池化技術(shù)將健康知識圖譜的整體時(shí)空特征嵌入到低維的向量空間,通過建立學(xué)習(xí)表示向量和健康狀態(tài)的映射關(guān)系,將健康狀態(tài)評估問題轉(zhuǎn)換為基于圖表示學(xué)習(xí)的分類問題,實(shí)現(xiàn)健康狀態(tài)智能評估。

3.1 評估模型框架

為了充分學(xué)習(xí)健康知識圖譜的時(shí)空特征信息,本文設(shè)計(jì)了基于圖多集池化的健康狀態(tài)評估模型,將每一時(shí)刻的健康知識圖譜的整體特征信息通過圖池化的方式嵌入到低維的向量空間,得到一組離散的向量表示,再根據(jù)向量表示進(jìn)行分類。圖3給出了評估模型框架,首先,將某一時(shí)刻的健康知識圖譜輸入到圖卷積網(wǎng)絡(luò)(GCN)層,學(xué)習(xí)健康知識圖譜的節(jié)點(diǎn)特征信息和拓?fù)湫畔?得到節(jié)點(diǎn)的向量表示;其次,經(jīng)過第一級圖池化(graph pooling)層,它以節(jié)點(diǎn)向量表示作為輸入,依據(jù)相似性和相關(guān)性劃分原則將節(jié)點(diǎn)劃分為多重集合(multiset)[27],再將這些多重集合內(nèi)節(jié)點(diǎn)的特征進(jìn)行池化,得到一個(gè)新的超節(jié)點(diǎn)(子圖級)的向量表示,同時(shí)學(xué)習(xí)集合內(nèi)的關(guān)鍵節(jié)點(diǎn);第三,經(jīng)過一個(gè)自注意力(Self-attention)層,學(xué)習(xí)超節(jié)點(diǎn)之間的內(nèi)在關(guān)聯(lián)關(guān)系,并更新得到新的超節(jié)點(diǎn)的特征表示;第四,將新的超節(jié)點(diǎn)的特征表示輸入到第二級圖池化層塊,將超節(jié)點(diǎn)的特征表示進(jìn)一步聚合生成整個(gè)圖的特征表示,該特征表示即為健康知識圖譜的圖向量表示;最后,將圖向量輸入到一個(gè)由多層感知機(jī)(Multilayer Perceptron,MLP)構(gòu)成的全連接層,使用線性分類器對圖向量表示進(jìn)行分類,其輸出是當(dāng)前時(shí)刻裝備的健康狀態(tài)。

3.2 節(jié)點(diǎn)級特征嵌入

GCN通過消息傳遞可以聚合節(jié)點(diǎn)及其鄰接點(diǎn)的特征信息,得到節(jié)點(diǎn)的特征表示,其聚合和更新公式為:

(1)

H(l+1)=GNN(H(l),A(l))。

(2)

節(jié)點(diǎn)特征嵌入一般需要堆疊兩層GCN以構(gòu)建深層學(xué)習(xí)網(wǎng)絡(luò),通過逐層遞進(jìn)的消息傳遞以考慮節(jié)點(diǎn)的關(guān)聯(lián)性,得到節(jié)點(diǎn)的特征表示,計(jì)算公式為:

Encoder(X,A)=GCN2(GCN1(X,A),A)。

(3)

其中,X為特征矩陣,A∈RN×N為鄰接矩陣,GCN1為第一卷積層,GCN2為第二卷積層。

3.3 圖級特征嵌入

圖池化本質(zhì)上是融合節(jié)點(diǎn)信息和拓?fù)湫畔⒌膱D粗化的過程,基于上節(jié)得到的節(jié)點(diǎn)特征向量,根據(jù)節(jié)點(diǎn)相似性利用不同類別的圖池化方法(如最大池化、求和池化和均值池化等)進(jìn)行圖級特征嵌入。為了在圖池化時(shí)融合節(jié)點(diǎn)的局部結(jié)構(gòu)信息,并學(xué)習(xí)關(guān)鍵節(jié)點(diǎn)的權(quán)重信息,本文采用圖多集池化方法[28],其過程如圖4所示,利用圖多頭注意力機(jī)制得到節(jié)點(diǎn)特征的相似性和相關(guān)性,形成可聚類的節(jié)點(diǎn)簇,即多集;按多集進(jìn)行壓縮,將集合中的節(jié)點(diǎn)聚合為一個(gè)新的超節(jié)點(diǎn),聚合得到的超節(jié)點(diǎn)構(gòu)成一個(gè)新的圖;超節(jié)點(diǎn)經(jīng)過一個(gè)自注意力模塊學(xué)習(xí)超節(jié)點(diǎn)內(nèi)在的關(guān)聯(lián)關(guān)系,得到一個(gè)新的超節(jié)點(diǎn)向量表示。圖多集池化能夠克服簡單池化在識別關(guān)鍵節(jié)點(diǎn)方面的不足,且可以選擇鄰居節(jié)點(diǎn)并識別影響健康狀態(tài)的關(guān)鍵節(jié)點(diǎn)。

圖4 圖多集池化過程

圖多集池化過程為:

Pooling(H,A)=
GMPool2(SelfAtt(GMPool1(H,A)),A′)。

(4)

其中:GMPool1為第一級圖池化層;SelfAtt為自注意力層,能夠更精確地得到超級節(jié)點(diǎn)之間的關(guān)聯(lián)關(guān)系;GMPool2為第二級圖池化層,其輸出是圖級的特征表示;H為節(jié)點(diǎn)的特征向量;A為鄰接矩陣;A′是經(jīng)第一次圖池化后的超級節(jié)點(diǎn)的鄰接矩陣;Pooling(H,A)是健康知識圖譜的向量表示,目的是學(xué)習(xí)各個(gè)節(jié)點(diǎn)的注意力系數(shù),上述圖池化層融合了圖多頭注意力機(jī)制。

自注意力機(jī)制的公式為:

(5)

其中:矩陣Q∈RNq×dk,矩陣H∈RN×dk,矩陣A∈RN×dv,N為節(jié)點(diǎn)數(shù),dk為節(jié)點(diǎn)向量的維度,dv為鄰接矩陣A中向量的維數(shù),矩陣Q中每一行代表種子節(jié)點(diǎn)的向量表示,數(shù)量為Nq,矩陣H中每一行代表節(jié)點(diǎn)的向量表示。將注意力函數(shù)分解成種子節(jié)點(diǎn)特征表示與所有原始節(jié)點(diǎn)特征表示的點(diǎn)積,可以學(xué)習(xí)到所有節(jié)點(diǎn)的注意力系數(shù)并將N個(gè)節(jié)點(diǎn)壓縮成Nq個(gè)超級節(jié)點(diǎn),其中ω是激活函數(shù)softmax,exp是自然常數(shù)e的指數(shù)。

實(shí)際上,式(5)根據(jù)節(jié)點(diǎn)拓?fù)潢P(guān)系的權(quán)重映射矩陣,學(xué)習(xí)矩陣Q、H、A得到帶注意力權(quán)重的節(jié)點(diǎn)特征向量,并進(jìn)行壓縮得到超級節(jié)點(diǎn),讓網(wǎng)絡(luò)在進(jìn)行編碼學(xué)習(xí)時(shí)盡可能地只關(guān)注最重要的部分。在上述單注意力的基礎(chǔ)上,進(jìn)一步使用多頭注意力考慮節(jié)點(diǎn)間的全局依賴性,引入調(diào)整矩陣W并生成多個(gè)Q、H、A,多頭注意力函數(shù)為:

(6)

圖多頭注意力函數(shù)使用可以聚合鄰接信息的GNN非線性地學(xué)習(xí)Q、H、A來更準(zhǔn)確生成投影的權(quán)重矩陣,多頭注意力函數(shù)為:

(7)

相比于式(7)中線性嵌入的方法HW和AW,式(8)中的GNNi可以學(xué)習(xí)圖的拓?fù)湫畔?能夠更容易地學(xué)習(xí)到相關(guān)性大的節(jié)點(diǎn),以此作為多集劃分的依據(jù)。

多集圖池化的公式可以表示為:

GMPool(H,A)=LN(Z+rFF(Z));Z=LN(S+GMH(S,H,A))。

(8)

其中:rFF為所有行方向的前饋層,獨(dú)立并相同地處理每行特征;LN為層歸一化層;S∈Rk×d為參數(shù)化后的節(jié)點(diǎn)集合矩陣;GMH函數(shù)考慮了矩陣S中的k個(gè)種子節(jié)點(diǎn)和N個(gè)節(jié)點(diǎn)的交互關(guān)系以及注意力相似度,將N個(gè)節(jié)點(diǎn)壓縮為k個(gè)超級節(jié)點(diǎn);GMPool得到節(jié)點(diǎn)集合圖池化后的向量表示H′。

因?yàn)槎嗉瘓D池化僅僅學(xué)習(xí)了池化之前節(jié)點(diǎn)和池化之后超級節(jié)點(diǎn)之間的關(guān)系,未考慮超級節(jié)點(diǎn)之間的關(guān)系[29],所以在第一級圖池化完成之后,增加了一個(gè)自注意力模塊,該模塊利用多頭注意力機(jī)制學(xué)習(xí)超級節(jié)點(diǎn)間的全局依賴關(guān)系,自注意力函數(shù)為:

SelfAtt(H)=LN(Z′+rFF(Z′));Z′=LN(S+MH(H′,H′,H′))。

(9)

該函數(shù)用H′替換了式(6)中的Q和A,以學(xué)習(xí)池化后超級節(jié)點(diǎn)內(nèi)部之間的關(guān)系,可以得到自注意力學(xué)習(xí)后的向量表示。

3.4 模型訓(xùn)練

通過兩級圖池化可以得到每一時(shí)刻健康知識圖譜在向量空間中的特征表示,將該向量輸入到一個(gè)全連接MLP層,通過Sigmoid線性分類器在向量空間進(jìn)行分類,得到健康狀態(tài)評估的概率r′,定義如下:

r′=sigmoid(Z)。

(10)

其中:sigmoid()函數(shù)將圖級的特征表示映射到[0,1]范圍內(nèi),輸出健康狀態(tài)類別的概率。

根據(jù)上述計(jì)算出的概率r′通過損失函數(shù)與樣本中正確的標(biāo)簽r進(jìn)行損失計(jì)算,并通過Adam優(yōu)化器來最小化損失函數(shù),損失函數(shù)定義為:

(11)

其中|O|為樣本數(shù)總數(shù)。

通過不斷迭代訓(xùn)練使健康狀態(tài)的嵌入表示收斂,得到最終的裝備健康狀態(tài)評估訓(xùn)練模型。

4 實(shí)驗(yàn)評價(jià)

本章在公開的數(shù)據(jù)集上對本文提出的健康狀態(tài)評估模型進(jìn)行量化評價(jià),介紹了數(shù)據(jù)集以及數(shù)據(jù)預(yù)處理方法,給出了實(shí)驗(yàn)結(jié)果,并通過消融實(shí)驗(yàn)評價(jià)了模型中各個(gè)模塊對健康狀態(tài)評估結(jié)果的影響。

4.1 實(shí)驗(yàn)數(shù)據(jù)集

本實(shí)驗(yàn)采用NASA公開的渦扇發(fā)動機(jī)數(shù)據(jù)集,該數(shù)據(jù)集使用商用模塊化航空推進(jìn)系統(tǒng)仿真工具(Commercial Modular Aero-Propulsion System Simulation, C-MAPSS)生成,其中包括不同工況和不同故障模式下的四個(gè)退化數(shù)據(jù)集,每個(gè)數(shù)據(jù)集包含一個(gè)訓(xùn)練集和一個(gè)測試集,訓(xùn)練集包含在不同的運(yùn)行條件和故障模式組合下多臺發(fā)動機(jī)從運(yùn)行到故障的退化過程數(shù)據(jù),測試集包含每臺發(fā)動機(jī)在特定退化階段的數(shù)據(jù)。CMAPSS數(shù)據(jù)集的概要描述如表3所示,21個(gè)傳感器監(jiān)測數(shù)據(jù)項(xiàng)如表4所示,監(jiān)測數(shù)據(jù)還與相應(yīng)發(fā)動機(jī)的單元數(shù)、操作周期和3個(gè)設(shè)置參數(shù)相關(guān)。

表4 數(shù)據(jù)采集傳感器

每臺發(fā)動機(jī)啟動時(shí)都有不同程度的初始磨損和制造變化,這些變化未知且被認(rèn)為是初始健康度,在數(shù)據(jù)集中其剩余使用壽命被標(biāo)記為“131”,隨著時(shí)間的推移,發(fā)動機(jī)單元開始退化,直到達(dá)到系統(tǒng)故障,即最后一條數(shù)據(jù)對應(yīng)于發(fā)動機(jī)退役狀態(tài),其剩余使用壽命被標(biāo)記為“1”。本實(shí)驗(yàn)采用分段線性標(biāo)記方法[30]將剩余使用壽命區(qū)劃分為健康、良好、亞健康和病態(tài)4個(gè)等級。實(shí)驗(yàn)任務(wù)是根據(jù)各類數(shù)據(jù)和知識對發(fā)動機(jī)的健康狀態(tài)進(jìn)行分類,采用ROC-AUC以及微平均的F1 Score/準(zhǔn)確率作為評價(jià)指標(biāo)(多分類情況下準(zhǔn)確率和F1 Score相等),計(jì)算公式如下:

(12)

(13)

其中:K為類別數(shù);TP,FP,TN,FN分別表示真正例(預(yù)測正確的正例)、假正例、真負(fù)例(預(yù)測正確的負(fù)例);假負(fù)例;i表示類別;Total為樣本總數(shù);Pmicro為微平均的精確率;Rmicro為微平均的召回率。

4.2 實(shí)驗(yàn)數(shù)據(jù)處理

(1)數(shù)據(jù)篩選 盡管數(shù)據(jù)集中記載了21個(gè)傳感器的監(jiān)測數(shù)據(jù),但有些監(jiān)測數(shù)據(jù)在退化過程中是恒定不變的,如T2、P2、P15、epr、farB、Nf_dmd和PCNfR_dmd等監(jiān)測數(shù)據(jù),在實(shí)驗(yàn)中剔除了這些監(jiān)測數(shù)據(jù),因而共有14個(gè)傳感器的監(jiān)測數(shù)據(jù)被用來構(gòu)建健康知識圖譜[31]。

(2)數(shù)據(jù)歸一化 將監(jiān)測數(shù)據(jù)在[0,1]內(nèi)執(zhí)行歸一化,從而將不同類別的監(jiān)測指標(biāo)映射到統(tǒng)一的區(qū)間,消除指標(biāo)之間的量綱以及奇異樣本數(shù)據(jù)間不可比較導(dǎo)致的影響,以提高模型的精度和收斂速度,歸一化公式如下:

(14)

(3)時(shí)間滑窗處理 對于時(shí)序數(shù)據(jù),時(shí)間滑窗處理通常比單時(shí)間步長能夠獲得更多的特征,收集多變量時(shí)序數(shù)據(jù)在時(shí)間滑窗內(nèi)的數(shù)據(jù)特征,形成高維特征向量。如圖5所示為14個(gè)傳感器監(jiān)測數(shù)據(jù)歸一化之后的數(shù)據(jù)樣本,圖中的滑動時(shí)間窗口大小為30個(gè)周期,可以得到發(fā)動機(jī)在當(dāng)前滑動事件窗口的監(jiān)測數(shù)據(jù)高維特征。

圖5 大小為30的時(shí)間滑窗示意圖

(4)健康時(shí)序知識圖譜構(gòu)建 根據(jù)健康時(shí)序知識圖譜建模方法,將14個(gè)傳感器的監(jiān)測數(shù)據(jù)與發(fā)動機(jī)的15個(gè)部件以及先驗(yàn)知識進(jìn)行融合,構(gòu)建得到發(fā)動機(jī)的健康時(shí)序知識圖譜。該圖譜蘊(yùn)含了發(fā)動機(jī)健康狀態(tài)的時(shí)間域信息,同時(shí)也融合了部件與部件、部件與監(jiān)測數(shù)據(jù)以及監(jiān)測數(shù)據(jù)與監(jiān)測數(shù)據(jù)3種類型的空間域信息。 針對圖譜的異質(zhì)性,本文將不同類別的節(jié)點(diǎn)轉(zhuǎn)換到公共的向量空間,完成節(jié)點(diǎn)特征域?qū)R,并按規(guī)則初始化關(guān)系的權(quán)重矩陣,這樣可以優(yōu)先對鄰居節(jié)點(diǎn)的特征按照權(quán)重矩陣進(jìn)行特化學(xué)習(xí),節(jié)點(diǎn)按規(guī)則進(jìn)行特征聚合。

4.3 實(shí)驗(yàn)結(jié)果

在Pytorch深度學(xué)習(xí)框架上實(shí)現(xiàn)了本文提出的健康狀態(tài)評估模型,運(yùn)行環(huán)境CPU是Intel Xeon E5-2680,顯卡是NVIDIA TITAN Xp,內(nèi)存大小是94 GB。評估模型的池化層設(shè)置為2,batch_size設(shè)置為128,時(shí)間窗大小設(shè)為30,dropout_rate設(shè)為0.3,采用Adam優(yōu)化算法進(jìn)行小批量更新。訓(xùn)練時(shí),隨機(jī)抽取10%的原始訓(xùn)練樣本作為驗(yàn)證集,樣本被隨機(jī)分為多個(gè)小批次進(jìn)行訓(xùn)練,根據(jù)每個(gè)小批量的平均損失函數(shù)優(yōu)化網(wǎng)絡(luò)各層的權(quán)重,batch_size的大小將影響網(wǎng)絡(luò)訓(xùn)練性能[32]。訓(xùn)練的前100個(gè)周期學(xué)習(xí)率設(shè)置為0.005進(jìn)行快速優(yōu)化,之后使用0.000 5的學(xué)習(xí)速率來穩(wěn)定收斂,默認(rèn)的最大訓(xùn)練周期數(shù)為300,并根據(jù)驗(yàn)證集的實(shí)時(shí)性能判斷停止訓(xùn)練的時(shí)機(jī),每個(gè)實(shí)驗(yàn)重復(fù)10次以增強(qiáng)實(shí)驗(yàn)結(jié)果的可靠性。

表5給出了不同滑動窗口情況下FD001數(shù)據(jù)集的健康狀態(tài)評估的ROC-AUC、F1 Score和平均訓(xùn)練時(shí)間。結(jié)果表明,隨著滑動窗口的增加,ROC-AUC和F1 Score的值先增加后減少,當(dāng)滑動窗口大小為30時(shí),實(shí)驗(yàn)結(jié)果最好,此時(shí)健康狀態(tài)分類的ROC-AUC達(dá)到0.987 1,F1 Score的值為0.827 1,平均訓(xùn)練時(shí)間為1 200s。

表5 滑動窗口大小對健康狀態(tài)評估實(shí)驗(yàn)結(jié)果影響

進(jìn)一步地,如圖6所示為學(xué)習(xí)速率、Batch_size和Dropout_rate三個(gè)重要參數(shù)對健康狀態(tài)評估結(jié)果的影響?？梢钥闯?學(xué)習(xí)率為5e-4,Batch_size為128,Dropout_rate為0.3時(shí)可以在較少資源消耗的情況下得到最好的評估準(zhǔn)確率。

圖6 模型參數(shù)對性能的影響

為了評估模型中圖多集池化方法的優(yōu)勢,本文將圖多集池化與其他評估方法進(jìn)行了對比分析。表6給出了不同評估方法的對比實(shí)驗(yàn)結(jié)果,其中:MeanPool是一種常規(guī)的對鄰域特征點(diǎn)求平均的圖池化方法,SAGPool[32]是一種使用圖卷積來獲得節(jié)點(diǎn)的重要性的圖池化方法,TopKPool[34]是一種使用投影向量分?jǐn)?shù)篩選重要節(jié)點(diǎn)的圖池化方法,DiffPool[35]是一種學(xué)習(xí)圖的層次結(jié)構(gòu)信息的圖池化方法,并能得到較好的效果,EdgePool[36]是一種基于邊收縮的圖池化方法。實(shí)驗(yàn)結(jié)果表明,多集池化方法的性能顯著優(yōu)于其他圖池化方法,只是訓(xùn)練時(shí)間較長,主要原因是圖多集池化技術(shù)采用了Transformer多頭注意力機(jī)制,并使用了非線性計(jì)算注意力參數(shù)Q、K和加權(quán)求和參數(shù)V得到更好的結(jié)構(gòu)信息,相較于其他池化方法對節(jié)點(diǎn)打分并計(jì)算池化矩陣的方式,圖多集池化需要花費(fèi)更多時(shí)間計(jì)算更復(fù)雜的注意力矩陣來得到更準(zhǔn)確的特征向量,同時(shí)還增加了節(jié)點(diǎn)的自注意力層來學(xué)習(xí)池化后的節(jié)點(diǎn)關(guān)系。基于純數(shù)據(jù)特征的DCNN方法在復(fù)雜工況環(huán)境下(FD002和FD004數(shù)據(jù)集)性能下降明顯,抗擾性能較差。GMPool-KNN表示其數(shù)據(jù)模型是通過KNN算法生成的聯(lián)通圖,其在各個(gè)數(shù)據(jù)集上的性能不如GMPool-KG,這表明健康知識圖譜能夠提供更豐富的時(shí)空特征信息,擁有更好的性能和抗擾性。

4.4 消融實(shí)驗(yàn)

進(jìn)一步通過消融實(shí)驗(yàn)分析圖卷積操作、圖注意力機(jī)制、自注意力機(jī)制對本評估模型性能的影響,實(shí)驗(yàn)結(jié)果如表7所示?？梢钥闯?模型在缺少圖卷積操作時(shí)分類準(zhǔn)確率降低到了91.02%,表明模型缺少圖卷積操作將無法更有效地提取節(jié)點(diǎn)級特征;模型在缺少圖注意力機(jī)制分類準(zhǔn)確率時(shí)降低到了88.34%,表明缺少了圖注意力機(jī)制將難以學(xué)習(xí)多集結(jié)構(gòu)的特征;模型在缺少自注意力機(jī)制時(shí)準(zhǔn)確率降低到了86.13%,表明缺少了自注意力機(jī)制將難以學(xué)習(xí)節(jié)點(diǎn)間的關(guān)聯(lián)關(guān)系。

表7 健康狀態(tài)評估消融實(shí)驗(yàn)

通過減少樣本數(shù)量進(jìn)一步分析小樣本情況下模型評估的精確度并在FD001數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。為每個(gè)健康狀態(tài)類型分別設(shè)置1個(gè)樣本、2個(gè)樣本和3個(gè)樣本,作為訓(xùn)練數(shù)據(jù)集。圖7給出了在小樣本情況下滑動窗口大小與評估準(zhǔn)確率、訓(xùn)練時(shí)間的關(guān)系,在滑動窗口從1增加到30時(shí),準(zhǔn)確率逐漸提高,訓(xùn)練時(shí)間也隨之增加;但是,當(dāng)滑動窗口超過30時(shí),準(zhǔn)確率并沒有進(jìn)一步提高,訓(xùn)練時(shí)間卻顯著增加。當(dāng)滑動窗口為30時(shí),單樣本時(shí)的準(zhǔn)確率為72.31%,雙樣本的準(zhǔn)確率為72.49%,三樣本的準(zhǔn)確率達(dá)為73.19%。該結(jié)果表明,本模型在小樣本情況下也可以較好地學(xué)習(xí)多集結(jié)構(gòu)和節(jié)點(diǎn)間關(guān)系,從而為小樣本情況下健康狀態(tài)評估提供了有效支持。

圖7 小樣本情況下健康狀態(tài)評估模型的性能

5 結(jié)束語

健康狀態(tài)評估對于提高裝備的安全性和可靠性具有重要意義,同時(shí)也能夠?yàn)轭A(yù)測性維護(hù)提供重要依據(jù)。針對傳統(tǒng)深度學(xué)習(xí)模型難以提取部件數(shù)據(jù)、監(jiān)測數(shù)據(jù)和先驗(yàn)知識的空間特征信息的問題,本文提出了一種基于知識圖譜多集池化的裝備健康狀態(tài)評估方法,將部件數(shù)據(jù)和監(jiān)測數(shù)據(jù)等通過知識圖譜進(jìn)行深度融合,建立了健康時(shí)序知識圖譜數(shù)據(jù),從靜態(tài)和動態(tài)兩個(gè)方面全面刻畫不同類型數(shù)據(jù)和知識的時(shí)空特征信息。在此基礎(chǔ)上,提出了基于圖多集池化的健康狀態(tài)評估模型,利用圖池化技術(shù)將健康知識圖譜的時(shí)空特征信息整體嵌入到一組帶時(shí)間標(biāo)簽的低維向量表示空間,將健康狀態(tài)評估問題轉(zhuǎn)化為基于表示向量的圖分類問題。在公開的航空發(fā)動機(jī)數(shù)據(jù)集上對本方法進(jìn)行了評價(jià),取得了較高的健康狀態(tài)評價(jià)性能,在小樣本情況下也表現(xiàn)出良好的效果。

圖神經(jīng)網(wǎng)絡(luò)在健康狀態(tài)評估等方面具有潛在的應(yīng)用前景,未來可以在以下幾個(gè)方面進(jìn)行更深入的探索:①構(gòu)建更完善的健康知識圖譜,可嘗試將更多的先驗(yàn)知識融合到知識圖譜中,包括指標(biāo)重要程度、指標(biāo)異常范圍、故障與部件的關(guān)系等;②增強(qiáng)健康狀態(tài)評估的可信性,通過圖神經(jīng)網(wǎng)絡(luò)特征學(xué)習(xí)能力與知識圖譜節(jié)點(diǎn)與邊的鏈接關(guān)系,進(jìn)一步探索健康評估的可解釋依據(jù);③拓展應(yīng)用領(lǐng)域,將圖神經(jīng)網(wǎng)絡(luò)應(yīng)用于其他相關(guān)領(lǐng)域,如環(huán)境監(jiān)測[37]、污染防治[38]等,提高狀態(tài)監(jiān)測的智能化程度。