孫晉永,周博文,聞立杰,許 乾,鄧文偉,孫志剛

(1.桂林電子科技大學(xué) 廣西可信軟件重點(diǎn)實(shí)驗(yàn)室,廣西 桂林 541004;2. 清華大學(xué) 軟件學(xué)院，北京 100084;3.廣西師范大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院,廣西 桂林 541004)

0 引言

過程感知信息系統(tǒng)(Process Aware Information System, PAIS)被廣泛應(yīng)用于各行各業(yè)來處理大量業(yè)務(wù)過程，在其運(yùn)行過程中，業(yè)務(wù)過程可能發(fā)生異常，包括可預(yù)期異常(如資源缺失、業(yè)務(wù)過程超時(shí)等)和不可預(yù)期異常[1]。異常會使業(yè)務(wù)過程偏離預(yù)定目標(biāo)，給用戶帶來不可預(yù)料的損失，例如對未核查征信信息的用戶放貸、已發(fā)貨的網(wǎng)購訂單被退款等，盡早發(fā)現(xiàn)異常并及時(shí)采取措施可以減少或避免損失。業(yè)務(wù)過程異常檢測技術(shù)能夠幫助管理者及時(shí)發(fā)現(xiàn)業(yè)務(wù)過程中潛在的執(zhí)行風(fēng)險(xiǎn)，進(jìn)而采取相應(yīng)的處理措施，因此業(yè)務(wù)過程異常檢測是PAIS必須支持的功能。

不確定性和多變性是現(xiàn)代企業(yè)業(yè)務(wù)過程的內(nèi)在特點(diǎn)，傳統(tǒng)的基于過程模型和規(guī)則約束的異常檢測方法已無法滿足柔性業(yè)務(wù)過程管理技術(shù)的需要[2]。DELIMABEZERRA等[3-4]采用過程挖掘算法從事件日志中挖掘出過程模型，進(jìn)而通過檢查過程模型與事件日志的一致性來檢測業(yè)務(wù)過程是否異常。該方法可以檢測業(yè)務(wù)過程控制流的異常，但因?yàn)闆]有利用事件的屬性信息，所以不能檢測事件屬性的異常，而且挖掘高質(zhì)量的過程模型依賴一個(gè)無噪聲的事件日志，其維護(hù)成本高且較難實(shí)現(xiàn)。

通常業(yè)務(wù)過程異常發(fā)生的實(shí)際原因是事件單個(gè)屬性值異常[5]，例如用戶未經(jīng)許可執(zhí)行了某項(xiàng)活動，這種異常表現(xiàn)為該事件用戶屬性值異常。業(yè)務(wù)過程的異常檢測方法必須能夠檢測事件屬性級別的異常才能發(fā)現(xiàn)上述異常，因此檢測業(yè)務(wù)過程中事件屬性級別的異常非常重要。

CHANDOLA等[6]將離散序列的異常檢測方法分為基于概率、基于距離、基于重構(gòu)、基于領(lǐng)域和基于信息論方法5類。并提出實(shí)際的業(yè)務(wù)過程實(shí)例事件包含多個(gè)屬性，如何處理這種事件的序列是一個(gè)亟需解決的問題；B?HMER等[7]采用業(yè)務(wù)過程的狀態(tài)概率圖進(jìn)行異常檢測，狀態(tài)概率圖中的頂點(diǎn)表示事件或?qū)傩裕邢蜻叡硎緲I(yè)務(wù)過程的狀態(tài)轉(zhuǎn)移，采用統(tǒng)計(jì)方法對邊賦予權(quán)值以表示該狀態(tài)轉(zhuǎn)移的概率，并根據(jù)狀態(tài)概率圖對業(yè)務(wù)過程進(jìn)行端到端地分析，小概率的事件或事件屬性的狀態(tài)轉(zhuǎn)移被認(rèn)為異常，該方法適用于有噪聲的事件日志，可以檢測事件屬性異常，不足之處是因使用固定的順序檢測事件屬性，而引入了對某些事件屬性的偏好。

NOLLE等[8]提出基于重構(gòu)事件序列的業(yè)務(wù)過程異常檢測方法，通過將業(yè)務(wù)過程的事件序列作為輸入數(shù)據(jù)訓(xùn)練一個(gè)自編碼器來重構(gòu)該序列，自編碼器對正常事件序列和異常事件序列的重構(gòu)誤差不同，采用重構(gòu)誤差的平均值作為異常閾值，大于閾值的序列被認(rèn)定為異常序列，該方法能成功檢測出業(yè)務(wù)過程事件日志中的控制流異常，不足之處是只能檢測業(yè)務(wù)過程案例級別的異常；在此基礎(chǔ)上，NOLLE等[9]在自編碼器的輸入中加入數(shù)據(jù)流，可以檢測業(yè)務(wù)過程中數(shù)據(jù)流的異常和檢測業(yè)務(wù)過程屬性級別的異常，提高了異常檢測的準(zhǔn)確性，但沒有考慮事件的時(shí)間屬性。為了解決以上問題，NOLLE等[10]提出基于深度神經(jīng)網(wǎng)絡(luò)并考慮事件時(shí)間屬性的多變量異常檢測方法BINet，該方法采用長短期記憶神經(jīng)網(wǎng)絡(luò)(Long Short Term Memory，LSTM)構(gòu)建預(yù)測過程實(shí)例的下一事件概率模型，采用預(yù)測誤差[11]進(jìn)行異常檢測，并采用“肘方法”確定異常檢測閾值，進(jìn)一步提高了異常檢測的準(zhǔn)確性，不足之處是無法處理事件序列的長距離依賴。

目前LSTM已被用于不同領(lǐng)域時(shí)間序列的異常檢測，如聲學(xué)異常檢測和視頻異常檢測。JOERG等[12]和TAX等[13]采用LSTM預(yù)測當(dāng)前業(yè)務(wù)過程實(shí)例的下一個(gè)事件，在較復(fù)雜的業(yè)務(wù)過程中取得了較好的準(zhǔn)確率，但無法捕獲事件序列的長距離依賴，影響下一個(gè)事件預(yù)測的準(zhǔn)確率；孫笑笑等[2]提出基于上下文感知的多角度業(yè)務(wù)流程在線異常檢測方法，采用Split Miner算法挖掘[14]過程模型，在過程模型上用重演技術(shù)生成行為上下文，以其他事件屬性為數(shù)據(jù)上下文，從行為、時(shí)間和屬性3個(gè)角度進(jìn)行異常檢測，該方法的優(yōu)點(diǎn)是從多個(gè)視角檢測業(yè)務(wù)流程執(zhí)行的異常，其異常檢測全面，不足是只能確定異常類型，無法定位引發(fā)異常的具體事件屬性。

近年來，Transformer神經(jīng)網(wǎng)絡(luò)模型在自然語言處理(Nature Language Processing, NLP)任務(wù)有優(yōu)秀的表現(xiàn)。自然語言和業(yè)務(wù)過程都是一種離散的序列數(shù)據(jù)，不同的是，自然語言由不同語義的字和詞組成，而業(yè)務(wù)過程的事件序列由不同語義的事件組成，事件具有屬性，而且不同事件的屬性集可能不同。

鑒于Transformer模型的注意力機(jī)制能夠捕獲長距離端到端的依賴關(guān)系，具有很強(qiáng)的特征提取能力，本文選用Transformer模型從事件日志中提取業(yè)務(wù)過程特征?；诖耍疚奶岢鲆环N無需挖掘業(yè)務(wù)過程模型、無需領(lǐng)域知識和自定義約束的業(yè)務(wù)過程異常預(yù)測方法，通過挖掘事件日志中的控制流和數(shù)據(jù)流信息構(gòu)造過程特征數(shù)據(jù)集，基于Transformer模型構(gòu)建預(yù)測模型，由預(yù)測模型預(yù)測當(dāng)前過程實(shí)例的下一事件及其屬性的概率分布，通過實(shí)際發(fā)生的事件和該事件的預(yù)測結(jié)果計(jì)算該事件各屬性的異常評分，采用異常評分閾值判定事件屬性異常，并定位異常來源為發(fā)生異常的事件屬性。

本文將所提異常檢測方法與現(xiàn)有的7種業(yè)務(wù)過程異常檢測方法進(jìn)行比較，在真實(shí)事件日志的數(shù)據(jù)集上進(jìn)行評估。實(shí)驗(yàn)結(jié)果表明，相比于現(xiàn)有的7種方法，本文異常檢測方法有效提高了異常檢測的準(zhǔn)確性，不但可以檢測出業(yè)務(wù)過程事件及其屬性異常，而且可以定位異常來源。本文的主要貢獻(xiàn)如下：

(1)提出一種無需從事件日志中挖掘過程模型，無需領(lǐng)域知識，也無需對事件日志數(shù)據(jù)進(jìn)行手動標(biāo)記的業(yè)務(wù)過程異常檢測方法。

(2)設(shè)計(jì)一種采用異常比率的梯度自適應(yīng)計(jì)算異常評分閾值的方法，以應(yīng)對不同場景下的業(yè)務(wù)過程異常檢測。

(3)設(shè)計(jì)3種不同的注意力策略，從業(yè)務(wù)過程的不同視角預(yù)測業(yè)務(wù)過程實(shí)例的下一事件。

(4)提出一種可以檢測業(yè)務(wù)過程的事件屬性級別異常并能定位引發(fā)異常的具體事件屬性的方法。

1 預(yù)備知識

1.1 事件日志

事件日志是PAIS記錄業(yè)務(wù)過程的執(zhí)行過程的信息集合，一般由業(yè)務(wù)過程的執(zhí)行軌跡組成。為了便于下文的準(zhǔn)確表述，本文定義事件、屬性、案例和事件日志。

定義1事件、屬性、案例[1]。事件是描述業(yè)務(wù)過程實(shí)例運(yùn)行時(shí)的活動及其相關(guān)信息的最小單位；屬性是描述事件中活動的相關(guān)信息的特征；案例是業(yè)務(wù)過程實(shí)例運(yùn)行時(shí)的一個(gè)事件序列，對應(yīng)業(yè)務(wù)過程的一條執(zhí)行軌跡。事件常用元組e=(case_id,event_id,attrname,attrstart_time,…,attr…)表示，其中case_id為該事件所屬案例的id屬性，event_id為該事件的id屬性，attrname為該事件的活動名，attrstart_time為該事件開始執(zhí)行的時(shí)間，attr…為事件的其他屬性。

典型的事件屬性有事件執(zhí)行角色、組織資源、開始時(shí)間和執(zhí)行時(shí)長等，這些屬性是事件的必需屬性，本文擬采用事件必需的離散屬性進(jìn)行異常檢測，如執(zhí)行角色、組織資源等。

定義2事件日志[1]。事件日志L是案例的集合且L?C，可以表示為一個(gè)三階張量L=R|C|×|E|×|A|，其中C為案例的集合，E為事件的集合，A為業(yè)務(wù)過程事件屬性的集合。

按照從低到高的建模層次，業(yè)務(wù)過程涉及的異?？梢苑譃榛A(chǔ)結(jié)構(gòu)異常、工作流異常和運(yùn)行實(shí)例異常，本文提出的業(yè)務(wù)過程異常檢測方法適用于檢測業(yè)務(wù)過程的運(yùn)行實(shí)例異常。

定義3運(yùn)行實(shí)例異常[15]。運(yùn)行實(shí)例異常指業(yè)務(wù)過程實(shí)例中不符合業(yè)務(wù)流程定義、違反過程約束或不合常理的行為或?qū)傩浴Ｔ谑录罩局写蠖鄶?shù)過程實(shí)例能夠正常完成的前提下，運(yùn)行實(shí)例異常表現(xiàn)為事件日志中離群的事件和屬性值。

需要說明的是，按照對系統(tǒng)產(chǎn)生的影響，運(yùn)行實(shí)例異?？梢苑譃樵胍?可容忍或忽略)、特殊異常(只出現(xiàn)在某個(gè)工作流實(shí)例中)和演變異常(隨業(yè)務(wù)過程的變化而產(chǎn)生的行為變化)3類，本文不分別討論這3類異常，而主要研究業(yè)務(wù)過程的運(yùn)行實(shí)例異常檢測方法。

1.2 Transformer和注意力機(jī)制

機(jī)器學(xué)習(xí)中的注意力機(jī)制是模擬人類對注意力焦點(diǎn)投入更多注意力資源，以達(dá)到關(guān)注焦點(diǎn)信息，忽略其他無用信息的機(jī)制，其核心是在大量信息中篩選出高價(jià)值信息，找到當(dāng)前任務(wù)的關(guān)鍵信息。注意力機(jī)制廣泛應(yīng)用于自然語言處理領(lǐng)域，如自然語言中語義的注意力機(jī)制。

在圖1所示的自然語言中注意力機(jī)制的句子中，并非每個(gè)詞都和“蘋果”強(qiáng)相關(guān)。機(jī)器學(xué)習(xí)中的注意力機(jī)制能夠發(fā)現(xiàn)句子中詞與詞之間的依賴關(guān)系，在訓(xùn)練模型時(shí)借助注意力權(quán)重關(guān)注關(guān)鍵信息，從而提高訓(xùn)練效率和模型質(zhì)量。注意力的這一特征可以在業(yè)務(wù)過程的場景下挖掘活動與活動、活動與屬性的依賴關(guān)系。

Transformer是一種基于編碼器—解碼器(encoder-decoder)結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型架構(gòu)，其核心是注意力機(jī)制。其中，編碼器可以多層堆疊，每層包括多頭自注意層和前饋網(wǎng)絡(luò)層兩個(gè)子層。多頭自注意力層的核心是對兩個(gè)序列進(jìn)行按比例縮放的點(diǎn)積注意力運(yùn)算。對于兩個(gè)序列SA，SB，點(diǎn)積注意力運(yùn)算表示為對查詢矩陣Q、鍵—值矩陣K，V進(jìn)行如下操作：

(1)

式中，若序列SA，SB的長度分別為N，M，則輸入變量Q為N×dk維，K為M×dk維，V為M×dv維。在自注意力中(如圖2)，序列SA，SB為同一個(gè)序列H，有dk=dv，N=M。

首先，將Q和K進(jìn)行點(diǎn)積注意力運(yùn)算得到維度為N×M的注意力權(quán)重矩陣Wa，為序列A到序列B的注意力分布。為了防止點(diǎn)積運(yùn)算后結(jié)果數(shù)值過大而導(dǎo)致注意力分布過度集中，用矩陣K的維度dk對注意力權(quán)重進(jìn)行縮放，然后采用Softmax函數(shù)計(jì)算權(quán)重矩陣Wa得到注意力分布，最后將概率分布與矩陣V進(jìn)行點(diǎn)積計(jì)算，得到維度為N×dV的結(jié)果，即為由矩陣V根據(jù)SA到SB的注意力分布來表示SA序列的各元素。式(1)的作用是根據(jù)輸入矩陣Q和矩陣K來計(jì)算序列SA對序列SB的注意力分布，再由注意力分布與矩陣V計(jì)算的結(jié)果捕獲序列SA和SB之間的依賴關(guān)系。

自注意力機(jī)制是注意力機(jī)制的一個(gè)改進(jìn)(如圖2)，其將輸入數(shù)據(jù)H投影到3個(gè)不同空間得到Q，K，V，即Q=HWQ，K=HWK，V=HWV。函數(shù)self_Attention(H,dh)將輸入H分別投影到3個(gè)不同空間來計(jì)算自注意力，從而捕獲序列的內(nèi)部依賴關(guān)系：

self_Attention(H,dh)=dot_Attention

(HWQ,HWK,HWV)。

(2)

式中：dh為多頭注意力將輸入數(shù)據(jù)根據(jù)注意力頭數(shù)h進(jìn)行劃分得到的維度；WQ∈Rdh×dk,WK∈Rdh×dk和WV∈Rdh×dv。

首先，多頭自注意力將輸入的編碼序列按維度劃分成多個(gè)子編碼序列，并將這些子編碼序列映射到不同的向量空間；然后，多頭自注意力在每個(gè)劃分得到的子編碼序列上進(jìn)行自注意力運(yùn)算；最后，將自注意力運(yùn)算的結(jié)果聚合。如式(2)所示，設(shè)輸入數(shù)據(jù)維度為dmodel，h為注意力頭數(shù)，則每個(gè)自注意力頭的輸入維度為dmodel/h，即dh=dmodel/h。多頭注意力的計(jì)算方法如下：

head=self_Attention(H,dmodel/h)；

(3)

mh_Self_Attention(H,h,s)=

Concate(head1;…;headh)W0。

(4)

式中W0用于將拼接后的矩陣維度壓縮為dmodel維，使多頭自注意力的輸入和輸出維度相同，達(dá)到可堆疊的目的。式(4)的作用是將輸入數(shù)據(jù)分為h個(gè)子空間進(jìn)行自注意力運(yùn)算[16]，從不同子空間捕獲序列的內(nèi)部依賴關(guān)系。

與編碼器類似，解碼器的每一層包括多頭自注意力層和前饋網(wǎng)絡(luò)層兩個(gè)子層并附加一個(gè)多頭編碼—解碼注意力(encoder-decoder attention)子層，該附加層接收編碼器的輸出作為其矩陣K和V。關(guān)于Transformer模型的注意力機(jī)制的更多細(xì)節(jié)，請參見文獻(xiàn)[17]。

2 基于注意力機(jī)制的業(yè)務(wù)過程異常檢測方法

基于Transformer模型的注意力機(jī)制，本文提出業(yè)務(wù)過程異常檢測方法TransNet(transformer network)，方法的總體框架如圖3所示。

首先，從控制流和數(shù)據(jù)流視角在業(yè)務(wù)過程的事件日志中挖掘出控制流和數(shù)據(jù)流特征，構(gòu)造過程特征數(shù)據(jù)集；然后，基于注意力機(jī)制構(gòu)建預(yù)測模型，將以上數(shù)據(jù)集作為輸入數(shù)據(jù)訓(xùn)練預(yù)測模型，根據(jù)輸入數(shù)據(jù)預(yù)測當(dāng)前業(yè)務(wù)過程實(shí)例的下一事件及其屬性的概率分布；接著，根據(jù)實(shí)際執(zhí)行的事件與預(yù)測結(jié)果的偏差計(jì)算事件各屬性的異常評分，基于該評分進(jìn)行異常判斷，大于異常評分閾值的事件屬性判定為異常屬性，并定位該事件屬性為異常來源。由于不同業(yè)務(wù)過程的異常評分閾值不同，本文還設(shè)計(jì)了一種基于異常比率的、梯度自適應(yīng)計(jì)算事件屬性的較優(yōu)異常評分閾值方法，該方法的兩個(gè)核心任務(wù)是基于注意力機(jī)制構(gòu)建預(yù)測模型和基于預(yù)測模型結(jié)果判定異常。

2.1 事件日志的預(yù)處理方法

為了充分利用事件日志中的控制流特征和數(shù)據(jù)流特征，本文從事件屬性粒度提取過程信息，采用事件的離散屬性進(jìn)行異常檢測，如執(zhí)行用戶、組織部門等屬性。對事件的離散屬性采用獨(dú)熱編碼方式(one-hotencoding)進(jìn)行編碼，來構(gòu)造過程特征數(shù)據(jù)集。

用事件的活動名作為事件的第一個(gè)屬性代表業(yè)務(wù)過程的控制流特征，用其他離散屬性作為數(shù)據(jù)流特征。由于每個(gè)案例事件序列的長度可能不同，為了保證數(shù)據(jù)集中各案例的長度相等，在較短的案例末尾添加pad進(jìn)行填充。例如，某個(gè)案例的事件序列為case=e1,e2,e3,e4，其中事件為為案例事件序列中的第i個(gè)事件，ci為第i個(gè)事件的活動名屬性，為第i個(gè)事件的其他屬性，i=1,2,3,4。該案例的事件序列長度為4，假設(shè)數(shù)據(jù)集中事件序列最大的長度為5，在案例末尾添加pad進(jìn)行填充，則該案例表示為

(5)

2.2 業(yè)務(wù)過程預(yù)測模型

事件日志中的事件序列具有長度不確定、可能存在并發(fā)和循環(huán)結(jié)構(gòu)的事件序列、事件及其屬性存在長距離依賴等特點(diǎn)?；谏疃葘W(xué)習(xí)的業(yè)務(wù)過程實(shí)例的下一事件預(yù)測大多采用基于循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)的方法[12-13]。與基于RNN的方法不同，Transformer模型能夠關(guān)注輸入特征序列中的任何一個(gè)元素，且不考慮元素之間的距離，這一優(yōu)勢使其更適合處理具有長距離依賴、存在重復(fù)出現(xiàn)子序列的業(yè)務(wù)過程的事件序列[18]。鑒于Transformer模型的注意力機(jī)制能夠捕捉長期和短期的事件或事件屬性的依賴關(guān)系，本文采用Transformer模型構(gòu)建業(yè)務(wù)過程實(shí)例的下一事件預(yù)測模型，而且不同的Transformer注意力頭可以關(guān)注事件編碼的不同子空間，從而更加靈活地調(diào)整預(yù)測模型的注意力策略，使Transformer成為預(yù)測業(yè)務(wù)過程實(shí)例下一事件的良好選擇。

本文提出的TransNet方法采用編碼器—解碼器結(jié)構(gòu)的預(yù)測模型，事件的每個(gè)屬性都單獨(dú)使用編碼器進(jìn)行特征提取，而且每個(gè)屬性使用單獨(dú)的解碼器預(yù)測下一事件該屬性的概率分布，編碼器和解碼器都使用可堆疊的注意力層和全連接層?；顒用麑傩灶A(yù)測模型的結(jié)構(gòu)示例如圖4所示。

在訓(xùn)練階段，為了避免當(dāng)前流程實(shí)例中未發(fā)生事件出現(xiàn)“信息泄露”，對編碼器和解碼器的注意力層均使用掩碼(mask)，以確保注意力僅應(yīng)用于當(dāng)前過程實(shí)例已發(fā)生的事件特征。例如，解碼器在預(yù)測活動名屬性c3的概率分布時(shí)，用[c1,c2]的自注意力和[c1,c2]與[e1,e2]的注意力。

圖4所示為預(yù)測下一事件活動名屬性的預(yù)測模型結(jié)構(gòu)的示例，而預(yù)測下一事件非活動名屬性的模型結(jié)構(gòu)與其不同。本文所提預(yù)測模型有控制流預(yù)測模塊和數(shù)據(jù)流預(yù)測模塊兩個(gè)模塊，分別用于預(yù)測活動名屬性和非活動名屬性，如圖5所示。為方便描述，本文事件僅使用活動名、用戶和時(shí)間3個(gè)屬性。

在圖5中，fact為活動名屬性特征，fuser和fday分別為用戶屬性特征和開始執(zhí)行時(shí)間屬性特征，t為離散時(shí)間步，表示當(dāng)前過程實(shí)例第t個(gè)事件的發(fā)生時(shí)間。

2.3 事件屬性的異常評分

考慮到實(shí)際的業(yè)務(wù)過程可能存在并發(fā)或循環(huán)結(jié)構(gòu)，當(dāng)前過程實(shí)例的下一事件及其屬性可能有多個(gè)值是合理的。例如，在并發(fā)結(jié)構(gòu)中，并發(fā)執(zhí)行的活動有多個(gè)可能的后繼活動，因此過程實(shí)例的下一事件有多個(gè)合理的活動名屬性。

定義4異常評分[5]。異常評分是一個(gè)用于判斷業(yè)務(wù)過程實(shí)例的、某事件屬性值是否異常的、[0,1]內(nèi)的實(shí)數(shù)，用函數(shù)fscore(P,pt)表示為

(vi,pi)∈P,(vt,pt)∈P。

(6)

式中：P為所預(yù)測事件屬性值的概率分布；t為在P中事件屬性實(shí)際值的下標(biāo)；vt為事件屬性的實(shí)際值；pt為在P中事件屬性實(shí)際值vt的發(fā)生概率；pi為在P中事件屬性取值的發(fā)生概率大于pt的概率；vi為在P中發(fā)生概率大于pt的屬性值。

由定義4可得，事件屬性實(shí)際值的發(fā)生概率越低，其異常評分越高，越有可能為異常；反之亦然。例如，某個(gè)屬性有4個(gè)可能的離散值{v1,v2,v3,v4}，設(shè)其概率分布P={(v1,0.1),(v2,0.2),(v3,0.3),(v4,0.4)}，若實(shí)際發(fā)生的屬性值為v1，則異常分?jǐn)?shù)fscore(P,0.1)=0.2+0.3+0.4=0.9；若實(shí)際發(fā)生的屬性值為v3，則異常評分fscore(P,0.3)=0.4。

2.4 業(yè)務(wù)過程異常的判定方法

根據(jù)上述方法可以計(jì)算出實(shí)際發(fā)生事件的屬性對應(yīng)的異常評分s，為了判定該事件或?qū)傩允欠癞惓?，本文采用判定函?shù)

(7)

式中τ為評分閾值。fthre(s,τ)=0表示該事件屬性正常，fthre(s,τ)=1表示該事件屬性異常。因?yàn)椴煌瑢傩缘娜≈祩€(gè)數(shù)|Ba|可能不同，且每種屬性的預(yù)測難度不同，所以需要為每個(gè)屬性設(shè)定獨(dú)立的閾值，該閾值的確定方法見2.5節(jié)。

2.5 基于異常比率梯度的自適應(yīng)異常評分閾值確定方法

大多數(shù)業(yè)務(wù)過程異常檢測算法的異常閾值為用戶根據(jù)經(jīng)驗(yàn)手動設(shè)定的某個(gè)常數(shù)。在不同業(yè)務(wù)場景下，業(yè)務(wù)過程異常有較大區(qū)別，例如在醫(yī)療領(lǐng)域，與正常情況有很小的偏差就被認(rèn)為異常(如病人的體溫);在證券交易領(lǐng)域，證券價(jià)格的大幅波動被認(rèn)為異常。本文提出一種自適應(yīng)確定事件屬性異常評分閾值的方法，以應(yīng)對過程感知系統(tǒng)中業(yè)務(wù)過程的不同場景。

首先，根據(jù)事件屬性的異常評分s確定異常評分閾值的范圍，從而確定其最小值τmin和最大值τmax。若評分閾值為τmax，則所有屬性值都會被判定為正常；若評分閾值為τmin，則所有屬性值都會被判定為異常。于是，將異常評分閾值的取值區(qū)間設(shè)為[τmin,τmax]，在其中構(gòu)造一個(gè)大小為k的候選異常評分閾值集合T，本文方法取k=50。

(8)

事件屬性的異常比率為：當(dāng)異常評分閾值為τi∈T時(shí)，在訓(xùn)練數(shù)據(jù)集中某個(gè)事件屬性被判定為異常的屬性值個(gè)數(shù)與該事件屬性全部屬性值個(gè)數(shù)的比值，即

(9)

式中：D為數(shù)據(jù)集中非填充事件的個(gè)數(shù)；C為案例的集合；F為案例的最大事件序列長度；sjk為異常評分集S中第j個(gè)案例的第k個(gè)事件中該屬性值的異常評分。特別地，設(shè)定r(s,τmin)=1，r(s,τmax)=0。

受基于方向梯度直方圖進(jìn)行目標(biāo)檢測[19]的啟發(fā)，本文提出一種基于異常比率梯度的自適應(yīng)評分閾值確定方法，采用差分法計(jì)算得到異常比率梯度的近似值。若異常評分閾值τi∈T，則設(shè)異常比率梯度數(shù)值的近似值本文提出的基于異常比率梯度的自適應(yīng)閾值確定方法的具體實(shí)現(xiàn)如算法1所示。

(10)

算法1基于異常比率梯度的自適應(yīng)閾值。

輸入：異常評分集合S。

輸出：自適應(yīng)閾值t。

1：V=S.key；P=S.value //S.key為屬性值集合，S.value為各屬性值對應(yīng)的概率值集合

2：τmin=min(P)；τmax=max(P)；k=50

3：T=get_range(τmin，τmax，k) //式(8)

4：R′=r′(S,T) //式(9)

5：ε=mean(R′)/2

6：sum=0;n=0

7：FOREACH r′,τ in R′,T DO

8：IF r′≤ε DO

9：sum=sum+τ；n=n+1

10：ELSE DO

11：t=sum/n

12：sum=0;n=0

13：END IF

14：END FOREACH

15：RETURN t

該方法的示例如圖6所示，圖中橫軸為閾值τ，縱軸為不同閾值下的異常比率r′、召回率Recall、準(zhǔn)確率Precision，豎線h與橫軸相交的點(diǎn)為最終確定的閾值。具體步驟如下：

(1)確定異常比率r變化很小的一段區(qū)間，即異常比率梯度趨近于0的區(qū)間(|r′(s,τ)|<ε)，ε是一個(gè)很小的值，本文設(shè)ε為異常比率r的平均值的一半(算法1第5行)，從而得到3個(gè)評分閾值區(qū)間，即圖6中3個(gè)灰色區(qū)域覆蓋的橫軸區(qū)間。

(2)選擇異常評分閾值τ最大的區(qū)間作為候選閾值區(qū)間，即橫軸0.8附近的區(qū)間。

(3)選擇候選閾值區(qū)間的平均值作為所確定的自適應(yīng)閾值，即τ=0.78。

本文異常檢測算法的異常評分閾值刻畫了算法對小概率事件或?qū)傩灾档拿舾谐潭?。異常評分閾值越高，異常檢測算法對小概率事件或其屬性值的異常越不敏感，反之亦然。對于不同的業(yè)務(wù)流程場景和事件屬性，本文的異常評分閾值確定方法能夠自適應(yīng)地調(diào)整閾值大小，避免誤報(bào)小概率發(fā)生的正常事件和事件屬性值。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集與設(shè)置

本文采用來自BPIC (business process intelligence challenge)的事件日志數(shù)據(jù)BPIC12(http://www.win.tue.nl/bpi/2012/challenge)，BPIC13(http://www.win.tue.nl/bpi/2012/challenge)，BPIC15(http://www.win.tue.nl/bpi/2012/challenge)，BPIC17(http://www.win.tue.nl/bpi/2012/challenge)作為數(shù)據(jù)集，4個(gè)數(shù)據(jù)集的具體信息如表1所示。

表1 數(shù)據(jù)集特征

本文采用人工方法將異常插入以上數(shù)據(jù)集的事件日志中。需要注意的是，BPIC系列的事件日志可能已包含少量異常，對這些異常進(jìn)行標(biāo)記比較困難。為了驗(yàn)證本文方法在真實(shí)案例上的可行性，人工將異常插入事件日志中，插入異常的案例被標(biāo)記為異常。此時(shí)事件日志包含原本就存在的未標(biāo)記的異常和已標(biāo)記的人工異常，增加了異常檢測的難度。在實(shí)際業(yè)務(wù)中，異常情況的類型是多樣的，仿真實(shí)驗(yàn)中難以模擬所有異常情況，本文盡可能多地模擬不同類型的異常。人工插入的異常類型比事件日志生成軟件PLG[20]模擬的異常類型豐富，可以使實(shí)驗(yàn)環(huán)境更貼近真實(shí)環(huán)境，具體為從事件日志中隨機(jī)選取30%的案例，將7種異常插入數(shù)據(jù)集。7種類型異常描述如下：

(1)Rework在案例中的隨機(jī)位置插入來自該案例的n個(gè)事件。

(2)Skip跳過n個(gè)事件。

(3)Insert在案例中添加n個(gè)隨機(jī)事件。

(4)Switch將兩個(gè)事件交換位置。

(5)Replace將m個(gè)事件中的n個(gè)屬性用錯(cuò)誤的值替換，或?qū)個(gè)事件用隨機(jī)事件替換。

(6)Delay將n個(gè)事件的發(fā)生時(shí)間延后d個(gè)事件。

(7)Earl將n個(gè)事件的發(fā)生時(shí)間提前d個(gè)事件。

為了方便開展實(shí)驗(yàn)，本文取n∈{2,3},m=2,d∈{2,3}。采用TransNet方法預(yù)測模型構(gòu)建無需對數(shù)據(jù)集進(jìn)行人工標(biāo)記，上述標(biāo)記用于驗(yàn)證實(shí)驗(yàn)結(jié)果。

本文實(shí)驗(yàn)配置如下：操作系統(tǒng)為Window 10，處理器為Intel(R)Core(TM)i7-7700CPU@3.60 GHz；圖像處理器為NVIDIAQuadroP600；TensorFlow版本為2.1.0。

本文用以上數(shù)據(jù)集中的9個(gè)事件日志對TransNet方法進(jìn)行評估，并將其與t-stide[21]、支持向量機(jī)(Support Vector Machine，SVM)[6]、Naive[22]、Likelihood[7]、Sampling[22]、DAE[9]和BINet[10]各方法進(jìn)行比較。

本文采用Scikit-learn庫中的模塊編程實(shí)現(xiàn)SVM模型，并選用徑向基核函數(shù)(Radial Basis Function，RBF)。分別參照原文獻(xiàn)用Python編程語言3.7版本實(shí)現(xiàn)了Naive[22]，Sampling[22]，Likelihood[7]，DAE[9]和BINet[10]等方法，其中Naive[22]，DAE[9]，BINet[10]需要設(shè)定異常評分閾值，并采用自適應(yīng)的異常評分閾值方法確定閾值；DAE[9]，BINet[10]，TransNet方法采用默認(rèn)參數(shù)的Adam梯度下降方法更新網(wǎng)絡(luò)參數(shù)，并采用交叉熵(crossentropy)作為損失函數(shù)。TansNet方法在編碼器和解碼器的最后一層用BatchNormalization層進(jìn)行批歸一化操作，并用提前停止技術(shù)緩解過擬合。

3.2 實(shí)驗(yàn)結(jié)果分析

3.2.1 3種注意力策略

為了研究不同注意力策略對業(yè)務(wù)過程異常判定結(jié)果的影響，本文提出3種注意力策略：策略1在預(yù)測下一事件屬性時(shí)，只關(guān)注當(dāng)前過程實(shí)例的控制流；策略2在預(yù)測下一事件屬性時(shí)，同時(shí)關(guān)注當(dāng)前過程實(shí)例的控制流和數(shù)據(jù)流；策略3在預(yù)測非活動名屬性時(shí)，同時(shí)關(guān)注控制流、數(shù)據(jù)流和目標(biāo)事件的活動名。

策略1記為TansNetv1，如圖7所示。其中，實(shí)心圓圈表示當(dāng)前過程實(shí)例的控制流特征(事件活動名)，空心圓圈表示數(shù)據(jù)流特征(活動名以外的其他事件屬性)，虛線表示已完成預(yù)測的屬性的注意力，實(shí)線表示待預(yù)測屬性的注意力，連線的方向?yàn)閺南碌缴?；黑色粗虛線的左側(cè)，上半部分表示由預(yù)測模型預(yù)測得到的、當(dāng)前過程實(shí)例已完成的事件屬性，下半部分為當(dāng)前過程實(shí)例中實(shí)際已發(fā)生的事件屬性；黑色粗虛線右側(cè)的灰色圓圈表示待預(yù)測的事件屬性，虛線圓圈表示當(dāng)前過程實(shí)例中已完成事件的屬性；Event表示已完成事件，有3個(gè)屬性，分別為一個(gè)活動名屬性和兩個(gè)非活動名屬性；Self表示待預(yù)測屬性對自身的注意力，即自注意力。

在預(yù)測當(dāng)前實(shí)例的下一事件屬性時(shí)，TansNetv1只關(guān)注當(dāng)前過程實(shí)例中已發(fā)生事件的控制流特征，即圖7中左下部的實(shí)心圓圈。

策略2記為TansNetv2，如圖8所示，圖中各圖形符號的意義與圖7相同。在預(yù)測當(dāng)前過程實(shí)例的下一個(gè)事件屬性時(shí)，TansNetv2關(guān)注當(dāng)前實(shí)例中已發(fā)生事件的控制流特征和數(shù)據(jù)流特征。

策略3記為TansNetv3，如9所示，圖中各圖形符號的意義與圖7相同，其中Present所包括的元素表示待預(yù)測的下一事件。在策略2的基礎(chǔ)上，策略3在預(yù)測非活動名屬性時(shí)，額外關(guān)注預(yù)測目標(biāo)事件的控制流特征。

3.2.2 異常檢測方法的有效性驗(yàn)證

為了驗(yàn)證本文方法在多視角進(jìn)行業(yè)務(wù)過程異常檢測的有效性，分別從業(yè)務(wù)過程的控制流視角、數(shù)據(jù)流視角和多視角(控制流+數(shù)據(jù)流)開展異常檢測實(shí)驗(yàn)，并比較結(jié)果的F1分?jǐn)?shù)。F1分?jǐn)?shù)是查準(zhǔn)率Precision和查全率Recall的調(diào)和平均值，具體計(jì)算式為

(11)

在本實(shí)驗(yàn)中，F(xiàn)1分?jǐn)?shù)值越大，表示某方法異常檢測實(shí)驗(yàn)的總體性能越好。在BPIC17數(shù)據(jù)集上進(jìn)行案例級別的異常檢測，實(shí)驗(yàn)結(jié)果的F1分?jǐn)?shù)如表2所示。

表2 基于不同視角的實(shí)驗(yàn)F1分?jǐn)?shù)對比

由表2可見，從多視角進(jìn)行異常檢測實(shí)驗(yàn)的F1分?jǐn)?shù)，普遍好于單獨(dú)從控制流視角或數(shù)據(jù)流視角開展的實(shí)驗(yàn)結(jié)果。在業(yè)務(wù)過程中，事件的屬性通常強(qiáng)依賴于事件的活動名，如果缺少控制流信息，單純從數(shù)據(jù)流視角出發(fā)進(jìn)行業(yè)務(wù)過程異常檢測，則效果較差；而單獨(dú)從控制流出發(fā)，缺少數(shù)據(jù)流信息，異常檢測也不夠全面，因此F1分?jǐn)?shù)較小。以上分析表明，從多視角進(jìn)行業(yè)務(wù)異常檢測能夠更準(zhǔn)確地發(fā)現(xiàn)異常。

對比3種注意力策略，TransNetv1獲得了最好的F1分?jǐn)?shù)0.71，說明在BPIC17數(shù)據(jù)集上關(guān)注控制流、從多視角進(jìn)行業(yè)務(wù)異常檢測最有效。因此，本文方法可以有效地從多視角開展異常檢測，即本方法是有效的。

為了驗(yàn)證本文異常檢測方法能夠在不同檢測級別檢測異常，并有效定位異常來源，在4個(gè)數(shù)據(jù)集上分別開展3個(gè)異常檢測級別的異常檢測實(shí)驗(yàn)。3種檢測級別如圖10所示。

在圖10中，實(shí)心圓圈表示控制流特征(事件活動名)、空心圓圈表示數(shù)據(jù)流特征(除活動名外的其他事件屬性)；虛線圓圈表示發(fā)生異常的事件屬性。斜線填充方框表示不同檢測級別對異常來源定位的范圍，無填充方框表示不同檢測級別下正常的事件或其屬性。圖中檢測級別從案例級別到屬性級別，級別越低，異常檢測方法定位異常來源的準(zhǔn)確度越高，異常檢測的難度越高。雖然屬性級別異常的檢測難度較大，但是可以準(zhǔn)確定位異常來源，因此屬性級別的異常檢測是必要的。由于案例由多個(gè)事件組成，事件由多個(gè)屬性組成，根據(jù)以下規(guī)則，屬性級別的異常檢測可以用于事件級別和案例級別[9]:

(1)若一個(gè)事件的任意屬性是異常的，則該事件是異常的。

(2)若一個(gè)案例的任意事件是異常的，則該案例是異常的。

在訓(xùn)練預(yù)測模型階段，設(shè)定參數(shù)epochs=20，batch_size=100，dropout_rate=0.2；在異常檢測階段，采用本文自適應(yīng)閾值確定方法確定異常評分閾值。本文對所有非確定性方法，如SVM[6]，BINet[10]，DAE[9]和TransNet進(jìn)行10次實(shí)驗(yàn)，取指標(biāo)的平均值作為最終結(jié)果，用F1分?jǐn)?shù)作為綜合評價(jià)指標(biāo)。實(shí)驗(yàn)結(jié)果如表3所示。

表3 不同異常檢測級別的實(shí)驗(yàn)F1分?jǐn)?shù)對比

由表3可見，對于所有參與比較的方法，檢測屬性級別異常的F1分?jǐn)?shù)比檢測案例級別異常的F1分?jǐn)?shù)小，說明檢測屬性級別異常比檢測案例級別異常更困難，而檢測事件級別異常的難度介于前兩者之間，但屬性級別的異常檢測可以準(zhǔn)確定位異常發(fā)生的具體事件屬性。相比其他方法，TransNet方法在屬性級別異常檢測中取得的F1分?jǐn)?shù)最高，而Naive[22],Sampling[22],Likelihood[6]等方法在檢測屬性級別異常時(shí)已經(jīng)失效。在BPIC12數(shù)據(jù)集中，BINet方法[10]在檢測屬性級異常上的效果最好，其F1分?jǐn)?shù)達(dá)到0.48，但在其他數(shù)據(jù)集上并未得到最好的效果，這是因?yàn)锽PIC12事件日志是4個(gè)數(shù)據(jù)集中唯一沒有數(shù)據(jù)流的數(shù)據(jù)集。

對比3種注意力策略，TransNetv1策略在BPIC15，BPIC17數(shù)據(jù)上取獲得最好的F1分?jǐn)?shù)，而TansNetv2策略在BPIC12，BPIC13數(shù)據(jù)集上獲得最好的F1分?jǐn)?shù)。TransNetv3策略作為TransNetv2策略的擴(kuò)展，在單獨(dú)數(shù)據(jù)流視角異常檢測和BPIC13案例級別異常檢測中的表現(xiàn)優(yōu)于TransNetv2策略，但是TransNetv2在屬性級別異常檢測的效果優(yōu)于TransNetv3。

相比案例級別和事件級別的異常檢測，屬性級別異常檢測更重要，因?yàn)闃I(yè)務(wù)過程異常往往由單個(gè)事件屬性值表現(xiàn)，所以檢測屬性級的異常十分關(guān)鍵。通過實(shí)驗(yàn)可知，在屬性級別業(yè)務(wù)過程異常檢測上，TransNet方法在各個(gè)數(shù)據(jù)集上都獲得了較好的結(jié)果。

3.2.3 TransNet方法的時(shí)間效率分析

本文進(jìn)行對比的8種異常檢測方法的主要運(yùn)行時(shí)間是模型建立時(shí)間，而實(shí)質(zhì)的業(yè)務(wù)過程異常檢測時(shí)間都在毫秒級。為了檢驗(yàn)本文TransNet方法的時(shí)間效率，在3.2.2節(jié)實(shí)驗(yàn)中統(tǒng)計(jì)了8種異常檢測方法在所有事件日志上運(yùn)行10次的平均模型建立時(shí)間，如圖11所示。

由圖11可見，基于機(jī)器學(xué)習(xí)的方法，如SVM[6]，BINet[10]，DAE[9]和TransNet方法的模型建立時(shí)間遠(yuǎn)高于其他方法，如Naive[22]，Sampling[22]，Likelihood[7]和t-stide[21]。在基于機(jī)器學(xué)習(xí)的方法中，SVM方法[6]的運(yùn)行時(shí)間最短，TansNetv3方法的運(yùn)行時(shí)間最長，因?yàn)镾VM方法的模型需要訓(xùn)練的參數(shù)較少，損失函數(shù)可以更快地收斂，而TransNetv3需要額外訓(xùn)練目標(biāo)事件的控制流和數(shù)據(jù)流特征的編碼器，所以訓(xùn)練時(shí)間最長。

在TansNet方法中，TansNetv1策略只需訓(xùn)練控制流特征的編碼器，訓(xùn)練時(shí)間較快；TransNetv2策略和TransNetv3策略同時(shí)關(guān)注控制流和數(shù)據(jù)流特征，需要對每個(gè)數(shù)據(jù)流特征單獨(dú)訓(xùn)練編碼器，因此相對于TransNetv1策略訓(xùn)練時(shí)間較長。從整體來看，TansNet方法的建模時(shí)間比其他方法長，原因是注意力機(jī)制在計(jì)算點(diǎn)對點(diǎn)的依賴關(guān)系時(shí)計(jì)算量較大，比較耗時(shí)，今后可以設(shè)計(jì)并行算法計(jì)算注意力，以降低TansNet方法的建模時(shí)間。

從以上3個(gè)實(shí)驗(yàn)可知，本文所提業(yè)務(wù)過程異常方法TansNet可以有效地從多視角檢測業(yè)務(wù)過程異常，雖然建模時(shí)間較長，但是比其他方法能夠更準(zhǔn)確地檢測業(yè)務(wù)過程實(shí)例的事件屬性異常，同時(shí)定位業(yè)務(wù)過程異常發(fā)生的來源，對提高業(yè)務(wù)過程異常檢測效率有重要意義。

4 結(jié)束語

業(yè)務(wù)過程實(shí)例發(fā)生的異常通常由事件的單個(gè)屬性值異常引起。針對現(xiàn)有的大多數(shù)業(yè)務(wù)過程異常檢測方法可以檢測出業(yè)務(wù)過程運(yùn)行實(shí)例、事件或事件屬性類型的異常，但無法定位引發(fā)異常的事件的具體屬性的問題，本文提出一種基于注意力機(jī)制的業(yè)務(wù)過程異常檢測方法。首先，從業(yè)務(wù)過程的事件日志中挖掘控制流和數(shù)據(jù)流視角的過程特征，構(gòu)造過程特征數(shù)據(jù)集；然后，基于Transformer模型的注意力機(jī)制構(gòu)建業(yè)務(wù)過程預(yù)測模型，采用該預(yù)測模型捕獲過程特征數(shù)據(jù)集中事件及其屬性間的長距離端到端的依賴關(guān)系，由此預(yù)測當(dāng)前業(yè)務(wù)過程實(shí)例的下一事件及其屬性的概率分布，通過實(shí)際發(fā)生的事件和該事件的預(yù)測結(jié)果計(jì)算該事件各屬性的異常評分。為應(yīng)對業(yè)務(wù)過程的多變性和不確定性，本文提出一種基于異常比率梯度的、自適應(yīng)的異常評分閾值確定方法，采用異常評分閾值判定事件屬性異常，其異常評分大于設(shè)定的異常評分閾值的事件屬性被認(rèn)為是異常屬性，并定位該事件屬性為異常來源。仿真實(shí)驗(yàn)表明，本文所提業(yè)務(wù)過程異常檢測方法不但能夠更準(zhǔn)確地檢測業(yè)務(wù)過程實(shí)例、事件及其屬性的異常，而且可以定位業(yè)務(wù)過程異常發(fā)生的事件屬性，對提高業(yè)務(wù)過程異常的檢測效率和過程感知信息系統(tǒng)的運(yùn)行平穩(wěn)性有重要意義。

目前本文方法只能處理事件的離散型屬性。如果某個(gè)事件屬性值是在訓(xùn)練期間未遇到的值，則在獨(dú)熱編碼中不會給該值分配維度。一個(gè)簡單的解決方案是向編碼向量添加一個(gè)額外維度，用于編碼所有未知的屬性值。本文的異常檢測方法可用于離線檢測異常，也可以部署在過程感知信息系統(tǒng)中在線檢測異常。

未來將致力于以下研究：①改進(jìn)確定事件屬性異常評分閾值的方法；②研究處理事件連續(xù)型屬性的異常檢測與定位方法；③嘗試將本文的異常檢測方法應(yīng)用于實(shí)際的過程感知信息系統(tǒng)的在線過程異常檢測。