徐興榮，劉 聰，，李 婷，郭 娜，任崇廣，曾慶田

（1.山東理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山東淄博 255000；2.山東科技大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，山東青島 266590）

1 引言

預(yù)測(cè)型流程監(jiān)控［1］作為流程挖掘領(lǐng)域中重要的研究方向，其目標(biāo)是對(duì)正在執(zhí)行的業(yè)務(wù)流程實(shí)例進(jìn)行預(yù)測(cè)分析，進(jìn)一步準(zhǔn)確預(yù)測(cè)在未來一段時(shí)間內(nèi)可能出現(xiàn)的執(zhí)行狀態(tài)，例如某個(gè)實(shí)例的演變、下一個(gè)將要執(zhí)行的活動(dòng)、實(shí)例剩余時(shí)間［2］等.

業(yè)務(wù)流程剩余時(shí)間預(yù)測(cè)［3］是預(yù)測(cè)型流程監(jiān)控中的一項(xiàng)主要預(yù)測(cè)任務(wù)，旨在對(duì)當(dāng)前業(yè)務(wù)流程實(shí)例剩余執(zhí)行時(shí)間進(jìn)行預(yù)測(cè).對(duì)于傳統(tǒng)剩余時(shí)間預(yù)測(cè)方法，其事先在業(yè)務(wù)流程歷史日志中挖掘變遷系統(tǒng)［4］、隨機(jī)Petri網(wǎng)［5］等形式化流程模型，然后利用挖掘的模型對(duì)剩余時(shí)間進(jìn)行預(yù)測(cè).近年來，深度學(xué)習(xí)技術(shù)被廣泛應(yīng)用于剩余時(shí)間預(yù)測(cè)任務(wù)中，如長(zhǎng)短期記憶（Long Short-Term Memory，LSTM）循環(huán)神經(jīng)網(wǎng)絡(luò)［6］，并取得較好的預(yù)測(cè)效果.

然而，基于深度學(xué)習(xí)技術(shù)的業(yè)務(wù)流程剩余時(shí)間預(yù)測(cè)還處于起步階段，如下問題尚未得到解決：

（1）應(yīng)用深度學(xué)習(xí)技術(shù)的前提是需要建立高質(zhì)量的訓(xùn)練數(shù)據(jù)，就目前已有方法中，主要是以時(shí)間戳或時(shí)間先后次序索引來提取歷史流程實(shí)例軌跡前綴序列，并將其作為深度學(xué)習(xí)技術(shù)的訓(xùn)練數(shù)據(jù).但是，在整個(gè)業(yè)務(wù)流程中，不同種類的流程實(shí)例軌跡前綴之間存在著較大的差異性［7］，例如對(duì)于一個(gè)剛開始不久的流程實(shí)例與一個(gè)即將結(jié)束的流程實(shí)例而言，在對(duì)它們剩余時(shí)間進(jìn)行預(yù)測(cè)時(shí)所考慮的因素是各不相同的.此外，不同長(zhǎng)度的流程實(shí)例軌跡前綴數(shù)量呈不均勻分布，且短流程實(shí)例軌跡前綴數(shù)量在一般情況下要多于長(zhǎng)流程實(shí)例軌跡前綴，倘若單純的將二者混合以訓(xùn)練剩余時(shí)間預(yù)測(cè)模型，會(huì)被數(shù)量較多的短流程實(shí)例軌跡前綴影響，從而在一定程度上降低剩余時(shí)間預(yù)測(cè)準(zhǔn)確度.

（2）已有方法大都以傳統(tǒng)LSTM 構(gòu)建剩余時(shí)間預(yù)測(cè)模型，但由于LSTM 對(duì)序列數(shù)據(jù)建模能力有限且在處理大規(guī)模序列數(shù)據(jù)時(shí)存在訓(xùn)練速度緩慢的問題，因此如何在提升剩余時(shí)間預(yù)測(cè)效果的同時(shí)，提高預(yù)測(cè)模型的訓(xùn)練速度，需進(jìn)行深入研究.

基于目前工作存在的不足，本文提出一種基于雙向準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的業(yè)務(wù)流程剩余時(shí)間預(yù)測(cè)方法，主要?jiǎng)?chuàng)新點(diǎn)體現(xiàn)在：首先，設(shè)計(jì)了一種基于注意力機(jī)制的雙向準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)剩余時(shí)間預(yù)測(cè)模型.該預(yù)測(cè)模型在利用門函數(shù)和記憶單元保證序列信息上下文相關(guān)性的同時(shí)，通過應(yīng)用矩陣卷積運(yùn)算實(shí)現(xiàn)對(duì)輸入序列信息及門函數(shù)的有效處理，進(jìn)而提高了預(yù)測(cè)模型的并行計(jì)算能力，加快了預(yù)測(cè)模型的訓(xùn)練時(shí)間.引入注意力機(jī)制是為了在訓(xùn)練過程中通過對(duì)不同位置的序列信息權(quán)重的計(jì)算，進(jìn)一步提高重要特征對(duì)預(yù)測(cè)結(jié)果的影響.然后，設(shè)計(jì)了一種基于不同長(zhǎng)度軌跡前綴訓(xùn)練迭代策略，解決并提升了流程實(shí)例中不同長(zhǎng)度軌跡前綴間的數(shù)量差異性和關(guān)聯(lián)性.最后，提出一種基于Word2vec 的事件表示學(xué)習(xí)方法，通過對(duì)事件日志中事件的高質(zhì)量向量化表示，達(dá)到增強(qiáng)事件辨識(shí)度和提升剩余時(shí)間預(yù)測(cè)效果的目的.

2 相關(guān)工作

目前，業(yè)務(wù)流程剩余時(shí)間預(yù)測(cè)在流程挖掘領(lǐng)域中擁有較強(qiáng)的研究?jī)r(jià)值，它不僅可以起到優(yōu)化業(yè)務(wù)系統(tǒng)性能的作用，而且還可以為管理者提供可靠的決策性依據(jù).起初，Will van der Aalst 等［3］利用構(gòu)建的多層次抽象變遷系統(tǒng)記錄事件日志中所有流程實(shí)例可能出現(xiàn)的狀態(tài)，并為每個(gè)狀態(tài)標(biāo)注所屬時(shí)間信息，以之進(jìn)行剩余時(shí)間預(yù)測(cè)；Rogge-Solti 等［5］通過對(duì)事件日志中隨機(jī)Petri 網(wǎng)的挖掘以模擬正在執(zhí)行的流程實(shí)例，并根據(jù)相應(yīng)結(jié)果對(duì)剩余時(shí)間進(jìn)行預(yù)測(cè).由于傳統(tǒng)流程挖掘方法在面對(duì)剩余時(shí)間預(yù)測(cè)任務(wù)時(shí)存在較多局限性，導(dǎo)致這些方法在處理海量事件日志的過程中不能獲得較優(yōu)的預(yù)測(cè)效果.

隨著機(jī)器學(xué)習(xí)技術(shù)的廣泛應(yīng)用，研究者將其融入到剩余時(shí)間預(yù)測(cè)任務(wù)中.Folino 等［8］通過對(duì)不同類型數(shù)據(jù)的分析，提出一種基于聚類的剩余時(shí)間預(yù)測(cè)方法，該方法利用邏輯規(guī)則對(duì)聚類模型進(jìn)行表示，從而幫助隱形上下文更好地適應(yīng)事后分析［9］；Polato 等［10］在文獻(xiàn)［3］的基礎(chǔ)上提出數(shù)據(jù)感知變遷系統(tǒng).它通過樸素貝葉斯分類方式為存在的狀態(tài)節(jié)點(diǎn)建立模型，然后利用支持向量機(jī)進(jìn)行剩余時(shí)間預(yù)測(cè)；Verenich等［11］將業(yè)務(wù)流程抽象為流程樹，并在每個(gè)流程樹節(jié)點(diǎn)上訓(xùn)練回歸模型以預(yù)測(cè)剩余時(shí)間.

近幾年，研究者逐漸開始利用深度學(xué)習(xí)技術(shù)進(jìn)行業(yè)務(wù)流程剩余時(shí)間的預(yù)測(cè)工作.Evermann 等［12］通過利用簡(jiǎn)單的LSTM和嵌入方式對(duì)變量進(jìn)行分類訓(xùn)練，實(shí)現(xiàn)對(duì)業(yè)務(wù)流程剩余時(shí)間預(yù)測(cè)的目標(biāo)；Nguyen 等［13］在現(xiàn)有的基礎(chǔ)上提出新特征表示方法，以提高目前深度學(xué)習(xí)模型的預(yù)測(cè)能力；倪維健等［14］在文獻(xiàn)［2］的基礎(chǔ)上通過引入注意力機(jī)制，進(jìn)一步提高了業(yè)務(wù)流程剩余時(shí)間的準(zhǔn)確度.隨著時(shí)間推移，部分研究者通過將深度神經(jīng)網(wǎng)絡(luò)與相關(guān)分析技術(shù)融合研究出新結(jié)構(gòu)變體.Khan 等［15］利用記憶增強(qiáng)神經(jīng)網(wǎng)絡(luò)來解決業(yè)務(wù)流程剩余時(shí)間預(yù)測(cè)任務(wù)中復(fù)雜問題的過程分析；Pasquadibisceglie 等［16］提出一種數(shù)據(jù)工程方法.該方法事先將業(yè)務(wù)流程中事件時(shí)間數(shù)據(jù)轉(zhuǎn)換為抽象的空間圖像結(jié)構(gòu)，然后利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，從而獲得剩余時(shí)間預(yù)測(cè)結(jié)果；Taymouri 等［17］采用生成式對(duì)抗網(wǎng)絡(luò)在生成事件后綴的同時(shí)，預(yù)測(cè)剩余時(shí)間；Bukhsh 等［18］提出一種高級(jí)表示方法.該方法通過使用Transformer 模型克服傳統(tǒng)預(yù)測(cè)模型不能有效捕捉輸入序列長(zhǎng)期依賴關(guān)系的問題，實(shí)現(xiàn)對(duì)剩余時(shí)間的準(zhǔn)確預(yù)測(cè).

3 任務(wù)描述

本節(jié)將對(duì)業(yè)務(wù)流程剩余時(shí)間預(yù)測(cè)任務(wù)的相關(guān)知識(shí)進(jìn)行詳細(xì)介紹，并給出形式化描述.

3.1 基本知識(shí)

定義1事件是業(yè)務(wù)系統(tǒng)中一個(gè)活動(dòng)的執(zhí)行實(shí)例，可以用元組e=（a，id，Tstart，Tend，P1，…，Pm）進(jìn)行表示.其中，a為事件執(zhí)行活動(dòng)，id 為事件所屬流程實(shí)例ID，Tstart和Tend分別為事件執(zhí)行的開始時(shí)間和結(jié)束時(shí)間，P1，…，Pm為事件含有的屬性，包括：事件相關(guān)資源、執(zhí)行代價(jià)等信息.

定義2軌跡是非空且有限的事件序列，可以用σ=（e1，…，e|σ|）進(jìn)行表示.其中，對(duì)于?1≤i≤|σ|，ei代表執(zhí)行的第i個(gè)事件，|σ|代表軌跡中事件數(shù)量.

定義3軌跡前綴是軌跡σ中的前k個(gè)事件，可以用σ（k）=（e1，…，ek）進(jìn)行表示，其中1≤k≤|σ|.軌跡前綴剩余時(shí)間RemainTime（σ，k）=e|σ|.Tend－ek.Tend.

定義4流程實(shí)例是整個(gè)業(yè)務(wù)流程的執(zhí)行實(shí)例，可以用元組c=（Cid，σ，Z1，…，Zn）進(jìn)行表示.其中，Cid 為流程實(shí)例的ID，σ為該流程實(shí)例中包含的軌跡，Z1，…，Zn為流程實(shí)例含有的屬性.

定義5事件日志是對(duì)業(yè)務(wù)流程歷史執(zhí)行情況的記錄，是全部流程實(shí)例的集合，可以用L=｛c1，…，c|l|｝進(jìn)行表示.其中，|l|表示事件日志L包含的流程實(shí)例c數(shù)目.

定義6對(duì)于業(yè)務(wù)系統(tǒng)，假若系統(tǒng)給定事件空間為X，則流程實(shí)例中軌跡及軌跡前綴空間可表示為X*，剩余時(shí)間預(yù)測(cè)目標(biāo)是通過建立的預(yù)測(cè)模型f=X*→R+預(yù)測(cè)流程實(shí)例軌跡前綴的剩余時(shí)間.

需說明，本文只利用流程實(shí)例軌跡信息開展剩余時(shí)間預(yù)測(cè)任務(wù)，故在無特殊情況下通過軌跡表示其所屬的流程實(shí)例，而如何融入流程實(shí)例中其它屬性信息將作為下一階段主要的研究工作.

3.2 業(yè)務(wù)流程剩余時(shí)間預(yù)測(cè)任務(wù)描述

基于深度學(xué)習(xí)技術(shù)的業(yè)務(wù)流程剩余時(shí)間預(yù)測(cè)可分為訓(xùn)練和應(yīng)用兩個(gè)階段.其中，訓(xùn)練階段是通過抽取事件日志中流程實(shí)例集合訓(xùn)練預(yù)測(cè)模型f；應(yīng)用階段，是利用預(yù)測(cè)模型f對(duì)正在執(zhí)行的流程實(shí)例（即軌跡前綴）剩余時(shí)間進(jìn)行預(yù)測(cè).

訓(xùn)練階段，訓(xùn)練數(shù)據(jù)集的構(gòu)建是在流程實(shí)例軌跡前綴長(zhǎng)度的基礎(chǔ)上進(jìn)行，詳細(xì)步驟如算法1 所示，基本思想是：遍歷事件日志L中每條軌跡σ，并在設(shè)定的軌跡前綴長(zhǎng)度范圍［kmin，kmax］內(nèi)進(jìn)行截取，隨之得到長(zhǎng)度不一的軌跡前綴σ（k）以及對(duì)應(yīng)的剩余時(shí)間RemainTime（σ，k），并作為訓(xùn)練集Dk中的訓(xùn)練樣本，最后經(jīng)組合獲得全部長(zhǎng)度的訓(xùn)練數(shù)據(jù)集D.

應(yīng)用階段，是利用生成的訓(xùn)練數(shù)據(jù)集學(xué)習(xí)剩余時(shí)間預(yù)測(cè)模型f，為防止學(xué)習(xí)過程中過擬合情況的出現(xiàn)，引入正則項(xiàng)Ω（f），即：

4 基于雙向準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的業(yè)務(wù)流程剩余時(shí)間預(yù)測(cè)方法

基于雙向準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的業(yè)務(wù)流程剩余時(shí)間預(yù)測(cè)方法框架如圖1所示.

圖1 基于雙向準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的業(yè)務(wù)流程剩余時(shí)間預(yù)測(cè)方法框架圖

首先，根據(jù)算法1將事件日志劃分為不同長(zhǎng)度軌跡前綴訓(xùn)練數(shù)據(jù)集；然后，抽取訓(xùn)練數(shù)據(jù)集中全部事件，利用基于Word2vec的事件表示學(xué)習(xí)方法對(duì)事件進(jìn)行向量表示，并將其作為預(yù)測(cè)模型的輸入.同時(shí)，為進(jìn)一步克服和提升不同長(zhǎng)度軌跡前綴間的數(shù)量差異性和關(guān)聯(lián)性，利用基于不同長(zhǎng)度軌跡前綴訓(xùn)練迭代策略對(duì)預(yù)測(cè)模型進(jìn)行迭代訓(xùn)練；最后，獲得業(yè)務(wù)流程剩余時(shí)間預(yù)測(cè)結(jié)果.經(jīng)實(shí)驗(yàn)結(jié)果表明，將該方法應(yīng)用于業(yè)務(wù)流程剩余時(shí)間預(yù)測(cè)任務(wù)后，在預(yù)測(cè)效果等方面展現(xiàn)出一定優(yōu)勢(shì).

4.1 基于Word2vec的事件表示學(xué)習(xí)方法

目前，基于深度學(xué)習(xí)技術(shù)的業(yè)務(wù)流程剩余時(shí)間預(yù)測(cè)方法大都以獨(dú)熱（one-hot）編碼的方式對(duì)事件進(jìn)行表示，但因one-hot編碼存在語義鴻溝等問題，使得剩余時(shí)間預(yù)測(cè)準(zhǔn)確度還有待提升.基于此，提出一種基于Word2vec 的事件表示學(xué)習(xí)方法，以之對(duì)事件日志中事件進(jìn)行表示學(xué)習(xí)，并將訓(xùn)練得到的事件向量作為預(yù)測(cè)模型的輸入，從而實(shí)現(xiàn)提升事件表示質(zhì)量和預(yù)測(cè)效果的目標(biāo).

由定義1可知，執(zhí)行活動(dòng)與執(zhí)行時(shí)間是事件的關(guān)鍵組成部分，因此將其當(dāng)作事件的主要標(biāo)識(shí)，并進(jìn)行向量化表示.然而，由于事件執(zhí)行時(shí)間是連續(xù)值，故需對(duì)其離散化處理，旨在將事件日志中事件對(duì)應(yīng)活動(dòng)可能出現(xiàn)的執(zhí)行時(shí)間進(jìn)行細(xì)化分類.經(jīng)離散化后事件e的執(zhí)行時(shí)間為：

式中，t（e）代表事件e的連續(xù)執(zhí)行時(shí)間，tMIN（EndTime-StartTime）（e.a）和tMAX（EndTime-StartTime）（e.a）代表經(jīng)計(jì)算整個(gè)事件日志所有活動(dòng)a執(zhí)行時(shí)間后選擇的最短與最長(zhǎng)執(zhí)行時(shí)間，N代表離散化后事件e執(zhí)行時(shí)間所劃分的數(shù)量（本文N=10）.由此，事件表示學(xué)習(xí)的目標(biāo)是將業(yè)務(wù)系統(tǒng)中全部活動(dòng)與離散化執(zhí)行時(shí)間進(jìn)行拼接，通過訓(xùn)練得到事件向量

對(duì)事件進(jìn)行表示學(xué)習(xí)時(shí)，主要利用自然語言處理領(lǐng)域中基于Word2vec 中的CBOW（continuous bag-ofword model）詞向量學(xué)習(xí)方法［19］，基本思想為：首先，取第t時(shí)刻事件et的上下文c個(gè)事件｛et-c，…，et-1，et+1，…，et+c｝進(jìn)行one-hot 編碼（實(shí)驗(yàn)環(huán)節(jié)c設(shè)置為2），并作為訓(xùn)練模型的輸入，此時(shí)輸入向量通過與權(quán)重矩陣相乘及加權(quán)平均后獲得隱藏層向量；然后，隱藏層向量隨之與輸出層之間權(quán)重矩陣相乘，經(jīng)Softmax 操作后得到事件et的概率分布.最終，經(jīng)訓(xùn)練獲得的權(quán)重矩陣為事件et的表示向量.

4.2 基于注意力機(jī)制的雙向準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)

由于LSTM 在計(jì)算每個(gè)時(shí)間步時(shí)都依賴于前一個(gè)時(shí)間步的輸出，使得在處理大規(guī)模序列數(shù)據(jù)時(shí)無法進(jìn)行有效地并行計(jì)算，進(jìn)一步降低了對(duì)序列數(shù)據(jù)的建模能力.而準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)（Quasi-Recurrent Neural Network，QRNN）［20］通過一種交替卷積層的神經(jīng)序列建模方法，在輸出時(shí)充分利用輸入序列的順序信息［21］，實(shí)現(xiàn)了對(duì)序列數(shù)據(jù)跨時(shí)間步長(zhǎng)的并行處理.除此之外，QRNN 在LSTM 結(jié)構(gòu)的基礎(chǔ)上進(jìn)行簡(jiǎn)化，只需計(jì)算遺忘門和輸出門，減少了網(wǎng)絡(luò)計(jì)算量［22］.卷積層和池化層是QRNN 主要組成部分，其網(wǎng)絡(luò)模型結(jié)構(gòu)如圖2 所示.其中，卷積層的作用在于提取輸入序列數(shù)據(jù)的特征信息并對(duì)門函數(shù)進(jìn)行卷積處理，池化層則是提取卷積層輸出的特征信息，以達(dá)到減少特征數(shù)目的目的.

圖2 QRNN網(wǎng)絡(luò)模型結(jié)構(gòu)

假設(shè)長(zhǎng)度為T的序列X=（x1，x2，…，xT）是QRNN 卷積層輸入序列，首先以卷積方式經(jīng)數(shù)量為w、寬度為r的濾波器在時(shí)間維度上對(duì)輸入序列特征信息加以卷積處理，使當(dāng)前及過去時(shí)刻信息輸入至QRNN 單元，QRNN單元結(jié)構(gòu)如圖3 所示.倘若在t時(shí)刻，輸入序列為X=（x（t-r+1），…，xt），則輸出序列zt、遺忘門ft和輸出門ot計(jì)算過程為：

圖3 QRNN單元結(jié)構(gòu)圖

式中，Wz、Wf、Wo代表權(quán)重矩陣，Sigmoid和tanh代表激活函數(shù).當(dāng)濾波器寬度r增大時(shí)，模型可以計(jì)算更多NGarm特征，實(shí)驗(yàn)環(huán)節(jié)濾波器寬度為2.

池化層采用fo-pooling 池化方式對(duì)第t時(shí)刻記憶單元狀態(tài)ct進(jìn)行更新：

最后，QRNN 輸出ht由第t時(shí)刻輸出門ot和記憶單元狀態(tài)ct計(jì)算而得：

式中，⊙代表向量按位相乘運(yùn)算，ct-1表示上一時(shí)刻記憶單元狀態(tài).

針對(duì)單向QRNN 在處理序列數(shù)據(jù)時(shí)不能較好地顧及上下文信息之間的聯(lián)系以及有效區(qū)分不同位置的重要程度，本文使用帶有注意力機(jī)制的雙向準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)（Bi-directional Quasi-Recurrent Neural Network with Attention，Att-Bi-QRNN）構(gòu)建剩余時(shí)間預(yù)測(cè)模型.該預(yù)測(cè)模型包含如下關(guān)鍵模塊：

（1）基于雙向QRNN的上下文編碼

雙向QRNN 由一條正向QRNN和一條反向QRNN組成，相較于單向QRNN，雙向QRNN 可以充分考慮軌跡前綴中不同事件間的相關(guān)性.假設(shè)正向QRNN和反向QRNN 獲得的輸出隱向量分別是，則第t時(shí)刻上下文編碼為

（2）基于注意力機(jī)制的軌跡前綴編碼

獲得第t時(shí)刻軌跡前綴上下文編碼Ht后，利用注意力機(jī)制計(jì)算整個(gè)軌跡前綴編碼，計(jì)算過程為：

式中，at代表第t時(shí)刻上下文編碼權(quán)重，同時(shí)也進(jìn)一步反映出軌跡前綴中不同事件對(duì)剩余時(shí)間預(yù)測(cè)任務(wù)的重要程度.

4.3 基于不同長(zhǎng)度軌跡前綴訓(xùn)練迭代策略

針對(duì)訓(xùn)練單一剩余時(shí)間預(yù)測(cè)模型而言，利用多個(gè)預(yù)測(cè)模型可以在一定程度上提高剩余時(shí)間預(yù)測(cè)的有效性和針對(duì)性，但也面臨著眾多困難與挑戰(zhàn).第一，利用算法1將事件日志劃分為多個(gè)訓(xùn)練集后，其內(nèi)部的軌跡前綴數(shù)量會(huì)進(jìn)一步減少，尤其是在現(xiàn)實(shí)事件日志，軌跡前綴數(shù)量會(huì)根據(jù)其長(zhǎng)度出現(xiàn)逐漸下降的現(xiàn)象，導(dǎo)致長(zhǎng)度較長(zhǎng)的軌跡前綴數(shù)據(jù)量變得較少，再加上深度學(xué)習(xí)技術(shù)需要大量的訓(xùn)練數(shù)據(jù)作為支撐，倘若只在各個(gè)訓(xùn)練集中進(jìn)行訓(xùn)練，將會(huì)很難得到準(zhǔn)確的預(yù)測(cè)模型；第二，由于長(zhǎng)度較長(zhǎng)的軌跡前綴涵蓋了所有長(zhǎng)度小于其本身的軌跡前綴，因此長(zhǎng)度較短的軌跡前綴預(yù)測(cè)模型可以為長(zhǎng)度較長(zhǎng)的軌跡前綴預(yù)測(cè)模型提供有用的預(yù)測(cè)信息，而僅在各長(zhǎng)度不一的軌跡前綴訓(xùn)練集上獨(dú)立訓(xùn)練預(yù)測(cè)模型，忽視了不同長(zhǎng)度軌跡前綴之間的關(guān)聯(lián)性.

基于此，設(shè)計(jì)了一種基于不同長(zhǎng)度軌跡前綴訓(xùn)練迭代策略，詳細(xì)步驟如算法2 所示.首先，設(shè)定軌跡前綴長(zhǎng)度范圍［min，max］，其中min 表示事件日志中最短軌跡前綴長(zhǎng)度，max表示過濾掉不頻繁長(zhǎng)軌跡前綴后的最大軌跡前綴長(zhǎng)度.而過濾掉不頻繁長(zhǎng)軌跡前綴主要原因在于不頻繁出現(xiàn)的長(zhǎng)軌跡前綴在整個(gè)事件日志中數(shù)據(jù)量極少，因此在對(duì)其進(jìn)行訓(xùn)練時(shí)很容易造成過擬合的情況，進(jìn)而影響剩余時(shí)間預(yù)測(cè)效果.然后，利用算法1 生成多個(gè)訓(xùn)練集Dk.min，…，Dk.max，并在長(zhǎng)度短（min）且數(shù)量多的軌跡前綴訓(xùn)練集Dk.min上訓(xùn)練剩余時(shí)間預(yù)測(cè)模型Fk.min，當(dāng)預(yù)測(cè)模型Fk.min訓(xùn)練完畢，將其訓(xùn)練參數(shù)共享于長(zhǎng)軌跡前綴預(yù)測(cè)模型，并進(jìn)行迭代訓(xùn)練，直至得到最長(zhǎng)（max）軌跡前綴的剩余時(shí)間預(yù)測(cè)模型Fk.max.利用此策略不僅可以充分使用不同長(zhǎng)度軌跡前綴內(nèi)在關(guān)聯(lián)性，而且還可以解決長(zhǎng)軌跡前綴數(shù)據(jù)量較少的問題，從而提升剩余時(shí)間預(yù)測(cè)準(zhǔn)確性.

5 實(shí)驗(yàn)結(jié)果與分析

本節(jié)對(duì)提出的基于雙向準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的業(yè)務(wù)流程剩余時(shí)間預(yù)測(cè)方法進(jìn)行實(shí)驗(yàn)探究與分析.

實(shí)驗(yàn)基于PC Intel Core i5-10400F 2.90 GHz、NVIDA GeForce RTX 2070 SUPER 環(huán)境，使用Pytorch 框架實(shí)現(xiàn).

5.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)使用5 個(gè)來自4TU Center for Research 平臺(tái)公開的事件日志數(shù)據(jù)集，分別為：BPIC_2012_A、BPIC_2012_O、BPIC_2012_W、Helpdesk、Hospital_Billing，其中：

BPIC_2012_A：是記錄荷蘭財(cái)政機(jī)構(gòu)貸款申請(qǐng)審批流程的事件日志；

BPIC_2012_O：同BPIC_2012_A，且僅記錄了貸款審批狀態(tài)的變更信息；

BPIC_2012_W：同BPIC_2012_A，且僅記錄了貸款審批資源狀態(tài)的變更信息；

Helpdesk：是記錄意大利軟件公司票務(wù)管理系統(tǒng)后臺(tái)流程的事件日志；

Hospital_Billing：是記錄某地區(qū)醫(yī)院EPR 系統(tǒng)中出院結(jié)算流程的事件日志；

上述5 個(gè)事件日志數(shù)據(jù)集的基本信息統(tǒng)計(jì)情況如表1所示.

表1 事件日志數(shù)據(jù)集基本信息統(tǒng)計(jì)

5.2 評(píng)價(jià)指標(biāo)

利用平均絕對(duì)誤差（Mean Absolute Error，MAE）作為剩余時(shí)間預(yù)測(cè)任務(wù)的總體評(píng)價(jià)指標(biāo)，通過計(jì)算軌跡前綴剩余時(shí)間真實(shí)值和預(yù)測(cè)值之間差值的絕對(duì)值評(píng)判剩余時(shí)間預(yù)測(cè)準(zhǔn)確度.MAE值越低，表明預(yù)測(cè)的剩余時(shí)間越準(zhǔn)確.

式中，σ（k）代表軌跡前綴，f（σ（k））代表軌跡前綴剩余時(shí)間的預(yù)測(cè)值，RemainTime（σ，k）代表軌跡前綴剩余時(shí)間的真實(shí)值.

實(shí)驗(yàn)通過5折交叉驗(yàn)證的方式進(jìn)行有效評(píng)估，故將數(shù)據(jù)集隨機(jī)劃分為5 等份，每次將4 份數(shù)據(jù)選作訓(xùn)練集，1 份選作測(cè)試集，重復(fù)5 次實(shí)驗(yàn)，最后把每次實(shí)驗(yàn)MAE值的平均值作為最終評(píng)估結(jié)果.

5.3 實(shí)驗(yàn)結(jié)果

5.3.1 業(yè)務(wù)流程剩余時(shí)間預(yù)測(cè)準(zhǔn)確度對(duì)比分析

本文在5個(gè)事件日志數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2 所示.為驗(yàn)證以QRNN 為基準(zhǔn)的預(yù)測(cè)模型（即QRNN、引入雙向機(jī)制的Bi-QRNN、引入雙向機(jī)制和注意力機(jī)制的Att-Bi-QRNN）在剩余時(shí)間預(yù)測(cè)任務(wù)上的有效性，將與文獻(xiàn)［14］提出的基于注意力雙向循環(huán)神經(jīng)網(wǎng)絡(luò)剩余時(shí)間預(yù)測(cè)方法進(jìn)行比較，同時(shí)在預(yù)測(cè)模型順序結(jié)構(gòu)和隱層節(jié)點(diǎn)數(shù)的設(shè)置上與對(duì)比方法［14］保持一致.此外，Batch_size 設(shè)置為512，迭代150 輪，使用Adam優(yōu)化算法.

表2 業(yè)務(wù)流程剩余時(shí)間預(yù)測(cè)方法對(duì)比實(shí)驗(yàn)結(jié)果

對(duì)比QRNN、LSTM、GRU 三種預(yù)測(cè)模型（QRNN vs LSTM vs GRU、Bi-QRNN vs Bi-LSTM vs Bi-GRU、Att-Bi-QRNN vs Att-Bi-LSTM vs Att-Bi-GRU），QRNN 整體預(yù)測(cè)效果在5 個(gè)事件日志數(shù)據(jù)集中優(yōu)于LSTM和GRU，因此可認(rèn)為QRNN 比LSTM、GRU 更加適合剩余時(shí)間預(yù)測(cè)任務(wù).

引入雙向機(jī)制后，Bi-QRNN 相比于QRNN 在5 個(gè)事件日志數(shù)據(jù)集中獲得較低MAE 值，說明雙向機(jī)制可以有效提升事件之間的關(guān)聯(lián)性，達(dá)到提高預(yù)測(cè)效果的目的.而在Bi-QRNN 基礎(chǔ)上引入注意力機(jī)制后，Att-Bi-QRNN在各事件日志數(shù)據(jù)集上MAE值進(jìn)一步降低，表明注意力機(jī)制經(jīng)對(duì)不同位置事件信息權(quán)重的計(jì)算，有效區(qū)分出不同事件對(duì)剩余時(shí)間預(yù)測(cè)任務(wù)的影響，進(jìn)而獲取關(guān)鍵事件信息.此外，在同級(jí)相比的條件下，以QRNN為基準(zhǔn)的預(yù)測(cè)模型MAE 值在5 個(gè)事件日志數(shù)據(jù)集中比以LSTM和GRU 為基準(zhǔn)的預(yù)測(cè)模型平均下降近10%（Bi-QRNN vs Bi-LSTM、Bi-GRU）和4%（Att-Bi-QRNN vs Att-Bi-LSTM、Att-Bi-GRU），說明將Att-Bi-QRNN預(yù)測(cè)模型應(yīng)用于業(yè)務(wù)流程剩余時(shí)間預(yù)測(cè)任務(wù)具有一定的可行性.

相比于文獻(xiàn)［14］以LSTM和GRU 為基準(zhǔn)的最佳預(yù)測(cè)方法，本文方法（即Trans-Att-Bi-QRNN，以Att-Bi-QRNN作為基礎(chǔ)預(yù)測(cè)模型，融入基于不同長(zhǎng)度軌跡前綴訓(xùn)練迭代策略和基于Word2vec 的事件表示學(xué)習(xí)方法）在5 個(gè)不同的事件日志數(shù)據(jù)集中MAE 值平均下降近15%，表明本文提出的剩余時(shí)間預(yù)測(cè)方法在剩余時(shí)間預(yù)測(cè)任務(wù)中具備優(yōu)越性.

5.3.2 基于不同長(zhǎng)度軌跡前綴訓(xùn)練迭代策略分析

在實(shí)驗(yàn)中，以帶有注意力機(jī)制的雙向QRNN 為基準(zhǔn)模型（即Att-Bi-QRNN），并在此基礎(chǔ)上訓(xùn)練不同長(zhǎng)度軌跡前綴預(yù)測(cè)模型，具體訓(xùn)練方式如下：

（1）在不同長(zhǎng)度軌跡前綴數(shù)據(jù)集上單獨(dú)訓(xùn)練剩余時(shí)間預(yù)測(cè)模型，以Diff-Att-Bi-QRNN表示；

（2）在不同長(zhǎng)度軌跡前綴數(shù)據(jù)集上利用第4.3 節(jié)基于不同長(zhǎng)度軌跡前綴訓(xùn)練迭代策略訓(xùn)練多個(gè)剩余時(shí)間預(yù)測(cè)模型，以Trans-Att-Bi-QRNN表示；

兩種不同方法在5 個(gè)事件日志數(shù)據(jù)集上所獲得的業(yè)務(wù)流程剩余時(shí)間預(yù)測(cè)準(zhǔn)確度（MAE）如圖4（a）～（e）所示.

圖4 基于不同長(zhǎng)度軌跡前綴訓(xùn)練迭代策略效果對(duì)比圖

由圖4實(shí)驗(yàn)結(jié)果可知，Trans-Att-Bi-QRNN在各事件日志數(shù)據(jù)集中獲得的MAE 值優(yōu)于Diff-Att-Bi-QRNN，同時(shí)，對(duì)于BPIC_2012_O、BPIC_2012_W、Helpdesk、Hospital_Billing 事件日志數(shù)據(jù)集，Trans-Att-Bi-QRNN 在長(zhǎng)軌跡前綴上展現(xiàn)出一定優(yōu)勢(shì)，說明基于不同長(zhǎng)度軌跡前綴訓(xùn)練迭代策略可解決不同長(zhǎng)度軌跡前綴之間數(shù)量存在差異性的問題，提升了不同長(zhǎng)度軌跡前綴的關(guān)聯(lián)性.

為進(jìn)一步說明Trans-Att-Bi-QRNN 在剩余時(shí)間預(yù)測(cè)任務(wù)中的有效性，將Trans-Att-Bi-QRNN 及Diff-Att-Bi-QRNN 在不同長(zhǎng)度軌跡前綴數(shù)據(jù)集下取得的MAE 值進(jìn)行加權(quán)平均，結(jié)果如表3所示.

通過表3結(jié)果可知，Trans-Att-Bi-QRNN在各事件日志數(shù)據(jù)集中MAE 值相比于Diff-Att-Bi-QRNN 降低近13%，表明在引入基于不同長(zhǎng)度軌跡前綴訓(xùn)練迭代策略后，其對(duì)剩余時(shí)間預(yù)測(cè)效果呈現(xiàn)出正影響狀態(tài)，印證了基于不同長(zhǎng)度軌跡前綴訓(xùn)練迭代策略確有助于提升剩余時(shí)間預(yù)測(cè)準(zhǔn)確度.

表3 基于不同長(zhǎng)度軌跡前綴訓(xùn)練迭代策略實(shí)驗(yàn)結(jié)果

5.3.3 基于Word2vec的事件表示學(xué)習(xí)方法分析

在實(shí)驗(yàn)中，以Trans-Att-Bi-QRNN 為基礎(chǔ)模型，分別將基于Word2vec 的事件表示方法得到的向量（表示為Trans-Att-Bi-QRNN-Vector）及傳統(tǒng)one-hot 編碼（表示為Trans-Att-Bi-QRNN-NoVector）得到的向量作為預(yù)測(cè)模型的輸入，以驗(yàn)證事件表示學(xué)習(xí)方法對(duì)剩余時(shí)間預(yù)測(cè)效果的影響.

圖5 展示了兩種不同方法的MAE 值.可以看出，Trans-Att-Bi-QRNN-Vector 在5 個(gè)事件日志數(shù)據(jù)集上的MAE值比Trans-Att-Bi-QRNN-NoVector 的MAE值低3%，因此可以認(rèn)為基于Word2vec 的事件表示學(xué)習(xí)方法對(duì)提升業(yè)務(wù)流程剩余時(shí)間預(yù)測(cè)效果具有積極的作用.

圖5 基于Word2vec的事件表示學(xué)習(xí)方法效果對(duì)比圖

5.3.4 時(shí)間性能對(duì)比分析

本節(jié)在5個(gè)事件日志數(shù)據(jù)集上對(duì)各預(yù)測(cè)模型的訓(xùn)練時(shí)間（單位：秒）進(jìn)行了對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖6（a）～（e）所示.在實(shí)驗(yàn)過程中，預(yù)測(cè)模型在不同方法下采用相同模型參數(shù)：迭代次數(shù)為150、學(xué)習(xí)率為0.01、Batch_size為512、輸入事件向量維度為3、神經(jīng)元隱向量維度為5.

圖6 預(yù)測(cè)模型訓(xùn)練時(shí)間對(duì)比圖

由實(shí)驗(yàn)結(jié)果可知，在有無基于Word2vec 的事件表示學(xué)習(xí)方法和基于不同長(zhǎng)度軌跡前綴訓(xùn)練迭代策略的條件下，對(duì)于BPIC_2012_A，以QRNN 為基準(zhǔn)的預(yù)測(cè)模型訓(xùn)練時(shí)間比以LSTM和GRU 為基準(zhǔn)的預(yù)測(cè)模型訓(xùn)練時(shí)間平均縮短11%～18%；對(duì)于BPIC_2012_O，以QRNN為基準(zhǔn)的預(yù)測(cè)模型訓(xùn)練時(shí)間比以LSTM和GRU 為基準(zhǔn)的預(yù)測(cè)模型訓(xùn)練時(shí)間平均縮短19%～29%；對(duì)于BPIC_2012_W，以QRNN 為基準(zhǔn)的預(yù)測(cè)模型訓(xùn)練時(shí)間比以LSTM和GRU 為基準(zhǔn)的預(yù)測(cè)模型訓(xùn)練時(shí)間平均縮短20%～35%；對(duì)于Helpdesk，以QRNN 為基準(zhǔn)的預(yù)測(cè)模型訓(xùn)練時(shí)間比以LSTM和GRU 為基準(zhǔn)的預(yù)測(cè)模型訓(xùn)練時(shí)間平均縮短13%～20%；對(duì)于Hospital_Billing，以QRNN為基準(zhǔn)的預(yù)測(cè)模型訓(xùn)練時(shí)間比以LSTM和GRU 為基準(zhǔn)的預(yù)測(cè)模型訓(xùn)練時(shí)間平均縮短15%～25%.

綜上所述，以QRNN 為基準(zhǔn)的預(yù)測(cè)模型相比于以LSTM和GRU 為基準(zhǔn)的預(yù)測(cè)模型在5 個(gè)事件日志數(shù)據(jù)集中訓(xùn)練速度平均縮短了約26%，說明本文使用的預(yù)測(cè)模型具備更快的系統(tǒng)運(yùn)行速度，從而使預(yù)測(cè)模型的整體性能得到有效提升.

綜合分析5 個(gè)事件日志數(shù)據(jù)集在各項(xiàng)實(shí)驗(yàn)中的結(jié)果可知，相比于LSTM、Bi-LSTM、Att-Bi-LSTM、GRU、Bi-GRU、Att-Bi-GRU，所提方法無論是在剩余時(shí)間預(yù)測(cè)效果，還是在預(yù)測(cè)模型訓(xùn)練速度，都取得較優(yōu)的實(shí)驗(yàn)結(jié)果，說明該方法在剩余時(shí)間預(yù)測(cè)任務(wù)中存在一定優(yōu)勢(shì).

另外，表4 給出9 種剩余時(shí)間預(yù)測(cè)模型的參數(shù)規(guī)模，可見在同級(jí)相比的條件下，QRNN 預(yù)測(cè)模型參數(shù)量明顯少于LSTM和GRU預(yù)測(cè)模型，說明QRNN預(yù)測(cè)模型在沒有明顯增加網(wǎng)絡(luò)參數(shù)的條件下進(jìn)一步提升了業(yè)務(wù)流程剩余時(shí)間預(yù)測(cè)性能.

表4 各預(yù)測(cè)模型參數(shù)規(guī)模

6 結(jié)論

本文提出一種基于雙向準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的業(yè)務(wù)流程剩余時(shí)間預(yù)測(cè)方法.該方法采用處理序列數(shù)據(jù)更佳的準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)，有效克服傳統(tǒng)LSTM因缺少并行計(jì)算能力而導(dǎo)致訓(xùn)練緩慢的問題.同時(shí)，通過引入雙向機(jī)制和注意力機(jī)制進(jìn)一步提升了上下文信息之間的聯(lián)系以及重要特征對(duì)預(yù)測(cè)結(jié)果的影響.此外，經(jīng)使用基于不同長(zhǎng)度軌跡前綴訓(xùn)練迭代策略和基于Word2vec 的事件表示學(xué)習(xí)方法，不僅加強(qiáng)了業(yè)務(wù)流程剩余時(shí)間預(yù)測(cè)的針對(duì)性，而且還為預(yù)測(cè)模型提供了高質(zhì)量的輸入事件向量.由實(shí)驗(yàn)結(jié)果表明，本文方法在預(yù)測(cè)效果以及訓(xùn)練時(shí)間上明顯優(yōu)于已有研究.

然而，所提方法只是針對(duì)流程實(shí)例中軌跡信息、事件信息進(jìn)行剩余時(shí)間預(yù)測(cè)，而流程實(shí)例中還包含執(zhí)行者、資源等額外屬性，因此可在當(dāng)前工作的基礎(chǔ)上增加其他屬性，以驗(yàn)證多屬性對(duì)剩余時(shí)間預(yù)測(cè)效果的影響.此外，作為一種深度學(xué)習(xí)方法，該方法雖然獲得較優(yōu)的預(yù)測(cè)效果，但可解釋性較差，即使部分研究者開始著手于此方面的研究，但這些方法對(duì)深度學(xué)習(xí)技術(shù)應(yīng)用于剩余時(shí)間預(yù)測(cè)任務(wù)的解釋效果并不是很理想，因此如何提高剩余時(shí)間預(yù)測(cè)任務(wù)的可解釋性，是今后一項(xiàng)重要的研究工作.