摘 要：為解決現(xiàn)有日志異常檢測方法往往只關(guān)注定量關(guān)系模式或順序模式的單一特征，忽略了日志時間結(jié)構(gòu)關(guān)系和不同特征之間的相互聯(lián)系，導(dǎo)致較高的異常漏檢率和誤報率問題，提出基于日志時間圖注意力網(wǎng)絡(luò)的日志異常檢測方法。首先，通過設(shè)計日志語義和時間結(jié)構(gòu)聯(lián)合特征提取模塊構(gòu)建日志時間圖，有效整合日志的時間結(jié)構(gòu)關(guān)系和語義信息。然后，構(gòu)造時間關(guān)系圖注意力網(wǎng)絡(luò)，利用圖結(jié)構(gòu)描述日志間的時間結(jié)構(gòu)關(guān)系，自適應(yīng)學(xué)習(xí)不同日志之間的重要性，進(jìn)行異常檢測。最后，使用三個公共數(shù)據(jù)集驗證模型的有效性。大量實驗結(jié)果表明，所提方法能夠有效捕獲日志時間結(jié)構(gòu)關(guān)系，提高異常檢測精度。

關(guān)鍵詞：異常檢測； 日志分析； 圖注意力網(wǎng)絡(luò)； 網(wǎng)絡(luò)安全； 日志時間圖

中圖分類號：TP181文獻(xiàn)標(biāo)志碼： A文章編號：1001－3695（2024）04－011－1034－07

doi：10.19734/j.issn.1001－3695.2023.07.0365

TRGATLog：log anomaly detection method based onlog time relation graph attention network

Chen Xu Zhang Shuo Jing Yongjun Wang Shuyangb

Abstract：In order to solve the problem that the existing log anomaly detection methods tend to focus only on the single feature of the quantitative relationship mode or the sequential mode， ignoring the relationship of the log time structure and the inter－relation between different features， resulting in a high error detection rate and 1 positive rate， this paper proposed a log anomaly detection method based on the log time graph attention network. Firstly， this paper constructed a log time graph by designing a joint feature extraction module of log semantics and time structure， which effectively integrated the time structure relationship and semantic information of log. Secondly， it constructed the time relationship graph attention network， and used the graph structure to describe the time structure relationship between logs， which could adaptively learn the importance of different logs and carry out anomaly detection. Finally， it used three public datasets to verify the effectiveness of the model. Extensive experiments results indicate that the proposed method is able to effectively capture the temporal structure relationships in the logs， thereby improving the accuracy of anomaly detection.

Key words：anomaly detection; log analysis; graph attention network; network security; time relation graph

0 引言

日志通常以半結(jié)構(gòu)化文本字符串的形式記錄系統(tǒng)運行期間的變量信息和程序執(zhí)行狀態(tài)。通過日志異常檢測，運維人員可以定位異常并進(jìn)行原因分析，從而減少系統(tǒng)出錯時間，保證系統(tǒng)的正常運行。

隨著系統(tǒng)復(fù)雜性的增加，日志規(guī)模隨之?dāng)U大，日志中的關(guān)鍵字可能存在多義性，即一個關(guān)鍵字可能有多個不同的含義，這可能導(dǎo)致基于關(guān)鍵字的方法產(chǎn)生歧義或錯誤的匹配結(jié)果，從而使傳統(tǒng)的關(guān)鍵字搜索或正則匹配方法的效率降低，錯誤率增高［1］。近年來，許多學(xué)者提出基于機(jī)器學(xué)習(xí)的方法，如支持向量機(jī)（support vector machine，SVM）［2］、主成分分析（principal component analysis，PCA）［3］等。這些方法主要依賴于日志序列的數(shù)量特征來識別異常，但它們并沒有考慮日志文本的語義信息，容易將新類型模板錯誤地標(biāo)記為異常，導(dǎo)致較高的誤報率。LogAnomaly［4］使用word2vec［5］詞嵌入技術(shù)獲取日志模板的嵌入向量。RobustLog［6］使用FastText［7］算法，將每個日志模板的單詞映射到單詞向量中，并結(jié)合長短時記憶網(wǎng)絡(luò)（long short term memory network，LSTM）［8］來檢測異常。LogEncoder［9］利用預(yù)先訓(xùn)練的模型來獲取每個日志事件的語義向量。盡管這些方法有效解決了語義信息丟失的問題，但方法本身過于依賴日志解析，一旦日志解析錯誤，將導(dǎo)致檢測效果不穩(wěn)定，甚至失效。因此，許多學(xué)者采用直接對原始日志進(jìn)行編碼的方法，通過文本分類來進(jìn)行異常檢測。如NeuralLog［10］和LogBERT［11］提取原始日志消息的語義并將其表示為語義向量，使用基于Transformer［12］或BERT［13］的分類模型進(jìn)行異常檢測，有效避免解析錯誤帶來的影響。這類異常檢測方法主要是提取日志語義特征，再通過日志的位置編碼，捕捉日志序列中的順序關(guān)系。然而，這些方法忽略了日志的時間結(jié)構(gòu)關(guān)系，例如日志之間的時間間隔。因此，它們無法有效地判斷與日志相關(guān)的邏輯和時間異常，從而導(dǎo)致誤報率增高和性能不穩(wěn)定。

根據(jù)現(xiàn)有文獻(xiàn)以及日志的特點，無論是基于序列還是日志語義的異常檢測方法，都試圖提取日志內(nèi)部語義特征和外部全局相關(guān)性，以提高異常檢測的準(zhǔn)確率。然而，現(xiàn)有方法仍存在一些不足。首先，由于系統(tǒng)按時間順序記錄日志，而時間信息揭示了日志之間的相關(guān)性和依賴性，通過分析日志的時間結(jié)構(gòu)關(guān)系，可以了解日志發(fā)生的順序、間隔以及日志之間的時間模式。但現(xiàn)有方法未充分挖掘日志的時間結(jié)構(gòu)關(guān)系，可能導(dǎo)致無法發(fā)現(xiàn)全局上潛在的時間異常或異常事件之間的復(fù)雜關(guān)系。其次，日志異常通常是由時間和語義多種特征共同決定的。如果將不同特征單獨處理，可能會導(dǎo)致無法捕捉到與其他特征相關(guān)的異常，從而降低檢測的準(zhǔn)確率。針對上述問題，本文提出了基于日志時間圖注意力網(wǎng)絡(luò)的日志異常檢測方法（time relation graph attention network for log anomaly detection，TRGALog），其主要貢獻(xiàn)有：

a）設(shè)計了日志語義和時間結(jié)構(gòu)聯(lián)合特征提取模塊（log semantic/temporal structure joint feature extraction module，LS/TSJFE module）以構(gòu)建日志時間圖，通過日志語義特征提取模塊提取日志語義特征，并使用時間結(jié)構(gòu)特征提取模塊提取日志間時間間隔信息。最后，通過構(gòu)建日志時間圖，充分獲取日志的語義和時間結(jié)構(gòu)特征，增強日志特征間的關(guān)聯(lián)性，提高模型魯棒性和異常檢測的準(zhǔn)確性。

b）提出了一種基于圖的異常檢測方法TRGATLog。該方法使用日志時間圖注意力網(wǎng)絡(luò)（time relation graph attention network，TRGATNet）聚合節(jié)點信息，在匯聚特征時，將內(nèi)容相似性和時間間隔作為權(quán)重，控制鄰接節(jié)點特征對當(dāng)前節(jié)點的重要性，實現(xiàn)了較高的精度和穩(wěn)定的檢測性能。

c）使用BGL、Thunderbird和HDFS三個公共數(shù)據(jù)集來評估TRGATLog的有效性，實驗結(jié)果表明，TRGATLog檢測效果優(yōu)于基線模型，驗證了其在日志異常檢測中的有效性。

1 相關(guān)工作

傳統(tǒng)的日志異常檢測方法使用關(guān)鍵字或正則表達(dá)式來檢測異常日志。隨著機(jī)器學(xué)習(xí)的發(fā)展，一些研究將日志序列構(gòu)建成事件序列或數(shù)量序列，再通過機(jī)器學(xué)習(xí)的方法檢測異常。例如，Xu等人［3］利用PCA，通過計數(shù)日志模板生成兩個日志計數(shù)向量的子空間，并通過計算向量與空間的距離來檢測異常。自Du等人［14］提出DeepLog以來，基于序列的深度學(xué)習(xí)建模逐漸成為研究的熱點，DeepLog將異常檢測視為日志鍵的多分類問題，通過LSTM模型的預(yù)測結(jié)果來檢測異常。Yang等人［15］提出PLELog，該方法利用基于注意力機(jī)制的門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)來進(jìn)行異常檢測。Meng等人［4］通過構(gòu)建正負(fù)詞來改進(jìn)DeepLog，以提高預(yù)測效率。Le等人［10］通過將原始日志表示為語義向量，再通過基于Transformer的分類模型檢測異常。

近年來，圖神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于各個領(lǐng)域，如社會網(wǎng)絡(luò)分析［16］、網(wǎng)絡(luò)入侵檢測［17］等。Zhang等人［18］使用圖來描述微服務(wù)系統(tǒng)內(nèi)部的交互以及嵌入在該結(jié)構(gòu)中的日志事件，用于檢測微服務(wù)日志中的異常。圖注意力網(wǎng)絡(luò)（graph attention network，GAT）［19］具有自動獲取每個節(jié)點鄰域特征，為不同節(jié)點分配不同權(quán)重的優(yōu)勢。GAT的相關(guān)變體在時間序列建模相關(guān)的任務(wù)中取得了進(jìn)展，例如交通流量預(yù)測［20～22］和時間序列預(yù)測［23］。很多研究也已經(jīng)嘗試將GAT應(yīng)用于各種文本挖掘任務(wù)。例如，Zhang等人［24］通過GAT學(xué)習(xí)圖的結(jié)構(gòu)信息和節(jié)點之間的關(guān)聯(lián)信息，增強文本分類能力。

然而，現(xiàn)有方法在挖掘語義信息和時間結(jié)構(gòu)關(guān)系方面仍有局限，忽略了日志時間結(jié)構(gòu)關(guān)系和不同特征之間的相互聯(lián)系，無法有效判斷日志相關(guān)的邏輯和時間異常。為解決這一問題，本文提出了基于日志時間圖注意力網(wǎng)絡(luò)的日志異常檢測方法TRGATLog。

2 TRGATLog模型

TRGATLog結(jié)構(gòu)如圖1所示。首先，對原始的日志序列進(jìn)行預(yù)處理，將序列中的單詞和數(shù)字包含的冗余信息進(jìn)行剪枝，并通過word2vec獲取處理后的日志詞的語義向量，再通過詞級雙向門控循環(huán)單元（word－level bidirectional gated recurrent unit，word－level BI－GRU）和雙向注意力（bidirectional attention，BI－Attention）捕獲日志語句中單詞間語義和詞序依賴關(guān)系，同時提取日志時間特征，計算日志時間差集合。然后，設(shè)計日志語義和時間結(jié)構(gòu)聯(lián)合特征提取模塊（LS/TSJFE），通過日志時間圖對日志語義和時間結(jié)構(gòu)聯(lián)合建模，將日志語義向量構(gòu)建成日志時間圖，有效整合日志時間結(jié)構(gòu)和語義信息。最后，在異常檢測階段，利用時間關(guān)系圖注意力網(wǎng)絡(luò)，自適應(yīng)地學(xué)習(xí)不同日志事件的重要性，判斷異常節(jié)點，并進(jìn)行異常檢測。

2.1 預(yù)處理

日志數(shù)據(jù)詳細(xì)記錄了系統(tǒng)的狀態(tài)和性能指標(biāo)，但在日志數(shù)據(jù)采集過程中，會不可避免地引入噪聲，從而導(dǎo)致日志異常檢測困難［9］。因此本文對原始日志進(jìn)行預(yù)處理，去除冗余信息和潛在噪聲，能有效降低日志數(shù)據(jù)的不穩(wěn)定性。

a） 如圖1中預(yù)處理所示，首先將日志語句中根據(jù)駝峰規(guī)則串連起來的某些單詞字段進(jìn)行拆分，拆分成具有實際意義的單個單詞，并將大寫字母更改為小寫字母，如將字段“DataNode”拆成“data”和“node”，再刪除定界符、標(biāo)點符號等無意義的特殊字符。

b）考慮到數(shù)字變量在日志中可以表示各種信息，如計數(shù)、IP、版本號、錯誤代碼等，可以幫助完整地理解日志的語義和信息。為了充分挖掘日志的語義信息，提高異常的識別能力，本文保留了去除特殊符號后的數(shù)字變量，以提高日志語義的完整性。如原始日志中數(shù)字變量“/10.251.71.16”，經(jīng)過預(yù)處理后為“10 251 71 16”。

最后，將處理后的日志數(shù)據(jù)通過word2vec方法，將每個詞轉(zhuǎn)換為固定維數(shù)的詞向量 W ci（i∈［1，2，…，p］），其中i表示日志中第i個詞，p表示一條日志語義的單詞總數(shù)，然后根據(jù)原始詞句中的順序?qū)γ總€詞向量進(jìn)行位置編碼，生成句子的表示向量 C ={ W c W c2，…， W cP}。

2.2 日志語義與時間結(jié)構(gòu)聯(lián)合特征提取模塊

現(xiàn)有特征提取方法往往針對日志語義，忽略了日志的時間結(jié)構(gòu)，為了充分挖掘日志的語義信息與時間結(jié)構(gòu)特征，本文設(shè)計了日志語義和時間結(jié)構(gòu)聯(lián)合特征提取模塊對日志語義信息和時間結(jié)構(gòu)特征進(jìn)行建模。首先構(gòu)造了LSFE module提取語義特征，其次通過TSFE module對時間結(jié)構(gòu)進(jìn)行提取，最后通過構(gòu)建日志時間圖對日志語義信息和時間結(jié)構(gòu)信息進(jìn)行聯(lián)合建模，使模型可以充分提取日志語義和時間結(jié)構(gòu)特征，以及特征之間的相互作用關(guān)系，提高模型的異常捕獲能力。

2.2.1 日志語義特征提取模塊（LSFE module）

日志語義特征提取是日志異常檢測的重要部分，現(xiàn)有方法通常采用詞嵌入方法獲取日志的向量表示，捕捉日志中的關(guān)鍵信息，但忽略了日志序列中鄰域單詞之間的信息交互和詞序潛在依賴關(guān)系，難以理解日志的語義信息。因此，為了有效提取鄰域單詞間的詞序潛在關(guān)系，本文設(shè)計了LSFE module，該模塊通過word－level BI－GRU和BI－Attention捕獲日志中相鄰單詞之間的局部語義連接和詞序依賴關(guān)系，便于理解日志語義信息，提高異常檢測的準(zhǔn)確性。

日志語義特征提取模塊結(jié)構(gòu)如圖1（a）所示。首先，word－level BI－GRU層通過雙向GRU對預(yù)處理后的表示向量進(jìn)行建模，提取詞句語義信息和詞序依賴關(guān)系，然后通過BI－Attention層學(xué)習(xí)每個日志單詞的重要性，對重要信息進(jìn)行高權(quán)重分配，非重要信息進(jìn)行低權(quán)重分配。

為了有效提取日志單詞間的詞序潛在關(guān)系，word－level BI－GRU使用一個正向GRU和一個反向GRU，從正反兩個方向?qū)卧~序列進(jìn)行建模，使日志中詞的信息可以雙向傳播。word－level BIGRU的輸出受前向狀態(tài)和后向狀態(tài)共同影響，結(jié)構(gòu)如圖2所示。第i個詞 w ci的上下文表示rwi的計算公式為

此外，考慮到日志中的每個單詞對異常檢測并不是同等重要的，為了從每條日志中自動學(xué)習(xí)每個日志單詞的重要性，對單詞使用BI－Attention作為第二層。首先計算每個單詞的注意力分?jǐn)?shù)，并對它使用softmax函數(shù)得到最終的awi。公式如下：

2.2.2 時間結(jié)構(gòu)特征提取模塊（TSFE module）

日志全局的時間結(jié)構(gòu)可以反映日志之間的時間間隔、持續(xù)時間以及日志序列的規(guī)律，有助于檢測異常。然而現(xiàn)有異常檢測方法往往僅考慮與單個日志相鄰的時間關(guān)系，忽略了日志全局的時間結(jié)構(gòu)關(guān)系。由于異常檢測通常需要考慮日志數(shù)據(jù)的整體模式和趨勢，僅關(guān)注單個日志的時間關(guān)系難以捕捉到整個日志數(shù)據(jù)的時間結(jié)構(gòu)，可能導(dǎo)致較高的異常漏檢率和誤報率。此外，考慮到在復(fù)雜的系統(tǒng)環(huán)境中，異?？赡軙诙鄠€日志之間相互影響和傳播，而全局時間結(jié)構(gòu)可以幫助發(fā)現(xiàn)跨多個日志之間的異常關(guān)系。因此，為了建模日志數(shù)據(jù)的全局時間結(jié)構(gòu)關(guān)系，識別跨多個日志的異常，提高異常檢測的準(zhǔn)確性和魯棒性，本文設(shè)計了時間特征提取模塊（TSFE module），提取日志間的時間結(jié)構(gòu)特征。該模塊通過計算日志間的時間差集合，有效提取日志間的時間結(jié)構(gòu)特征，以構(gòu)建日志時間圖。

TSFE module結(jié)構(gòu)如圖1（b）所示。首先，日志中的時間序列由日志條目中的時間戳組成，提取每條日志的時間戳，表示為 T ={t1，…，tp-1，tp}。然后，為了提取日志的時間間隔的分布特征、識別異常時間模式以及評估日志之間的時間相關(guān)性。本文通過遍歷所有日志條目的時間戳，并計算它們之間的差值，以生成時間差集合tk，j=tj-tk（j＞k），其中k，j表示第k和j條日志。 最后，將得到的時間差進(jìn)行整合，得到最終的日志時間差集合T′，以構(gòu)建日志時間圖，公式如下：

在實際系統(tǒng)日志中，日志可能會在極短的時間間隔內(nèi)發(fā)生，從而產(chǎn)生大量接近0的時間戳差值。如果直接將這些原始的時間戳差值用于建模，可能會導(dǎo)致大量的零值，引發(fā)數(shù)據(jù)稀疏性問題，影響模型的檢測效果。因此，本文通過最小最大歸一化策略，將所有日志時間差集合中的時間戳差值都轉(zhuǎn)換至一個固定的區(qū)間［0，1］，旨在維護(hù)原始差值的相對大小，并有效降低數(shù)據(jù)稀疏性，公式如下：

其中：tmax為時間戳差值的最大值；tmin為時間戳差值的最小值；t是原始的時間戳差值；t是歸一化后的時間戳差值。

2.2.3 日志時間圖構(gòu)建

日志的異常通常由時間和語義多種特征共同決定，而現(xiàn)有方法對于多個特征的處理通常是將不同特征提取之后，進(jìn)行簡單的向量拼接，忽略了日志不同特征之間的關(guān)聯(lián)性，可能會錯過與其他特征相關(guān)的異常情況，導(dǎo)致難以檢測出潛在的異常。為充分提取日志語義和時間結(jié)構(gòu)特征，以及特征之間的相互作用關(guān)系，本文將日志序列構(gòu)建成全連接的日志時間圖，利用圖中豐富的空間結(jié)構(gòu)、節(jié)點語義特征和時間特征之間的相互作用，更好地建模日志的時間結(jié)構(gòu)關(guān)系，增強日志特征間的關(guān)聯(lián)性，提高模型的異常識別能力。

首先，將每個日志條目的節(jié)點特征向量組成一個節(jié)點集合，作為日志時間圖的頂點，記作V={n1，n2，…，nN}，其中N表示節(jié)點的數(shù)量。節(jié)點特征是通過日志語義特征提取學(xué)習(xí)的日志語義向量，輸入網(wǎng)絡(luò)的節(jié)點向量表示為 log ={log1，log2，…，logN}。然后，根據(jù)日志之間的時間間隔構(gòu)建邊集合。對于每一對節(jié)點（ni，nj），時間結(jié)構(gòu)特征提取模塊計算它們之間的時間間隔，并將時間間隔構(gòu)成邊集合E={e1，e2，…，eM}，其中M表示邊的數(shù)量。最后，使用節(jié)點集合V和邊集合E，構(gòu)建一個全連接的圖結(jié)構(gòu)。全連接圖中的每個日志節(jié)點都與其他節(jié)點相連，邊表示節(jié)點之間的時間間隔。

2.3 時間關(guān)系圖注意力網(wǎng)絡(luò)（TRGATNet）

由于日志整體空間結(jié)構(gòu)復(fù)雜，現(xiàn)有異常檢測方法難以提取日志之間的時間結(jié)構(gòu)信息，導(dǎo)致日志異常檢測存在漏洞，而圖注意力網(wǎng)絡(luò)通過相對較淺的網(wǎng)絡(luò)結(jié)構(gòu)，捕捉日志節(jié)點之間的交互信息和節(jié)點本身的語義特征信息，豐富日志空間結(jié)構(gòu)屬性，從而反映節(jié)點之間的關(guān)系，并判斷出異常的日志節(jié)點。所以本文設(shè)計了時間關(guān)系圖注意力網(wǎng)絡(luò)TRGATNet，如圖1（c）所示，通過在圖注意力網(wǎng)絡(luò)中引入時間關(guān)系來捕獲日志之間的時間結(jié)構(gòu)信息，對日志時間圖中每個日志節(jié)點進(jìn)行信息聚合，獲取豐富的空間結(jié)構(gòu)屬性和日志間的時間結(jié)構(gòu)信息，使得模型在異常檢測過程中不僅關(guān)注了日志的語義信息，而且充分考慮了時間信息，從而提高了檢測精度和穩(wěn)定性。

如圖1（d）所示，TRGATNet在計算日志節(jié)點間的信息聚合時考慮日志之間的語義相似性和時間間隔，并將它們的聯(lián)合權(quán)重作為鄰居節(jié)點向中心節(jié)點匯聚時的權(quán)重。

在嵌入空間中，如果日志的語義相似，那么它們的位置通常非常接近。為了測量這種接近度，本文通過計算圖中變換后的節(jié)點向量的點積來計算日志的嵌入相似度esemantics，公式如下：

其中： log k和 log j是任意兩個節(jié)點的日志語義向量，為了實現(xiàn)節(jié)點特征的自適應(yīng)線性組合，突出重要節(jié)點的信息，并減弱不重要節(jié)點的影響，以提高日志時間圖的表示能力，本文引入圖變換矩陣 W o。

時間間隔可以用來確定節(jié)點之間的信息傳遞和注意力權(quán)重的計算。較短的時間間隔表示節(jié)點之間的關(guān)聯(lián)緊密，而較長的時間間隔表示節(jié)點之間的關(guān)聯(lián)松散。TRGATNet通過結(jié)合時間間隔信息，可以更好地捕捉日志中的時間結(jié)構(gòu)關(guān)系，提高對日志序列的建模能力。因此，本文將日志時間特征整合到構(gòu)建的日志時間圖中，捕獲日志中的時間結(jié)構(gòu)關(guān)系，計算日志的時間間隔并將其投影到圖嵌入空間中，公示如下：

其中： log j為第j條日志的節(jié)點向量表示；Nj為第j個日志節(jié)點的鄰居節(jié)點集合； W c表示對輸入向量進(jìn)行線性變換的參數(shù)矩陣；e（ log k， log j，tk，j）表示連接節(jié)點 log k和 log j的邊的權(quán)重，它是一個衰減因子，控制每個鄰居節(jié)點對中心節(jié)點的相對貢獻(xiàn)；∏表示向量拼接；σ表示激活函數(shù)。

圖注意力網(wǎng)絡(luò)進(jìn)行特征提取后，需要輸入到輸出層的特征向量的表達(dá)公式為

3 實驗設(shè)計與結(jié)果分析

3.1 實驗設(shè)置

a）實驗環(huán)境。實驗室硬件環(huán)境服務(wù)器Intel Xeon Gold 6154 CPU，計算機(jī)內(nèi)存大小為256 GB，顯卡Quadro RTX 6000，實驗環(huán)境框架采用PyTorch，Python 3.8.1，CUDA版本為11.1。

b）參數(shù)設(shè)置。本文使用早停法（early stopping）來監(jiān)督模型的訓(xùn)練過程。在圖注意力網(wǎng)絡(luò)模塊中，使用四層圖注意力網(wǎng)絡(luò)，在計算注意力分值時，為了平衡模型的計算開銷和準(zhǔn)確率，僅計算節(jié)點的一階鄰居，在每一層都采用了四頭注意力機(jī)制來產(chǎn)生節(jié)點的輸出，使用Adam作為神經(jīng)網(wǎng)絡(luò)的優(yōu)化器，學(xué)習(xí)率為1E-3，訓(xùn)練周期為100 epoch，使用交叉熵作為損失函數(shù)。

3.2 數(shù)據(jù)集

本文選擇了Loghub［25］上HDFS、BGL和Thunderbird三個開放的日志數(shù)據(jù)集，用于評估HBGATLog的有效性，其中，每個數(shù)據(jù)集的60%作為訓(xùn)練集，20%作為驗證集，剩余的20%作為測試集。數(shù)據(jù)集的詳細(xì)描述如下：

a）HDFS數(shù)據(jù)集是通過在亞馬遜的203個EC2節(jié)點上運行，基于Hadoop的MapReduce作業(yè)產(chǎn)生，并由專家進(jìn)行標(biāo)記，包含11 175 629條日志消息，其中約2.93%表示系統(tǒng)異常［25］。

b）BGL數(shù)據(jù)集由勞倫斯利弗莫爾國家實驗室的 BlueGene/L 超級計算機(jī)系統(tǒng)記錄，包含4 747 963條日志信息，其中有348 460條異常日志［25］。

c）Thunderbird數(shù)據(jù)集是從桑迪亞國家實驗室（SNL）的Thunderbird超級計算機(jī)收集的日志數(shù)據(jù)集［25］。本文隨機(jī)將1 000 000條連續(xù)日志行用于實驗，其中包含4 690條異常日志消息（0.47%）。

3.3 評估指標(biāo)

為了評估本文方法的有效性，實驗評價采用精度（precision）、召回率（recall）和F1值三個評價指標(biāo)，指標(biāo)計算公式具體如下：

a）precision。模型在所有檢測到的異常日志序列中正確檢測到的異常日志序列的百分比，公式如下：

其中：TP表示異常數(shù)據(jù)被正確地檢測為異常的數(shù)量；TN表示正常數(shù)據(jù)被正確地檢測為正常的數(shù)量；FP表示異常數(shù)據(jù)被錯誤地檢測為正常的數(shù)量；FN表示正常數(shù)據(jù)被錯誤地檢測為異常的數(shù)量。

3.4 對比實驗

本文設(shè)計兩組對比實驗來驗證TRGATLog模型的有效性。對比實驗1：為了驗證TRGATLog模型的日志異常檢測性能，以兩種機(jī)器學(xué)習(xí)方法SVM［2］和PCA［3］、五種先進(jìn)深度學(xué)習(xí)方法DeepLog［14］、RobustLog［6］、LogAnomaly［4］、LogBERT［11］、NeuralLog［10］作為對比模型，其中部分方法需要日志解析器，本文使用目前最流行的方法Drain［26］作為日志解析器，并在BGL、Thunderbird和HDFS數(shù)據(jù)集上進(jìn)行25次對比實驗，取平均效果。對比實驗2：為了驗證在不同日志劃分條件下TRGATLog模型的穩(wěn)定性，選取Deeplog、LogAnomaly、RobustLog作為對比實驗，對BGL和HDFS數(shù)據(jù)集按照日志個數(shù)選擇了20、100、200和時間段0.5 h、1 h作為滑動窗口的大小進(jìn)行劃分，并分別進(jìn)行了25次對比實驗，取平均效果。

3.4.1對比實驗1：不同模型的性能對比

為了驗證TRGATLog模型的日志異常檢測性能，將該模型與先進(jìn)的七種異常檢測模型在相同數(shù)據(jù)集上進(jìn)行對比，實驗結(jié)果如表1所示（加粗字體表示相同指標(biāo)下的最優(yōu)結(jié)果）。如表1所示，TRGATLog在BGL、Thunderbird和HDFS數(shù)據(jù)集上F1分?jǐn)?shù)分別為0.999、0.981和0.989，且在三個數(shù)據(jù)集上的召回率為1.000，說明TRGATLog可以有效識別異常。雖然SVM和PCA可以實現(xiàn)極高的精度，但忽略了日志中的語義信息，無法平衡精度和召回率，導(dǎo)致F1值僅達(dá)到0.5左右。DeepLog和RobustLog很大程度上會受到日志解析準(zhǔn)確性的影響，當(dāng)日志解析不準(zhǔn)確時，這些方法會表現(xiàn)不佳。RobustLog通過詞嵌入技術(shù)將日志模板轉(zhuǎn)換為日志模板語義向量，提高了對于新增日志的魯棒性。但是，與TRGATLog相比，TRGATLog提取日志語義信息時不依賴日志解析，并考慮了日志序列中鄰域單詞之間的信息交互和詞序潛在依賴關(guān)系，更好地捕獲了日志的語義信息，TRGATLog的F1分?jǐn)?shù)在三個數(shù)據(jù)集上比RobustLog分別提高了3.31%、3.59%和3.34%。LogAnomaly需要根據(jù)templates構(gòu)建一個正反義詞的集合，但是在Thunderbird數(shù)據(jù)集上很難構(gòu)建有意義的單詞集合，導(dǎo)致F1值較低，僅有0.928。雖然LogBERT和NeuralLog直接將原始日志消息轉(zhuǎn)換為語義向量，避免日志解析錯誤，但與TRGATLog相比，只分析了日志上下文關(guān)系，忽略了日志間的時間結(jié)構(gòu)關(guān)系。TRGATLog使用圖結(jié)構(gòu)捕獲了日志序列的語義信息和時間結(jié)構(gòu)信息，利用圖結(jié)構(gòu)信息而不依賴順序位置編碼，使其在三種數(shù)據(jù)集上都得到了更高的F1值，保持在0.98以上。實驗表明，TRGATLog能有效提取日志的語義信息和時間結(jié)構(gòu)關(guān)系，解決異常漏檢率較高和異常誤報的問題，有著更好的性能和可擴(kuò)展性。

3.4.2 對比實驗 2：模型的穩(wěn)定性能對比

為了驗證在不同日志劃分條件下TRGATLog模型的穩(wěn)定性，本文按照模型特點選取了Deeplog、LogAnomaly和RobustLog作為對比實驗，在不同日志劃分方式下，對模型效果進(jìn)行對比。由于Thunderbird數(shù)據(jù)集沒有標(biāo)識符來分組日志數(shù)據(jù)，所以這部分實驗不選擇Thunderbird數(shù)據(jù)集。

實驗結(jié)果如圖3、4所示，當(dāng)按照日志數(shù)目或時間段劃分窗口大小時，TRGATLog和RobustLog模型效果較好，DeepLog和LogAnomaly難以充分提取日志的語義信息導(dǎo)致F1值低于0.5，而使用日志語義表示的方法TRGATLog和RobustLog的魯棒性較好。TRGATLog的F1值始終能保持在0.97以上，優(yōu)于RobustLog，在不同窗口大小下與RobustLog相比，分別提高了28%、20.7%、21.25%、14.25%和3.75%，并且性能波動較小。這是由于DeepLog和LogAnomaly是基于日志序列的方法，而使用固定窗口時，會將序列中不同日志之間的上下文信息切割開來，導(dǎo)致模型難以理解和利用這些日志的順序關(guān)系，同時，在日志數(shù)據(jù)中，每條日志可以代表一種日志事件，而日志事件之間的時間間隔可能是異常檢測的關(guān)鍵因素。如果窗口大小固定，模型無法根據(jù)日志之間的時間間隔來捕獲異常模式，導(dǎo)致性能下降甚至失效。TRGATLog通過構(gòu)建日志時間圖對日志語義信息和時間結(jié)構(gòu)信息進(jìn)行聯(lián)合建模，保留了日志的時間結(jié)構(gòu)關(guān)系，并不依賴日志序列的順序關(guān)系。因此在使用固定窗口劃分?jǐn)?shù)據(jù)時，仍然具備出色的異常檢測能力。

使用會話窗口劃分日志時，其他模型的效果要優(yōu)于使用滑動窗口，原因可能是這兩種數(shù)據(jù)按照分區(qū)存儲，每個塊中的日志序列能更好地展示系統(tǒng)的執(zhí)行過程。TRGATLog取得了最優(yōu)的F1值，分別達(dá)到0.999和0.989。TRGATLog在不同日志劃分方式上都取得了較好的效果，說明模型具有較強的魯棒性。同時驗證了將日志序列構(gòu)建成圖結(jié)構(gòu)，將時間結(jié)構(gòu)信息和語義信息嵌入在圖中，可以有效整合日志的時間結(jié)構(gòu)關(guān)系和語義信息，更好地捕捉日志之間的關(guān)系，提高模型的穩(wěn)定性。

3.5 消融實驗

本文設(shè)計兩組消融實驗來驗證TRGATLog模型中的各個模塊的有效性，以及不同層數(shù)和注意力頭數(shù)對模型性能的影響。

3.5.1 消融實驗 1：驗證各個模塊的有效性

為驗證TRGATLog模型中各個模塊的有效性，并避免消融實驗的隨機(jī)性，本文在BGL、Thunderbird和HDFS三種數(shù)據(jù)集上分別進(jìn)行了消融實驗，對TRGATLog模塊中的所有模塊的有效性進(jìn)行了驗證。每組實驗在同一數(shù)據(jù)集上使用相同的日志劃分方式，每組進(jìn)行25次實驗，取平均效果。消融實驗?zāi)K的具體設(shè)置如表2所示（“×”表示方法不包含該模塊，“√”表示方法包含該模塊）。模型消融實驗的說明如下：

實驗1：移除時間關(guān)系圖注意力網(wǎng)絡(luò)（TRGATNet），采用GCN模型，驗證圖注意力網(wǎng)絡(luò)聚合日志信息的有效性；實驗2：移除TRGATNet中的時間關(guān)系，驗證時間結(jié)構(gòu)信息對日志異常檢測的影響；實驗3：移除LSFE module，僅使用word2vec詞嵌入，驗證LSFE module的有效性；實驗4：移除日志語義特征提取模塊（LSFE module）中的BI－Attention，驗證BI－Attention的有效性；實驗5：移除LSFE module中的雙向GRU，采用單向GRU，驗證雙向GRU捕獲日志語義信息的有效性；實驗6：本文方法（TRGATLog）。

表3展示了消融實驗的結(jié)果，其中實驗6的效果最佳，并且缺少任一模塊都會導(dǎo)致模型性能下降，證實了本文模型各部分的有效性。相較于完整的TRGATLog模型，實驗1中移除了時間關(guān)系圖注意力網(wǎng)絡(luò)（TRGATNet），導(dǎo)致三個數(shù)據(jù)集的F1分?jǐn)?shù)分別下降了7.41%、6.99%和5.36%，說明融合時間信息的圖注意力網(wǎng)絡(luò)可以更好地聚合日志節(jié)點信息和自適應(yīng)地聚合鄰近日志節(jié)點信息，優(yōu)化異常檢測性能。在實驗2中，移除TRGATNet的時間關(guān)系，導(dǎo)致F1分?jǐn)?shù)分別下降5.51%、5.71%和4.04%，這表明引入時間關(guān)系能夠增強對日志序列的建模能力，并更有效地捕獲異常特征，進(jìn)一步優(yōu)化異常檢測效果。實驗3中移除了日志語義特征提取模塊，F(xiàn)1分?jǐn)?shù)分別下降1.90%、1.94%和2.63%，這表明日志語義特征提取模塊能通過捕獲日志句子間的關(guān)系來有效理解日志消息的語義，從而增強模型對異常特征的提取能力。在實驗4和5中，分別移除了日志語義特征提取模塊中的BI－Attention和雙向GRU，F(xiàn)1分?jǐn)?shù)相應(yīng)下降1.20%、0.51%、0.91%和1.50%、1.12%、1.31%，這表明，模塊中的雙向GRU能有效地從兩個方向提取日志詞句的語義信息和詞序依賴關(guān)系，而BI－Attention能有效學(xué)習(xí)日志中每個單詞的重要性。以上實驗結(jié)果均驗證了本文模型各個模塊的重要性。

3.5.2消融實驗 2：GAT層數(shù)和注意力頭數(shù)對實驗結(jié)果的影響

為研究TRGATLog模型的參數(shù)敏感性，探索TRGATLog在不同的超參數(shù)組合下的異常行為識別性能，本文也進(jìn)行了有關(guān)注意力層的消融實驗。使用HDFS數(shù)據(jù)集，選取不同層數(shù)（1、2、3、4）以及多頭注意力的不同頭數(shù)（4、6、8）進(jìn)行消融研究。

從表4的結(jié)果可以看出，當(dāng)模型采用4層圖卷積結(jié)構(gòu)和4頭注意力機(jī)制時，取得了最佳效果0.989，與實驗中次優(yōu)的數(shù)據(jù)相比，提升了3.56%。說明隨著層數(shù)的加深，原始的特征將進(jìn)一步和其鄰居中的特征進(jìn)行聚合，模型可以學(xué)習(xí)更多的空間信息來提高其性能。但隨著層數(shù)繼續(xù)加深，F(xiàn)1分?jǐn)?shù)反而下降6.68%，原因是當(dāng)模型層數(shù)過多時，可能會過度記憶訓(xùn)練數(shù)據(jù)的細(xì)節(jié)和噪聲，造成過擬合，降低檢測效果。

3.6 案例研究

為直觀地驗證TRGATLog模型的異常檢測能力，本文使用HDFS數(shù)據(jù)集進(jìn)行案例研究。

圖5展示了在HDFS實例上，各模型預(yù)測異常數(shù)量與真實異常數(shù)量的對比。所選實例為HDFS系統(tǒng)在出現(xiàn)時間異常階段的真實日志數(shù)據(jù)。結(jié)果表明，除TRGATLog外，其他模型均在不同程度上出現(xiàn)了漏檢，而TRGATLog檢測的異常數(shù)量更接近實際值，具有明顯優(yōu)勢。

表5進(jìn)一步舉例說明了這些模型的差異，展示了一條時間戳為203518的日志卻緊隨著時間戳為203519的日志。

這種時間不一致由系統(tǒng)時鐘不同步或日志延遲寫入等因素引起，可能導(dǎo)致更嚴(yán)重的系統(tǒng)問題。由于SVM、DeepLog和NeuralLog主要考慮了日志的頻次特征、事件序列模式和語義信息，它們都未能檢測到這種時間異常。在此案例中，日志的頻次并無異常，所以，僅依靠頻次特征的SVM未能檢測到異常。雖然DeepLog能學(xué)習(xí)日志事件的序列模式，但它在檢測時間異常方面表現(xiàn)不佳。NeuralLog雖能捕獲日志數(shù)據(jù)的語義信息和結(jié)構(gòu)關(guān)系，但卻無法直接處理和識別時間戳或時間間隔中的異常。相較之下，TRGATLog通過計算日志間的時間間隔，并利用圖結(jié)構(gòu)精確描繪了日志間的時間關(guān)系，成功地識別了此類異常，證實了其在異常檢測方面的效能。

4 結(jié)束語

針對現(xiàn)有日志異常檢測方法未充分利用日志的時間結(jié)構(gòu)關(guān)系和不同特征之間的聯(lián)系，導(dǎo)致潛在誤報和準(zhǔn)確率低的問題，本文提出一種基于日志時間圖注意力網(wǎng)絡(luò)的日志異常檢測方法TRGATLog。該方法設(shè)計了日志語義和時間結(jié)構(gòu)聯(lián)合特征提取模塊（LS/TSJFE module），使得模型關(guān)注單詞之間的語義關(guān)系和時間結(jié)構(gòu)特征，增強日志不同特征間的關(guān)聯(lián)性；并構(gòu)造時間關(guān)系圖注意力網(wǎng)絡(luò)（TRGATNet），有效整合日志的時間結(jié)構(gòu)關(guān)系和語義信息；同時考慮日志之間的語義相似性和時間間隔，挖掘日志之間的時間結(jié)構(gòu)關(guān)系，從而降低誤報并提高準(zhǔn)確率。使用BGL、Thunderbird和HDFS三個公共日志數(shù)據(jù)集進(jìn)行了兩組對比實驗和兩組消融實驗，結(jié)果表明TRGATLog模型在F1－score、精確度和召回率方面優(yōu)于其他方法，F(xiàn)1值分別達(dá)到99.9%、98.1%和98.9%，并且具有較高的準(zhǔn)確性和穩(wěn)定性。本文方法為日志異常檢測領(lǐng)域提供了新的思路，有著更好的性能和可擴(kuò)展性，具有理論和實際價值。未來也將探索更高效的語義提取方法，從而減少日志異常檢測的執(zhí)行時間和內(nèi)存計算成本。

參考文獻(xiàn)：

［1］Meng Weibin， Liu Ying， Huang Yuheng， et al. A semantic－aware representation framework for online log analysis［C］//Proc of the 29th International Conference on Computer Communications and Networks. Piscataway， NJ： IEEE Press， 2020： 1－7.

［2］Liang Y， Zhang Yanyong， Xiong Hui， et al. Failure prediction in IBM BlueGene/L event logs［C］//Proc of the 7th IEEE International Conference on Data Mining. Piscataway， NJ： IEEE Press， 2007： 583－588.

［3］Xu Wei， Huang Ling， Fox et al. Detecting large－scale system problems by mining console logs［C］//Proc of the 22nd Symposium on Operating Systems Principles. New York： ACM Press， 2009： 117－132.

［4］Meng Weibin， Liu Ying， Zhu Yichen， et al. LogAnomaly： unsupervised detection of sequential and quantitative anomalies in unstructured logs［C］//Proc of the 28th International Joint Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019： 4739－4745.

［5］Mikolov T， Chen K， Corrado G， et al. Efficient estimation of word representations in vector apace［EB/OL］. （2013－01－16）. https：//arxiv.org/abs/1301.3781.

［6］Zhang Xu， Xu Yong， Lin Qingwei， et al. Robust log－based anomaly detection on unstable log data［C］//Proc of the 27th ACM Joint Mee－ting on European Software Engineering Conference and Symposium on the Foundations of Software Engineering. New York： ACM Press， 2019： 807－817.

［7］Joulin Grave E， Bojanowski P， et al. Bag of tricks for efficient text classification［EB/OL］. （2016－08－09）. https：//arxiv.org/abs/1607.01759.

［8］Zhou Peng， Shi Wei， Tian Jun， et al. Attention－based bidirectional long short－term memory networks for relation classification［C］//Proc of the 54th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2016： 207－212.

［9］Qi Jiaxing， Luan Zhongzhi， Huang Shaohan， et al. LogEncoder： log－based contrastive representation learning for anomaly detection［J］.IEEE Trans on Network and Service Management ， 2023， 20 （2）： 1378－1391.

［10］Le V H， Zhang Hongyu. Log－based anomaly detection without log parsing［C］//Proc of the 36th IEEE/ACM International Conference on Automated Software Engineering. Piscataway， NJ： IEEE Press， 2021： 492－504.

［11］Guo Haixuan， Yuan Shuhan， Wu Xintao. LogBERT： log anomaly detection via BERT［C］//Proc of International Joint Conference on Neural Networks. Piscataway， NJ： IEEE Press， 2021： 1－8.

［12］Vaswani Shazeer N， Parmar N， et al. Attention is all you need［EB/OL］. （2017－06－12）. https：//arxiv.org/abs/1706.03762.

［13］Devlin J， Chang M W， Lee K， et al. BERT： pre－training of deep bidirectional transformers for language understanding［EB/OL］. （2019－05－24）. https：//arxiv.org/abs/1810.04805.

［14］Du Min， Li Feifei， Zheng Guineng， et al. DeepLog： anomaly detection and diagnosis from system logs through deep learning［C］//Proc of ACM SIGSAC Conference on Computer and Communications Secu－rity. New York： ACM Press， 2017： 1285－1298.

［15］Yang Lin， Chen Junjie， Wang Zan， et al. Semi－supervised log－based anomaly detection via probabilistic label estimation［C］//Proc of the 43rd International Conference on Software Engineering. Piscataway， NJ： IEEE Press， 2021： 1448－1460.

［16］Min Shengjie， Gao Zhan， Peng Jing， et al. STGSN－a spatial－temporal graph neural network framework for time－evolving social networks［J］.Knowledge－Based Systems ， 2021，214 ： 106746.

［17］Zhou Xiaokang， Liang Wei， Li Weimi， et al. Hierarchical adversarial attacks against graph－neural－network－based IoT network intrusion detection system［J］.IEEE Internet of Things Journal ， 2022， 9 （12）： 9310－9319.

［18］Zhang Chenxi， Peng Xin， Sha Chaofeng， et al. DeepTraLog： trace－log combined microservice anomaly detection through graph－based deep learning［C］//Proc of the 44th International Conference on Software Engineering. New York： ACM Press， 2022： 623－634.

［19］Veli c ˇ kovi c ＇ P， Cucurull G， Casanova et al. Graph attention networks［EB/OL］. （2017－10－30）. https：//arxiv.org/abs/1710.10903.

［20］Wu Zihao， Lou Ping. Hybrid spatial－temporal graph convolutional network for long－term traffic flow forecasting［C］//Proc of the 8th International Conference on Big Data Analytics. Piscataway， NJ： IEEE Press， 2023： 224－229.

［21］姚曉敏， 張心藍(lán)， 張振國. 基于時間圖注意力的交通流量預(yù)測模型［J］. 計算機(jī)應(yīng)用研究， 2022， 39 （3）： 770－773，779. （Yao Xiao－min， Zhang Xinlan， Zhang Zhenguo. Traffic flow prediction model based on attention mechanism of temporal graph［J］.Application Research of Computers ， 2022， 39 （3）： 770－773，779.）

［22］賀佳佳， 黃德啟， 王東偉， 等. 基于圖注意力網(wǎng)絡(luò)的短時交通流量預(yù)測［J/OL］. 計算機(jī)工程與應(yīng)用. （2023－09－20）. http：//kns.cnki.net/kcms/detail/11.2127.TP.20230920.1347.056.html. （He jiaji Huang Deqi， Wang Dongwei， et al. Short－time traffic flow prediction based on graph attention networks［J/OL］.Compu－ter Engineering and Applications . （2023－09－20）. http：//kns.cnki.net/kcms/detail/11.2127.TP.20230920.1347.056.html.）

［23］Li Jince， Shi Yilin， Li Hongguang， et al. TC－GATN： temporal causal graph attention networks with nonlinear paradigm for multivariate time－series forecasting in industrial processes［J］.IEEE Trans on Industrial Informatics ， 2023， 19 （6）： 7592－7601.

［24］Zhang Ziyue， Jin Li. Clinical short text classification method based on ALBERT and GAT［C］//Proc of the 7th International Conference on Intelligent Computing and Signal Processing. Piscataway， NJ： IEEE Press， 2022： 401－404.

［25］Zhu Jieming，He Shilin，He Pinjia，et al. Loghub： a large collection of system log datasets towards automated log analytics［EB/OL］. （2020－08－14）. https：//arxiv.org/abs/2008.06448.

［26］He Pinji Zhu Jieming， Zheng Zibin， et al. Drain： an online log parsing approach with fixed depth tree［C］//Proc of IEEE International Conference on Web Services. Piscataway， NJ： IEEE Press， 2017： 33－40.

收稿日期：2023－07－15；修回日期：2023－09－12基金項目：中央高?；究蒲袠I(yè)務(wù)費專項資金資助項目（2022PT_S04）；寧夏回族自治區(qū)重點研發(fā)項目（2023BDE02017）

作者簡介：陳旭（1979—），男，寧夏銀川人，高級工程師，碩導(dǎo)，博士，CCF會員，主要研究方向為網(wǎng)絡(luò)安全、圖深度學(xué)習(xí)和大數(shù)據(jù)處理；張碩（1997—），男（通信作者），遼寧鐵嶺人，碩士研究生，主要研究方向為人工智能與大數(shù)據(jù)處理（yinwo2597329@163.com）；景永俊（1977—），男，寧夏銀川人，高級工程師，碩士，主要研究方向為圖數(shù)據(jù)挖掘和異常檢測；王叔洋（1983—），男，寧夏銀川人，高級工程師，碩士，主要研究方向為信號與信息處理、物聯(lián)網(wǎng)和圖深度學(xué)習(xí)．