摘 要：針對(duì)現(xiàn)有日志特征提取不充分且存在噪音等問(wèn)題，提出一種基于門控循環(huán)單元（Gate Recurrent Unit，GRU）的日志異常檢測(cè)方法。該方法使用BERT（Bidirectional Encoder Representations from Transfomers）提取日志的語(yǔ)義特征，然后利用事件逆頻率加權(quán)對(duì)特征進(jìn)行優(yōu)化。采用基于注意力和門控循環(huán)單元的模型進(jìn)行日志異常檢測(cè)，以減少日志噪聲對(duì)檢測(cè)結(jié)果的影響。在2個(gè)真實(shí)的數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，該方法在異常檢測(cè)任務(wù)中表現(xiàn)出色，F(xiàn)1值平均達(dá)到0.98，與基準(zhǔn)方法DeepLog（Deep Log Anomaly Detection）相比，分別提高了3.36%和11.0%。

關(guān)鍵詞：日志異常檢測(cè);門控循環(huán)單元;注意力機(jī)制;雙向編碼語(yǔ)義解析

中圖分類號(hào)：TP391.1 文獻(xiàn)標(biāo)志碼：A

0 引言（Introduction）

系統(tǒng)日志記錄了軟件系統(tǒng)在運(yùn)行過(guò)程中產(chǎn)生的各種事件信息，通過(guò)對(duì)日志進(jìn)行實(shí)時(shí)分析與異常檢測(cè)，可以及時(shí)發(fā)現(xiàn)系統(tǒng)運(yùn)行中的異常行為、錯(cuò)誤和故障[1]，為系統(tǒng)運(yùn)維人員提供監(jiān)控預(yù)警，從而確保系統(tǒng)的穩(wěn)定可靠運(yùn)行。日志異常檢測(cè)是信息安全、系統(tǒng)管理、網(wǎng)絡(luò)監(jiān)控等領(lǐng)域的關(guān)鍵技術(shù)，它通過(guò)分析系統(tǒng)和應(yīng)用程序產(chǎn)生的日志數(shù)據(jù)，旨在準(zhǔn)確識(shí)別異常事件及潛在的安全風(fēng)險(xiǎn)。然而，現(xiàn)有的日志異常檢測(cè)方法存在特征提取不充分且在日志處理的過(guò)程中難以避免噪聲干擾等問(wèn)題。針對(duì)這些問(wèn)題，本文提出了一種基于門控循環(huán)單元和注意力機(jī)制的日志異常檢測(cè)方法。該方法通過(guò)BERT提取日志的語(yǔ)義特征，并與事件逆頻率進(jìn)行加權(quán)以充分提取序列特征，再使用注意力機(jī)制與GRU結(jié)合，減輕噪聲對(duì)異常檢測(cè)的影響，提升了日志異常檢測(cè)的準(zhǔn)確性。

1 相關(guān)工作（Related work）

隨著計(jì)算機(jī)技術(shù)和大數(shù)據(jù)技術(shù)的發(fā)展，各種應(yīng)用系統(tǒng)的規(guī)模也逐漸擴(kuò)大，數(shù)據(jù)量呈現(xiàn)爆發(fā)式增長(zhǎng)。這意味著日志數(shù)據(jù)數(shù)量的劇增和種類的復(fù)雜化，進(jìn)而增大了日志異常檢測(cè)的難度。在此背景下，深度學(xué)習(xí)方法憑借其極佳的性能和穩(wěn)定性，在日志異常檢測(cè)領(lǐng)域脫穎而出，已成為當(dāng)前主流的檢測(cè)手段之一。例如，DU等[2]提出的DeepLog方法使用深度學(xué)習(xí)中的LSTM神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)正常日志序列之間的關(guān)系，利用來(lái)自用戶反饋的檢測(cè)為假陽(yáng)性的日志增量來(lái)更新檢測(cè)模型，使模型適應(yīng)新的日志模式。然而，該方法中對(duì)日志索引進(jìn)行建模的方式忽視了日志本身的語(yǔ)義信息，導(dǎo)致檢測(cè)準(zhǔn)確率不高。MENG等[3]提出了LogAnomaly方法，即使用Template2vec方法將日志模板轉(zhuǎn)換為語(yǔ)義向量并利用LSTM 算法進(jìn)行日志特征數(shù)據(jù)集的異常檢測(cè)，但該方法在未知類的異常檢測(cè)任務(wù)中表現(xiàn)不佳。ZHANG等[4]提出的LogRobust是首次考慮到魯棒性問(wèn)題的異常檢測(cè)方法。LogRobust方法通過(guò)自然語(yǔ)言處理實(shí)現(xiàn)對(duì)日志事件進(jìn)行語(yǔ)義向量的轉(zhuǎn)換，并使用帶有注意力的Bi-LSTM模型完成異常檢測(cè)。然而，該方法在處理長(zhǎng)序列日志時(shí)，受Bi-LSTM結(jié)構(gòu)的限制，容易出現(xiàn)長(zhǎng)期依賴問(wèn)題。YANG等[5]提出了一種更實(shí)用的基于對(duì)數(shù)的異常檢測(cè)方法PLELog。PLELog根據(jù)一組日志序列中是否存在已知的正常日志序列，初步估計(jì)該組中日志序列的標(biāo)簽，但其對(duì)已知正常日志序列的依賴性較強(qiáng)。LI等[6]提出的SwissLog采用的日志解析方法具有一定的創(chuàng)新性，它能夠通過(guò)多種方式，如標(biāo)記化、字典化、聚類等，提取出多種模板并進(jìn)行解析。SwissLog使用BERT[7]編碼器嵌入語(yǔ)義信息，將語(yǔ)義嵌入和時(shí)間嵌入作為參數(shù)輸入到基于注意力的Bi-LSTM 中。然而，該方法在處理高維特征時(shí)的計(jì)算開銷較大且未充分考慮特征之間的交互關(guān)系。

目前，許多基于深度學(xué)習(xí)的方法在日志異常檢測(cè)中表現(xiàn)出良好的性能，但仍存在日志序列特征提取不充分和無(wú)法避免噪聲干擾等問(wèn)題。本文針對(duì)以上問(wèn)題提出一種新的日志異常檢測(cè)方法。