張向聰,張 潺,楊 瑩,王冰潔,王 磊,陸思羽

(國網(wǎng)河南省電力公司 信息通信分公司,河南 鄭州 450053 )

隨著供電企業(yè)信息化建設(shè)的不斷深入,供電企業(yè)在運(yùn)的信息系統(tǒng)數(shù)量逐步增多,形成了信息系統(tǒng)軟、硬件種類、品牌、版本多的運(yùn)行現(xiàn)狀,供電企業(yè)保障信息系統(tǒng)穩(wěn)定運(yùn)行的運(yùn)維壓力持續(xù)增大[1-2]。因此,探索信息系統(tǒng)運(yùn)維日志標(biāo)準(zhǔn)化解析和多系統(tǒng)故障定位對提升信息系統(tǒng)運(yùn)維效率具有積極的意義。

為解決多個電力信息系統(tǒng)運(yùn)維日志關(guān)聯(lián)解析弱,信息系統(tǒng)故障分析準(zhǔn)確率低的問題,提出了一種基于業(yè)務(wù)事件驅(qū)動的電力信息系統(tǒng)日志標(biāo)準(zhǔn)化解析方法。實(shí)現(xiàn)信息系統(tǒng)故障分析、預(yù)警,提升信息系統(tǒng)健康運(yùn)行水平及運(yùn)維管理工作的質(zhì)量和效率。

1 電力信息系統(tǒng)日志運(yùn)維分析流程

文中所述基于業(yè)務(wù)事件驅(qū)動的電力信息系統(tǒng)日志運(yùn)維分析流程如圖1所示。

圖1 電力信息系統(tǒng)日志運(yùn)維分析流程

1.1 信息系統(tǒng)日志數(shù)據(jù)聚類

首先,采集信息系統(tǒng)的指標(biāo)、文本2類日志文件數(shù)據(jù);其次,判斷信息系統(tǒng)的日志文件是否存在缺失和錯誤的情況,對有錯誤的信息系統(tǒng)日志數(shù)據(jù)進(jìn)行修復(fù);最后,對信息系統(tǒng)日志數(shù)據(jù)進(jìn)行匯聚,獲取信息系統(tǒng)日志的特征。

1.2 信息系統(tǒng)業(yè)務(wù)事件驅(qū)動機(jī)理分析

根據(jù)供電企業(yè)的營銷、設(shè)備、調(diào)度、財務(wù)等條線對業(yè)務(wù)事件驅(qū)動機(jī)理進(jìn)行梳理,獲取跨業(yè)務(wù)條線的邏輯信息。在此基礎(chǔ)上,建立業(yè)務(wù)關(guān)聯(lián)特征架構(gòu),實(shí)現(xiàn)供電企業(yè)的業(yè)務(wù)與信息系統(tǒng)日志映射關(guān)聯(lián)。

1.3 信息系統(tǒng)日志數(shù)據(jù)解析與異常告警

首先,基于業(yè)務(wù)關(guān)聯(lián)特征架構(gòu)進(jìn)行信息系統(tǒng)日志標(biāo)準(zhǔn)化解析,實(shí)現(xiàn)指標(biāo)、文本2類日志文件的統(tǒng)一管理。其次,通過關(guān)鍵詞匹配進(jìn)行分析,根據(jù)日志判斷信息系統(tǒng)是否存在問題。最后,對存在故障的信息系統(tǒng)進(jìn)行預(yù)警。

2 電力信息系統(tǒng)日志運(yùn)維分析模型

2.1 信息系統(tǒng)日志數(shù)據(jù)聚類

2.1.1日志數(shù)據(jù)采集

電力信息系統(tǒng)日志數(shù)據(jù)主要包括文本和指標(biāo)2類數(shù)據(jù)[10]。其中,文本日志是指半結(jié)構(gòu)化文本數(shù)據(jù),包括Tracing日志和程序日志等,且不同的信息系統(tǒng)中日志格式差異較大。指標(biāo)日志是指結(jié)構(gòu)化的時序數(shù)據(jù)類型日志,通常包括指標(biāo)采集時間、使用人員、指標(biāo)值等信息[11-12]。電力信息系統(tǒng)日志采集硬件架構(gòu)如圖2所示。

圖2 電力信息系統(tǒng)日志采集硬件架構(gòu)

在日志數(shù)據(jù)采集過程中,通過應(yīng)用程序接口直接采集指標(biāo)類電力信息系統(tǒng)日志數(shù)據(jù),通過詞頻與逆文本頻率指數(shù)(TF-IDF)將半結(jié)構(gòu)化文本數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化文本數(shù)據(jù)[13-14]。

因此,采用TF-IDF算法提取電力信息系統(tǒng)文本指標(biāo)。電力信息系統(tǒng)文本指標(biāo)提取值(dW)為:

(1)

式中:cs為電力系統(tǒng)文本指標(biāo)詞語在數(shù)據(jù)采集中出現(xiàn)的次數(shù);call為電力系統(tǒng)文本指標(biāo)總的詞語數(shù)量;es為每一項(xiàng)文本指標(biāo)詞語在數(shù)據(jù)采集中出現(xiàn)的次數(shù);eall為每一項(xiàng)文本指標(biāo)詞語的總數(shù)量。

2.1.2異常數(shù)據(jù)修復(fù)

為避免異常數(shù)據(jù)對電力信息系統(tǒng)運(yùn)維帶來的影響,需對異常數(shù)據(jù)進(jìn)行監(jiān)測和修復(fù)。

電力信息系統(tǒng)采集日志異常數(shù)據(jù)修復(fù)(b)為:

b=wFa+g

(2)

式中:wF為電力信息系統(tǒng)采集數(shù)據(jù)的特征權(quán)重向量;a為輸入的電力信息系統(tǒng)采集日志數(shù)據(jù)向量;g為電力信息系統(tǒng)采集日志偏置。

2.1.3日志數(shù)據(jù)匯聚

日志數(shù)據(jù)匯聚的目的是為了將電力信息系統(tǒng)的文本和指標(biāo)2類數(shù)據(jù)有效的集成在分析模型中,在進(jìn)行電力信息系統(tǒng)日志數(shù)據(jù)異常修復(fù)后,將文本和指標(biāo)2類數(shù)據(jù)放置在專用數(shù)據(jù)集中,并為后續(xù)的信息系統(tǒng)業(yè)務(wù)數(shù)據(jù)機(jī)理分析提供基礎(chǔ)數(shù)據(jù)。

2.2 信息系統(tǒng)業(yè)務(wù)事件驅(qū)動機(jī)理分析

業(yè)務(wù)事件驅(qū)動算法分成業(yè)務(wù)事件收集、業(yè)務(wù)事件發(fā)送和業(yè)務(wù)事件處理3部分。其中,事件收集用于負(fù)責(zé)收集電力業(yè)務(wù)的營銷、設(shè)備、調(diào)度、財務(wù)、安檢等所有的業(yè)務(wù)事件;業(yè)務(wù)事件發(fā)送將收集的電力業(yè)務(wù)事件發(fā)送到對應(yīng)的事件處理單元中;業(yè)務(wù)事件處理負(fù)責(zé)具體的電力業(yè)務(wù)事件處理。業(yè)務(wù)事件處理流程如圖3所示。

圖3 業(yè)務(wù)事件處理流程

由圖3可見,消息處理用于處理電力業(yè)務(wù)事件中的元素組,假設(shè)針對電力業(yè)務(wù)x,有m個電力業(yè)務(wù)組成電力業(yè)務(wù)集合Lm。x從電力業(yè)務(wù)集合Lm中獲取單元,并輸出新的電力業(yè)務(wù)流Hm,則業(yè)務(wù)事件處理流程的消息處理Oa為:

f(Lm,w,λ)→(Hm,w,λ)

(3)

式中:f為業(yè)務(wù)事件處理過程函數(shù);w為業(yè)務(wù)事件處理的間隔;λ為消息處理的狀態(tài);

圖3中,原始業(yè)務(wù)事件數(shù)據(jù)為d1,經(jīng)過消息處理后獲得處理本業(yè)務(wù)邏輯信息的結(jié)果數(shù)據(jù)d2,然后,再進(jìn)行跨業(yè)務(wù)消息處理,獲得跨業(yè)務(wù)條線的電力業(yè)務(wù)事件數(shù)據(jù)邏輯信息d3。

然后,依據(jù)跨業(yè)務(wù)條線的電力業(yè)務(wù)事件數(shù)據(jù)邏輯信息建立關(guān)聯(lián)特征架構(gòu),實(shí)現(xiàn)供電企業(yè)的業(yè)務(wù)與信息系統(tǒng)日志映射關(guān)聯(lián)。

2.3 信息系統(tǒng)日志數(shù)據(jù)解析與異常告警

日志數(shù)據(jù)標(biāo)準(zhǔn)化解析的目的是根據(jù)業(yè)務(wù)關(guān)聯(lián)特征架構(gòu)將文本和指標(biāo)兩類數(shù)據(jù)映射到統(tǒng)一的空間中,以便對所有類型的數(shù)據(jù)進(jìn)行統(tǒng)一的管理。

哈希映射算法具有查找速度快的特點(diǎn),因此,采用哈希映射算法進(jìn)行日志數(shù)據(jù)標(biāo)準(zhǔn)化解析。

電力信息系統(tǒng)哈希映射后的值UH為:

UH=δ(u)

(4)

式中:u為原始的電力信息系統(tǒng)日志數(shù)據(jù);δ為哈希映射函數(shù)。

然后將映射后的電力信息系統(tǒng)日志數(shù)據(jù)進(jìn)行關(guān)鍵詞匹配分析,從而判斷電力信息系統(tǒng)是否存在故障或缺陷。

確定有窮自動機(jī)(DFA)算法是一種關(guān)鍵詞匹配算法,DFA算法可以將電力信息系統(tǒng)日志從輸入集匹配到輸出確定集。DFA算法具有關(guān)鍵詞匹配準(zhǔn)確的特點(diǎn)[17],因此,采用DFA算法進(jìn)行電力信息系統(tǒng)日志關(guān)鍵詞匹配。

電力信息系統(tǒng)日志關(guān)鍵詞匹配zP為:

zP={q∈γ,q∩z≠0}

(5)

式中:q為電力信息系統(tǒng)日志關(guān)鍵詞閉包;γ為對于q所有的關(guān)鍵詞匹配活動狀態(tài);z為電力信息系統(tǒng)日志匹配中所有可能的其它狀態(tài)。

通過電力信息系統(tǒng)中DFA關(guān)鍵詞匹配,判斷信息系統(tǒng)是否存在問題。最后,對存在故障的信息系統(tǒng)進(jìn)行預(yù)警。

3 算例分析

3.1 場景與參數(shù)設(shè)定

為驗(yàn)證基于業(yè)務(wù)事件驅(qū)動的電力信息系統(tǒng)運(yùn)維方法的可行性和有效性,在某省電力公司信息通信分公司的機(jī)房進(jìn)行了仿真應(yīng)用。用于文中方法的有12臺服務(wù)器,服務(wù)器均為16核心的Intel至強(qiáng)處理器,服務(wù)器內(nèi)存為64 GB,硬盤為50T,其中4臺用于應(yīng)用及管理層的日志采集;2臺用于部署文中所提算法;3臺用于Kafka應(yīng)用;3臺用于clickhouse應(yīng)用。

服務(wù)器的操作系統(tǒng)為Windows Server 2019,算法采用phyton設(shè)計,通過應(yīng)用程序接口實(shí)現(xiàn)了與電力信息系統(tǒng)日志的采集。與所提方法進(jìn)行對照實(shí)驗(yàn)的是改進(jìn)k-means電力信息系統(tǒng)運(yùn)維方法[18]。該方法在電力信息系統(tǒng)運(yùn)維中廣泛采用,具有行業(yè)代表性,因此選擇改進(jìn)k-means方法與所提方法進(jìn)行對比。

3.2 算例運(yùn)行分析

3.2.1電力信息系統(tǒng)運(yùn)維性能分析

電力信息系統(tǒng)運(yùn)維性能分析是衡量運(yùn)維日志分析速度的核心指標(biāo)。其計算原則為:從輸入電力信息系統(tǒng)運(yùn)維數(shù)據(jù)開始,到生成電力信息系統(tǒng)運(yùn)維統(tǒng)計結(jié)果數(shù)據(jù)為止的時間段。時間越短,則說明電力信息系統(tǒng)運(yùn)維性能越好。

在某省電力公司信息通信公司機(jī)房輸入用電信息采集、營銷業(yè)務(wù)、生產(chǎn)管理2.0系統(tǒng)、人力資源系統(tǒng)、財務(wù)系統(tǒng)中各6個地市公司1個月的日志數(shù)據(jù),分別采用文中所提基于業(yè)務(wù)事件驅(qū)動的電力信息系統(tǒng)運(yùn)維方法與改進(jìn)k-means電力信息系統(tǒng)運(yùn)維方法比較耗時,電力信息系統(tǒng)運(yùn)維性能分析如表1所示。

表1 電力信息系統(tǒng)運(yùn)維性能分析表

由表1可見,所提基于業(yè)務(wù)事件驅(qū)動的電力信息系統(tǒng)運(yùn)維方法的平均耗時為15.7 s,而改進(jìn)k-means在聚類時耗時較長,因此平均耗時為42.2 s,由此可見,所提方法的電力信息系統(tǒng)運(yùn)維性能較改進(jìn)k-means方法更優(yōu)。

3.2.2電力信息系統(tǒng)日志映射分析

選擇140 d的用電信息采集、營銷業(yè)務(wù)、生產(chǎn)管理2.0系統(tǒng)、人力資源系統(tǒng)、財務(wù)系統(tǒng)數(shù)據(jù),分別按天統(tǒng)計日志數(shù)量與映射準(zhǔn)確率,電力信息系統(tǒng)運(yùn)維日志分析表如圖4所示。

圖4 電力信息系統(tǒng)運(yùn)維日志分析圖

由圖4可見,電力信息系統(tǒng)運(yùn)維日志數(shù)量在12～16千條波動,映射的準(zhǔn)確率在99.5%～100%波動。

3.2.3電力信息系統(tǒng)運(yùn)維分析準(zhǔn)確率分析

在某省電力公司信息通信公司機(jī)房輸入用電信息采集、營銷業(yè)務(wù)、生產(chǎn)管理2.0系統(tǒng)、人力資源系統(tǒng)、財務(wù)系統(tǒng)中各6個地市公司1萬條信息系統(tǒng)日志數(shù)據(jù),采用文中所提基于業(yè)務(wù)事件驅(qū)動的電力信息系統(tǒng)運(yùn)維方法與改進(jìn)k-means電力信息系統(tǒng)運(yùn)維方法比較電力信息系統(tǒng)運(yùn)維分析準(zhǔn)確率,電力信息系統(tǒng)運(yùn)維分析準(zhǔn)確率分析如表2所示。

表2 電力信息系統(tǒng)運(yùn)維分析準(zhǔn)確率

由表2可見,文中所提基于業(yè)務(wù)事件驅(qū)動的電力信息系統(tǒng)運(yùn)維方法電力信息系統(tǒng)運(yùn)維分析準(zhǔn)確率平均為99.36%,高于改進(jìn)改進(jìn)k-means方式。因此,所提方法電力信息系統(tǒng)運(yùn)維分析更準(zhǔn)確。

4 結(jié)語

為解決多個電力信息系統(tǒng)運(yùn)維日志關(guān)聯(lián)解析弱,信息系統(tǒng)故障分析準(zhǔn)確率低的問題,提出了一種基于業(yè)務(wù)事件驅(qū)動的電力信息系統(tǒng)日志標(biāo)準(zhǔn)化解析方法。通過業(yè)務(wù)事件驅(qū)動機(jī)理,實(shí)現(xiàn)了跨業(yè)務(wù)條線的電力信息系統(tǒng)日志映射;通過關(guān)鍵詞匹配算法實(shí)現(xiàn)信息系統(tǒng)故障分析、預(yù)警。算例分析結(jié)果表明:所提方法能提高信息系統(tǒng)運(yùn)維分析準(zhǔn)確率。