◆王參參 姜青云 李 彤

?

基于大數(shù)據(jù)的日志分析平臺(tái)在銀行中的研究與實(shí)現(xiàn)

◆王參參1姜青云1李 彤2

（1. 山東省農(nóng)村信用社聯(lián)合社 山東 250014；2. 萊陽農(nóng)商銀行 山東 265200）

在銀行的業(yè)務(wù)發(fā)展和系統(tǒng)日常運(yùn)維過程中，日志是業(yè)務(wù)發(fā)展趨勢(shì)參考和定位解決問題重要的突破口。如何能夠有效地對(duì)操作系統(tǒng)、數(shù)據(jù)庫、中間件、網(wǎng)絡(luò)、安全設(shè)備及應(yīng)用系統(tǒng)的日志進(jìn)行收集、集中存儲(chǔ)管理和分析成為當(dāng)前各大銀行研究的重要課題。本文首先介紹了日志分析與審計(jì)的意義，詳細(xì)說明了多源日志采集的協(xié)議和方式及功能要求設(shè)計(jì)，最后介紹了銀行日志分析平臺(tái)的硬件架構(gòu)設(shè)計(jì)。

大數(shù)據(jù)；日志分析；多源日志

0 前言

日志是系統(tǒng)日常運(yùn)行、安全審計(jì)、取證及入侵檢測(cè)的重要資源，日志在系統(tǒng)及網(wǎng)絡(luò)安全的作用至關(guān)重要[1]。銀行數(shù)據(jù)中心是整個(gè)銀行系統(tǒng)的核心，成千上萬臺(tái)的操作系統(tǒng)、數(shù)據(jù)庫、中間件、網(wǎng)絡(luò)設(shè)備、存儲(chǔ)設(shè)備以及成百上千的應(yīng)用系統(tǒng)，這些設(shè)備和系統(tǒng)每天產(chǎn)生的日志數(shù)據(jù)本身量大、分布分散、格式多樣，銀行人員對(duì)這些海量的、分散的日志數(shù)據(jù)無法進(jìn)行有效分析，無法對(duì)已發(fā)生的已知威脅和未知威脅檢測(cè)發(fā)現(xiàn)，缺乏有效的調(diào)查取證和追蹤溯源能力。

2009年銀監(jiān)會(huì)發(fā)布《商業(yè)銀行信息科技風(fēng)險(xiǎn)管理指引》、2012年中國人民銀行發(fā)布《金融行業(yè)信息系統(tǒng)信息安全等級(jí)保護(hù)實(shí)施指引》、2017年《中華人民共和國網(wǎng)絡(luò)安全法》頒布，在這些指引、法律以及監(jiān)管部門的要求中都明確提出，銀行業(yè)金融部門必須對(duì)系統(tǒng)日志進(jìn)行集中保存，同時(shí)對(duì)運(yùn)行日志和審計(jì)數(shù)據(jù)進(jìn)行分析，以便及時(shí)發(fā)現(xiàn)異常行為，并根據(jù)風(fēng)險(xiǎn)等級(jí)不同確定保存期限等。

日志分析平臺(tái)是一種作用于整個(gè)信息管理體系的，以整體監(jiān)控和審計(jì)為目標(biāo)的，可為銀行提供預(yù)警和客觀決策依據(jù)信息安全保障系統(tǒng)。

1 日志分析與審計(jì)意義

隨著信息科技的不斷發(fā)展，銀行應(yīng)用系統(tǒng)及各種IT資源設(shè)備急速增長，各類設(shè)備產(chǎn)生的日志也呈現(xiàn)指數(shù)增長，由于日志分布在各自設(shè)備上且日志格式不同，單個(gè)分析日志文件比較困難，且意義不大。通過統(tǒng)一的日志分析平臺(tái)將日志進(jìn)行統(tǒng)一收集、標(biāo)準(zhǔn)化處理、過濾與歸并、關(guān)聯(lián)與分析等操作，按照不同級(jí)別進(jìn)行告警提示，從而為運(yùn)維人員及時(shí)發(fā)現(xiàn)當(dāng)前應(yīng)用系統(tǒng)所發(fā)生的異常情況提供方便，有效實(shí)現(xiàn)全網(wǎng)的事件查詢與預(yù)警、資產(chǎn)安全評(píng)估、安全狀況統(tǒng)計(jì)分析、入侵檢測(cè)等。同時(shí)對(duì)保障日志數(shù)據(jù)的安全性具有重要意義，也為事后審計(jì)提供數(shù)據(jù)支撐，大大降低人員的工作量，減少人力工作存在的不確定因素。

日志大數(shù)據(jù)分析是反映趨勢(shì)的、是動(dòng)態(tài)的、可預(yù)測(cè)的，所以它需要更多的事件、情報(bào)以及大量的歷史數(shù)據(jù)才可以完成。

2 多源日志數(shù)據(jù)采集

日志數(shù)據(jù)包括結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，主要來源于操作系統(tǒng)、數(shù)據(jù)庫、中間件、網(wǎng)絡(luò)設(shè)備、安全設(shè)備、應(yīng)用系統(tǒng)等。日志采集協(xié)議主要包括syslog、SNMP、FTP、SFTP、JDBC、專用API等。如圖1，日志數(shù)據(jù)被主動(dòng)采集到平臺(tái)后，經(jīng)過處理，能夠?qū)碜愿鲝S商的設(shè)備、系統(tǒng)中的各種報(bào)文、資源信息標(biāo)準(zhǔn)化處理，形成平臺(tái)內(nèi)的統(tǒng)一格式，并由平臺(tái)進(jìn)行格式化后的存儲(chǔ)、分析[2]。日志分析平臺(tái)可以對(duì)映射處理為統(tǒng)一格式的數(shù)據(jù)進(jìn)行分析，主要提供日志數(shù)據(jù)的分類、關(guān)聯(lián)、聚類、回歸等大數(shù)據(jù)處理。

圖1 日志分析平臺(tái)數(shù)據(jù)采集流程圖

3 功能設(shè)計(jì)

采用基于大數(shù)據(jù)的日志分析平臺(tái)，滿足日志數(shù)據(jù)采集需求的同時(shí)，還應(yīng)該具備高性能和靈活可擴(kuò)展的要求[3]，采用多任務(wù)分布式技術(shù)對(duì)海量日志數(shù)據(jù)進(jìn)行深入挖掘，通過建立科學(xué)的數(shù)據(jù)分析模型，既能實(shí)現(xiàn)對(duì)實(shí)時(shí)日志數(shù)據(jù)的分析和預(yù)警以達(dá)到事中監(jiān)控的目的[4]，又可以對(duì)海量歷史數(shù)據(jù)進(jìn)行關(guān)聯(lián)與分析以達(dá)到事后審計(jì)與查詢的目的。

在全網(wǎng)范圍日志分析平臺(tái)分為兩級(jí)系統(tǒng)架構(gòu)，由總行的一級(jí)中心平臺(tái)和位于地市級(jí)的二級(jí)分行數(shù)據(jù)采集節(jié)點(diǎn)組成。

在兩級(jí)網(wǎng)絡(luò)架構(gòu)中，總行的一級(jí)平臺(tái)具有管理、實(shí)體和樞紐功能，為全網(wǎng)日志分析結(jié)果提供支撐和保障，實(shí)現(xiàn)全網(wǎng)日志信息的交換和管理。二級(jí)分行（地市）日志分析系統(tǒng)具有管理和實(shí)體功能，為本地市提供日志管理和采集功能，以及網(wǎng)絡(luò)完全保障。地市級(jí)日志分析系統(tǒng)與省級(jí)分析系統(tǒng)通過接口相聯(lián)，實(shí)現(xiàn)數(shù)據(jù)交換，二者相互協(xié)作配合，即解決因日志規(guī)模過大造成的省級(jí)系統(tǒng)計(jì)算資源過載和網(wǎng)絡(luò)堵塞等問題，又進(jìn)一步實(shí)現(xiàn)全省的信息共享。

總行數(shù)據(jù)中心的部署日志分析平臺(tái)，主要功能為日志收集、歸并、日志快速檢索及定位、數(shù)據(jù)挖掘分析、事件管理及告警、統(tǒng)計(jì)報(bào)表、日志數(shù)據(jù)集中存儲(chǔ)等；分行數(shù)據(jù)中心部署的日志分析平臺(tái)，主要功能為日志收集、發(fā)送、事件查詢、統(tǒng)計(jì)報(bào)表、數(shù)據(jù)挖掘分析等。

4 硬件架構(gòu)設(shè)計(jì)

基于大數(shù)據(jù)的日志分析平臺(tái)主要解決日志數(shù)據(jù)的存儲(chǔ)和數(shù)據(jù)分析問題，平臺(tái)依賴于各類安全引擎的數(shù)據(jù)，同時(shí)也提供對(duì)外數(shù)據(jù)訪問接口與數(shù)據(jù)分析接口。

圖2 大數(shù)據(jù)日志分析平臺(tái)硬件架構(gòu)圖

如圖2，大數(shù)據(jù)日志分析平臺(tái)部署在總行數(shù)據(jù)中心，包括平臺(tái)管理、實(shí)時(shí)處理、離線處理、深度智能感知引擎以及任務(wù)分發(fā)模塊。日志數(shù)據(jù)采集器部署在各地市分行數(shù)據(jù)中心，將采集到的數(shù)據(jù)通過互聯(lián)網(wǎng)或者內(nèi)網(wǎng)發(fā)送到Agent代理中心，Agent代理中心將數(shù)據(jù)放入消息中間件進(jìn)行緩存；大數(shù)據(jù)服務(wù)平臺(tái)從消息中心中取數(shù)據(jù)，一份數(shù)據(jù)進(jìn)行保存，另一份數(shù)據(jù)進(jìn)行實(shí)時(shí)處理；平臺(tái)管理負(fù)責(zé)集群存儲(chǔ)資源和計(jì)算資源的管理，供離線處理系統(tǒng)和實(shí)時(shí)處理系統(tǒng)資源的使用。

5 結(jié)束語

基于大數(shù)據(jù)技術(shù)的日志分析平臺(tái)，采用基于IT系統(tǒng)全量日志的大數(shù)據(jù)分布式采集、分布式存儲(chǔ)、結(jié)構(gòu)化、海量數(shù)據(jù)搜索等技術(shù)。實(shí)現(xiàn)配置簡單、功能強(qiáng)大、容易使用的日志分析平臺(tái)，通過對(duì)日志集中存儲(chǔ)和實(shí)時(shí)索引，實(shí)現(xiàn)搜索、分析和監(jiān)控告警等功能，達(dá)到業(yè)務(wù)實(shí)時(shí)監(jiān)控、異常原因定位、日志數(shù)據(jù)統(tǒng)計(jì)分析及安全與合規(guī)審計(jì)。研究的難點(diǎn)在于：

（1）日志源設(shè)備眾多，產(chǎn)生的日志類型種類繁多，因此，需要研究對(duì)收集到的日志進(jìn)行標(biāo)準(zhǔn)化處理，以便后續(xù)的分析。

（2）由于采用總行-分行兩級(jí)體系建設(shè)，涉及到的數(shù)據(jù)中心眾多，且各中心設(shè)備資產(chǎn)種類較多，在進(jìn)行日志傳輸?shù)倪^程中為防止因較大日志量的傳輸造成對(duì)業(yè)務(wù)系統(tǒng)的影響，需要研究對(duì)日志的去重及壓縮傳輸。

隨著監(jiān)管部門的要求以及銀行自身的需求，對(duì)日志的收集及分析要求越來越高，且分析挖掘后得到的信息越來越有價(jià)值，對(duì)銀行的業(yè)務(wù)發(fā)展和系統(tǒng)的安全穩(wěn)定運(yùn)行帶來積極作用。

[1]任凱，鄧武，俞琰.基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)日志分析系統(tǒng)研究[J].現(xiàn)代電子技術(shù)，2016.

[2]周平，馬斌，韓冰等.基于大數(shù)據(jù)平臺(tái)的日志分析預(yù)警技術(shù)研究[J].電腦知識(shí)與技術(shù)，2016.

[3]周航，畢永軍.日志分析技術(shù)在IT運(yùn)維管理中的應(yīng)用[J].金融電子化，2017.

[4]胡翔，張曉敏.基于大數(shù)據(jù)審計(jì)的信息安全日志分析方法[J].金融電子化，2015.