劉海霞　許鑫磊　冉宇瑤　趙小娟

摘? 要：針對目前層出不窮的各類網(wǎng)絡(luò)攻擊事件，基于最新的大數(shù)據(jù)技術(shù)組件，構(gòu)建集數(shù)據(jù)收集、數(shù)據(jù)處理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析、數(shù)據(jù)呈現(xiàn)于一體的安全態(tài)勢感知系統(tǒng)框架。通過Flume和Kafka獲取日志或網(wǎng)絡(luò)攻擊信息，使用MapReduce和Storm技術(shù)進(jìn)行批量或?qū)崟r(shí)分析，以達(dá)到對網(wǎng)絡(luò)安全的感知;采用層次分析法確定指標(biāo)權(quán)重，提取網(wǎng)絡(luò)態(tài)勢特征，通過分析構(gòu)建判定矩陣完成對網(wǎng)絡(luò)安全態(tài)勢的評(píng)估，并利用神經(jīng)網(wǎng)絡(luò)、關(guān)聯(lián)分析、時(shí)間序列畫出三種預(yù)測技術(shù);通過ECharts進(jìn)行可視化圖表部署，采用R語言、ECharts技術(shù)對威脅類型、攻擊數(shù)據(jù)進(jìn)行展示和分析，將攻擊源進(jìn)行可視化，從而完成安全態(tài)勢的預(yù)測。系統(tǒng)具有高可用、可擴(kuò)展、易部署等特點(diǎn)，能較好地支撐各類網(wǎng)絡(luò)安全威脅的感知與預(yù)測。

關(guān)鍵詞：網(wǎng)絡(luò)安全;態(tài)勢感知;大數(shù)據(jù);分布式

中圖分類號(hào)：TP309? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

Research on Security Situation Awareness System based on Big Data

LIU Haixia1， XU Xinlei2， RAN Yuyao1， ZHAO Xiaojuan3

（1.Keyi College， Zhejiang Sci-Tech University， Shaoxing 312369， China;

2.Hangzhou Anheng Information Technology Co.， Ltd.， Hangzhou 310018， China;

3.Luoyang Radio & Television University， Luoyang 471000， China）

304361324@qq.com; 25195913@qq.com; ranyuyao@126.com; 58724833@qq.com

Abstract： In view of various attack events that are emerging one after another， this paper proposes to build a security situational awareness system framework that integrates data collection， data processing， data storage， data analysis， and data presentation based on the latest big data technology components. Logs or network attack information are obtained through Flume and Kafka， and MapReduce and Storm technology are used to perform batch or real-time analysis， so to achieve network security perception. AHP （Analytic Hierarchy Process） is used to determine the index weights， extract the characteristics of the network situation， and complete the assessment of the network security situation by analyzing and constructing a judgment matrix. Neural network， correlation analysis， and time series are used to draw three forecasting techniques. Visualized chart is deployed through ECharts and R language is used. ECharts is used to display and analyze threat types and attack data， and visualize attack sources， thereby completing security situation prediction. The system has the characteristics of high availability， scalability， and easy deployment， and can better support the perception and prediction of various network security threats.

Keywords： network security; situational awareness; big data; distribution

1? ?引言（Introduction）

隨著網(wǎng)絡(luò)更深入地走進(jìn)人們的生活，各種對網(wǎng)絡(luò)安全的入侵和攻擊也越來越嚴(yán)重，給網(wǎng)絡(luò)的入侵行為檢測和預(yù)防帶來很多新問題。當(dāng)前，很多學(xué)者開始關(guān)注網(wǎng)絡(luò)安全和網(wǎng)絡(luò)預(yù)防，并對其展開研究。如LEE等[1]基于Hadoop開源軟件開展了DDoS攻擊檢測技術(shù)實(shí)驗(yàn)，對存儲(chǔ)記錄的流量數(shù)據(jù)進(jìn)行分析，獲取較高的吞吐量;劉冬蘭等[2]對電力信息系統(tǒng)網(wǎng)絡(luò)安全態(tài)勢感知及主動(dòng)防御問題進(jìn)行了研究，實(shí)現(xiàn)了攻擊事件及安全態(tài)勢的實(shí)時(shí)監(jiān)控預(yù)警;王以伍等[3]利用大數(shù)據(jù)相關(guān)技術(shù)對網(wǎng)絡(luò)運(yùn)行相關(guān)海量數(shù)據(jù)進(jìn)行分析、過濾、融合，識(shí)別已知和未知的安全威脅，并建立了安全體系;龔儉和FRANKE等[4-5]認(rèn)為，整個(gè)態(tài)勢感知過程包括態(tài)勢要素獲取、態(tài)勢理解和態(tài)勢預(yù)測。丁華東等[6]基于貝葉斯方法提出了一種網(wǎng)絡(luò)安全態(tài)勢感知混合模型，并對既定網(wǎng)絡(luò)環(huán)境中收集到的態(tài)勢指標(biāo)數(shù)據(jù)進(jìn)行離散化預(yù)處理，利用不同的評(píng)價(jià)方法建立相應(yīng)的態(tài)勢感知模型;琚安康等[7]基于開源工具集提出了一種大數(shù)據(jù)網(wǎng)絡(luò)安全態(tài)勢感知及預(yù)警架構(gòu)。

綜合來說，目前的研究利用大數(shù)據(jù)技術(shù)處理數(shù)據(jù)快的優(yōu)勢，克服了傳統(tǒng)方法的瓶頸問題，實(shí)現(xiàn)了較高的數(shù)據(jù)分析效率，但對基于大數(shù)據(jù)的系統(tǒng)分析較少。本文將應(yīng)用現(xiàn)有大數(shù)據(jù)技術(shù)，結(jié)合攻擊檢測預(yù)警技術(shù)模塊，設(shè)計(jì)一種覆蓋從數(shù)據(jù)獲取到視圖呈現(xiàn)各個(gè)階段的網(wǎng)絡(luò)安全態(tài)勢感知系統(tǒng)，并利用大數(shù)據(jù)開源代碼及Java編寫工具，實(shí)現(xiàn)該預(yù)警系統(tǒng)的各個(gè)功能模塊。

2? 網(wǎng)絡(luò)安全態(tài)勢感知系統(tǒng)研究架構(gòu)（Research architecture of network security situation awareness system）

結(jié)合大數(shù)據(jù)技術(shù)，對網(wǎng)絡(luò)安全的態(tài)勢需求進(jìn)行分析，設(shè)計(jì)系統(tǒng)框架，從數(shù)據(jù)源獲取到攻擊可視化呈現(xiàn)，覆蓋整個(gè)流程。系統(tǒng)架構(gòu)采用分層設(shè)計(jì)與模塊化相結(jié)合的方式進(jìn)行，主要包括數(shù)據(jù)源、數(shù)據(jù)收集與預(yù)處理、數(shù)據(jù)分布式存儲(chǔ)、數(shù)據(jù)挖掘與分析、網(wǎng)絡(luò)安全態(tài)勢評(píng)估預(yù)測、網(wǎng)絡(luò)安全態(tài)勢可視化呈現(xiàn)等功能模塊，子模塊之間通過數(shù)據(jù)邏輯通路連接，相互合作實(shí)現(xiàn)對網(wǎng)絡(luò)安全態(tài)勢的數(shù)據(jù)分析、攻擊風(fēng)險(xiǎn)預(yù)警并呈現(xiàn)，如圖1所示。

2.1? ?數(shù)據(jù)源

數(shù)據(jù)源包括網(wǎng)絡(luò)中的硬件設(shè)備如路由器、交換機(jī)、流量采集器等;網(wǎng)絡(luò)安全設(shè)備如防火墻、網(wǎng)絡(luò)安全防護(hù)軟件等，以及系統(tǒng)日志、應(yīng)用日志、CPU利用率等。另外，還包括運(yùn)行和維護(hù)數(shù)據(jù)（處理記錄、風(fēng)險(xiǎn)評(píng)估等）、外部攻擊數(shù)據(jù)（攻擊方式、特點(diǎn)、攻擊漏洞等）等。

2.2? ?數(shù)據(jù)收集與預(yù)處理

該模塊主要收集各種網(wǎng)絡(luò)設(shè)備產(chǎn)生的數(shù)據(jù)，然后經(jīng)過初步整理分類，將其傳入大數(shù)據(jù)平臺(tái)。對需要實(shí)時(shí)分析的數(shù)據(jù)，將其直接傳送給Storm。數(shù)據(jù)收集主要包括傳感器（采集和發(fā)送如路由器、交換機(jī)等網(wǎng)絡(luò)設(shè)備的數(shù)據(jù)）、網(wǎng)絡(luò)爬蟲（按照一定規(guī)則自動(dòng)抓取萬維網(wǎng)信息的程序或者腳本）、Flume日志（采用分布式收集各種設(shè)備、系統(tǒng)和應(yīng)用中產(chǎn)生的日志數(shù)據(jù)，它們往往隱藏了許多有用信息）、Kafka消息（在消息傳輸過程中保存消息的容器或中間件，主要目的是提供消息路由、數(shù)據(jù)分發(fā)并保障消息可靠傳遞），并對上報(bào)數(shù)據(jù)進(jìn)行統(tǒng)一的范式化預(yù)處理，對采集的數(shù)據(jù)進(jìn)行數(shù)據(jù)歸并、數(shù)據(jù)清洗等操作，然后根據(jù)不同業(yè)務(wù)把數(shù)據(jù)存儲(chǔ)到不同的存儲(chǔ)系統(tǒng)上。

2.3? ?數(shù)據(jù)分布式存儲(chǔ)

數(shù)據(jù)分布式存儲(chǔ)HDFS[8]是整體系統(tǒng)框架的存儲(chǔ)基礎(chǔ)，主要負(fù)責(zé)將采集的數(shù)據(jù)統(tǒng)一存儲(chǔ)，為后面的數(shù)據(jù)處理分析、檢索查詢提供支持。數(shù)據(jù)分布式存儲(chǔ)不僅支持由數(shù)據(jù)收集與預(yù)處理模塊采集的各種安全數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)、攻擊數(shù)據(jù)，也要為中間處理結(jié)果提供存儲(chǔ)保障。

2.4? ?數(shù)據(jù)挖掘與分析

數(shù)據(jù)挖掘是指從大量的數(shù)據(jù)中挖掘出有用的信息，即從大量的不完全、不確定的實(shí)際應(yīng)用數(shù)據(jù)中發(fā)現(xiàn)隱含的、事先未知的，但又有潛在用處的信息和知識(shí)的非平凡過程。通過聚類分析法及統(tǒng)計(jì)學(xué)方法，將獲取的數(shù)據(jù)進(jìn)行深度分析和處理，得到數(shù)據(jù)的深層價(jià)值，挖掘出隱藏度較高的攻擊方式。此模塊主要包括批量數(shù)據(jù)（離線）分析、實(shí)時(shí)數(shù)據(jù)流分析，其中批量數(shù)據(jù)分析采用MapReduce編程模式，實(shí)時(shí)數(shù)據(jù)流分析采用Storm架構(gòu)[9]。

網(wǎng)絡(luò)安全事件關(guān)聯(lián)分析能將不同來源的報(bào)警信息進(jìn)行去偽存真，從而挖掘出真正的網(wǎng)絡(luò)攻擊事件。在此系統(tǒng)設(shè)計(jì)中選用Storm作為流數(shù)據(jù)處理工具，對接收到的實(shí)時(shí)數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析，分析完成后將分析結(jié)果和告警信息送入存儲(chǔ)子系統(tǒng)，以供日后查詢分析，或提交態(tài)勢呈現(xiàn)子系統(tǒng)直接顯示到可視化界面中，展示實(shí)時(shí)網(wǎng)絡(luò)安全態(tài)勢。

2.5? ?網(wǎng)絡(luò)安全態(tài)勢評(píng)估預(yù)測

根據(jù)網(wǎng)絡(luò)運(yùn)行狀況發(fā)展變化的實(shí)際數(shù)據(jù)和歷史資料，運(yùn)用科學(xué)的理論、方法和各種經(jīng)驗(yàn)、判斷、知識(shí)去推測、估計(jì)、分析其在未來一定時(shí)期內(nèi)可能的變化情況，是網(wǎng)絡(luò)安全態(tài)勢感知的一個(gè)重要組成部分。本系統(tǒng)采用層次分析法確定指標(biāo)權(quán)重，提取出網(wǎng)絡(luò)態(tài)勢特征，通過分析構(gòu)建判定矩陣完成對網(wǎng)絡(luò)安全態(tài)勢的評(píng)估。然后根據(jù)評(píng)估數(shù)據(jù)，采用神經(jīng)網(wǎng)絡(luò)、關(guān)聯(lián)分析、時(shí)間序列畫出三種預(yù)測技術(shù)，針對不同網(wǎng)絡(luò)所處的環(huán)境，選擇對應(yīng)的網(wǎng)絡(luò)安全態(tài)勢預(yù)測技術(shù)，從而可以有預(yù)見性地進(jìn)行安全策略的配置，實(shí)現(xiàn)動(dòng)態(tài)的網(wǎng)絡(luò)安全管理，預(yù)防大規(guī)模威脅網(wǎng)絡(luò)安全事件的發(fā)生。

2.6? ?網(wǎng)絡(luò)安全態(tài)勢可視化呈現(xiàn)

對前面幾個(gè)模塊采集的數(shù)據(jù)進(jìn)行分析、評(píng)估、預(yù)測之后，利用計(jì)算機(jī)圖形學(xué)和圖像處理技術(shù)，將實(shí)時(shí)數(shù)據(jù)以動(dòng)態(tài)方式進(jìn)行展示，將歷史數(shù)據(jù)以靜態(tài)或動(dòng)態(tài)方式展示給用戶，讓用戶一目了然地觀看到實(shí)時(shí)的網(wǎng)絡(luò)安全態(tài)勢走向。異構(gòu)的數(shù)據(jù)源和持續(xù)增長的數(shù)據(jù)量給分析人員帶來了繁重的負(fù)擔(dān)，這里采用R語言、Kibana等可視化技術(shù)將安全分析的結(jié)果和實(shí)時(shí)安全狀態(tài)進(jìn)行可視化呈現(xiàn)，可幫助系統(tǒng)管理員實(shí)現(xiàn)對網(wǎng)絡(luò)整體安全態(tài)勢的掌握，以應(yīng)對日趨復(fù)雜的網(wǎng)絡(luò)安全形勢。

3 網(wǎng)絡(luò)安全態(tài)勢感知系統(tǒng)研究模塊及技術(shù)（Research modules and technologies of network security situation awareness system）

3.1? ?系統(tǒng)技術(shù)分析

系統(tǒng)開發(fā)主要以Spring Boot、Mybatis、Hadoop、Flume、Kafka、Spark、Storm、Kibana等技術(shù)為開發(fā)框架，采用Linux centos版本作為服務(wù)器系統(tǒng)，通過Nginx反向代理服務(wù)器來搭建服務(wù)器，并且可以利用Nginx的特性和爬蟲技術(shù)、lua腳本對請求數(shù)據(jù)進(jìn)行抓取來做數(shù)據(jù)源，發(fā)送到Kafka消息隊(duì)列中進(jìn)行排列，通過Spark對每一條請求數(shù)據(jù)包都進(jìn)行安全分析后利用MySQL數(shù)據(jù)庫來存儲(chǔ)相關(guān)數(shù)據(jù)，從而對系統(tǒng)的數(shù)據(jù)存儲(chǔ)進(jìn)行支撐;利用Hadoop大數(shù)據(jù)框架作為文件存儲(chǔ)系統(tǒng)，通過Flume框架對日志目錄進(jìn)行實(shí)時(shí)監(jiān)控，并傳輸?shù)絊park中進(jìn)行數(shù)據(jù)的處理分析和存儲(chǔ);最后將數(shù)據(jù)通過Spring Boot和Mybatis來開發(fā)后端建立與數(shù)據(jù)庫的連接，將數(shù)據(jù)通過Kibana進(jìn)行可視化呈現(xiàn)在前端界面，用戶使用本系統(tǒng)完全可以通過瀏覽器實(shí)現(xiàn)管理、監(jiān)測等操作。

3.2? ?系統(tǒng)功能模塊

系統(tǒng)主要分為兩大模塊：管理端和可視化顯示端。其中，管理端包括管理員、安全信息員兩個(gè)部分。管理員主要具有用戶管理、公告管理、郵件模塊管理、系統(tǒng)參數(shù)配置管理等權(quán)限;安全信息員具有日志目錄管理、漏洞庫管理、規(guī)則特征庫管理、腳本庫管理、攻擊信息管理及黑白名單信息管理等權(quán)限，另外還可以對各類事件進(jìn)行分析，是整個(gè)系統(tǒng)的核心模塊。前端顯示模塊，主要是對攻擊信息進(jìn)行及時(shí)顯示與處理。詳細(xì)信息如圖2所示。

事件分析模塊主要處于SparkStreaming數(shù)據(jù)流式處理階段，首先觸發(fā)流程為客戶端向服務(wù)器發(fā)送請求通過Nginx反向代理服務(wù)器，Nginx會(huì)調(diào)用Lua腳本對請求的數(shù)據(jù)包進(jìn)行流量捕獲，然后直接將捕獲的完整請求數(shù)據(jù)包和響應(yīng)數(shù)據(jù)包格式化后發(fā)送到Kafka消息隊(duì)列中等待消費(fèi)者消費(fèi);隨后通過消費(fèi)者消費(fèi)將數(shù)據(jù)消費(fèi)到Spark中，通過SparkStreaming對topic進(jìn)行篩選獲取對應(yīng)的請求數(shù)據(jù)包;接著在Spark中對數(shù)據(jù)包進(jìn)行獲取后拆分，逐個(gè)進(jìn)行特征匹配，當(dāng)匹配到特征字段就會(huì)將這段的數(shù)據(jù)包進(jìn)行記錄和標(biāo)記，然后及時(shí)觸發(fā)郵件系統(tǒng)，在惡意數(shù)據(jù)包存入數(shù)據(jù)庫中的同時(shí)向綁定用戶發(fā)送郵件告警。

3.3? ?基本攻擊流程及分析

首先確定攻擊目標(biāo)：http：//219.***.***.228：4**。

存在漏洞的url：

http：//219.***.***.228：4**/new_list.php？id=1。

尋找網(wǎng)站存在的弱點(diǎn)，假設(shè)new_list.php的id參數(shù)存在SQL注入漏洞，構(gòu)造攻擊向量id={payload}（payload為攻擊載荷）。發(fā)送帶有攻擊載荷的請求數(shù)據(jù)包，攻擊成功后獲取數(shù)據(jù)庫名稱，如圖3所示。

4? 網(wǎng)絡(luò)安全態(tài)勢感知系統(tǒng)實(shí)現(xiàn)（Realization of network security situation awareness system）

管理員登錄后進(jìn)入后臺(tái)管理頁面：顯示當(dāng)日產(chǎn)生的告警信息條數(shù)和攔截條數(shù);展現(xiàn)系統(tǒng)所受威脅的類型占比;展現(xiàn)近七日的威脅告警和攔截條數(shù)的折線圖，更好地體現(xiàn)出近期系統(tǒng)所受的威脅程度，據(jù)此可以立即采取防御措施;網(wǎng)口吞吐量檢測實(shí)時(shí)顯示服務(wù)器的網(wǎng)口吞吐量信息，可以直觀地看出服務(wù)器的流量狀態(tài)，快速辨別服務(wù)器是否存在惡意流量，如圖4所示。

另外，打開事件分析模塊，可以對主機(jī)威脅、緊急事件、情報(bào)事件、攻擊者視角、流量等進(jìn)行安全方面的分析，查找攻擊來源，并對攻擊過程進(jìn)出進(jìn)行分解，將攻擊源進(jìn)行可視化，如圖5所示。

5? ?結(jié)論（Conclusion）

本文針對目前網(wǎng)絡(luò)安全應(yīng)用問題，利用大數(shù)據(jù)技術(shù)及開源工具集設(shè)計(jì)并實(shí)現(xiàn)了網(wǎng)絡(luò)安全態(tài)勢感知及預(yù)警系統(tǒng)，并在工作單位對網(wǎng)絡(luò)安全態(tài)勢感知系統(tǒng)進(jìn)行了部署和測試，對已有安全數(shù)據(jù)進(jìn)行了合理分析，能夠?qū)崿F(xiàn)對網(wǎng)絡(luò)安全威脅事件產(chǎn)生預(yù)警，實(shí)時(shí)檢測獲取網(wǎng)絡(luò)攻擊行為，并采用可視化的方法將結(jié)果呈現(xiàn)出來。隨后對網(wǎng)絡(luò)安全態(tài)勢感知系統(tǒng)進(jìn)行了觀測與試用，整體運(yùn)行穩(wěn)定，可以對大多數(shù)的安全威脅事件進(jìn)行預(yù)警，效果良好。

參考文獻(xiàn)（References）

[1] LEE Y， LEE Y. Toward scalable internet traffic measurement and analysis with hadoop[J]. ACM SIGCOMM Computer Communication Review， 2012， 43（1）：5-13.

[2] 劉冬蘭，劉新，張昊，等.基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢感知及主動(dòng)防御技術(shù)研究與應(yīng)用[J].計(jì)算機(jī)測量與控制，2019，27（10）：229-233.

[3] 王以伍，張牧.基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢感知關(guān)鍵技術(shù)研究[J].電腦知識(shí)與技術(shù)，2020，16（15）：43-46.

[4] 龔儉，藏小東，蘇琪，等.網(wǎng)絡(luò)安全態(tài)勢感知綜述[J].軟件學(xué)報(bào)，2017，28（4）：1010-1026.

[5]? FRANKE U，? BRYNIELSSON J. Cyber situational awareness a systematic review of the literature[J]. Computers & Security， 2014， 46：18-31.

[6] 丁華東，許華虎，段然，等.基于貝葉斯方法的網(wǎng)絡(luò)安全態(tài)勢感知模型[J].計(jì)算機(jī)工程，2020，46（6）：130-135.

[7] 琚安康，郭淵博，朱泰銘.基于開源工具集的大數(shù)據(jù)網(wǎng)絡(luò)安全態(tài)勢感知及預(yù)警架構(gòu)[J].計(jì)算機(jī)科學(xué)，2017，44（5）：125-131.

[8] LUST-RING.深入理解HDFS：Hadoop分布式文件系統(tǒng)[EB/OL].（2016-07-15） [2020-03-05].https：//blog.csdn.net/bingduanlbd/article/details/51914550#t24.

[9] 一路前行1.Storm架構(gòu)與運(yùn)行原理[EB/OL].（2017-08-13）[2020-03-20].https：//blog.csdn.net/weiyongle1996/article/details/77142245.

作者簡介：

劉海霞（1981-），女，碩士，講師.研究領(lǐng)域：計(jì)算機(jī)應(yīng)用，網(wǎng)絡(luò)安全.

許鑫磊（1997-），男，本科，工程師.研究領(lǐng)域：網(wǎng)絡(luò)安全與檢測.

冉宇瑤（1969-），女，碩士，副教授.研究領(lǐng)域：計(jì)算機(jī)應(yīng)用，算法分析.

趙小娟（1982-），女，碩士，講師.研究領(lǐng)域：網(wǎng)絡(luò)安全技術(shù)，信息化技術(shù).