摘要：本文設(shè)計了一個包含四個核心層次的安全態(tài)勢感知平臺架構(gòu)，其中，數(shù)據(jù)采集層自動收集多種來源的數(shù)據(jù)，存儲與處理層實現(xiàn)海量數(shù)據(jù)的高效管理，數(shù)據(jù)分析層應(yīng)用機器學(xué)習(xí)算法挖掘有價值信息，態(tài)勢感知與可視化層通過綜合評估模型實時監(jiān)測網(wǎng)絡(luò)安全態(tài)勢，以直觀方式展示結(jié)果，加快升級硬件軟件配置，提升平臺性能。

關(guān)鍵詞：大數(shù)據(jù)；網(wǎng)絡(luò)安全；態(tài)勢感知平臺

引言

網(wǎng)絡(luò)已成為現(xiàn)代社會不可或缺的基礎(chǔ)設(shè)施，但是，網(wǎng)絡(luò)安全問題也日漸凸顯，網(wǎng)絡(luò)攻擊手段不斷翻新，傳統(tǒng)安全防護手段難以應(yīng)對。大數(shù)據(jù)技術(shù)以其強大的數(shù)據(jù)處理能力為網(wǎng)絡(luò)安全態(tài)勢感知提供了新的可能。本文設(shè)計了一個包含四個核心層次的安全態(tài)勢感知平臺，該平臺能夠?qū)崿F(xiàn)對網(wǎng)絡(luò)安全態(tài)勢的實時感知，并在檢測到異?；蛲{時，及時發(fā)出預(yù)警，有助于用戶更好地理解當前的安全狀況，從而作出科學(xué)的決策。

1. 大數(shù)據(jù)技術(shù)與網(wǎng)絡(luò)安全態(tài)勢感知

1.1 大數(shù)據(jù)技術(shù)概述

1.1.1 數(shù)據(jù)采集、存儲與處理技術(shù)

數(shù)據(jù)采集技術(shù)從各種來源（如傳感器、日志文件、社交媒體等）自動或半自動收集數(shù)據(jù)，通過網(wǎng)絡(luò)爬蟲技術(shù)可以從互聯(lián)網(wǎng)上抓取大量信息，傳感器技術(shù)則可以從物理世界中實時捕獲數(shù)據(jù)[1]。分布式存儲技術(shù)如Hadoop Distributed File System（HDFS）成為主流，能夠?qū)?shù)據(jù)分散存儲在多個節(jié)點上，提高存儲效率。

1.1.2 大數(shù)據(jù)分析與挖掘技術(shù)

大數(shù)據(jù)分析與挖掘技術(shù)從海量數(shù)據(jù)中提取有價值的信息，通過聚類分析，可以將相似的數(shù)據(jù)點分組，發(fā)現(xiàn)隱藏的模式或關(guān)聯(lián)。數(shù)據(jù)分析常使用統(tǒng)計方法和機器學(xué)習(xí)算法。機器學(xué)習(xí)算法如決策樹、支持向量機（SVM）和神經(jīng)網(wǎng)絡(luò)等，能夠從數(shù)據(jù)中學(xué)習(xí)并作出預(yù)測。機器學(xué)習(xí)中的線性回歸模型可以用公式表示為

（1）

式中，y為因變量，x1為自變量，βi為回歸系數(shù)，為誤差項。在聚類分析中，K-means算法是一種常用的方法，其目標是最小化每個數(shù)據(jù)點與其所屬類別中心點之間的距離平方和，即

（2）

式中，J為聚類的目標函數(shù)，表示所有數(shù)據(jù)點到其所屬類別中心點的距離平方和；K為聚類的數(shù)量；Ck為第k個聚類；xi是屬于第k個聚類的數(shù)據(jù)點；μk為第一個聚類的中心點。在數(shù)據(jù)分類問題中，邏輯回歸模型也常被使用，其公式可以表示為

（3）

式中，為在給定自變量x的條件下，因變量Y取值為1的概率；為邏輯回歸模型的系數(shù)。通過多樣化的數(shù)據(jù)采集技術(shù)，網(wǎng)絡(luò)安全態(tài)勢感知平臺能夠?qū)崟r地從不同來源（如網(wǎng)絡(luò)流量、系統(tǒng)日志、用戶行為等）抓取與網(wǎng)絡(luò)安全相關(guān)的數(shù)據(jù)。數(shù)據(jù)收集為后續(xù)的態(tài)勢分析和預(yù)警提供了信息基礎(chǔ)。

1.2 網(wǎng)絡(luò)安全態(tài)勢感知原理

1.2.1 態(tài)勢感知模型與算法

在網(wǎng)絡(luò)安全態(tài)勢感知中，態(tài)勢感知模型是核心組成部分，通?；跀?shù)據(jù)融合、威脅評估、網(wǎng)絡(luò)行為分析等技術(shù)構(gòu)建[2]。為全面評估網(wǎng)絡(luò)安全狀況，采用基于權(quán)重和的綜合評估模型。該模型可以表示為

（4）

式中，S為網(wǎng)絡(luò)安全態(tài)勢的綜合評估值；wi為第一個安全指標的權(quán)重，反映了該指標在整體安全評估中的重要性；si為第i個安全指標的得分或評估值；n為安全指標的總數(shù)。模型綜合考慮多個安全指標，能夠給出一個全面的網(wǎng)絡(luò)安全態(tài)勢評估。每個指標的權(quán)重可以根據(jù)實際情況進行動態(tài)調(diào)整，以適應(yīng)不同的安全需求。算法可以準確地識別網(wǎng)絡(luò)中的異常行為和潛在威脅。

1.2.2 實時態(tài)勢監(jiān)測與評估

實時態(tài)勢監(jiān)測要求系統(tǒng)能實時監(jiān)控網(wǎng)絡(luò)流量、系統(tǒng)日志、用戶行為等關(guān)鍵信息，及時發(fā)現(xiàn)并應(yīng)對安全威脅。在實時監(jiān)測過程中，采用機器學(xué)習(xí)技術(shù)來建立正常的行為基線，并據(jù)此檢測異常行為，使用基于滑動窗口的異常檢測算法來實時監(jiān)測網(wǎng)絡(luò)流量。該算法可以計算每個時間窗口內(nèi)的流量統(tǒng)計特征，并與歷史數(shù)據(jù)進行比較，檢測出異常流量。具體公式可以表示為

（5）

式中，為在時間t的異常得分；為在時間觀測到的流量統(tǒng)計特征值；和分別是到時間t為止觀測到的流量統(tǒng)計特征的均值和標準差。當超過某個預(yù)設(shè)的閾值時，就認為發(fā)生了異常流量。

2. 基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢感知平臺設(shè)計

2.1 平臺架構(gòu)設(shè)計

基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢感知平臺設(shè)計包括四個核心層次：數(shù)據(jù)采集層負責(zé)從各種來源自動收集數(shù)據(jù)；數(shù)據(jù)存儲與處理層利用分布式存儲技術(shù)高效管理海量數(shù)據(jù)，并進行實時處理；數(shù)據(jù)分析層運用大數(shù)據(jù)分析與挖掘技術(shù)提取有價值信息；態(tài)勢感知與可視化層通過綜合評估模型及實時監(jiān)測算法，實現(xiàn)網(wǎng)絡(luò)安全的全面態(tài)勢感知，并將結(jié)果以直觀方式展示，以便快速響應(yīng)決策[3]?；诖髷?shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢感知平臺如圖1所示。

2.2 關(guān)鍵技術(shù)分析

2.2.1 分布式數(shù)據(jù)采集技術(shù)

分布式數(shù)據(jù)采集技術(shù)是構(gòu)建基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢感知平臺的基礎(chǔ)。該技術(shù)通過在網(wǎng)絡(luò)環(huán)境中部署多個數(shù)據(jù)采集節(jié)點，實現(xiàn)對多種數(shù)據(jù)源的數(shù)據(jù)監(jiān)控，不僅提高了數(shù)據(jù)采集的效率，還保證了數(shù)據(jù)的完整性。該技術(shù)采用了負載均衡、數(shù)據(jù)壓縮和加密傳輸?shù)炔呗裕行Ы鉀Q了大規(guī)模數(shù)據(jù)采集過程中可能出現(xiàn)的網(wǎng)絡(luò)擁塞、數(shù)據(jù)丟失等問題。

2.2.2 大數(shù)據(jù)存儲與計算框架（如Hadoop、Spark）

Hadoop和Spark是當前最流行的大數(shù)據(jù)框架。Hadoop通過分布式文件系統(tǒng)（HDFS）實現(xiàn)海量數(shù)據(jù)的可靠存儲，并通過MapReduce編程模型支持大規(guī)模數(shù)據(jù)的并行處理；Spark則提供了更加高效的數(shù)據(jù)處理引擎，支持內(nèi)存計算實時分析網(wǎng)絡(luò)數(shù)據(jù)并快速響應(yīng)安全威脅。

2.2.3 數(shù)據(jù)流處理與實時分析技術(shù)（如Storm、Flink）

框架采用分布式計算架構(gòu)，能夠并行處理大量數(shù)據(jù)流，同時提供低延遲和高吞吐量的數(shù)據(jù)處理能力。通過應(yīng)用這些技術(shù)，網(wǎng)絡(luò)安全態(tài)勢感知平臺能夠在短時間內(nèi)對網(wǎng)絡(luò)環(huán)境進行全面監(jiān)控，及時發(fā)現(xiàn)并響應(yīng)安全事件[4]。

2.2.4 機器學(xué)習(xí)算法在態(tài)勢感知中的應(yīng)用

機器學(xué)習(xí)算法通過應(yīng)用機器學(xué)習(xí)算法，讓網(wǎng)絡(luò)安全態(tài)勢感知平臺自動學(xué)習(xí)和識別網(wǎng)絡(luò)環(huán)境中的正常和異常行為模式。使用無監(jiān)督學(xué)習(xí)算法對大量網(wǎng)絡(luò)數(shù)據(jù)進行聚類分析，發(fā)現(xiàn)異常流量和行為模式；使用監(jiān)督學(xué)習(xí)算法對已知的安全威脅進行分類和識別；使用強化學(xué)習(xí)算法不斷優(yōu)化態(tài)勢感知模型，提高威脅檢測的準確性。

3. 平臺應(yīng)用與效果評估

3.1 平臺部署與運行環(huán)境

基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢感知平臺的部署需要考慮服務(wù)器硬件、操作系統(tǒng)、大數(shù)據(jù)框架和網(wǎng)絡(luò)環(huán)境等多個方面。服務(wù)器硬件CPU核心數(shù)，≥32核；內(nèi)存，≥256GB；存儲，≥10TBSSD用于HDFS，≥2TBRAM用于Spark緩存。選擇Linux發(fā)行版，如CentOS 7或Ubuntu 18.04 LTS。大數(shù)據(jù)框架基于Hadoop 3.x，選擇可高速互聯(lián)網(wǎng)連接的內(nèi)部網(wǎng)絡(luò)帶寬足夠支持數(shù)據(jù)實時傳輸。部署完成后，需要配置相應(yīng)的服務(wù)，如HDFS、YARN、ZooKeeper等，并安裝和配置所需的大數(shù)據(jù)框架和工具。

3.2 應(yīng)用案例分析

以中國移動四川公司網(wǎng)絡(luò)安全態(tài)勢感知平臺為例，該平臺采用上述技術(shù)架構(gòu)進行部署。網(wǎng)絡(luò)流量需要確定采集范圍，以及采集的具體數(shù)據(jù)內(nèi)容。安全事件要定義類型和來源，數(shù)據(jù)采集環(huán)境需要部署數(shù)據(jù)采集代理或傳感器在網(wǎng)絡(luò)中的關(guān)鍵位置，以便捕獲所需的流量、日志和事件[5]。讓數(shù)據(jù)采集設(shè)備具有足夠的處理能力來實時捕獲數(shù)據(jù)，并且配置正確，以避免數(shù)據(jù)丟失。設(shè)置大數(shù)據(jù)處理集群（如Hadoop、Spark），配置數(shù)據(jù)流處理框架（如Storm、Flink），以便實時分析網(wǎng)絡(luò)流量和日志數(shù)據(jù)。

測試數(shù)據(jù)集準備包含正常和異常流量的測試數(shù)據(jù)集，準備已知的安全事件數(shù)據(jù)集，用于驗證安全事件處理的準確性。然后，確定實驗的時間周期，如連續(xù)幾天或幾周，以收集足夠的數(shù)據(jù)進行評估。將捕獲的數(shù)據(jù)導(dǎo)入大數(shù)據(jù)處理集群，并使用MapReduce、Spark等框架進行處理分析，使用Storm或Flink處理數(shù)據(jù)流，并計算處理延遲。應(yīng)用案例數(shù)據(jù)如表1所示。

3.3 效果評估與優(yōu)化建議

網(wǎng)絡(luò)流量的數(shù)據(jù)采集量達到每天500GB，且采集延遲不超過1秒，數(shù)據(jù)處理延遲方面，網(wǎng)絡(luò)流量的處理延遲在5秒以內(nèi)，系統(tǒng)日志的處理延遲在3秒以內(nèi)，安全事件的處理延遲更是低于1秒。從表中數(shù)據(jù)可見，網(wǎng)絡(luò)流量的異常檢測率高達98%，系統(tǒng)日志的異常檢測率為95%，安全事件的異常檢測率更是達到了100%，平臺異常檢測較為準確。中國移動四川公司網(wǎng)絡(luò)安全態(tài)勢感知平臺在數(shù)據(jù)采集效率、數(shù)據(jù)處理能力和異常檢測準確性方面均表現(xiàn)出色。

隨著數(shù)據(jù)量的不斷增長，平臺的數(shù)據(jù)處理能力也將面臨更大的挑戰(zhàn)。建議進一步升級大數(shù)據(jù)處理集群的硬件和軟件配置，提升用戶對平臺功能和操作的熟練程度，及時解決用戶在使用過程中遇到的困難。

結(jié)語

本文通過構(gòu)建核心層次平臺架構(gòu)，實現(xiàn)了對網(wǎng)絡(luò)安全的全面實時監(jiān)控，平臺采用分布式數(shù)據(jù)采集技術(shù)，有效提高了數(shù)據(jù)采集效率與數(shù)據(jù)完整性。借助Hadoop、Spark等大數(shù)據(jù)框架，實現(xiàn)了海量數(shù)據(jù)的高效存儲與實時處理。通過應(yīng)用機器學(xué)習(xí)算法，平臺能夠自動學(xué)習(xí)和識別網(wǎng)絡(luò)環(huán)境中的異常行為模式，從而大幅提高異常檢測的準確性。

參考文獻：

[1]王帥.大數(shù)據(jù)背景下網(wǎng)絡(luò)安全態(tài)勢感知平臺技術(shù)分析[J].軟件，2023，44（4）： 172-174.

[2]李昶.基于大數(shù)據(jù)的安全態(tài)勢感知系統(tǒng)研究[J].移動信息，2023，45（9）：132-134.

[3]李澤慧，徐沛東，鄔陽，等.基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢感知平臺應(yīng)用研究[J].計算機應(yīng)用與軟件，2023，40（7）：337-341.

[4]謝志奇.基于大數(shù)據(jù)分析的網(wǎng)絡(luò)安全態(tài)勢感知系統(tǒng)設(shè)計與應(yīng)用[J].網(wǎng)絡(luò)安全和信息化，2023（10）：115-118.

[5]王可陽.基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全態(tài)勢感知研究[J].科學(xué)與信息化，2023（11）：46-48.

作者簡介：李靜，碩士研究生，助教，研究方向：網(wǎng)絡(luò)安全；通信作者：楊斌，博士研究生，教授，研究方向：醫(yī)學(xué)大數(shù)據(jù)。