摘要：該研究旨在構建和完善大數(shù)據(jù)環(huán)境下的網(wǎng)絡安全態(tài)勢感知系統(tǒng)。通過分析系統(tǒng)平臺架構和技術架構，研究了系統(tǒng)在安全防御、威脅情報獲取與共享、資產(chǎn)狀態(tài)持續(xù)監(jiān)測等方面的設計與實現(xiàn)。研究結果表明，系統(tǒng)通過集成多種安全技術和大數(shù)據(jù)分析方法，顯著提升了異常檢測和攻擊鏈分析的準確性和響應速度。研究成果對于提升企業(yè)網(wǎng)絡安全防護能力，及時應對和處理潛在威脅具有重要意義，未來將繼續(xù)優(yōu)化系統(tǒng)功能，深化大數(shù)據(jù)與人工智能技術的融合。

關鍵詞：大數(shù)據(jù)；網(wǎng)絡安全；態(tài)勢感知；系統(tǒng)平臺

中圖分類號：TN915.08" 文獻標志碼：A

作者簡介：盧毅（2003— ），男，本科；研究方向：大數(shù)據(jù)。

0" 引言

在當前網(wǎng)絡安全環(huán)境下，隨著網(wǎng)絡攻擊的復雜性和頻率不斷增加，傳統(tǒng)的安全防護措施已經(jīng)難以應對新型威脅。大數(shù)據(jù)技術的迅猛發(fā)展為網(wǎng)絡安全態(tài)勢感知提供了新的解決方案。本研究旨在探索和構建基于大數(shù)據(jù)的網(wǎng)絡安全態(tài)勢感知系統(tǒng)，通過整合多種數(shù)據(jù)源和先進的分析技術，實現(xiàn)對網(wǎng)絡安全態(tài)勢的全面監(jiān)控和及時響應。研究的主要目標是提高安全事件的檢測準確率和響應速度，提供全面的安全態(tài)勢分析，幫助企業(yè)有效防御各種網(wǎng)絡威脅，為提升整體網(wǎng)絡安全水平提供理論和實踐支持。

1" 網(wǎng)絡安全態(tài)勢感知系統(tǒng)技術架構

1.1" 系統(tǒng)平臺架構

在大數(shù)據(jù)網(wǎng)絡安全態(tài)勢感知系統(tǒng)平臺架構如圖1所示，該平臺架構分為安全管理層、智能分析層、安全數(shù)據(jù)中心層、數(shù)據(jù)提取層和全網(wǎng)安全信息來源5個層次。安全管理層負責用戶指揮、動態(tài)感知、安全洞察、態(tài)勢分析、決策管理和系統(tǒng)運維管理等功能。智能分析層包括宏觀態(tài)勢分析、脆弱性分析、風險感知、入侵檢測、行為分析、威脅情報分析、情境分析和數(shù)據(jù)挖掘。安全數(shù)據(jù)中心層提供日志存儲計算、數(shù)據(jù)流處理、全量數(shù)據(jù)分析、離線計算、模型訓練、標簽挖掘、知識圖譜等功能［1］。數(shù)據(jù)提取層負責日志與流量解析、數(shù)據(jù)清洗、日志存儲、流量數(shù)據(jù)存儲、脫敏和特征提取等工作。全網(wǎng)安全信息來源包括防火墻、入侵檢測和防御系統(tǒng)（IDS/IPS）、Web應用防火墻（WAF）、郵件網(wǎng)關、終端防護平臺（EPP）、數(shù)據(jù)泄露防護（DLP）、統(tǒng)一威脅管理（UTM）、安全信息與事件管理（SIEM）、威脅情報平臺（TIP）等［2］。以上設備和系統(tǒng)提供網(wǎng)絡流量、日志、行為數(shù)據(jù)等多種安全數(shù)據(jù)來源。

1.2" DBSCAN聚類算法研究

DBSCAN（Density-Based Spatial Clustering of Applications with Noise）是一種基于密度的聚類算法，適用于處理含噪聲和形狀不規(guī)則的數(shù)據(jù)集［3］。DBSCAN通過定義高密度區(qū)域中的數(shù)據(jù)點為簇，低密度區(qū)域中的數(shù)據(jù)點為噪聲點，從而進行有效的聚類分析。DBSCAN通過ε（epsilon）和MinPts這2個關鍵參數(shù)來定義數(shù)據(jù)點的鄰域。具體而言，DBSCAN聚類算法首先定義每個數(shù)據(jù)點的ε-鄰域，然后識別核心點，即在其ε-鄰域內(nèi)至少包含MinPts個點；接著，從核心點開始，將在其ε-鄰域內(nèi)的所有點標記為同一個簇并遞歸處理這些鄰域點，直至所有點被處理。其中，在某個核心點ε-鄰域內(nèi)的非核心點被標記為邊界點，而不屬于任何簇的點被標記為噪聲點。

DBSCAN的核心計算公式包括距離計算公式，如式（1）所示。

dist（di，dj）=∑nk=1（dik-djk）2（1）

其中，dik和djk分別為數(shù)據(jù)點di和dj在第k維的坐標。

ε-鄰域定義為：

N（di）={dj∈D｜dist（di，dj）≤}（2）

核心點條件為：

|N（di）|≥MinPts（3）

在網(wǎng)絡安全態(tài)勢感知系統(tǒng)中，DBSCAN被廣泛應用于異常檢測和入侵檢測，通過對網(wǎng)絡流量數(shù)據(jù)和日志數(shù)據(jù)進行聚類分析，識別異常行為和潛在威脅［4］。在應用過程中，首先采集網(wǎng)絡數(shù)據(jù)包并提取相關屬性，然后對數(shù)據(jù)進行標準化處理，應用DBSCAN進行聚類分析，識別出異常數(shù)據(jù)點，最后生成預警信息和安全報告，輔助安全管理人員決策。通過應用DBSCAN算法，網(wǎng)絡安全態(tài)勢感知系統(tǒng)能夠更精準地檢測異常行為和潛在威脅，為企業(yè)提供更全面的安全防護能力。DBSCAN算法在處理帶有噪聲和形狀不規(guī)則的數(shù)據(jù)集方面表現(xiàn)出色，能夠自動識別簇的數(shù)量，適用于復雜多變的網(wǎng)絡環(huán)境。在網(wǎng)絡流量分析中，DBSCAN算法可以發(fā)現(xiàn)異常流量模式；在日志分析中，DBSCAN算法可以識別出異常登錄行為和可疑活動軌跡，從而顯著提升網(wǎng)絡安全防護水平［5］。

2" 系統(tǒng)功能設計及實現(xiàn)

2.1" 威脅情報獲取與共享功能設計及實現(xiàn)

通過整合系統(tǒng)多種數(shù)據(jù)源，包括外部威脅情報源（如開源情報、商業(yè)情報服務、社區(qū)共享情報等）和內(nèi)部威脅情報源（如企業(yè)內(nèi)部安全設備、應用系統(tǒng)、用戶行為等），本文采取主動采集和被動接收2種方式，從各類數(shù)據(jù)源獲取威脅情報并對其進行預處理，包括數(shù)據(jù)清洗、格式轉換和去重等，以確保數(shù)據(jù)質(zhì)量和一致性。系統(tǒng)利用大數(shù)據(jù)分析技術和機器學習算法，對采集的威脅情報進行深度分析，通過協(xié)議還原、沙箱行為分析、用戶行為分析、動態(tài)域名分析和惡意程序特征匹配等技術，及時發(fā)現(xiàn)和識別安全威脅。威脅情報融合與共享平臺支持不同安全設備和系統(tǒng)之間的情報共享，通過融合與關聯(lián)分析，生成綜合性的安全態(tài)勢報告，幫助企業(yè)安全管理人員快速了解當前的安全狀況［6］。威脅情報獲取共享如圖2所示。

2.2" 持續(xù)監(jiān)測資產(chǎn)狀態(tài)功能設計及實現(xiàn)

系統(tǒng)通過被動探測（如NetFlow、流量分析）和主動探測（如端口掃描、服務掃描）結合代理深度探測和第三方數(shù)據(jù)（如CMDB、日志等），實現(xiàn)對網(wǎng)絡中所有資產(chǎn)的全面發(fā)現(xiàn)與識別。通過對采集的資產(chǎn)數(shù)據(jù)進行合并、去重、補全，生成完整的資產(chǎn)視圖。系統(tǒng)將各類數(shù)據(jù)源的信息進行融合，分析資產(chǎn)組成、分類和標記化，確保資產(chǎn)信息的準確性和完整性。資產(chǎn)管理模塊提供資產(chǎn)預備案管理、資產(chǎn)維護、安全配置管理、資產(chǎn)地圖和資產(chǎn)報表等功能，能夠?qū)Y產(chǎn)進行分組、分類和分域管理，支持多維度和多標準的資產(chǎn)視圖展示。系統(tǒng)提供7×24h的實時監(jiān)測，通過周期性掃描和實時感知技術，及時發(fā)現(xiàn)新增資產(chǎn)、變化資產(chǎn)和資產(chǎn)脆弱性，結合多種協(xié)議探測技術和豐富的資產(chǎn)指紋庫，精確識別資產(chǎn)類型、版本和開放服務。

系統(tǒng)通過分布式數(shù)據(jù)采集引擎，實時收集來自不同探測手段和數(shù)據(jù)源的資產(chǎn)信息，采用Kafka和Flume等技術進行數(shù)據(jù)流處理，確保數(shù)據(jù)的高效傳輸和處理。利用Hadoop、NoSQL數(shù)據(jù)庫和關系型數(shù)據(jù)庫對海量資產(chǎn)數(shù)據(jù)進行存儲和管理，確保數(shù)據(jù)的高可用性和安全性。系統(tǒng)集成多種智能分析模塊，通過實時分析和批量分析，能夠識別異常行為和潛在威脅并生成相應的預警信息。系統(tǒng)的持續(xù)監(jiān)測資產(chǎn)狀態(tài)功能實現(xiàn)的整體流程如圖3所示。

3" 系統(tǒng)測試

3.1" 惡意域名及DNS隱蔽信道檢測

DNS隱蔽信道是一種利用DNS協(xié)議進行數(shù)據(jù)傳輸?shù)募夹g，攻擊者將敏感數(shù)據(jù)編碼到DNS查詢請求中并將其傳輸?shù)酵獠糠掌?，從而繞過傳統(tǒng)的安全防護措施。為應對這種威脅，本系統(tǒng)采用了多種先進技術進行檢測，包括短文本分類和特異度評分算法，同時還利用Hadoop和NoSQL數(shù)據(jù)庫，對海量DNS日志數(shù)據(jù)進行存儲和管理，確保數(shù)據(jù)的高可用性和安全性。智能分析模塊通過機器學習算法和行為分析技術，對異常域名請求進行深度分析，識別潛在的惡意行為。UI與可視化層將檢測結果轉化為易于理解的圖表和報告，幫助安全管理人員實時監(jiān)控和分析DNS隱蔽信道活動。系統(tǒng)設計了自動化響應機制，一旦檢測到惡意域名或DNS隱蔽信道，立即生成告警并通知相關安全人員，采取相應的阻斷和防護措施。

在系統(tǒng)測試完成后，研究人員發(fā)現(xiàn)對惡意域名的檢測率提升了35%，利用特異度評分算法，系統(tǒng)對DNS隱蔽信道的識別準確率達到90%以上，自動化響應機制將平均響應時間從10min縮短至3min，有效提升了安全事件的處理效率。系統(tǒng)檢測惡意域名及DNS隱蔽信道的可視化如圖4所示。

3.2" 攻擊鏈分析檢測

攻擊鏈分析檢測方法包括數(shù)據(jù)采集、數(shù)據(jù)預處理、攻擊階段劃分、線索日志篩選和攻擊鏈構建。在系統(tǒng)實施測試中，數(shù)據(jù)表明系統(tǒng)在攻擊鏈分析檢測方面表現(xiàn)優(yōu)異。通過多種分析技術結合，系統(tǒng)對攻擊鏈的識別率提升了40%，對復雜攻擊行為的檢測精度達到85%以上，自動化響應機制將平均響應時間從15min縮短至5min，有效提升了安全事件的處理效率。

4" 結語

本研究通過構建大數(shù)據(jù)網(wǎng)絡安全態(tài)勢感知系統(tǒng)，詳細分析了其技術架構、功能設計及實際應用情況。系統(tǒng)技術架構包括數(shù)據(jù)攝取、存儲、治理、監(jiān)測分析、指揮調(diào)度以及可視化層，綜合利用大數(shù)據(jù)分析和機器學習算法，實現(xiàn)了對網(wǎng)絡安全態(tài)勢的實時監(jiān)測與深度分析。在功能設計方面，系統(tǒng)集成了安全防御、威脅

參考文獻

［1］李澤慧，徐沛東，鄔陽，等.基于大數(shù)據(jù)的網(wǎng)絡安全態(tài)勢感知平臺應用研究［J］.計算機應用與軟件，2023（7）：337-341.

［2］謝志奇.基于大數(shù)據(jù)分析的網(wǎng)絡安全態(tài)勢感知系統(tǒng)設計與應用［J］.網(wǎng)絡安全和信息化，2023（10）：115-118.

［3］方一程.大數(shù)據(jù)環(huán)境下的網(wǎng)絡安全態(tài)勢感知與技術研究［J］.網(wǎng)絡安全技術與應用，2023（8）：21-23.

［4］張人杰.大數(shù)據(jù)態(tài)勢感知系統(tǒng)在網(wǎng)絡安全管理中的應用［J］.電子技術，2023（5）：198-199.

［5］謝東剛，呂連.基于大數(shù)據(jù)的高職院校網(wǎng)絡安全態(tài)勢感知系統(tǒng)探析［J］.電腦知識與技術，2023（27）：77-79.

［6］王可陽.基于大數(shù)據(jù)技術的網(wǎng)絡安全態(tài)勢感知研究［J］.科學與信息化，2023（11）：46-48.

（編輯" 王雪芬）

Research on network security situation awareness system under big data

LU" Yi

（College of Computer Science and Technology，Hubei University of Science and Technology，

Xianning 437100， China）

Abstract： This study aims to construct and improve a network security situation awareness system in the big data environment. By analyzing the system platform architecture and technical architecture， the design and implementation of the system in security defense， threat intelligence acquisition and sharing， and continuous monitoring of asset status are studied. The research results indicate that the system significantly improves the accuracy and response speed of anomaly detection and attack chain analysis by integrating multiple security technologies and big data analysis methods. The research results are of great significance for enhancing the network security protection capabilities of enterprises， timely responding to and dealing with potential threats. The optimization of the system functions will be continued， and the integration of big data and artificial intelligence technology will be deepened in the future.

Key words： big data; network security; situation awareness; system platform