鞏萃萃

隨著計算機技術及信息技術的蓬勃發(fā)展，網(wǎng)絡技術使人們的學習、生產、生活發(fā)生了深刻變革，網(wǎng)絡安全備受關注，運用大數(shù)據(jù)分析技術是強化網(wǎng)絡安全的有效手段。本文從應用大數(shù)據(jù)在網(wǎng)絡安全分析中的重要意義入手，針對數(shù)據(jù)收集、存儲、檢索、分析等具體應用進行了深入探討，以進一步提高網(wǎng)絡安全分析與處理效率，促進互聯(lián)網(wǎng)事業(yè)持續(xù)、健康發(fā)展。

一、網(wǎng)絡安全分析中大數(shù)據(jù)技術應用概述

網(wǎng)絡技術的飛速發(fā)展促進了各行各業(yè)的發(fā)展，網(wǎng)絡安全問題與人們生活息息相關。信息時代，網(wǎng)絡架構日趨復雜，數(shù)據(jù)信息量和種類巨增，信息采集和處理對數(shù)據(jù)傳輸速度提升對網(wǎng)絡安全管理提出了更高的要求，傳統(tǒng)的基于特征匹配的安全防護技術無法滿足當前復雜、多樣的網(wǎng)絡安全要求。

大數(shù)據(jù)驅動安全管理是適應復雜網(wǎng)絡要求，精確檢測分析預警并采取干預防護措施是保障網(wǎng)絡安全的有效手段。網(wǎng)絡安全分析處理的數(shù)據(jù)主要包括分析日志和流量，此外還要對訪問、用戶行為、業(yè)務行為等相關數(shù)據(jù)信息進行分析。大數(shù)據(jù)技術擴充了網(wǎng)絡安全分析系統(tǒng)的數(shù)據(jù)存儲量，通過統(tǒng)籌分析分散性的數(shù)據(jù)，有效提高數(shù)據(jù)采集、分析的處理時間，提高網(wǎng)絡安全防護的效率和有效性;大數(shù)據(jù)技術手段有效處理數(shù)據(jù)存儲和計算問題，降低分析成本，保障復雜分析對樣本量多樣化的要求，通過關聯(lián)分析進行多維度數(shù)據(jù)處理保證信息安全性。

二、網(wǎng)絡安全分析中的大數(shù)據(jù)技術應用

大數(shù)據(jù)技術具有數(shù)據(jù)量大、速度快、種類多和非結構化的特點，滿足網(wǎng)絡安全數(shù)據(jù)分析要求。大數(shù)據(jù)技術在網(wǎng)絡安全分析的作用體現(xiàn)在數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)查詢、數(shù)據(jù)分析和復雜數(shù)據(jù)分析幾個環(huán)節(jié)構建出大數(shù)據(jù)網(wǎng)絡安全平臺，各環(huán)節(jié)環(huán)環(huán)相扣，協(xié)同作用。

（一）數(shù)據(jù)采集

網(wǎng)絡安全分析的起點是數(shù)據(jù)采集，有效引入大數(shù)據(jù)技術是數(shù)據(jù)網(wǎng)絡安全分析的關鍵。數(shù)據(jù)采集層主要完成數(shù)據(jù)的泛化、標準化處理，大數(shù)據(jù)技術通過Flume、Scribe等工具對海量的用戶信息數(shù)據(jù)、事件以及威脅情報進行高效的分布式采集、整合和傳輸，以高速、可靠的特點完成日志數(shù)據(jù)信息的處理，并發(fā)往數(shù)據(jù)存儲環(huán)節(jié)，為網(wǎng)絡安全分析提供有力技術支持。

（二）數(shù)據(jù)存儲

網(wǎng)絡分析系統(tǒng)中數(shù)據(jù)到達儲存層，數(shù)據(jù)存儲層具有吞吐量高和容錯性強的特點，應用大數(shù)據(jù)技術對不同數(shù)據(jù)類型的數(shù)據(jù)采用不同存儲方式實現(xiàn)結構化、半結構化和非結構化的信息集中儲存，提高數(shù)據(jù)檢索的能力，保證數(shù)據(jù)存儲有序性和檢索效率。存儲數(shù)據(jù)應用采標準化存儲并計算網(wǎng)絡組織構架，在短時間內響應、檢索數(shù)據(jù)。應用列式存儲、分布式計算模式，將分析處理結果和分析警告存放于列式存儲部位;即時數(shù)據(jù)則應使用流式計算結果儲存到數(shù)據(jù)庫。

（三）數(shù)據(jù)查詢

大數(shù)據(jù)技術構建查詢模塊將數(shù)據(jù)查詢的請求主語分成多個節(jié)點，運用非結構化的 數(shù)據(jù)數(shù)據(jù)查詢關鍵詞進行檢索，利用分布式指令分別置于節(jié)點之中，查詢結束后再整合處理結果數(shù)據(jù)定位，進行快速數(shù)據(jù)檢索追溯存在安全隱患的數(shù)據(jù)，有效提高數(shù)據(jù)查詢速度，保證網(wǎng)絡安全運行。

（四）數(shù)據(jù)分析

網(wǎng)絡分析系統(tǒng)以用Storm、Spark為基礎對實時數(shù)據(jù)展開分析，運用CEP技術、關聯(lián)分析計算法對實時數(shù)據(jù)進行監(jiān)控、分析、處理，將需要分析的數(shù)據(jù)信息放置在計算節(jié)點上，及時發(fā)現(xiàn)數(shù)據(jù)中的異常;針對歷史數(shù)據(jù)開展分析，對時效性要求不高的數(shù)據(jù)采用Hadoop結構進行深入的數(shù)據(jù)處理，通過HDFS分布式儲存完成捕捉與安全信息、風險分析、攻擊溯源等分析了解網(wǎng)絡運行狀態(tài);采用數(shù)據(jù)聚合、多元數(shù)據(jù)、數(shù)據(jù)挖掘以及數(shù)據(jù)抽取技術、發(fā)散性關聯(lián)分析從DNS特性和流量全方位復雜數(shù)據(jù)分析;開展多源數(shù)據(jù)和多階段組合，關聯(lián)不同階段的行為處理內主機，拓寬數(shù)據(jù)源查詢的路徑，完成系統(tǒng)安全隱患和關聯(lián)性攻擊的綜合分析進行數(shù)據(jù)的挖掘和整理，排查攻擊源和系統(tǒng)安全漏洞，可視化展示并形成相應的網(wǎng)絡安全分析報告，滿足網(wǎng)絡安全分析工作的需要。

三、大數(shù)據(jù)技術在網(wǎng)絡安全平臺建設中的建設

著力建設大數(shù)據(jù)網(wǎng)絡安全平臺通過建模分析僵尸網(wǎng)絡，惡意域名、Web攻擊等安全事件及數(shù)據(jù)問的關聯(lián)關系，建立對網(wǎng)絡安全事件深入系統(tǒng)的了解，形成可視化安全分析工具，為用戶提供安全分析報告和預警服務。網(wǎng)絡安全平臺廣泛采集Netflow、DPI等大網(wǎng)數(shù)據(jù)和客戶端數(shù)據(jù)，運用惡意域名分析模塊、Web安全分析模塊和客戶安全分析等模塊提供安全分析視圖，直觀反應自身安全狀況;利用攻擊溯源模塊深度挖掘分析網(wǎng)絡拓撲信息、路由器端信息，快速回溯擊路徑，及時發(fā)現(xiàn)和抑制。

四、結語

綜上所述，大數(shù)據(jù)技術網(wǎng)絡安全分析是強化網(wǎng)絡安全管理和數(shù)據(jù)安全運營的重要手段，工作實踐中，管理部門和技術人員要積極推廣與應用大數(shù)據(jù)技術，構建網(wǎng)絡安全平臺要充分發(fā)揮大數(shù)據(jù)采集、存儲、檢索、分析作用，加強網(wǎng)絡的安全防范技術、提升網(wǎng)絡安全防御準確度和效率，保障信息安全。（作者單位：哈爾濱華德學院）