◆沈繼云

(無錫南洋職業(yè)技術(shù)學(xué)院 江蘇 214081)

網(wǎng)絡(luò)安全分析與大數(shù)據(jù)技術(shù)的應(yīng)用

◆沈繼云

(無錫南洋職業(yè)技術(shù)學(xué)院 江蘇 214081)

在網(wǎng)絡(luò)安全信息規(guī)模不斷增長的過程中，使用大數(shù)據(jù)技術(shù)已經(jīng)成為一種常態(tài)。結(jié)合網(wǎng)絡(luò)安全分析的具體需求以及傳統(tǒng)技術(shù)中的弊端可以看出大數(shù)據(jù)技術(shù)的使用勢在必行。無論是安全數(shù)據(jù)的存儲還是分析過程中都能夠體現(xiàn)出大數(shù)據(jù)技術(shù)的重要作用。本文主要是結(jié)合網(wǎng)絡(luò)安全分析以及大數(shù)據(jù)技術(shù)的應(yīng)用進(jìn)行探討。

網(wǎng)絡(luò)安全分析；大數(shù)據(jù)技術(shù)；應(yīng)用

0 前言

網(wǎng)絡(luò)安全分析不及關(guān)系到國家安全，還涉及了眾多網(wǎng)民的信息以及隱私的安全。隨著網(wǎng)絡(luò)安全分析技術(shù)的不斷使用，也出現(xiàn)了越來越多的網(wǎng)絡(luò)安全問題，影響著人們的信息安全。我國將網(wǎng)絡(luò)及信息安全提升到了國家戰(zhàn)略的地位，可以看出網(wǎng)絡(luò)安全分析的重要性。大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中具有重要的作用，有效的提高了網(wǎng)絡(luò)安全分析的效率，突破了傳統(tǒng)技術(shù)的限制，滿足目前的網(wǎng)絡(luò)安全分析需求。

1 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

在網(wǎng)絡(luò)安全分析的過程中，要明確日志以及流量是其中的關(guān)鍵因素，此外還需要重視用戶行為、漏洞、訪問、資產(chǎn)等方面的輔助信息，每一項信息的具體功能都發(fā)揮著巨大的作用。使用大數(shù)據(jù)技術(shù)的優(yōu)勢在于可以將一些分散日志和流量數(shù)據(jù)進(jìn)行集中，使用高效的分析以及儲存等技術(shù)可以有效提高網(wǎng)絡(luò)安全分析以及處理的成效，同時可以縮短分析的時間，節(jié)約一定的成本。結(jié)合一些場景關(guān)聯(lián)等方面的手段進(jìn)行分析，可以發(fā)現(xiàn)一些安全事件中隱藏的關(guān)聯(lián)性，發(fā)現(xiàn)其中的漏洞，在漏洞沒有擴大時進(jìn)行調(diào)整和修復(fù)，有效預(yù)防數(shù)據(jù)泄露等問題，不斷提高網(wǎng)絡(luò)的防御性，確保網(wǎng)絡(luò)信息的安全。

1.1 采集信息

在采集信息的過程中，可以使用Chukwa等工具，使用分布采集的手段可以實現(xiàn)日志信息的每秒數(shù)百兆的采集。此外也可以使用數(shù)據(jù)鏡像的采集方式，來采集相關(guān)的流量數(shù)據(jù)。

1.2 儲存信息

隨著網(wǎng)絡(luò)信息規(guī)模的不斷擴大，使用網(wǎng)絡(luò)平臺的人數(shù)增多，所以網(wǎng)絡(luò)數(shù)據(jù)的內(nèi)容更加豐富，增加了網(wǎng)絡(luò)安全分析的困難。在網(wǎng)絡(luò)中有非常多而復(fù)雜的數(shù)據(jù)，因此在處理這些復(fù)雜數(shù)據(jù)的過程中，首先要滿足各種分析需求的數(shù)據(jù)儲存，才能不斷的加快信息檢索和分析的速度，采用不同的儲存方式可以存儲不同類型的數(shù)據(jù)，在儲存信息的環(huán)節(jié)中可以提高效率。對于供檢索的原始安全數(shù)據(jù)比如日志信息等內(nèi)容，可以使用H base 等列式進(jìn)行存儲，而且這種技術(shù)具有快速索引的特點，會對數(shù)據(jù)檢索造成較大的影響。對于處理后的安全數(shù)據(jù)則可以使用Hahoop分布式進(jìn)行構(gòu)架計算，而是可以將分析的數(shù)據(jù)置于計算節(jié)點之上，還可以采用腳本分析的方式挖掘相關(guān)的安全數(shù)據(jù)，做好統(tǒng)計報告并將其內(nèi)容放置于列式存儲。對于實時分析的安全數(shù)據(jù)，可以使用 Storm等流式計算的方式，可以在各個計算節(jié)點處防止分析的數(shù)據(jù)，并且要在數(shù)據(jù)流經(jīng)節(jié)點的同時實現(xiàn)自動分析的目標(biāo)，當(dāng)數(shù)據(jù)統(tǒng)計完成以后可以將結(jié)果放于流式存儲中[1]。

1.3 檢索信息

傳統(tǒng)的信息計算技術(shù)可以滿足基本的檢索需求，但是在檢索的速度和質(zhì)量上還有待進(jìn)一步的提高。在查詢和檢索數(shù)據(jù)的過程中，可以將Map Reduce作為基礎(chǔ)，并且要在各個分析節(jié)點處理其中的查詢請求主語，采用分布式計算的方法，可以有效的提高數(shù)據(jù)的檢索速度和質(zhì)量。

1.4 分析數(shù)據(jù)

數(shù)據(jù)分析是其中的關(guān)鍵環(huán)節(jié)，可以使用Storm 等流式計算的架構(gòu)來完成實施分析數(shù)據(jù)的任務(wù)，還可以聯(lián)合使用復(fù)雜處理技術(shù)，對數(shù)據(jù)的內(nèi)存、安全信息等進(jìn)行實時監(jiān)控，有效保證了數(shù)據(jù)的安全性，確保第一時間可以發(fā)現(xiàn)問題并且采取有效的措施進(jìn)行解決。還可以采用H adoop架構(gòu)來分析非實時的數(shù)據(jù)，采用分布式計算的形式以及數(shù)據(jù)挖掘等技術(shù)來規(guī)避風(fēng)險，對于這種隱藏的風(fēng)險可以采取特殊的措施，及時發(fā)現(xiàn)攻擊源并且進(jìn)行處理。

1.5 多源數(shù)據(jù)和多階段組合的關(guān)聯(lián)分析

使用大數(shù)據(jù)技術(shù)可以不斷提高數(shù)據(jù)分析的效率，而且可以在短期內(nèi)挖掘分析多元異構(gòu)的數(shù)據(jù)，及時發(fā)信網(wǎng)絡(luò)系統(tǒng)中的風(fēng)險，找到現(xiàn)存的攻擊行為特征。如果發(fā)現(xiàn)了僵尸網(wǎng)絡(luò)，除了發(fā)現(xiàn)正常的訪問特征之外，還可以實現(xiàn)數(shù)據(jù)源的擴充，對一些溯源數(shù)據(jù)等進(jìn)行攻擊，結(jié)合數(shù)據(jù)分析的技術(shù)實現(xiàn)外界情報的分析。在網(wǎng)絡(luò)系統(tǒng)中如果發(fā)現(xiàn)了漏洞可以做好基本的防范措施。

2 大數(shù)據(jù)技術(shù)參與的網(wǎng)絡(luò)安全平臺建設(shè)活動

2.1 大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全平臺框架

基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全平臺建設(shè)，具有高效、安全、可靠等基本的特點。在這一網(wǎng)絡(luò)安全平臺中，主要可以分為采集層、分析層、數(shù)據(jù)層、以及呈現(xiàn)層幾個部分。其中的數(shù)據(jù)采集層主要使用的是分布式方法，可以實現(xiàn)用戶身份信息以及安全事件等內(nèi)容的收集。可以實現(xiàn)信息的永久性存儲，還可以采用均衡的算法實現(xiàn)數(shù)據(jù)的規(guī)律性分布，可以有效的提高數(shù)據(jù)檢索的速度。

2.2 平臺實現(xiàn)的技術(shù)支持

為了保證這一平臺更好的使用，需要一定的技術(shù)支持。在這一平臺中，主要的部分有收集層、解析層、顯示層以及存儲層幾個部分。在采集層中，收集用戶信息以及安全事件等信息時可以使用分布式的手段。在存儲層中使用分布式手段可以實現(xiàn)數(shù)據(jù)的永久性存儲，可以使用均衡算法實現(xiàn)數(shù)據(jù)的規(guī)律性分布，提高數(shù)據(jù)檢索的效率。解析層則是利用數(shù)據(jù)的分析來了解相關(guān)的情況，發(fā)現(xiàn)安全事件的過程中可以及時分析原因并且進(jìn)行處理。在檢索數(shù)據(jù)的過程中，可以利用顯示層的作用，顯示出分析的數(shù)據(jù)，展示出整個網(wǎng)絡(luò)安全狀態(tài)，解決現(xiàn)存的問題[2]。

2.3 數(shù)據(jù)采集技術(shù)

數(shù)據(jù)采集技術(shù)的使用，要結(jié)合網(wǎng)絡(luò)安全平臺的作用進(jìn)行分析。使用網(wǎng)絡(luò)安全平臺的過程中，可以將Flume、Kafka 和Storm這三種形式進(jìn)行有效的集合，采用科學(xué)的方法逐步完成數(shù)據(jù)采集的工作。比如可以使用Flume進(jìn)行數(shù)據(jù)的采集，這種形式的優(yōu)點在于可靠性較高，而且具有較強的實用性。可以定制數(shù)據(jù)并且輸送數(shù)據(jù)，最后收集不同源頭的數(shù)據(jù)，采用加工處理的方式傳遞給定制方。在加工流式數(shù)據(jù)的過程中，可以利用Kafka作為數(shù)據(jù)采集與流式數(shù)據(jù)加工之間的緩存。其中要注意在Kafka內(nèi)部存在很多消費者、代理商等提供的整體服務(wù)，因此可以形成一個分布式發(fā)布的訂閱系統(tǒng)。

2.4 數(shù)據(jù)存儲技術(shù)

數(shù)據(jù)存儲技術(shù)主要使用的是 HDFS開展數(shù)據(jù)收集之后的存儲，尤其是在進(jìn)行大量文件訪問的過程中，容易造成系統(tǒng)的問題，比如系統(tǒng)無法正常的使用或者是系統(tǒng)崩潰現(xiàn)象。為了解決這一問題，要求采用高效率的數(shù)據(jù)處理方式，這一平臺利用HDFS進(jìn)行數(shù)據(jù)的存儲，可以在總結(jié)儲存數(shù)據(jù)的過程中進(jìn)行數(shù)據(jù)的分析，并且可以實現(xiàn)文件達(dá)到64 兆字節(jié)。

2.5 數(shù)據(jù)解析技術(shù)

網(wǎng)絡(luò)安全平臺使用的數(shù)據(jù)解析技術(shù)主要可以采用Hive方法，尤其是利用SQL中的 Hive QL 語言使HDFS與H Base 與不能形成結(jié)構(gòu)式的數(shù)據(jù)進(jìn)行檢索的操作。此外，還可以使用 Mahout來完成基于H adoop行為的機械研究，達(dá)到最終的數(shù)據(jù)解析目的，對數(shù)據(jù)實現(xiàn)深入的分析和整理并得出最后的結(jié)論[3]。

3 結(jié)論

在網(wǎng)絡(luò)安全分析的過程中使用大數(shù)據(jù)技術(shù)已經(jīng)十分常見，在眾多領(lǐng)域中得到了廣泛的應(yīng)用，而且有明顯的使用效果，在使用大數(shù)據(jù)技術(shù)的過程中，可以有效提高工作的效率以及節(jié)約一定的成本。隨著大數(shù)據(jù)技術(shù)的不斷研究和發(fā)展，這一領(lǐng)域的專家已經(jīng)開展了深入的研究。在網(wǎng)絡(luò)安全平臺中使用大數(shù)據(jù)技術(shù)，有著廣闊的發(fā)展空間。

[1]王帥，汪來富，金華敏，沈軍．網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用[J]．電信科學(xué)，2015．

[2]崔玉禮，黃麗君．網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用[J]．網(wǎng)絡(luò)空間安全，2016．

[3]曾秋梅．網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)與實踐探究[J]．信息系統(tǒng)工程，2017．