◆許茂森

關(guān)于網(wǎng)絡(luò)安全分析的大數(shù)據(jù)技術(shù)實踐解析

◆許茂森

(菏澤職業(yè)學(xué)院 山東 274000)

網(wǎng)絡(luò)信息技術(shù)的迅速發(fā)展，使得人們的生活生產(chǎn)變得更為方便，但是面對呈井噴式增長的數(shù)據(jù)，再加上其復(fù)雜程度越來越高，都使得網(wǎng)絡(luò)安全面臨較大威脅，網(wǎng)絡(luò)安全問題已經(jīng)引起了人們的廣泛重視。本文著眼于大數(shù)據(jù)技術(shù)應(yīng)用于網(wǎng)絡(luò)安全分析中的重要性，對其實踐應(yīng)用進(jìn)行了分析，并探究了大數(shù)據(jù)技術(shù)背景下網(wǎng)絡(luò)安全平臺的建設(shè)策略，希望對構(gòu)建安全網(wǎng)絡(luò)環(huán)境具有幫助作用。

網(wǎng)絡(luò)安全分析；大數(shù)據(jù)技術(shù)；重要性；平臺建設(shè)

0 引言

網(wǎng)絡(luò)化、信息化時代背景下，人們對互聯(lián)網(wǎng)的依賴程度越來越高，但是網(wǎng)絡(luò)信息安全問題也變得更為嚴(yán)峻，近些年所發(fā)生的網(wǎng)絡(luò)安全事件屢見不鮮，如2017年老牌信用機(jī)構(gòu)Equifax遭黑客攻擊，1.43億用戶信息被盜事件，全球爆發(fā)WannaCrypt勒索病毒等。面對愈發(fā)復(fù)雜的網(wǎng)絡(luò)環(huán)境以及海量增長的數(shù)據(jù)信息，傳統(tǒng)網(wǎng)絡(luò)安全防護(hù)技術(shù)已經(jīng)無法滿足實際需求，將大數(shù)據(jù)技術(shù)加以充分應(yīng)用，構(gòu)建網(wǎng)絡(luò)安全平臺，能夠顯著增強(qiáng)網(wǎng)絡(luò)安全等級，是當(dāng)下研究的熱點。

1 大數(shù)據(jù)技術(shù)應(yīng)用于網(wǎng)絡(luò)安全分析中的重要性

大數(shù)據(jù)技術(shù)具有有數(shù)據(jù)量大、種類繁多、速度快、價值密度低等特點，在網(wǎng)絡(luò)安全分析中有著較高的應(yīng)用價值，其重要性具體體現(xiàn)在以下幾方面。第一，大數(shù)據(jù)技術(shù)可以拓寬數(shù)據(jù)存儲容量，滿足海量數(shù)據(jù)安全分析需求，并且在對多源數(shù)據(jù)和多階段組合進(jìn)行分析時，在保證運(yùn)算效率的同時，還能確保數(shù)據(jù)的完整性。第二，大數(shù)據(jù)技術(shù)能夠?qū)W(wǎng)絡(luò)數(shù)據(jù)進(jìn)行多層級、多精度分析，理清數(shù)據(jù)間的復(fù)雜關(guān)系，找出其中潛在的安全隱患和風(fēng)險，網(wǎng)絡(luò)安全分析精度大幅提升。第三，利用大數(shù)據(jù)分析技術(shù)，可以對異構(gòu)數(shù)據(jù)進(jìn)行存儲和分析，顯著提高了網(wǎng)絡(luò)安全分析速率，能夠在更短時間內(nèi)發(fā)現(xiàn)并解決網(wǎng)絡(luò)安全問題[1]。第四，傳統(tǒng)網(wǎng)絡(luò)安全平臺為結(jié)構(gòu)化數(shù)據(jù)庫，而基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全平臺為分布式數(shù)據(jù)庫，具有良好的經(jīng)濟(jì)效益，設(shè)備成本較低且性能良好，減少了系統(tǒng)維修費(fèi)用，降低了網(wǎng)絡(luò)安全平臺構(gòu)建成本。

2 網(wǎng)絡(luò)安全分析的大數(shù)據(jù)技術(shù)實踐

將大數(shù)據(jù)技術(shù)應(yīng)用于網(wǎng)絡(luò)安全分析方面，可以實現(xiàn)對日志和流量的集中化存儲與分析，深層挖掘數(shù)據(jù)之間的關(guān)系，增強(qiáng)了網(wǎng)絡(luò)安全檢測及防防護(hù)能力。

2.1 數(shù)據(jù)采集

網(wǎng)絡(luò)安全分析需要依托全面、完整的信息數(shù)據(jù)，在應(yīng)用大數(shù)據(jù)技術(shù)時，應(yīng)先完成數(shù)據(jù)采集。對于每秒數(shù)百兆的日志信息來講，可以利用Chukwa等工具對其進(jìn)行采集；對于全數(shù)量數(shù)據(jù)來講，可以使用傳統(tǒng)數(shù)鏡向方式對其進(jìn)行采集[2]。

2.2 數(shù)據(jù)存儲

完成數(shù)據(jù)采集后，需依托數(shù)據(jù)庫對其進(jìn)行集中存儲，在大數(shù)據(jù)技術(shù)的幫助下，數(shù)據(jù)類型存在差異時，可以采用與其相匹配的方式完成存儲，不僅能夠保證數(shù)據(jù)之間的明確分類，又可以方便數(shù)據(jù)查詢。數(shù)據(jù)類型為即時數(shù)據(jù)時，可采用列式存儲方法，先運(yùn)用流式計算方式進(jìn)行分析，然后存儲所得結(jié)果。數(shù)據(jù)類型為日志時，為提高數(shù)據(jù)查詢效率，可選用列式存儲方法完成存儲。另外，當(dāng)數(shù)據(jù)經(jīng)過標(biāo)準(zhǔn)化處理后，需要先對其進(jìn)行處理，所用方法為分布式計算方法，然后再采用列式存儲方法進(jìn)行存儲。

2.3 數(shù)據(jù)查詢

將大數(shù)據(jù)技術(shù)應(yīng)用于網(wǎng)絡(luò)安全分析中去，就數(shù)據(jù)查詢來講，可依托MapReduce完成[3]。系統(tǒng)發(fā)出查詢指令后，在對應(yīng)的節(jié)點位置完成處理，并將多種結(jié)果加以整合，然后可以通過檢索得到自己所需數(shù)據(jù)信息。相較于傳統(tǒng)網(wǎng)絡(luò)安全分析平臺，這種數(shù)據(jù)查詢方式的指令反應(yīng)及處理更為迅速，大大提高了查詢效率。

2.4 數(shù)據(jù)分析

基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全分析平臺，當(dāng)數(shù)據(jù)類型不同時，所用分析處理方法也是不一樣的。首先，如果數(shù)據(jù)類型為實時數(shù)據(jù)時，在對其進(jìn)行分析和處理時，主要用到了流式計算方式、CEP技術(shù)、關(guān)聯(lián)分析算法等，可以及時發(fā)現(xiàn)潛在的安全隱患及威脅。其次，如果數(shù)據(jù)類型為歷史數(shù)據(jù)、統(tǒng)計結(jié)果時，在實效性方面要求并不嚴(yán)格，可對其進(jìn)行離線處理，完成更為深入、全面的分析，所用方法主要為分布式存儲與計算，既能夠發(fā)現(xiàn)其中的風(fēng)險隱患，又可以找出攻擊來源。

2.5 復(fù)雜數(shù)據(jù)處理

面對越來越復(fù)雜以及關(guān)聯(lián)性越來越強(qiáng)的數(shù)據(jù)，以大數(shù)據(jù)技術(shù)為依托的網(wǎng)絡(luò)安全分析平臺，也可以更加迅速、精準(zhǔn)地對其進(jìn)行處理，包括多源異構(gòu)數(shù)據(jù)、系統(tǒng)安全隱患以及關(guān)聯(lián)性攻擊行為等。以網(wǎng)絡(luò)安全問題中常見的僵尸網(wǎng)絡(luò)為例，借助大數(shù)據(jù)技術(shù)，不但能夠從流量和DNS訪問特性出發(fā)，而且能進(jìn)行發(fā)散性關(guān)聯(lián)分析，同時結(jié)合多方面的數(shù)據(jù)信息，可對數(shù)據(jù)進(jìn)行多維度、深層次、全方位分析，確保了數(shù)據(jù)處理的有效性。

3 大數(shù)據(jù)技術(shù)背景下網(wǎng)絡(luò)安全平臺建設(shè)

基于大數(shù)據(jù)技術(shù)所體現(xiàn)出的多方面優(yōu)勢，已經(jīng)在網(wǎng)絡(luò)安全分析方面得到了越來越廣泛的應(yīng)用，在構(gòu)建網(wǎng)絡(luò)安全平臺時，需要科學(xué)設(shè)計其基礎(chǔ)構(gòu)架，并嚴(yán)格把控關(guān)鍵技術(shù)環(huán)節(jié)，充分發(fā)揮其應(yīng)用價值。

3.1 平臺構(gòu)架

以大數(shù)據(jù)技術(shù)為依托，所搭建的網(wǎng)絡(luò)安全平臺分為四個層級，包括數(shù)據(jù)采集層、數(shù)據(jù)存儲層、數(shù)據(jù)挖掘分析層、數(shù)據(jù)呈現(xiàn)層，四個層級功能各不相同，需要分別對其進(jìn)行分析。首先，數(shù)據(jù)采集層主要負(fù)責(zé)采集各種類型數(shù)據(jù)，包括即時數(shù)據(jù)、用戶身份信息、日志等，實現(xiàn)方式為分布式采集。其次，數(shù)據(jù)存儲層的能夠?qū)崿F(xiàn)海量信息的長期保存，并采用結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化方式對其進(jìn)行統(tǒng)一存儲，使用均衡算法將現(xiàn)實數(shù)據(jù)均勻分布在分布式文件系統(tǒng)上[4]。另外，網(wǎng)絡(luò)安全異常的發(fā)現(xiàn)及溯源，則是在數(shù)據(jù)挖掘分析層完成，具體方法包括特征提取、情境分析、關(guān)聯(lián)分析等，可通過檢索查詢對異常網(wǎng)絡(luò)行為進(jìn)行準(zhǔn)確定位。最后，數(shù)據(jù)呈現(xiàn)層則可以通過可視化形式將大數(shù)據(jù)分析結(jié)果呈現(xiàn)出來，通過多種維度展現(xiàn)網(wǎng)絡(luò)安全狀態(tài)。

3.2 關(guān)鍵技術(shù)

構(gòu)建網(wǎng)絡(luò)安全平臺時，所用到的關(guān)鍵技術(shù)主要有數(shù)據(jù)采集技術(shù)、數(shù)據(jù)存儲技術(shù)、數(shù)據(jù)分析技術(shù)等。此次研究所用數(shù)據(jù)采集技術(shù)包括Flume、Kafka、Storm等，F(xiàn)lume能夠采用分布式方式，對來源不同的數(shù)據(jù)進(jìn)行收集和整理，經(jīng)過處理后將其傳輸至定制方。Kafka中應(yīng)用了Zookeeper平臺，可實現(xiàn)數(shù)據(jù)的集群配置管理，能夠作為一個高吞吐量的分布式發(fā)布訂閱系統(tǒng)應(yīng)用，平衡數(shù)據(jù)處理環(huán)節(jié)的系統(tǒng)負(fù)荷。完成數(shù)據(jù)采集后，采用HDFS分布式文件系統(tǒng)對其進(jìn)行存儲，其容錯性和吞吐量都比較高，使用元數(shù)據(jù)管理節(jié)點文件系統(tǒng)對空間命名，數(shù)據(jù)文件保存至數(shù)據(jù)節(jié)點，基本存儲單位為64兆字節(jié)的數(shù)據(jù)塊。數(shù)據(jù)文件會隨著元數(shù)據(jù)節(jié)點的增多而減少，兩者之間呈反比關(guān)系，多個文件同時被訪問時，會對系統(tǒng)性能造成影響，而HDFS分布式文件系統(tǒng)的應(yīng)用可有效避免這種問題。在數(shù)據(jù)分析環(huán)節(jié)，該平臺所用技術(shù)為Hivc，對于非結(jié)構(gòu)化數(shù)據(jù)的檢索，所用語言為HiveQL，與HDFS和HBase匹配性良好。API的封裝則是采用Hive完成，使用定制的插件開發(fā)和實現(xiàn)各種數(shù)據(jù)的處理、分析與統(tǒng)計。

4 結(jié)束語

將大數(shù)據(jù)技術(shù)應(yīng)用于網(wǎng)絡(luò)安全分析領(lǐng)域，不僅能夠提高分析速率、分析精準(zhǔn)度，而且還可以降低技術(shù)成本，有著多方面顯著優(yōu)勢，是未來網(wǎng)絡(luò)安全防護(hù)的必然發(fā)展方向。在實際應(yīng)用時，應(yīng)采用層級結(jié)構(gòu)構(gòu)建網(wǎng)絡(luò)安全平臺，就數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)分析等關(guān)鍵技術(shù)環(huán)節(jié)進(jìn)行重點把控，以此來改善當(dāng)前網(wǎng)絡(luò)安全分析中的缺陷與不足，提高網(wǎng)絡(luò)安全等級。

[1]孫玉.淺談網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2017.

[2]王帥，汪來富，金華敏等.網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用[J].電信科學(xué)，2015.

[3]賈衛(wèi).網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用探討[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2016.

[4]萬明秀，宋秋蓮.網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用探討[J].無線互聯(lián)科技，2017.