◆吳佳龍

（西安郵電大學(xué) 陜西 710121）

隨著大數(shù)據(jù)技術(shù)在政府、銀行等日愈增多領(lǐng)域的應(yīng)用及深入，網(wǎng)絡(luò)空間安全的重要性不言而喻，如何認識、理解大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的意義并采取有效行動來保護網(wǎng)絡(luò)安全是當(dāng)前應(yīng)解決的關(guān)鍵問題。

1 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中應(yīng)用的意義

1.1 提高信息數(shù)據(jù)傳輸效率

數(shù)據(jù)爆炸式增長，這使得在數(shù)據(jù)增多的情況下， 若還是采用之前的速度對數(shù)據(jù)信息進行傳遞，則工作效率會較低。而采用大數(shù)據(jù)技術(shù)，提高數(shù)據(jù)存儲量，確保數(shù)據(jù)有效性，通過IP 骨干網(wǎng)傳輸和數(shù)據(jù)中心傳輸，可以極大地提高信息數(shù)據(jù)傳輸速率。

1.2 完善網(wǎng)絡(luò)安全分析系統(tǒng)

大數(shù)據(jù)時代的到來，數(shù)據(jù)的曲線增長對傳統(tǒng)的安全工具造成了猛烈的沖擊，數(shù)據(jù)的泄露使得網(wǎng)絡(luò)用戶的安全無法得到保障，而且通過大數(shù)據(jù)技術(shù)對數(shù)據(jù)進行分析處理時，可以從多個角度不同方面進行，以此來提高網(wǎng)絡(luò)安全系統(tǒng)處理數(shù)據(jù)的準確度，完善網(wǎng)絡(luò)安全分析系統(tǒng)。

1.3 提高網(wǎng)絡(luò)安全分析深度

傳統(tǒng)的網(wǎng)絡(luò)安全分析系統(tǒng)在面對大量流動數(shù)據(jù)時難免捉襟見肘，而大數(shù)據(jù)技術(shù)以較低的成本在大規(guī)模、多樣化、低價值密度的大數(shù)據(jù)中深度挖掘出有效數(shù)據(jù)，規(guī)避傳統(tǒng)技術(shù)遺留的風(fēng)險并更加全面、更加深入的分析處理數(shù)據(jù)，因而提高網(wǎng)絡(luò)安全分析的深度。

2 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

2.1 數(shù)據(jù)采集

基于 ETL（Extract-Transform-Load）對數(shù)據(jù)進行離線采集，包括對數(shù)據(jù)的提取、轉(zhuǎn)換和加載；也可利用Flume、Kafka和Storm實現(xiàn)對實時數(shù)據(jù)的采集：Flume是一個分布式的數(shù)據(jù)采集系統(tǒng)，且具有高可靠和高可用性，將Kafka作為消息緩沖區(qū)，Storm則是給與在線實時處理以便利；當(dāng)然還可以通過Crawler等進行互聯(lián)網(wǎng)采集。

2.2 數(shù)據(jù)存儲

在網(wǎng)絡(luò)安全分析中，應(yīng)先根據(jù)數(shù)據(jù)的規(guī)模及種類選擇不同的存儲形式。對于原始數(shù)據(jù)中如日志數(shù)據(jù)等信息等，應(yīng)該采用GBase、HBase等方式進行存儲；對于需要進行實時分析的信息數(shù)據(jù)，應(yīng)該采用Storm、Spark的計算方法將數(shù)據(jù)最終以流式方式存儲到數(shù)據(jù)庫中。

2.3 多元數(shù)據(jù)分析

大數(shù)據(jù)技術(shù)除了實現(xiàn)對多元數(shù)據(jù)準確快速挖掘并進行分析，還能夠?qū)Π踩[患及漏洞等有效復(fù)查，實現(xiàn)對網(wǎng)絡(luò)的安全保護。如基于DNS流量特征對僵尸網(wǎng)絡(luò)進行檢測，對數(shù)據(jù)進行深入拓展，找到源頭，擴大數(shù)據(jù)檢索范圍，集合數(shù)據(jù)的全部分組、莫管數(shù)據(jù)等，查找主機被侵入的痕跡或者漏洞等問題，以便我們實現(xiàn)對網(wǎng)絡(luò)的安全保護。

3 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全平臺中的應(yīng)用

3.1 構(gòu)建網(wǎng)絡(luò)安全平臺的原因

人工管理逐漸增加的訪問控制策略和運行狀態(tài)，會產(chǎn)生諸如低效率，低實時性，非全面等問題，這使得人工管理陷入窘境。為了解決人工手動管理導(dǎo)致的一系列問題，需要建立網(wǎng)絡(luò)安全分析的平臺，實現(xiàn)對訪問控制策略的管理與分析，提高設(shè)備運行狀態(tài)管理的實時性，以此來完善網(wǎng)絡(luò)設(shè)備的安全，為網(wǎng)絡(luò)安全管理提供更好的服務(wù)。而網(wǎng)絡(luò)安全平臺可以通過對防火墻、網(wǎng)閘等網(wǎng)絡(luò)設(shè)備的安全日志和事件等信息的收集，實現(xiàn)對網(wǎng)絡(luò)的分析，更加凸顯了網(wǎng)絡(luò)安全平臺的重要性。

3.2 網(wǎng)絡(luò)安全平臺的構(gòu)建

基于大數(shù)據(jù)的網(wǎng)絡(luò)平臺基本包括以下幾層：

（1）數(shù)據(jù)采集層：全面地采集大量有效數(shù)據(jù)。這一層包含離線與實時采集等。

（2）數(shù)據(jù)處理層：通過分布式文件系統(tǒng)存儲大量信息，并且可以存放到列式存儲中。根據(jù)不同的要求，可以采用Hadoop、流處理等技術(shù)。

（3）數(shù)據(jù)分析層：該層通過數(shù)據(jù)挖掘、機器學(xué)習(xí)等方法，利用不同技術(shù)實現(xiàn)對實時數(shù)據(jù)的分析和處理，找到能威脅到網(wǎng)絡(luò)安全的數(shù)據(jù)并追溯根源。

（4）數(shù)據(jù)訪問層：讀取和傳送數(shù)據(jù)，主要實現(xiàn)讀寫分離，包括常規(guī)查詢、實時查詢等。

（5）數(shù)據(jù)應(yīng)用層：不同的人或企業(yè)，所需求的數(shù)據(jù)有較大差異，針對不同的身份，劃分不同類別的應(yīng)用，提供相應(yīng)所需的數(shù)據(jù)。

3.3 網(wǎng)絡(luò)安全平臺的技術(shù)支撐

（1）數(shù)據(jù)采集：如利用 ETL的方法對離線數(shù)據(jù)進行采集；也如利用Flume、Kafka和Storm為一體的方法對數(shù)據(jù)進行實時采集，穩(wěn)定可靠的收集、整合大規(guī)模有效數(shù)據(jù)。

（2）數(shù)據(jù)存儲：利用HDFS分布式文件系統(tǒng)進行存儲，用元數(shù)據(jù)管理節(jié)點系統(tǒng)，每個節(jié)點存放關(guān)聯(lián)數(shù)據(jù)，而最基本的存儲單元是64兆字節(jié)的數(shù)據(jù)塊。

（3）數(shù)據(jù)分析：利用Hive這種工具對數(shù)據(jù)進行統(tǒng)計與分析，一般而言，可以采用 HiveQL語言對非結(jié)構(gòu)化的數(shù)據(jù)進行檢索，應(yīng)用 Hive封裝 API，通過需求定制的各種分析插件實現(xiàn)對數(shù)據(jù)的分析。

4 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析應(yīng)用的相關(guān)建議

4.1 提高數(shù)據(jù)采集技術(shù)

數(shù)據(jù)采集是大數(shù)據(jù)技術(shù)的第一條件，其次只有當(dāng)我們收集到具備可靠性、可用性，并且可以用于數(shù)據(jù)分析的數(shù)據(jù)才是我們需要的結(jié)果，單純的數(shù)據(jù)采集并不是我們想要的。因此，提高數(shù)據(jù)采集技術(shù)是大數(shù)據(jù)技術(shù)的重中之重。如在日志采集系統(tǒng)中采用Flume采集安全數(shù)據(jù)相較于其他的方式更具高效性、可靠性，并且具有強大的容錯能力；在網(wǎng)絡(luò)數(shù)據(jù)采集系統(tǒng)中，使用Crawler4j等框架可以極大地提高開發(fā)員的速率。大體而言，可以先提高對數(shù)據(jù)的提取技術(shù)：增加提取的速率、準確性、安全性及對錯誤數(shù)據(jù)的過濾速率，再提升數(shù)據(jù)轉(zhuǎn)換成不同格式的速率。

4.2 提高數(shù)據(jù)存儲技術(shù)

多樣化且海量的數(shù)據(jù)一直在沖擊著數(shù)據(jù)存儲技術(shù)的底線，對于如何提高數(shù)據(jù)存儲技術(shù)，最初我們可以對數(shù)據(jù)進行不斷加密，以抵擋黑客的攻擊及防止安全漏洞，保護數(shù)據(jù)存儲的安全性；其次我們可以使用更大的數(shù)據(jù)倉庫來存儲數(shù)據(jù)，這個倉庫為我們無法完全存儲的數(shù)據(jù)提供了一個臨時駐點；最后云存儲服務(wù)為大量數(shù)據(jù)提供了一個完美的存儲場所，可以規(guī)避網(wǎng)絡(luò)風(fēng)險，極大地提高了存儲的規(guī)模及安全。除此之外，我們需要加速對數(shù)據(jù)存儲技術(shù)的創(chuàng)新，緊跟數(shù)字化存儲技術(shù)的發(fā)展，提供更優(yōu)良的存儲服務(wù)。

4.3 加強保證數(shù)據(jù)的完整性

由于網(wǎng)絡(luò)的惡意攻擊或自身的操作失誤等可能會致使數(shù)據(jù)發(fā)生損失，因此，對于保證數(shù)據(jù)的完整性，首先可以從提升防火墻的安全等級，并且加入入侵檢測技術(shù)著手；其次應(yīng)針對性、有策略地對數(shù)據(jù)進行不同種類的加密，如鏈路加密技術(shù)、加密壓縮包、身份認證等；最后，優(yōu)化完整性驗證算法可以為數(shù)據(jù)提供更加安全的保障。

5 結(jié)語

總而言之，日益復(fù)雜的網(wǎng)絡(luò)環(huán)境使得大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的地位愈發(fā)提高。大數(shù)據(jù)技術(shù)通過對數(shù)據(jù)的采集、存儲及分析等應(yīng)用，提高了數(shù)據(jù)傳輸?shù)乃俾剩鰪娏藬?shù)據(jù)處理的準確性，極大地提高了網(wǎng)絡(luò)安全分析的廣度與深度，為新時代的網(wǎng)絡(luò)安全平臺提供了強有力的支撐。