摘? 要：隨著網(wǎng)絡(luò)時(shí)代和數(shù)字經(jīng)濟(jì)時(shí)代的到來(lái)，互聯(lián)網(wǎng)已經(jīng)深入各行各業(yè)和普通人的日常生活中，給人民生活、工作帶來(lái)了很多便利，也保證了企業(yè)各項(xiàng)工作的高效進(jìn)行，促進(jìn)了企業(yè)的進(jìn)步與發(fā)展。但是，網(wǎng)絡(luò)的安全性是我們必須要面對(duì)的一個(gè)問(wèn)題。目前，網(wǎng)絡(luò)安全越來(lái)越受到國(guó)家和人民的重視，其不僅關(guān)系到人民的隱私安全，更關(guān)系到國(guó)家安全，所以為了避免發(fā)生網(wǎng)絡(luò)安全事故，做好網(wǎng)絡(luò)安全分析工作顯得非常重要。過(guò)去我們?cè)诰W(wǎng)絡(luò)安全方面做了很多工作，但效果不理想。而將大數(shù)據(jù)技術(shù)應(yīng)用于網(wǎng)絡(luò)安全分析工作中就能很好地解決網(wǎng)絡(luò)安全問(wèn)題，該技術(shù)主要是依據(jù)大量數(shù)據(jù)信息來(lái)進(jìn)行云計(jì)算，從而為網(wǎng)絡(luò)安全分析工作提供準(zhǔn)確、全面的資料，以促進(jìn)網(wǎng)絡(luò)安全分析工作的進(jìn)一步發(fā)展。

關(guān)鍵詞：大數(shù)據(jù)技術(shù);網(wǎng)絡(luò)安全;應(yīng)用研究

中圖分類(lèi)號(hào)：TP393.08? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2019）23-0158-03

Application of Big Data Technology in Network Security Analysis

ZHENG Yujuan

（Shandong Huayu University of Technology，Dezhou? 253034，China）

Abstract：With the advent of the network era and the digital economy era，the internet has penetrated into the daily life of all walks of life and ordinary people，bringing a lot of convenience to people’s life and work，also ensuring the efficient progress of all work of the enterprise，and promoting the progress and development of the enterprise. However，network security is a problem we must face. At present，network security has been paid more and more attention by the state and the people. It is not only related to the privacy security of the people，but also related to the national security. So in order to avoid network security accidents，it is very important to do a good job in network security analysis. In the past， we have done a lot of work in network security，but the effect is not ideal. The application of big data technology in network security analysis can solve the problem of network security well. This technology is mainly based on a large number of data information to carry out cloud computing，so as to provide accurate and comprehensive information for network security analysis，so as to promote the further development of network security analysis.

Keywords：big data technology;network security;application research

0? 引? 言

當(dāng)前，我國(guó)的網(wǎng)絡(luò)安全狀況非常嚴(yán)峻，經(jīng)常發(fā)生安全攻擊、信息泄露、木馬侵害等現(xiàn)象，對(duì)國(guó)家的發(fā)展產(chǎn)生非常不利的影響。在這一背景下，只依靠防范措施并不能很好地應(yīng)對(duì)網(wǎng)絡(luò)安全攻擊，因此，準(zhǔn)確、全面的安全分析成為關(guān)鍵。將大數(shù)據(jù)技術(shù)應(yīng)用于網(wǎng)絡(luò)安全分析工作中，就能夠有效地提升其分析能力，降低分析成本，擴(kuò)大信息容量，從而使網(wǎng)絡(luò)安全分析工作更加快速、更加穩(wěn)定地發(fā)展下去。本文先是從數(shù)據(jù)采集、查詢(xún)、存儲(chǔ)、分析以及復(fù)雜數(shù)據(jù)處理等方面具體分析了大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的具體應(yīng)用，后又具體闡述了基于大數(shù)據(jù)的網(wǎng)絡(luò)安全平臺(tái)構(gòu)建內(nèi)容，希望本文的言論能夠幫助提升大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析工作中的應(yīng)用效率和質(zhì)量，同時(shí)也能提升網(wǎng)絡(luò)安全分析工作的準(zhǔn)確性，更好地保障我國(guó)的網(wǎng)絡(luò)信息安全。

1? 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

1.1? 數(shù)據(jù)采集方面

網(wǎng)絡(luò)安全分析工作主要針對(duì)流量、日志這兩種數(shù)據(jù)類(lèi)型進(jìn)行分析，大數(shù)據(jù)技術(shù)主要運(yùn)用Chukwa等工具進(jìn)行數(shù)據(jù)采集，依據(jù)流量、日志數(shù)據(jù)的特點(diǎn)、容量等，通過(guò)分布采集的方式來(lái)對(duì)數(shù)據(jù)信息進(jìn)行每秒百兆的采集，使得數(shù)據(jù)采集工作能夠高效、準(zhǔn)確地進(jìn)行。并且大數(shù)據(jù)技術(shù)的應(yīng)用也可以使網(wǎng)絡(luò)安全分析工作擺脫掉傳統(tǒng)技術(shù)的限制，對(duì)于所采集到的數(shù)據(jù)信息的準(zhǔn)確性、全面性起到了保障作用，從而為之后的數(shù)據(jù)存儲(chǔ)、分析等工作打好基礎(chǔ)，有利于網(wǎng)絡(luò)安全分析工作的進(jìn)一步發(fā)展。

1.2? 數(shù)據(jù)查詢(xún)方面

大數(shù)據(jù)技術(shù)的引入可以使網(wǎng)絡(luò)安全分析中的數(shù)據(jù)查詢(xún)工作更加高效地運(yùn)行。首先，大數(shù)據(jù)技術(shù)可以對(duì)數(shù)據(jù)檢索的結(jié)構(gòu)進(jìn)行更新，然后將所需要查詢(xún)的數(shù)據(jù)發(fā)送到分節(jié)點(diǎn)。其次，分節(jié)點(diǎn)會(huì)根據(jù)數(shù)據(jù)類(lèi)型、特點(diǎn)等來(lái)進(jìn)行計(jì)算，從而判斷出需求數(shù)據(jù)信息是否存在于自身。當(dāng)數(shù)據(jù)信息存在時(shí)，分節(jié)點(diǎn)就會(huì)將所查詢(xún)到的數(shù)據(jù)顯示出來(lái)，從而很好地滿(mǎn)足查詢(xún)?nèi)藛T的需求。這就可以看出，大數(shù)據(jù)技術(shù)的應(yīng)用可以保證數(shù)據(jù)查詢(xún)的速度、準(zhǔn)確性、全面性，給網(wǎng)絡(luò)安全分析工作人員帶來(lái)了極大的便利，很好地減輕了他們的壓力，并能夠使數(shù)據(jù)查詢(xún)效果達(dá)到理想目標(biāo)。

1.3? 數(shù)據(jù)存儲(chǔ)方面

由于數(shù)據(jù)的高速傳輸和種類(lèi)的多樣性，使得數(shù)據(jù)存儲(chǔ)工作的難度加大，不利于網(wǎng)絡(luò)安全分析工作的正常進(jìn)行。而大數(shù)據(jù)技術(shù)的引入便可以降低數(shù)據(jù)存儲(chǔ)工作的難度，主要是提供不同的存儲(chǔ)方式，使得網(wǎng)絡(luò)安全分析工作能夠高效地開(kāi)展下去。大數(shù)據(jù)技術(shù)主要是通過(guò)發(fā)揮HBase列式儲(chǔ)存方法的快速檢索優(yōu)勢(shì)而滿(mǎn)足數(shù)據(jù)查詢(xún)需求，從而進(jìn)行流量、日志等數(shù)據(jù)的分類(lèi)存儲(chǔ)。分類(lèi)存儲(chǔ)的主要流程是：大數(shù)據(jù)技術(shù)首先要對(duì)數(shù)據(jù)按照數(shù)據(jù)類(lèi)型、特點(diǎn)等進(jìn)行分析處理，利用Hadoop分布式方法進(jìn)行計(jì)算，其次會(huì)根據(jù)每個(gè)節(jié)點(diǎn)的特征來(lái)對(duì)數(shù)據(jù)進(jìn)行分類(lèi)、分析，最后通過(guò)對(duì)數(shù)據(jù)的處理而制成統(tǒng)計(jì)分析報(bào)告。大數(shù)據(jù)技術(shù)應(yīng)用在網(wǎng)絡(luò)安全實(shí)際分析工作中后，當(dāng)節(jié)點(diǎn)獲取到數(shù)據(jù)信息時(shí)，該節(jié)點(diǎn)就會(huì)自動(dòng)對(duì)數(shù)據(jù)進(jìn)行計(jì)算、數(shù)據(jù)分析等工作，同時(shí)將分析結(jié)果存放于日志、流量等的數(shù)據(jù)存儲(chǔ)內(nèi)部。

1.4? 數(shù)據(jù)分析方面

當(dāng)大數(shù)據(jù)技術(shù)在對(duì)數(shù)據(jù)信息進(jìn)行分析時(shí)，要根據(jù)數(shù)據(jù)信息的特征、類(lèi)型等來(lái)選擇合適的分析方法，這樣才能使得網(wǎng)絡(luò)安全分析工作正常有序地開(kāi)展下去。當(dāng)進(jìn)行實(shí)時(shí)數(shù)據(jù)的分析處理時(shí)，主要運(yùn)用流式計(jì)算方式、CEP技術(shù)等來(lái)開(kāi)展分析工作，從而及時(shí)發(fā)現(xiàn)數(shù)據(jù)信息中存在的問(wèn)題及隱患，并及時(shí)解決，這樣就能保證數(shù)據(jù)信息的全面性、安全性、準(zhǔn)確性。當(dāng)進(jìn)行歷史安全數(shù)據(jù)的分析處理工作時(shí)，可以采取離線(xiàn)處理的方式，分析處理方法為分布式存儲(chǔ)和計(jì)算，從而對(duì)歷史數(shù)據(jù)進(jìn)行全面、精準(zhǔn)的分析，這不僅能夠及時(shí)發(fā)現(xiàn)其中存在的問(wèn)題，找到原因，并提出應(yīng)對(duì)措施，還能夠節(jié)省很多成本，使網(wǎng)絡(luò)安全分析工作獲得更多的經(jīng)濟(jì)效益和社會(huì)效益。

1.5? 復(fù)雜數(shù)據(jù)處理

面對(duì)數(shù)據(jù)類(lèi)型的多樣化、復(fù)雜化，將大數(shù)據(jù)技術(shù)應(yīng)用于網(wǎng)絡(luò)安全分析工作中，便可以高效、全面地對(duì)這些數(shù)據(jù)進(jìn)行深入處理，如對(duì)多源異構(gòu)數(shù)據(jù)進(jìn)行的處理。當(dāng)出現(xiàn)僵尸網(wǎng)絡(luò)時(shí)，會(huì)大大影響到網(wǎng)絡(luò)信息的安全，而將大數(shù)據(jù)技術(shù)應(yīng)用于其中就能很好地解決這一問(wèn)題，該技術(shù)從流量數(shù)據(jù)的特點(diǎn)出發(fā)，通過(guò)結(jié)合多方面的數(shù)據(jù)信息，進(jìn)行發(fā)散性關(guān)聯(lián)分析，從而對(duì)數(shù)據(jù)開(kāi)展更加全面的分析，以保證復(fù)雜數(shù)據(jù)能夠得到正確、深入的處理，有利于網(wǎng)絡(luò)安全分析工作的高效、快速進(jìn)行。

2? 基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全平臺(tái)構(gòu)建

2.1? 網(wǎng)絡(luò)安全平臺(tái)的架構(gòu)實(shí)現(xiàn)

如圖1所示，基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全平臺(tái)架構(gòu)主要通過(guò)以下四個(gè)要素實(shí)現(xiàn)：第一，數(shù)據(jù)采集層。該層的主要任務(wù)是對(duì)網(wǎng)絡(luò)中用戶(hù)行為產(chǎn)生的交互數(shù)據(jù)、日志數(shù)據(jù)等開(kāi)展信息采集工作，基于大數(shù)據(jù)技術(shù)的采集工作效率更高。第二，數(shù)據(jù)存儲(chǔ)層。該主要是對(duì)網(wǎng)絡(luò)中各種類(lèi)型的數(shù)據(jù)進(jìn)行有效儲(chǔ)存，為后面的數(shù)據(jù)分析提供數(shù)據(jù)源，從而大大提升了網(wǎng)絡(luò)安全分析工作的效率和質(zhì)量。第三，數(shù)據(jù)分析層。該層的主要功能是需要對(duì)原始數(shù)據(jù)進(jìn)行分類(lèi)分析、關(guān)聯(lián)分析等處理，以此挖掘出網(wǎng)絡(luò)中的數(shù)據(jù)特征、攻擊來(lái)源等，為后面的網(wǎng)絡(luò)安全分析工作提供準(zhǔn)確、有效的參考數(shù)據(jù)。第四，數(shù)據(jù)表現(xiàn)層。它的主要功能是將數(shù)據(jù)信息更加直觀地表現(xiàn)出來(lái)，其使用的技術(shù)主要有安全度量技術(shù)、預(yù)警技術(shù)和可視化引擎等，使得歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)能夠得到正確的分析處理。

2.2? 平臺(tái)實(shí)現(xiàn)的技術(shù)支持

2.2.1? 數(shù)據(jù)采集技術(shù)

針對(duì)不同類(lèi)型的數(shù)據(jù)信息，應(yīng)采取不同的數(shù)據(jù)采集方式。當(dāng)采集實(shí)時(shí)數(shù)據(jù)時(shí)，可以采取在線(xiàn)統(tǒng)計(jì)的方式，通過(guò)Storm技術(shù)來(lái)進(jìn)行采集;當(dāng)采集原始安全數(shù)據(jù)時(shí)，可以采取離線(xiàn)分析的方式，通過(guò)Hive技術(shù)進(jìn)行采集。而Flume技術(shù)可以將在線(xiàn)統(tǒng)計(jì)、離線(xiàn)分析方法結(jié)合起來(lái)，實(shí)現(xiàn)數(shù)據(jù)采集的系統(tǒng)化、規(guī)范化。Flume技術(shù)主要是由采集、存儲(chǔ)等模塊組成，工作效率和質(zhì)量比較高，從而能為網(wǎng)絡(luò)安全平臺(tái)提供技術(shù)支持，如圖2所示。

2.2.2? 數(shù)據(jù)存儲(chǔ)技術(shù)

當(dāng)數(shù)據(jù)采集完成后，其需要存儲(chǔ)于HDFS系統(tǒng)中，該系統(tǒng)具有大容量和高吞吐量數(shù)據(jù)訪(fǎng)問(wèn)的特點(diǎn)，它的數(shù)據(jù)節(jié)點(diǎn)用來(lái)存儲(chǔ)文件，存儲(chǔ)單位一般為64MB。數(shù)據(jù)文件越小，節(jié)點(diǎn)的數(shù)據(jù)記錄塊位置越多，從而對(duì)系統(tǒng)的運(yùn)行產(chǎn)生不利的影響，所以本系統(tǒng)的存儲(chǔ)單位為64MB。HBase作為運(yùn)行于HDFS上的分布式非結(jié)構(gòu)化數(shù)據(jù)庫(kù)，主要采取的是列式存儲(chǔ)的方式，將處理后的數(shù)據(jù)結(jié)果或者報(bào)告成果存儲(chǔ)于該數(shù)據(jù)庫(kù)中，就能夠保證其安全性，有利于網(wǎng)絡(luò)安全分析工作的正常進(jìn)行。

2.2.3? 數(shù)據(jù)分析技術(shù)

本平臺(tái)的數(shù)據(jù)分析工作主要是依靠MapReduce技術(shù)來(lái)支持，該技術(shù)能夠?qū)?shù)據(jù)進(jìn)行分類(lèi)、計(jì)算，從而完成數(shù)據(jù)的分析和處理工作，并整合數(shù)據(jù)信息，使其能夠?yàn)榫W(wǎng)絡(luò)安全分析工作提供依據(jù)。平臺(tái)也可以采用CPE技術(shù)來(lái)進(jìn)行事件流分析，通過(guò)聚合、關(guān)聯(lián)等環(huán)節(jié)，將簡(jiǎn)單事件加工為高級(jí)事件，從而能夠在大量信息中挖掘出有用的信息，以推進(jìn)網(wǎng)絡(luò)安全平臺(tái)的正常運(yùn)行。

2.3? 實(shí)施安全分析

2.3.1? DDoS攻擊路徑準(zhǔn)實(shí)時(shí)監(jiān)測(cè)

DDoS攻擊路徑準(zhǔn)實(shí)時(shí)監(jiān)測(cè)過(guò)程一般分為四個(gè)步驟：首先，新建一個(gè)隊(duì)列A，隊(duì)列中各節(jié)點(diǎn)為空，同時(shí)也創(chuàng)建一個(gè)空的攻擊路徑鏈表B;其次，圍繞攻擊點(diǎn)展開(kāi)有針對(duì)性的分析，提取攻擊源的相關(guān)位置信息，以此來(lái)進(jìn)行查詢(xún)，以獲取準(zhǔn)確的攻擊信息;再次，根據(jù)所獲取的攻擊信息進(jìn)行安全處理、分析;最后，以攻擊對(duì)象路由器C為起點(diǎn)開(kāi)展訪(fǎng)問(wèn)工作，每個(gè)節(jié)點(diǎn)訪(fǎng)問(wèn)完成后要對(duì)該節(jié)點(diǎn)進(jìn)行拓展，將與其相連的節(jié)點(diǎn)都一一訪(fǎng)問(wèn)到，從而完成對(duì)所有節(jié)點(diǎn)的訪(fǎng)問(wèn)和分析。

2.3.2? 主機(jī)入侵檢測(cè)

主機(jī)入侵的檢測(cè)流程一般為：首先深入挖掘DDoS攻擊歷史數(shù)據(jù)，識(shí)別攻擊源的相關(guān)位置信息，同時(shí)將其列入疑似被入侵主機(jī)名單中。然后從已有的日志數(shù)據(jù)庫(kù)中查詢(xún)相關(guān)的被入侵主機(jī)的信息，將查詢(xún)到的結(jié)果與惡意URL庫(kù)進(jìn)行比對(duì)，若信息庫(kù)中沒(méi)有可比對(duì)信息，則將該主機(jī)認(rèn)為是新的攻擊源。

3? 結(jié)? 論

綜上所述，大數(shù)據(jù)技術(shù)具有高效、精準(zhǔn)、低成本的網(wǎng)絡(luò)安全分析能力，能夠滿(mǎn)足大容量數(shù)據(jù)的處理和存儲(chǔ)需求，并為網(wǎng)絡(luò)安全分析工作提供科學(xué)、準(zhǔn)確、全面的數(shù)據(jù)資料，從而使得網(wǎng)絡(luò)安全分析工作更快更好地進(jìn)行下去。目前，網(wǎng)絡(luò)安全分析工作如何更加有效、更加成熟地應(yīng)用大數(shù)據(jù)技術(shù)成為國(guó)家和社會(huì)關(guān)注的熱點(diǎn)。大數(shù)據(jù)技術(shù)主要應(yīng)用于網(wǎng)絡(luò)安全中的數(shù)據(jù)查詢(xún)、存儲(chǔ)、分析、處理等工作中，它能夠有效地提升數(shù)據(jù)處理的準(zhǔn)確性，并保證這些工作的高效進(jìn)行。并且為了使數(shù)據(jù)傳輸、存儲(chǔ)工作能夠安全進(jìn)行下去，還應(yīng)該將大數(shù)據(jù)技術(shù)作為基礎(chǔ)，構(gòu)建完善的網(wǎng)絡(luò)安全平臺(tái)，利用平臺(tái)的綜合分析和關(guān)聯(lián)分析能力來(lái)有效監(jiān)測(cè)攻擊情況，以保證數(shù)據(jù)信息傳輸工作的順利進(jìn)行。

參考文獻(xiàn)：

[1] 張萌.網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)運(yùn)用 [J].電子技術(shù)與軟件工程，2019（14）：201-202.

[2] 潘巍.網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)研究 [J].黑龍江科學(xué)，2018，9（24）：92-93.

[3] 唐四化.網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用與實(shí)踐 [J].電腦知識(shí)與技術(shù)，2018，14（26）：20-21+25.

[4] 林幼文.淺談網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用 [J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2018（2）：71+78.

[5] 佟瑤.試論網(wǎng)絡(luò)安全分析中大數(shù)據(jù)技術(shù)的應(yīng)用 [J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2017（12）：74+87.

作者簡(jiǎn)介：鄭玉娟（1979-），女，漢族，山東德州人，副教授，碩士，研究方向：網(wǎng)絡(luò)技術(shù)。