張曉靖 胡珉 王子瑋

（上海市信息網(wǎng)絡(luò)有限公司 上海市 200081）

隨著網(wǎng)絡(luò)應(yīng)用范圍逐步增大，網(wǎng)絡(luò)安全問題也日益嚴(yán)重。此時(shí)應(yīng)該注意，網(wǎng)絡(luò)安全如果無法保證，會(huì)嚴(yán)重威脅人們的信息安全性，且給國家保密信息產(chǎn)生不利的影響，尤其是當(dāng)前大數(shù)據(jù)技術(shù)的應(yīng)用，網(wǎng)絡(luò)數(shù)據(jù)以幾何倍數(shù)的形式增長(zhǎng)，數(shù)據(jù)量激增，使得網(wǎng)絡(luò)安全管理根本無法有效的應(yīng)用，極大的威脅傳統(tǒng)網(wǎng)絡(luò)運(yùn)行安全，造成非常嚴(yán)重的影響。網(wǎng)絡(luò)安全分析實(shí)踐中，把大數(shù)據(jù)融入到系統(tǒng)內(nèi)，可以讓現(xiàn)代社會(huì)網(wǎng)絡(luò)運(yùn)行更加的安全。因此，應(yīng)該綜合分析大數(shù)據(jù)在網(wǎng)絡(luò)安全分析中的作用，并且能夠合理的應(yīng)用，以確保網(wǎng)絡(luò)運(yùn)行安全性。

1 網(wǎng)絡(luò)安全分析實(shí)踐中利用大數(shù)據(jù)技術(shù)所產(chǎn)生的價(jià)值

現(xiàn)代社會(huì)互聯(lián)網(wǎng)發(fā)展速度非?？?，流量數(shù)據(jù)增幅比較大，這樣能夠保證互聯(lián)網(wǎng)的應(yīng)用效果滿足要求，但是也會(huì)給網(wǎng)絡(luò)安全分析帶來巨大的壓力，具體是如下兩點(diǎn)：其一，網(wǎng)絡(luò)安全分析中所需要處理的數(shù)據(jù)量增大，數(shù)據(jù)種類也比較多，能夠從多維度方面來展開數(shù)據(jù)分析和處理；其二，數(shù)據(jù)量非常大，同時(shí)也會(huì)對(duì)于傳輸速度有著較高的要求，要想進(jìn)行數(shù)據(jù)的分析和處理，就要提高數(shù)據(jù)分析和處理的速度，并且加強(qiáng)信息安全分析，這樣會(huì)導(dǎo)致網(wǎng)絡(luò)安全分析難度增加。傳統(tǒng)網(wǎng)絡(luò)分析是利用結(jié)構(gòu)數(shù)據(jù)庫實(shí)施數(shù)據(jù)存儲(chǔ)和使用，但是這一方式的成本無法控制。通常來說，要想實(shí)現(xiàn)系統(tǒng)運(yùn)行成本的降低，首先是進(jìn)行數(shù)據(jù)處理，能夠減少數(shù)據(jù)量，進(jìn)而可以降低成本，可以促進(jìn)數(shù)據(jù)存儲(chǔ)量的提升，但是會(huì)導(dǎo)致數(shù)據(jù)處理中出現(xiàn)數(shù)據(jù)信息丟失的情況，如果存儲(chǔ)時(shí)間過長(zhǎng)，會(huì)存在數(shù)據(jù)流失出去，無法達(dá)到完整性的標(biāo)準(zhǔn)，也無法對(duì)于復(fù)雜性的數(shù)據(jù)來實(shí)施處理，應(yīng)用效果比較差，不管是分析速度還是查詢效率都比較低，這些問題在大數(shù)據(jù)時(shí)代中尤為明顯，要采取必要的措施解決和處理，以提升系統(tǒng)運(yùn)行效果。

大數(shù)據(jù)技術(shù)應(yīng)用到網(wǎng)絡(luò)安全分析中，能夠有效的提升總體的使用效果。首先，大數(shù)據(jù)技術(shù)的應(yīng)用可以促進(jìn)網(wǎng)絡(luò)容量的提高。應(yīng)用大數(shù)據(jù)技術(shù)，可以快速的進(jìn)行海量、復(fù)雜性較高的數(shù)據(jù)來實(shí)現(xiàn)處理，可以提升效率和效果，能夠在保存海量數(shù)據(jù)以達(dá)到完整性的標(biāo)準(zhǔn)。第二，大大數(shù)據(jù)技術(shù)合理使用可以促進(jìn)網(wǎng)絡(luò)分析成本的下降。利用該技術(shù)能夠根據(jù)需要形成完善的分布式數(shù)據(jù)庫信息，要比結(jié)構(gòu)數(shù)據(jù)的成本低很多，且硬件的要求也比較低，能夠確保系統(tǒng)的穩(wěn)定運(yùn)行，所以成本是很低的。第三，大數(shù)據(jù)技術(shù)幫助網(wǎng)絡(luò)分析速度的提升。大數(shù)據(jù)技術(shù)的使用之下，保證異構(gòu)數(shù)據(jù)分析可以有序的進(jìn)行，且工作速度非?？?，讓信息處理快速的完成。第四，大數(shù)據(jù)技術(shù)讓數(shù)據(jù)分析和使用更加精準(zhǔn)，不會(huì)出現(xiàn)嚴(yán)重?cái)?shù)據(jù)錯(cuò)誤的情況。大數(shù)據(jù)技術(shù)的應(yīng)用能夠?qū)崿F(xiàn)多層級(jí)、多維度的數(shù)據(jù)分析和處理，進(jìn)而可以能夠提升數(shù)據(jù)的處理精度。

2 網(wǎng)絡(luò)安全分析過程大數(shù)據(jù)使用效果分析

網(wǎng)絡(luò)分析操作實(shí)踐中，主要是通過進(jìn)行日志、流量等信息的處理，數(shù)據(jù)量是非常大的，包含的內(nèi)容種類也比較多。從實(shí)踐中分析，大數(shù)據(jù)技術(shù)開展網(wǎng)絡(luò)安全分析，可以促進(jìn)數(shù)據(jù)分析處理，可以更好的把分散性的數(shù)據(jù)信息實(shí)現(xiàn)綜合應(yīng)用分析，提高處理的效果和質(zhì)量，讓網(wǎng)絡(luò)安全分析效果得以提升。還能夠進(jìn)行安全信息的關(guān)聯(lián)性分析，可以達(dá)到多維度處理效果，及時(shí)發(fā)現(xiàn)所存在的問題，可以保證安全分析效果。在具體的操作中，主要是根據(jù)如下幾個(gè)方面來開展工作。

2.1 數(shù)據(jù)采集

結(jié)合不同使用場(chǎng)景，選擇最佳大數(shù)據(jù)技術(shù)，能夠通過Flume、Scribe 等工具，能夠進(jìn)行分布式采集處理，提高采集處理效率，一般處理速度可以達(dá)到每秒數(shù)百兆數(shù)據(jù)的采集，也就能夠在短時(shí)間內(nèi)進(jìn)行日志數(shù)據(jù)的處理。

2.2 數(shù)據(jù)存儲(chǔ)

網(wǎng)絡(luò)安全分析時(shí)，能夠開展數(shù)據(jù)存儲(chǔ)和應(yīng)用，并且完成不同信息和數(shù)據(jù)類型的分別設(shè)置，也就是選擇不同的存儲(chǔ)方式，以提升數(shù)據(jù)查詢、存儲(chǔ)的效率。在進(jìn)行日志信息數(shù)據(jù)查詢中，通過列式存儲(chǔ)的方式可以產(chǎn)生非常好的效果，提升查詢工作水平，而在進(jìn)行標(biāo)準(zhǔn)化數(shù)據(jù)的處理，要通過分布式計(jì)算方法，數(shù)據(jù)處理后可以得到相應(yīng)的結(jié)果，以列式存儲(chǔ)的方式存在；即時(shí)數(shù)據(jù)信息通過流式計(jì)算有著很好的效果，分析處理后能夠準(zhǔn)確的記錄，依然是列式存儲(chǔ)的方式。

2.3 數(shù)據(jù)查詢

大數(shù)據(jù)技術(shù)使用實(shí)踐中，主要是通過MapReduce 來實(shí)施基礎(chǔ)架構(gòu)的建設(shè)，如果需要查詢系統(tǒng)內(nèi)某個(gè)數(shù)據(jù)信息，通過發(fā)布指令的方式以進(jìn)行節(jié)點(diǎn)處理，保證查詢順利開展和進(jìn)行。這種查詢處理方式，可以加速系統(tǒng)反應(yīng)，數(shù)據(jù)處理也更快。

2.4 數(shù)據(jù)分析

數(shù)據(jù)分析是網(wǎng)絡(luò)安全分析的重要工作，一般是進(jìn)行下面兩種情況的工作：其一，實(shí)時(shí)數(shù)據(jù)分析。能夠做好流式計(jì)算和分析，主要是通過CEP技術(shù)來實(shí)現(xiàn)處理與應(yīng)用，能夠快速的了解數(shù)據(jù)異常情況；其二，做好結(jié)果數(shù)據(jù)分析和存儲(chǔ)。這一部分工作的時(shí)效性要求較低，多數(shù)都會(huì)利用分布式存儲(chǔ)的方式來進(jìn)行，可以進(jìn)行多種類型數(shù)據(jù)的處理，并且能夠達(dá)到離線處理的效果，有效的消除風(fēng)險(xiǎn)分析方法，切實(shí)提升數(shù)據(jù)的安全性。

2.5 復(fù)雜數(shù)據(jù)分析處理

大數(shù)據(jù)技術(shù)應(yīng)用實(shí)踐中，可以按照操作者的需要來完成大量數(shù)據(jù)的存儲(chǔ)、分析與查詢工作，可以進(jìn)行復(fù)雜數(shù)據(jù)的有效處理，尤其是針對(duì)多源異構(gòu)、系統(tǒng)安全性、關(guān)聯(lián)性攻擊分析處理。比如，僵尸網(wǎng)絡(luò)是比較普遍存在的安全問題，該問題之下，能夠利用大數(shù)據(jù)充分的掌握系統(tǒng)特點(diǎn)，然后就是按照系統(tǒng)運(yùn)行標(biāo)準(zhǔn)實(shí)現(xiàn)發(fā)散性的關(guān)聯(lián)分析，同時(shí)要了解到數(shù)據(jù)所具備的各個(gè)方面功能，實(shí)現(xiàn)全面化的分析，保證數(shù)據(jù)應(yīng)用有序開展。再比如，一旦發(fā)現(xiàn)了系統(tǒng)中有任何的缺陷或者問題，都能夠做好各個(gè)關(guān)聯(lián)性主機(jī)的處理，進(jìn)而能夠及時(shí)發(fā)現(xiàn)各個(gè)主機(jī)系統(tǒng)，能夠掌握安全問題所處的位置，以便于做出必要的反應(yīng)和處理。

3 大數(shù)據(jù)網(wǎng)絡(luò)安全分析平臺(tái)構(gòu)建

3.1 大數(shù)據(jù)的網(wǎng)絡(luò)安全平臺(tái)架構(gòu)

該平臺(tái)中包含多個(gè)組成結(jié)構(gòu)部分，主要如下所示：數(shù)據(jù)采集的作用就是能夠了解全部信息，主要是存在的隱患信息等；存儲(chǔ)層則是進(jìn)行系統(tǒng)內(nèi)各項(xiàng)數(shù)據(jù)的存儲(chǔ)，不同類型的數(shù)據(jù)都可以存儲(chǔ)到系統(tǒng)內(nèi)，并且根據(jù)規(guī)定的算法來實(shí)現(xiàn)數(shù)據(jù)的處理和應(yīng)用，可以提升數(shù)據(jù)檢索效率；數(shù)據(jù)挖掘分析層能夠做好實(shí)時(shí)數(shù)據(jù)的分析關(guān)聯(lián)、分析情境、提取特征等，可以充分的掌握了解安全事件信息，如果存在異常情況要追根溯源，能夠更好的查詢相關(guān)答復(fù)數(shù)據(jù)信息，并且做好定位，以便于后續(xù)有效的處理；數(shù)據(jù)呈現(xiàn)層能的作用就是完成系統(tǒng)可視化分析，可以通過系統(tǒng)實(shí)現(xiàn)網(wǎng)絡(luò)安全管控，不會(huì)有任何安全風(fēng)險(xiǎn)威脅系統(tǒng)的安全。

3.2 平臺(tái)實(shí)現(xiàn)的技術(shù)支持

3.2.1 數(shù)據(jù)采集技術(shù)

本平臺(tái)采取Flume、Kafka、Storm 結(jié)合的方式來完成數(shù)據(jù)的采集工作。使用Flume 完成海量數(shù)據(jù)信息采集、整合與傳輸，主要的優(yōu)勢(shì)就是可靠性強(qiáng)、分布式形式等，利用定制數(shù)據(jù)信息，把發(fā)送方的各項(xiàng)數(shù)據(jù)信息都能夠充分的掌握，將數(shù)據(jù)進(jìn)行必要的加工和處理之后就能夠傳輸給定制方。對(duì)于活躍流失數(shù)據(jù)來完成數(shù)據(jù)處理，是可將Kafka 作為數(shù)據(jù)采集和流式數(shù)據(jù)進(jìn)行緩存處理。Kafka 中是開展邏輯性的分析服務(wù)，能夠確定生產(chǎn)者、消費(fèi)、代理的相關(guān)邏輯信息，然后形成高吞吐量的分布式訂閱系統(tǒng)。

3.2.2 數(shù)據(jù)存儲(chǔ)技術(shù)

使用HDFS 可以根據(jù)需要做好數(shù)據(jù)的采集和處理，并且能夠達(dá)到比較高的實(shí)際應(yīng)用價(jià)值，根據(jù)需要來確定元數(shù)據(jù)節(jié)點(diǎn)系統(tǒng)，然后把這些數(shù)據(jù)信息都能夠存儲(chǔ)到系統(tǒng)內(nèi)部，以便于在使用時(shí)可以隨時(shí)的查詢和使用。元數(shù)據(jù)節(jié)點(diǎn)和數(shù)據(jù)文件以對(duì)比的形式存在，如果時(shí)間是相同的情況，訪問數(shù)據(jù)量是非常多的情況下，系統(tǒng)的多項(xiàng)功能都無法實(shí)現(xiàn)，會(huì)給網(wǎng)絡(luò)運(yùn)行的安全性造成極為嚴(yán)重的負(fù)面影響。因此，為了能夠提升數(shù)據(jù)的分析質(zhì)量和效率，該平臺(tái)中應(yīng)用的存儲(chǔ)單元是HDFS 數(shù)據(jù)塊存儲(chǔ)，所有數(shù)據(jù)實(shí)現(xiàn)整合與處理之后，能夠確保各個(gè)文件都能夠達(dá)到64 兆字節(jié)的大小。

3.2.3 數(shù)據(jù)分析技術(shù)

該平臺(tái)的作用是完成系統(tǒng)內(nèi)部各項(xiàng)數(shù)據(jù)的分析和處理，以使用者需要的形式來體現(xiàn)出來，能夠給應(yīng)用者提供便利條件，從而可以保證數(shù)據(jù)使用更加高效的進(jìn)行。

數(shù)據(jù)挖掘分析多數(shù)的情況下都是以Mahout 系統(tǒng)，基于Hadoop的機(jī)械學(xué)習(xí)，內(nèi)蒙古更好的做好分析工作。如果在系統(tǒng)中要進(jìn)行事件流關(guān)聯(lián)使用，此時(shí)會(huì)通過CPE 的方式來實(shí)現(xiàn)，把各項(xiàng)數(shù)據(jù)根據(jù)應(yīng)用的需要快速制作完成，能夠掌握關(guān)聯(lián)方面的信息，就能夠組建成為序列庫的形式，保證全部的數(shù)據(jù)都能夠?qū)崿F(xiàn)必要的轉(zhuǎn)化，也就能夠從大量的數(shù)據(jù)信息中掌握必要的隱患信息，也能夠針對(duì)實(shí)際情況做出安全分析和處理。

4 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

日志和流量為當(dāng)前的網(wǎng)絡(luò)安全分析中的數(shù)據(jù)對(duì)象，其包含的內(nèi)容是比較多的，比如報(bào)告信息、用戶行為、業(yè)務(wù)行為、訪問、資源等等方面。大數(shù)據(jù)技術(shù)在應(yīng)用到網(wǎng)絡(luò)安全分析中，就能夠?qū)崿F(xiàn)多項(xiàng)數(shù)據(jù)的綜合應(yīng)用，并且做好必要的檢索和處理工作，可以提升網(wǎng)絡(luò)分析效果，提高分析效率。在應(yīng)用信息關(guān)聯(lián)、階段組合、場(chǎng)景關(guān)聯(lián)等分析方式，能夠及時(shí)的掌握事件之間所存在的關(guān)聯(lián)，能夠了解到安全漏洞、數(shù)據(jù)被攻擊、數(shù)據(jù)泄露等方面的風(fēng)險(xiǎn)，主動(dòng)防御這些風(fēng)險(xiǎn)問題，確保數(shù)據(jù)系統(tǒng)的安全性。

4.1 信息的采集

數(shù)據(jù)采集可以使用Chukwa 等工具，把全部的信息都融入到系統(tǒng)內(nèi)，其處理的速度都能夠達(dá)到百兆級(jí)別，為后續(xù)的存儲(chǔ)、查詢和分析工作提供良好基礎(chǔ)條件。

4.2 信息的存儲(chǔ)

對(duì)于復(fù)雜性較高的數(shù)據(jù)類型以及多樣化的應(yīng)用形式，要想實(shí)現(xiàn)分析標(biāo)準(zhǔn)和存儲(chǔ)需要，能夠提升檢索和分析的效率，可以選擇多種存儲(chǔ)方式來完成數(shù)據(jù)存儲(chǔ)。

檢索之下所形成的數(shù)據(jù)信息，主要是通過GBase、Hbase 等列式存儲(chǔ)的方式提升索引效果，實(shí)現(xiàn)數(shù)據(jù)響應(yīng)速度的提升。

對(duì)于標(biāo)準(zhǔn)化的安全性數(shù)據(jù)信息，然后是根據(jù)Hahoop 來建設(shè)系統(tǒng)結(jié)構(gòu)構(gòu)架，并且保證所有的數(shù)據(jù)都能夠通過進(jìn)行計(jì)算節(jié)點(diǎn)使用，使用Hive 等完成腳本信息，能夠了解各項(xiàng)數(shù)據(jù)信息的應(yīng)用情況，從而可以做好報(bào)告的分析和處理，然后再把結(jié)構(gòu)都存放到列式存儲(chǔ)中。

根據(jù)需要進(jìn)行數(shù)據(jù)的實(shí)時(shí)分析，可采取Storm、Spark 等流式計(jì)算方法，然后將需要的數(shù)據(jù)分別放置在各個(gè)計(jì)算節(jié)點(diǎn)中，可以達(dá)到數(shù)據(jù)流在節(jié)點(diǎn)系統(tǒng)內(nèi)完成自動(dòng)分析，能夠形成安全凈高，然后就能夠存儲(chǔ)到流失存儲(chǔ)中。

4.3 信息的檢索

信息檢索的目的就是發(fā)現(xiàn)所存在的隱患信息，是通過系統(tǒng)架構(gòu)來實(shí)現(xiàn)的，能夠做好各項(xiàng)查詢信息的節(jié)點(diǎn)處理和應(yīng)用，以分布式計(jì)算方式為主，能夠保證檢索工作水平和效率達(dá)標(biāo)。

4.4 數(shù)據(jù)的分析

實(shí)時(shí)數(shù)據(jù)分析最為主要的特點(diǎn)就是實(shí)時(shí)性，能夠快速的掌握必要的數(shù)據(jù)信息，以便于為數(shù)據(jù)分析提供良好基礎(chǔ)條件。這一方式能夠進(jìn)行實(shí)時(shí)數(shù)據(jù)分析、內(nèi)存與監(jiān)控和關(guān)聯(lián)安全信息等，能夠充分的了解系統(tǒng)所存在的異常情況。非實(shí)時(shí)數(shù)據(jù)分析通過使用Hadoop 架構(gòu)來進(jìn)行，能夠進(jìn)行數(shù)據(jù)挖掘和處理，統(tǒng)計(jì)風(fēng)險(xiǎn)問題，及時(shí)發(fā)現(xiàn)攻擊源的信息。

4.5 多源數(shù)據(jù)與多階段的綜合性分析

大數(shù)據(jù)技術(shù)在應(yīng)用之后可以促進(jìn)存儲(chǔ)、分析的效率提升，快速的完成多源異構(gòu)數(shù)據(jù)的挖掘處理，能夠及時(shí)發(fā)現(xiàn)數(shù)據(jù)所存在的安全隱患、不同環(huán)節(jié)中的攻擊特性等。比如，對(duì)于僵尸網(wǎng)絡(luò)的分析，不僅能夠根據(jù)流量和DNS 特征來了解具體情況，還能夠?qū)崿F(xiàn)數(shù)據(jù)源的分析或擴(kuò)充，把數(shù)據(jù)信息實(shí)現(xiàn)全面的掌握和分析。再比如，某個(gè)主機(jī)因?yàn)楣舳嬖诼┒?，則要分析其他關(guān)聯(lián)主機(jī)是否存在漏洞問題，要做好及時(shí)防范。

5 結(jié)束語

綜上所述，大數(shù)據(jù)技術(shù)應(yīng)用到網(wǎng)絡(luò)安全分析中，可以通過該先進(jìn)科學(xué)技術(shù)來提升網(wǎng)絡(luò)安全性水平，所以被大量的應(yīng)用到人們的生活中。因此，在網(wǎng)絡(luò)安全推廣和實(shí)施中，互聯(lián)網(wǎng)數(shù)據(jù)的增加量比較大，會(huì)導(dǎo)致網(wǎng)絡(luò)分析存在一定的問題和不足。在現(xiàn)代社會(huì)，通過大數(shù)據(jù)技術(shù)的合理應(yīng)用，促進(jìn)網(wǎng)絡(luò)安全分析有序進(jìn)行，建設(shè)完善的安全管理系統(tǒng)，提高安全防護(hù)效果，促進(jìn)網(wǎng)絡(luò)技術(shù)的完善與發(fā)展。