韋俊旭

（廣州南洋理工職業(yè)學(xué)院，廣東 廣州 510900）

一、大數(shù)據(jù)技術(shù)與網(wǎng)絡(luò)安全分析概述

現(xiàn)代計(jì)算機(jī)互聯(lián)網(wǎng)已經(jīng)發(fā)展成為當(dāng)前和未來(lái)支持、引領(lǐng)中國(guó)經(jīng)濟(jì)快速發(fā)展的重要?jiǎng)恿?，它促進(jìn)了社會(huì)主義生產(chǎn)和人民生活方式的變化，激發(fā)了網(wǎng)絡(luò)市場(chǎng)的活力，為促進(jìn)我國(guó)生產(chǎn)發(fā)展和科技進(jìn)步增添了新動(dòng)能。但同時(shí)我們也需要更加意識(shí)到，隨著現(xiàn)代計(jì)算機(jī)互聯(lián)網(wǎng)、特別是智能移動(dòng)互聯(lián)網(wǎng)在我們這個(gè)世界中廣泛普及與應(yīng)用,在互聯(lián)網(wǎng)的世界中每一天都有可能會(huì)產(chǎn)生大量網(wǎng)絡(luò)信息材料。這些網(wǎng)絡(luò)信息材料形式多種多樣,來(lái)源繁瑣,甚至還摻雜著大量可能會(huì)直接危及我們的個(gè)人隱私、威脅我們國(guó)家安全的信息,再加之勒索病毒、木馬和部分黑客惡意侵害和威脅的影響,網(wǎng)絡(luò)安全問題也變得愈發(fā)嚴(yán)重,這對(duì)于網(wǎng)絡(luò)安全的分析工作提出了一種新技術(shù)要求。

大數(shù)據(jù)技術(shù)作為一種新興的網(wǎng)絡(luò)安全信息處理方法和手段，在收集和處理網(wǎng)絡(luò)安全信息方面表現(xiàn)出了其巨大的規(guī)模性、多樣性、結(jié)構(gòu)和形式獨(dú)特的特點(diǎn)和優(yōu)勢(shì)。而且，我國(guó)的網(wǎng)絡(luò)安全大數(shù)據(jù)技術(shù)還處于不斷發(fā)展和完善的歷史階段，技術(shù)和能力都在不斷提高和升級(jí)，這直接決定了其在網(wǎng)絡(luò)安全信息分析領(lǐng)域的廣泛應(yīng)用。

二、大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析領(lǐng)域的應(yīng)用意義

（一）網(wǎng)絡(luò)安全分析應(yīng)用大數(shù)據(jù)技術(shù)的重要性

為了改善和提高互聯(lián)網(wǎng)網(wǎng)絡(luò)信息安全的精度和準(zhǔn)確率，就必須采取更多的方法。網(wǎng)絡(luò)安全分析中利用大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)上的應(yīng)用主要集中于分析數(shù)據(jù)，傳統(tǒng)的對(duì)于數(shù)據(jù)信息進(jìn)行傳遞的技術(shù)已經(jīng)滿足不了越來(lái)越多人日益擴(kuò)展的需求。而且大數(shù)據(jù)技術(shù)可以在海量、沒有一定規(guī)律的信息處理中仍舊能夠很好地保證其效率與準(zhǔn)確度，這些都是傳統(tǒng)的信息技術(shù)所做不到的。因此為了有效地保障信息安全，就必須要求大數(shù)據(jù)技術(shù)在企業(yè)中得到廣泛的運(yùn)用。大數(shù)據(jù)技術(shù)可以有效地提升網(wǎng)絡(luò)安全性分析系統(tǒng)的內(nèi)部存儲(chǔ)和管理能力。由于網(wǎng)絡(luò)的信息復(fù)雜、巨大，要把這些海量信息進(jìn)行集中、分析和存儲(chǔ)，這就必然需要互聯(lián)網(wǎng)和大數(shù)據(jù)技術(shù)的協(xié)助。并且，大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全方面的運(yùn)用，可以有效地降低網(wǎng)絡(luò)維護(hù)和安全管理的成本。大數(shù)據(jù)所采用的結(jié)構(gòu)化數(shù)據(jù)庫(kù)方式較之于傳統(tǒng)結(jié)構(gòu)化的數(shù)據(jù)庫(kù)方式效率更好，對(duì)硬件的要求低，成本更低。

（二）大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析領(lǐng)域的應(yīng)用優(yōu)勢(shì)

1.分析資料更加詳實(shí)

網(wǎng)絡(luò)安全問題涉及到諸多影響因素，涉及到與整個(gè)網(wǎng)絡(luò)運(yùn)行密切相關(guān)的各種流程和節(jié)點(diǎn)。它要求我們廣泛收集和分析網(wǎng)絡(luò)世界中可能產(chǎn)生的各種海量信息數(shù)據(jù)。然而，傳統(tǒng)的大數(shù)據(jù)分析技術(shù)不能完全滿足這項(xiàng)技術(shù)的要求。一般只圍繞具體問題收集和分析數(shù)據(jù)，這嚴(yán)重制約了網(wǎng)絡(luò)安全分析結(jié)果的準(zhǔn)確性，其工作價(jià)值無(wú)法得到保證。

大數(shù)據(jù)技術(shù)的發(fā)展是為了有效解決網(wǎng)絡(luò)上數(shù)量眾多的、非結(jié)構(gòu)化數(shù)據(jù)的采集和處理問題。利用這項(xiàng)技術(shù)，我們可以廣泛收集和處理網(wǎng)絡(luò)世界中人類產(chǎn)生的各種海量信息，這顯然在很大程度上增加了豐富的分析數(shù)據(jù)，我們的研究結(jié)論也變得更加可靠。

2.提升分析效率

與其他大數(shù)據(jù)技術(shù)方法相比，傳統(tǒng)的數(shù)據(jù)處理方法和手段主要是處理具有結(jié)構(gòu)和形態(tài)多樣性的大規(guī)模復(fù)雜信息，分析和處理這些數(shù)據(jù)的效率相對(duì)較低。我們的網(wǎng)絡(luò)安全分析基于移動(dòng)互聯(lián)網(wǎng)的應(yīng)用領(lǐng)域。網(wǎng)絡(luò)世界的每一個(gè)地方都會(huì)收集到大量與安全密切相關(guān)的信息，這就導(dǎo)致了以往傳統(tǒng)數(shù)據(jù)處理技術(shù)中所存在的不利局面，阻礙了我們工作效率的提高?；诖耍訌?qiáng)大數(shù)據(jù)技術(shù)在互聯(lián)網(wǎng)安全分析等新技術(shù)領(lǐng)域的實(shí)際應(yīng)用，特別是加強(qiáng)基于大數(shù)據(jù)技術(shù)的信息分析平臺(tái)的建設(shè)和運(yùn)營(yíng)，通過分布式數(shù)據(jù)采集獲得的各種海量異構(gòu)數(shù)據(jù)資源進(jìn)行分布式存儲(chǔ)和并行計(jì)算，全面提升大數(shù)據(jù)的綜合處理能力和效率。

3.降低數(shù)據(jù)處理成本

信息數(shù)據(jù)的采集可以通過對(duì)現(xiàn)有的網(wǎng)絡(luò)基礎(chǔ)設(shè)施進(jìn)行微小的改動(dòng)直接實(shí)現(xiàn)，信息數(shù)據(jù)的采集可以通過移動(dòng)終端直接完成。由于大部分?jǐn)?shù)據(jù)處理任務(wù)都安裝在云端，本地人員無(wú)需部署大量計(jì)算機(jī)和計(jì)算機(jī)分析資源，有效降低了系統(tǒng)的運(yùn)營(yíng)成本。

4.提升分析結(jié)果的可靠度

與傳統(tǒng)的數(shù)據(jù)處理技術(shù)主要針對(duì)特定問題、進(jìn)行無(wú)限有限的數(shù)據(jù)采集和分析相比，大數(shù)據(jù)技術(shù)的優(yōu)勢(shì)在于在數(shù)據(jù)吞吐量方面具有海量數(shù)據(jù)的特點(diǎn)。它使我們能夠廣泛收集與當(dāng)前互聯(lián)網(wǎng)安全密切相關(guān)的各種信息，也可以從不同層面收集、對(duì)從不同角度收集的數(shù)量眾多的異構(gòu)化數(shù)據(jù)進(jìn)行耦合分析，計(jì)算結(jié)果明顯更加準(zhǔn)確，比從單個(gè)角度和圍繞特定問題計(jì)算的結(jié)果更準(zhǔn)確和完整。

（三）大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全平臺(tái)中的構(gòu)架方案

根據(jù)網(wǎng)絡(luò)安全分析的特點(diǎn)，大數(shù)據(jù)技術(shù)的安全防護(hù)平臺(tái)構(gòu)架方法如下：第一，在大數(shù)據(jù)技術(shù)中的數(shù)據(jù)采集層中，系統(tǒng)會(huì)按照分布式的方法進(jìn)行數(shù)據(jù)流以及用戶信息的采集，并及時(shí)發(fā)現(xiàn)網(wǎng)絡(luò)安全系統(tǒng)中的隱患；第二，大數(shù)據(jù)存儲(chǔ)層，對(duì)于該種網(wǎng)絡(luò)平臺(tái)系統(tǒng)，通過大數(shù)據(jù)技術(shù)的運(yùn)用，可以將分布式文件系統(tǒng)的構(gòu)建進(jìn)行處理，確定長(zhǎng)期、全量的信息存儲(chǔ)方案，并利用結(jié)構(gòu)化以及非結(jié)構(gòu)化的平臺(tái)進(jìn)行數(shù)據(jù)資源的統(tǒng)一存儲(chǔ)，提高網(wǎng)絡(luò)安全的管理效率。第三，將大數(shù)據(jù)技術(shù)運(yùn)用在網(wǎng)絡(luò)安全平臺(tái)中，通過數(shù)據(jù)挖掘分析層的設(shè)計(jì)，系統(tǒng)會(huì)按照網(wǎng)絡(luò)安全分析狀況，進(jìn)行數(shù)據(jù)的實(shí)時(shí)分析以及安全事件的挖掘，避免網(wǎng)絡(luò)異?，F(xiàn)象的出現(xiàn)，提高各項(xiàng)網(wǎng)絡(luò)安全數(shù)據(jù)的處理效率。第四，在數(shù)據(jù)呈現(xiàn)層的設(shè)計(jì)中，通過大數(shù)據(jù)技術(shù)的結(jié)構(gòu)化處理中，不僅可以進(jìn)行網(wǎng)絡(luò)安全數(shù)據(jù)的查詢及定位處理，也可以利用多維度的方案確定網(wǎng)絡(luò)安全的運(yùn)行狀態(tài)，充分保證網(wǎng)絡(luò)系統(tǒng)的安全、穩(wěn)定運(yùn)行。

三、大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

（一）信息的采集

在對(duì)數(shù)據(jù)分析過程中可以將信息的采集作為基本條件，需要結(jié)合網(wǎng)絡(luò)安全的需求科學(xué)合理的采集數(shù)據(jù)信息，大數(shù)據(jù)技術(shù)在信息采集階段的應(yīng)用十分必要，信息采集作為信息整合與分析的前提基礎(chǔ)，完善采集工作板與后續(xù)工作的順利開展。在大數(shù)據(jù)技術(shù)的采集階段應(yīng)用匯總，其常見的技術(shù)手段有Flume、Kafka、Storm 技術(shù)，以便于大數(shù)據(jù)進(jìn)行各種分布式的采集。這種數(shù)據(jù)采集的方式比較高效，其采集的速度可以達(dá)到每秒內(nèi)數(shù)百兆左右，從而使得它們?cè)趯?duì)各種日志數(shù)據(jù)信息等進(jìn)行處理的過程中得以獲得顯著地成效。這幾項(xiàng)信息采集技術(shù)的應(yīng)用會(huì)將所采集信息中有價(jià)值的信息分離出來(lái)，再講分離出來(lái)的價(jià)值信息進(jìn)行重新整合與分析，最終生成數(shù)據(jù)報(bào)告和完成數(shù)據(jù)傳輸工作。需要強(qiáng)調(diào)的是，在最終生成的數(shù)據(jù)傳輸工作前，其數(shù)據(jù)要進(jìn)行檢查和分類，確保數(shù)據(jù)格式的正確性能夠符合消費(fèi)者所需服務(wù)的要求。

（二）信息的儲(chǔ)存

能否有效地存儲(chǔ)安全的信息和數(shù)據(jù)，是我們衡量網(wǎng)絡(luò)安全分析的一個(gè)重要產(chǎn)趙武，信息的收集和存儲(chǔ)對(duì)于互聯(lián)網(wǎng)網(wǎng)絡(luò)安全的分析來(lái)講很重要，而且在實(shí)際中運(yùn)用到了大數(shù)據(jù)技術(shù)就能夠通過多種形式采取不同的存儲(chǔ)手段來(lái)處理和應(yīng)對(duì)不同類型的信息和數(shù)據(jù)，從而大幅度地提升了數(shù)據(jù)的查詢與存儲(chǔ)的順利性以及其工作效率。在信息的存儲(chǔ)過程中，必須要考慮到數(shù)據(jù)信息的類別和數(shù)量，信息的存儲(chǔ)一方面要確保數(shù)據(jù)信息分類的科學(xué)性，另外，在存儲(chǔ)量上一定要確保容量，確保數(shù)據(jù)存儲(chǔ)的安全穩(wěn)定不易丟失，只有明確好這些點(diǎn)才能夠選擇最為合適的存儲(chǔ)方法，以便提高數(shù)據(jù)的查詢速度和存儲(chǔ)效率。在網(wǎng)絡(luò)組織架構(gòu)的計(jì)算過程中，必須要考慮到安全實(shí)施的標(biāo)準(zhǔn)，把分布式作為依據(jù)，在數(shù)據(jù)的設(shè)置和分析過程中，要注重節(jié)點(diǎn)上的計(jì)算，使用腳本挖掘來(lái)更好地分析網(wǎng)絡(luò)的安全級(jí)別，通過列式的方式存儲(chǔ)數(shù)據(jù)，把需要分析的數(shù)據(jù)資源放到每一個(gè)計(jì)算的節(jié)點(diǎn)中，系統(tǒng)在此就會(huì)對(duì)其進(jìn)行快速的分析，并且完成信息的統(tǒng)計(jì)工作，最后再通過流式的方式把分析的結(jié)果放在數(shù)據(jù)庫(kù)當(dāng)中。

（三）數(shù)據(jù)的檢索

數(shù)據(jù)的檢索是在數(shù)據(jù)分類存儲(chǔ)的基礎(chǔ)上進(jìn)行的，通過對(duì)數(shù)據(jù)信息進(jìn)行檢索有利于促進(jìn)網(wǎng)絡(luò)安全數(shù)據(jù)分析工作的順利進(jìn)行，科學(xué)合理的檢索信息，從而使得使用者通過查找關(guān)鍵詞的方式即可查詢到所需數(shù)據(jù)信息，能夠提升網(wǎng)絡(luò)安全分析的性能，同時(shí)在數(shù)據(jù)分析質(zhì)量提升方面起著舉足輕重的作用。在開展網(wǎng)絡(luò)安全分析工作過程中，有必要檢索數(shù)據(jù)信息，通常使用MapReduce 方法對(duì)數(shù)據(jù)進(jìn)行檢索，把提出的查詢請(qǐng)求傳送到各個(gè)處理節(jié)點(diǎn)，然后將查詢請(qǐng)求進(jìn)行有效處理，接著采用分布式計(jì)算，可以加快相關(guān)數(shù)據(jù)信息的檢索。檢索速度的提高有利于促進(jìn)網(wǎng)絡(luò)安全數(shù)據(jù)分析工作的順利進(jìn)行，同時(shí)在網(wǎng)絡(luò)安全性能提升方面發(fā)揮著至關(guān)重要的作用。

（四）數(shù)據(jù)的分析

數(shù)據(jù)信息的分析是指對(duì)于收集存儲(chǔ)信息的梳理和預(yù)判，數(shù)據(jù)的整理和預(yù)判大致可以劃分為兩類，一種是對(duì)于實(shí)時(shí)數(shù)據(jù)的整理和預(yù)判，另一種則是對(duì)于歷史資料的整理和預(yù)判。結(jié)合考慮到網(wǎng)絡(luò)安全問題，對(duì)于網(wǎng)絡(luò)中實(shí)時(shí)信息和數(shù)據(jù)的分析我們可以采取流式進(jìn)行計(jì)算，然后利用關(guān)鍵分析算法、CEP 技術(shù)等手段來(lái)輔助進(jìn)行分析，最終分辨出當(dāng)下傳播的信息是否屬于或可能成為網(wǎng)絡(luò)安全問題。對(duì)于歷史數(shù)據(jù)的分析，主要使用分布式存儲(chǔ)和計(jì)算方法。為了深入分析網(wǎng)絡(luò)中的歷史數(shù)據(jù)，我們還可以考慮在處理時(shí)使用分布式存儲(chǔ)和計(jì)算方法。這種信息處理方法是為了更好地深入收集數(shù)據(jù)，規(guī)避風(fēng)險(xiǎn)，從而有效判斷當(dāng)前或未來(lái)需要收集的信息，實(shí)現(xiàn)網(wǎng)絡(luò)安全控制。

（五）構(gòu)建基于大數(shù)據(jù)分析技術(shù)的網(wǎng)絡(luò)安全平臺(tái)

在了解各種網(wǎng)絡(luò)安全設(shè)備、構(gòu)建一套網(wǎng)絡(luò)安全防護(hù)體系的基礎(chǔ)上，我們還需要構(gòu)建基于大數(shù)據(jù)分析技術(shù)的網(wǎng)絡(luò)安全平臺(tái)。網(wǎng)絡(luò)安全平臺(tái)的建設(shè)分為數(shù)據(jù)采集層和數(shù)據(jù)處理層。數(shù)據(jù)信息采集層分為數(shù)據(jù)信息分析采集層和大數(shù)據(jù)技術(shù)信息存儲(chǔ)層，數(shù)據(jù)處理層分為數(shù)據(jù)挖掘?qū)?、分析層和顯示層。在這些層面內(nèi)能夠?qū)λ玫接脩舾魇礁鳂拥臄?shù)據(jù)信息展開逐一分類，以方便對(duì)這海量數(shù)據(jù)的量化存儲(chǔ)。至于展示層就是通過大數(shù)據(jù)分析技術(shù)對(duì)數(shù)據(jù)進(jìn)行特定的檢索，并將其可視化，最后將安全規(guī)范數(shù)據(jù)多維度的空間模型來(lái)呈現(xiàn)網(wǎng)絡(luò)的安全性。基于大數(shù)據(jù)分析技術(shù)網(wǎng)絡(luò)安全平臺(tái)的構(gòu)建在運(yùn)行期間通常會(huì)采用Hive 的方式來(lái)統(tǒng)計(jì)和分析所得到的海量數(shù)據(jù)，通過分析、檢索得到的數(shù)據(jù)可存儲(chǔ)在HDFS 內(nèi)。對(duì)于數(shù)據(jù)挖掘?qū)佣?，可采取基于Hadoop 技術(shù)的機(jī)械化數(shù)據(jù)挖掘技術(shù)(對(duì)于海量的靜態(tài)數(shù)據(jù)而言，Hadoop 技術(shù)對(duì)數(shù)據(jù)的處理速度要遠(yuǎn)遠(yuǎn)大于Spack 技術(shù))，對(duì)于海量數(shù)據(jù)進(jìn)行深度挖掘與整理，并且能夠按照數(shù)據(jù)分析所引用的事件流來(lái)進(jìn)行特殊化分析工作。在最后可以采用CPE 技術(shù)來(lái)對(duì)平臺(tái)內(nèi)的不同類型、不同時(shí)間的數(shù)據(jù)加以分析，并且能夠較好幫助建設(shè)關(guān)系庫(kù)，從而更好實(shí)現(xiàn)平臺(tái)對(duì)數(shù)據(jù)處理的整體性，以保障網(wǎng)絡(luò)環(huán)境的安全與防范。

四、結(jié)束語(yǔ)：

我們國(guó)家的經(jīng)濟(jì)社會(huì)正在蓬勃發(fā)展,科技也正在飛躍。而這種網(wǎng)絡(luò)安全的問題其實(shí)也就是一種網(wǎng)絡(luò)信息安全的問題。任何一項(xiàng)個(gè)人信息在互聯(lián)網(wǎng)上的披露對(duì)我們個(gè)人、社會(huì)都有很大的威脅。傳統(tǒng)網(wǎng)絡(luò)安全分析方法采用的技術(shù)已經(jīng)不適合當(dāng)今時(shí)代的技術(shù)水平。大數(shù)據(jù)技術(shù)的深入應(yīng)用已經(jīng)是中國(guó)移動(dòng)互聯(lián)網(wǎng)迅猛發(fā)展的一個(gè)重要象征。大數(shù)據(jù)技術(shù)目前應(yīng)用廣泛,效果明顯，能有效提高工作效率，節(jié)約成本。將先進(jìn)的大數(shù)據(jù)技術(shù)應(yīng)用于網(wǎng)絡(luò)安全分析，可以有效提高網(wǎng)絡(luò)安全性，為用戶提供良好的生活和工作環(huán)境。