李宗辰

(長春金融高等?？茖W(xué)?，F(xiàn)代教育中心，吉林 長春 130012)

隨著各行各業(yè)相繼推出“互聯(lián)網(wǎng)+”的發(fā)展模式，使得互聯(lián)網(wǎng)在各領(lǐng)域內(nèi)應(yīng)用越來越廣。 在互聯(lián)網(wǎng)飛速發(fā)展的同時，也給網(wǎng)絡(luò)安全分析工作帶來了更大的困擾與壓力。首先是網(wǎng)絡(luò)安全分析工作所面臨的處理數(shù)據(jù)的工作強度呈指數(shù)型上升，并且數(shù)據(jù)的規(guī)模是海量的，類型也是多種多樣的， 所以需要通過多個維度的分析才能夠得到有效結(jié)果。 同時面對著海量的、多種結(jié)構(gòu)的數(shù)據(jù)在分析處理上的空間復(fù)雜度與時間復(fù)雜度也越來越大， 處理時間越來越長，存儲成本越來越高，傳輸質(zhì)量越來越低，甚至丟失數(shù)據(jù)。 為了解決上述諸多麻煩，將大數(shù)據(jù)分析技術(shù)融入網(wǎng)絡(luò)安全分析。 在引入大數(shù)據(jù)分析技術(shù)后，對計算機硬件要求不高，還能夠減低存儲成本，提高存儲空間，提升傳輸質(zhì)量并且減少丟包現(xiàn)象的發(fā)生， 同時也能夠處理半結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)，提高數(shù)據(jù)分析的精確度。

1 大數(shù)據(jù)分析技術(shù)應(yīng)用研究

1.1 數(shù)據(jù)采集

流量與日志是研究者用做網(wǎng)絡(luò)安全分析的最為重要的研究數(shù)據(jù)。 如果能夠在網(wǎng)絡(luò)安全分析中完美嵌套上數(shù)據(jù)挖掘算法以及大數(shù)據(jù)分析技術(shù)， 將可以不斷的完善各項數(shù)據(jù)收集任務(wù)的工作質(zhì)量與效率。 與傳統(tǒng)的數(shù)據(jù)收集工作來比較的話， 引入大數(shù)據(jù)分析技術(shù)的數(shù)據(jù)采集工作將能夠更好的保證數(shù)據(jù)的完整度和收集效率。

1.2 數(shù)據(jù)檢索

與原始的數(shù)據(jù)檢索方式相比較， 引用大數(shù)據(jù)分析技術(shù)能夠完善目前的數(shù)據(jù)檢索的方式， 并能大大降低原始檢索方式的時間復(fù)雜度。 引用大數(shù)據(jù)分析技術(shù)能夠?qū)崿F(xiàn)并行化方式來進行數(shù)據(jù)檢索， 將所需要的檢索需求任務(wù)可以同時發(fā)布給大量的分節(jié)點， 這些分節(jié)點能夠同一時間接收到任務(wù)并同時觸發(fā)任務(wù)， 然后這些分節(jié)點能夠各種數(shù)據(jù)挖掘算法計算來判斷出是否存在契合任務(wù)所需要的相關(guān)數(shù)據(jù)。 如果分節(jié)點判斷出自己是具有滿足任務(wù)的數(shù)據(jù)時，即可將數(shù)據(jù)反饋給上層節(jié)點，從而實現(xiàn)數(shù)據(jù)檢索的相關(guān)任務(wù)。 與傳統(tǒng)方式相比，運用大數(shù)據(jù)分析技術(shù)能大大降低該任務(wù)的時間復(fù)雜度與空間復(fù)雜度，降低了工作者的工作難度，極大地提高了檢索工作的質(zhì)量與效率，減緩了工作者的工作壓力[1]。

1.3 數(shù)據(jù)儲存

隨著互聯(lián)網(wǎng)技術(shù)的不斷提升，尤其是移動互聯(lián)設(shè)備的普及，使得每天都會產(chǎn)生海量數(shù)據(jù)。 而這些數(shù)據(jù)中有傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)， 也有非結(jié)構(gòu)化數(shù)據(jù)乃至半結(jié)構(gòu)化數(shù)據(jù)，如何儲存這海量的數(shù)據(jù)是網(wǎng)絡(luò)安全分析的工作者們需要解決的頭等問題。 大數(shù)據(jù)分析技術(shù)的引用當(dāng)即能夠解決工作者們的燃眉之急。 上文講到，引用大數(shù)據(jù)分析技術(shù)能夠加快數(shù)據(jù)檢索工作的效率和質(zhì)量，意味著在同等的工作時間內(nèi)，引用大數(shù)據(jù)分析技術(shù)能夠更快更多的檢索數(shù)據(jù)并且各個分節(jié)點也能夠迅速給出反饋信息，加快比對并將海量數(shù)據(jù)分門別類的存儲起來。 也就是說利用大數(shù)據(jù)分析技術(shù)能夠使得對海量數(shù)據(jù)處理的方式更加規(guī)范，處理規(guī)則更加統(tǒng)一，所得到的結(jié)果更加精確，最后把得到的各類新的數(shù)據(jù)分開存儲到各個位置，等待數(shù)據(jù)挖掘與分析工作的進行。 大數(shù)據(jù)分析技術(shù)的主要數(shù)據(jù)存儲技術(shù)為是HDFS：Hadoop Distributed File System。 HDFS 是一個基于分布式文件系統(tǒng)。 它有一定高度的容錯性和高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。 HDFS 提供了一個高容錯性和高吞吐量的海量數(shù)據(jù)存儲解決方案。

1.4 數(shù)據(jù)處理

利用大數(shù)據(jù)分析技術(shù)來進行網(wǎng)絡(luò)安全分析，實踐上就是想要通過實現(xiàn)不同種類的數(shù)據(jù)挖掘算法和分析技術(shù)來完成網(wǎng)絡(luò)安全的分析。 與傳統(tǒng)的流水式數(shù)據(jù)處理技術(shù)相比，大數(shù)據(jù)分析技術(shù)對于海量數(shù)據(jù)分析處理的優(yōu)勢則是分布式處理技術(shù)。 大量的分節(jié)點以不規(guī)則分布方式存在，待任務(wù)觸發(fā)時，能夠并發(fā)處理各項數(shù)據(jù)，從數(shù)據(jù)預(yù)處理，到算法核計算、分析以及最終的分析結(jié)果等步驟無不體現(xiàn)了運用大數(shù)據(jù)分析技術(shù)的優(yōu)勢。 不僅降低了任務(wù)的時間復(fù)雜度與空間復(fù)雜度，而且最終所得到的處理結(jié)果的準確率與完整性更高，消耗的時間更低，整體處理效率更高[2]。

2 構(gòu)建大數(shù)據(jù)分析應(yīng)用安全策略

大數(shù)據(jù)分析技術(shù)的出現(xiàn)給人們的生產(chǎn)生活帶來天翻地覆的變化，在大數(shù)據(jù)技術(shù)的帶動下，各個行業(yè)領(lǐng)域都做出了重大的改變與發(fā)展。 如何將大數(shù)據(jù)分析技術(shù)應(yīng)用到網(wǎng)絡(luò)安全分析工作中， 并且能夠使二者完美的契合起來將是一個長遠而又宏大的工程， 需要政府部門與高校研究人員以及相關(guān)技術(shù)企業(yè)等多方人員的全力配合， 才能夠?qū)⒋髷?shù)據(jù)分析技術(shù)完美的融入網(wǎng)絡(luò)安全分析工作中。

2.1 加強數(shù)據(jù)保護與安全建設(shè)

首先，要在思想上加強對數(shù)據(jù)安全保護的重視，網(wǎng)絡(luò)安全所需要面臨的問題并不是僅僅只有個人， 還有企事業(yè)單位以及各級政府，國家的信息數(shù)據(jù)安全最為重要。 綜上所述，必須對網(wǎng)絡(luò)數(shù)據(jù)安全建設(shè)提高重視，強化意識，需要大力鼓勵與扶持相關(guān)技術(shù)研究企業(yè)的發(fā)展， 打下夯實的網(wǎng)絡(luò)環(huán)境基礎(chǔ)， 提高對各項數(shù)據(jù)的保護能力與監(jiān)察能力，時刻保證單位的網(wǎng)絡(luò)數(shù)據(jù)安全。 無論是作為個人還是單位員工都要提高網(wǎng)絡(luò)安全意識， 保證自身的網(wǎng)絡(luò)數(shù)據(jù)安全[3]。

2.2 提升大數(shù)據(jù)網(wǎng)絡(luò)安全感知能力

如今， 幾乎沒有任何一個行業(yè)與領(lǐng)域能夠離開互聯(lián)網(wǎng)與計算機， 并且為了保障自身利益不受到損害先后都構(gòu)建了各式各樣的網(wǎng)絡(luò)安全防護系統(tǒng)，但是當(dāng)面臨病毒、黑客入侵，不良信息發(fā)布時，絕大多數(shù)的網(wǎng)絡(luò)安全防護系統(tǒng)大多不堪一擊，幾乎完全沒有抵抗能力，一旦面臨有比較大的危險時無法保護個人的數(shù)據(jù)信息， 導(dǎo)致個人或者企事業(yè)單位遭受巨大損失。 想要加強網(wǎng)絡(luò)安全防護能力的建設(shè)，就必須要提升網(wǎng)絡(luò)安全感知能力。 在當(dāng)今互聯(lián)網(wǎng)大數(shù)據(jù)時代背景下， 網(wǎng)絡(luò)安全感知能力是一種能夠提高處理效率， 同時準確率也能相對提高的一種網(wǎng)絡(luò)安全技術(shù)，能夠?qū)崿F(xiàn)脆弱性感知、異常行為檢測感知以及資產(chǎn)感知等操作， 還能夠?qū)τ脩舻男畔硗筒僮鬟M行安全性評估， 同時網(wǎng)絡(luò)安全感知技術(shù)還能夠?qū)τ脩舻男袨檫M行特征分析計算， 從而進一步辨別用戶的操作能否遭受到安全威脅。 當(dāng)被判別為能夠威脅到用過戶的安全時，系統(tǒng)就能夠自行屏蔽并提示管理員或者用戶， 從而大大提高對個人或者企事業(yè)單位的網(wǎng)絡(luò)安全保障。

2.3 提升大數(shù)據(jù)網(wǎng)絡(luò)安全融合能力

與如今的互聯(lián)網(wǎng)空間相比， 在過去的互聯(lián)網(wǎng)普及度相對較低，互聯(lián)網(wǎng)領(lǐng)域內(nèi)的法律法規(guī)也并不規(guī)范、并不完善， 各單位所上線的網(wǎng)絡(luò)安全管理系統(tǒng)在面對病毒以及黑客入侵時不堪一擊，無法抵御惡意程序和病毒的入侵，也不能夠攔截不良網(wǎng)站傳播的各種各樣非法廣告與危險性極高的數(shù)據(jù)信息，大大破壞了網(wǎng)絡(luò)的安全與環(huán)境。 而現(xiàn)今，隨著業(yè)界內(nèi)相關(guān)的法律法規(guī)逐漸發(fā)展與完善，各種各樣的安全技術(shù)不斷攀升，各式各樣的安全設(shè)備推陳出新，例如邊界防護墻、VPN 設(shè)備、上網(wǎng)認證系統(tǒng)、殺毒軟件、上網(wǎng)行為管理系統(tǒng)以及用戶訪問控制系統(tǒng)等等，使得現(xiàn)今的網(wǎng)絡(luò)安全系統(tǒng)越來越牢不可破。 但是，雖然各大安全技術(shù)廠家推出了各式各樣的網(wǎng)絡(luò)安全設(shè)備，如果僅用單一的網(wǎng)絡(luò)安全設(shè)備或者單一廠家的安全設(shè)備，是不能在當(dāng)今大數(shù)據(jù)時代來保護網(wǎng)絡(luò)安全的。 如今的病毒或惡意程序是多渠道、多空間、多層次的無差別攻擊，必須要將各個廠家的多種安全設(shè)備合理串聯(lián)利用，例如天融信的防火墻，依訊的漏洞掃描，深信服的VPN 等等多廠家主打的網(wǎng)絡(luò)安全設(shè)備筑起一道牢不可破的“長城”，才能提升網(wǎng)絡(luò)安全防護能力。

2.4 構(gòu)建基于大數(shù)據(jù)分析技術(shù)的網(wǎng)絡(luò)安全平臺

在了解各網(wǎng)絡(luò)安全設(shè)備并構(gòu)建了網(wǎng)絡(luò)安全防護系統(tǒng)的基礎(chǔ)上，還需要基于大數(shù)據(jù)分析技術(shù)搭建其網(wǎng)絡(luò)安全平臺。 構(gòu)建網(wǎng)絡(luò)安全平臺的分為數(shù)據(jù)收集層與數(shù)據(jù)處理層。數(shù)據(jù)收集層又分為數(shù)據(jù)信息的分析層與大數(shù)據(jù)技術(shù)信息存儲層，而數(shù)據(jù)處理層又分為數(shù)據(jù)挖掘?qū)印⒎治鰧右约罢故緦印?在這些層面內(nèi)能夠?qū)λ玫接脩舾魇礁鳂拥臄?shù)據(jù)信息展開逐一分類，以方便對這海量數(shù)據(jù)的量化存儲。 至于展示層就是通過大數(shù)據(jù)分析技術(shù)對數(shù)據(jù)進行特定的檢索，并將其可視化，最后將安全規(guī)范數(shù)據(jù)多維度的空間模型來呈現(xiàn)網(wǎng)絡(luò)的安全性。

基于大數(shù)據(jù)分析技術(shù)網(wǎng)絡(luò)安全平臺的構(gòu)建在運行期間通常會采用Hive 的方式來統(tǒng)計和分析所得到的海量數(shù)據(jù)，通過分析、檢索得到的數(shù)據(jù)可存儲在HDFS 內(nèi)。對于數(shù)據(jù)挖掘?qū)佣?，可采取基于Hadoop 技術(shù)的機械化數(shù)據(jù)挖掘技術(shù)（對于海量的靜態(tài)數(shù)據(jù)而言，Hadoop 技術(shù)對數(shù)據(jù)的處理速度要遠遠大于Spack 技術(shù)）， 對于海量數(shù)據(jù)進行深度挖掘與整理，并且能夠按照數(shù)據(jù)分析所引用的事件流來進行特殊化分析工作[4]。在最后可以采用CPE 技術(shù)來對平臺內(nèi)的不同類型、不同時間的數(shù)據(jù)加以分析，并且能夠較好幫助建設(shè)關(guān)系庫，從而更好實現(xiàn)平臺對數(shù)據(jù)處理的整體性，以保障網(wǎng)絡(luò)環(huán)境的安全與防范。

3 結(jié)論

在現(xiàn)如今的互聯(lián)網(wǎng)背景下，雖然能夠大幅度提高網(wǎng)絡(luò)安全防護水平，但是從長遠的角度來看，還遠遠不夠，同樣存在著比較嚴重的網(wǎng)絡(luò)安全隱患。 對于網(wǎng)絡(luò)安全防護要與時俱進，需要在設(shè)備上繼續(xù)加大研發(fā)力度，在技術(shù)上要改進對網(wǎng)絡(luò)安全隱患的分析方法，才能夠在網(wǎng)絡(luò)安全防患的能力上得到加強，確保網(wǎng)絡(luò)環(huán)境的安全，才能夠更好地服務(wù)大眾與社會。