張瑞豐

（廣東勝通和科技服務(wù)有限公司，廣東 廣州 510665）

0 引言

網(wǎng)絡(luò)安全問題是互聯(lián)網(wǎng)運用中最為緊要面臨的問題，隨著社會發(fā)展水平的提高和科技的進步，傳統(tǒng)的網(wǎng)絡(luò)安全分析技術(shù)已經(jīng)不能適應(yīng)時代的需要，用戶的信息不能享有隱私性，網(wǎng)絡(luò)安全攻擊等現(xiàn)象頻繁出現(xiàn)，給社會經(jīng)濟造成了極大的不良影響，借此，對大數(shù)據(jù)技術(shù)的合理使用能夠?qū)⒕W(wǎng)絡(luò)安全隱患進行精準控制，并對潛在問題及早發(fā)現(xiàn)進行預(yù)警，也是網(wǎng)絡(luò)安全分析的未來發(fā)展重點趨勢。

1 大數(shù)據(jù)技術(shù)下網(wǎng)絡(luò)安全分析平臺的建立

為了促進大數(shù)據(jù)技術(shù)能夠在網(wǎng)絡(luò)安全分析中充分發(fā)揮作用，就要建構(gòu)一個完善的數(shù)據(jù)分析平臺，以便大數(shù)據(jù)技術(shù)能夠在網(wǎng)絡(luò)安全分析工作中發(fā)揮最大的作用。利用大數(shù)據(jù)技術(shù)建構(gòu)的網(wǎng)絡(luò)安全分析平臺如圖1所示。

圖1 大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全平臺架構(gòu)

根據(jù)圖1 可以看出，大數(shù)據(jù)技術(shù)下網(wǎng)絡(luò)安全分析平臺主要從四個模塊進行，分別是數(shù)據(jù)采集、數(shù)據(jù)儲存、數(shù)據(jù)分析以及數(shù)據(jù)表現(xiàn)。數(shù)據(jù)采集層在整個分析平臺中處于最基層，是將網(wǎng)絡(luò)用戶的行為數(shù)據(jù)進行采集整合，在大數(shù)據(jù)技術(shù)的支持下，這項工作能夠做到更高效。第二層的數(shù)據(jù)儲存，主要的工作就是為采集到的數(shù)據(jù)提供一個存儲平臺，以便為之后的分析和展示提供充足的理論基礎(chǔ)，幫助網(wǎng)絡(luò)安全分析工作維持基本的質(zhì)量保障。第三層即數(shù)據(jù)分析層，它對于網(wǎng)絡(luò)安全信息的分析不僅是來自原始數(shù)據(jù)的分析，還要分析相應(yīng)的關(guān)聯(lián)數(shù)據(jù)，以便找出網(wǎng)絡(luò)安全中潛在的攻擊隱患，為之后網(wǎng)絡(luò)安全分析工作的開展提供一定的參考指導(dǎo)。第四層也就是最終的數(shù)據(jù)表現(xiàn)層，也可以稱為數(shù)據(jù)展示層，這一層級能夠?qū)⒕W(wǎng)絡(luò)安全數(shù)據(jù)信息十分直觀的表現(xiàn)出來，但是這一層級的實現(xiàn)需要完善的安全分析技術(shù)以及可視化技術(shù)和風(fēng)險預(yù)警技術(shù)，這三項技術(shù)的加持才能保證數(shù)據(jù)展示的全面，缺一不可。

在進行網(wǎng)絡(luò)安全分析時，分析功能的使用是以數(shù)據(jù)采集作為基礎(chǔ)的，通過大數(shù)據(jù)對不同類型的網(wǎng)絡(luò)安全數(shù)據(jù)進行采集分類，再由數(shù)據(jù)分析層級按照分析規(guī)定實行其分析功能，對用戶的數(shù)據(jù)信息采集是實時的，要通過用戶在網(wǎng)絡(luò)上正在進行的網(wǎng)絡(luò)活動在線進行，這增加了數(shù)據(jù)信息的時效性。傳統(tǒng)的原始數(shù)據(jù)采集利用的是離線方式，即在用戶已經(jīng)停止使用網(wǎng)絡(luò)后對其的網(wǎng)絡(luò)運行軌跡采集分析。大數(shù)據(jù)技術(shù)可以將在線與離線二者進行結(jié)合，利用Flume 技術(shù)來進行雙向采集。

依據(jù)大數(shù)據(jù)技術(shù)建立的網(wǎng)絡(luò)安全分析管理平臺，主要是通過對攻擊路徑的監(jiān)測來對安全問題進行預(yù)警，使用DDoS 技術(shù)，只要在平臺上預(yù)先設(shè)立程序，系統(tǒng)就會自動對來訪的攻擊路徑進行攔截，并且在此系統(tǒng)運行期間，還會對各項網(wǎng)絡(luò)安全信息進行自動收集，拓寬攔截路徑，并將所獲取到的信息輸入安全管理平臺中，以便DDoS 系統(tǒng)在遭受威脅時，安全管理分析平臺能及時發(fā)現(xiàn)并作出補救措施。

2 數(shù)據(jù)技術(shù)的應(yīng)用

2.1 數(shù)據(jù)采集

網(wǎng)絡(luò)安全分析工作主要是對采集到的流量等數(shù)據(jù)進行分析，將大數(shù)據(jù)技術(shù)應(yīng)用于網(wǎng)絡(luò)安全分析之中，主要使用的采集工具就是Flume，這種工具的組成如圖2所示。

圖2 Flume 技術(shù)及其結(jié)構(gòu)組成

Flume 技術(shù)在進行網(wǎng)絡(luò)安全分析數(shù)據(jù)的采集中能夠?qū)⒃诰€采集與離線采集充分結(jié)合，從而實現(xiàn)采集工作的系統(tǒng)化，并且這項采集技術(shù)同時包含了采集和存儲兩項功能，在實際的應(yīng)用中具有極高的效率。

2.2 數(shù)據(jù)查詢

在網(wǎng)絡(luò)安全分析中，對于數(shù)據(jù)的查詢還能充分運用大數(shù)據(jù)技術(shù)，大數(shù)據(jù)技術(shù)能夠幫助網(wǎng)絡(luò)安全數(shù)據(jù)進行更加高效的查詢，這是基于大數(shù)據(jù)的計算分類特性，其自帶的檢索能力能夠?qū)⒕W(wǎng)絡(luò)安全分析系統(tǒng)中的數(shù)據(jù)結(jié)構(gòu)進行不斷更新，所要查詢的網(wǎng)絡(luò)安全數(shù)據(jù)通過大數(shù)據(jù)的檢索端口，經(jīng)過初步的歸類計算后會根據(jù)數(shù)據(jù)的類型特點進行分類，之后再進行系統(tǒng)計算，計算后的結(jié)果將直接顯示在檢索界面上，方便了對網(wǎng)絡(luò)安全數(shù)據(jù)的查詢。

網(wǎng)絡(luò)安全數(shù)據(jù)的查詢運用大數(shù)據(jù)后，其查詢手段變的更為便捷，且高效的查詢模式也能為客戶提供更加全面的數(shù)據(jù)信息，數(shù)據(jù)的準確性也得到了極大優(yōu)化，并且通過大數(shù)據(jù)技術(shù)，網(wǎng)絡(luò)安全分析工作有了數(shù)據(jù)基礎(chǔ)的支撐，也能得到更好的推廣開展。

2.3 數(shù)據(jù)儲存

網(wǎng)絡(luò)安全分析數(shù)據(jù)具有傳播速度快和類型多樣的特點，基于這種特性，使得對于這一類數(shù)據(jù)的處理難度較高，而對于數(shù)據(jù)處理的不全面就會導(dǎo)致網(wǎng)絡(luò)安全分析工作無法得到有效開展。將大數(shù)據(jù)技術(shù)應(yīng)用到網(wǎng)絡(luò)安全分析平臺中，能夠極大程度的降低網(wǎng)絡(luò)安全分析數(shù)據(jù)的處理難度，并且大數(shù)據(jù)基于網(wǎng)絡(luò)環(huán)境，能夠為網(wǎng)絡(luò)安全分析數(shù)據(jù)提供更加廣闊的存儲空間，便于網(wǎng)絡(luò)安全分析工作有效開展。

將大數(shù)據(jù)技術(shù)引用到網(wǎng)絡(luò)安全分析平臺中，其主要的存儲工具是H Base，這種存儲工具具有空間大，檢索便捷等特點。其讀寫程式如圖3 所示。

圖3 H Base 讀寫流程

由圖3 可以看出，這類存儲工具能夠?qū)W(wǎng)絡(luò)安全分析數(shù)據(jù)進行分類存儲，極大程度的滿足了對網(wǎng)絡(luò)安全分析數(shù)據(jù)的使用需求。

利用大數(shù)據(jù)技術(shù)將網(wǎng)絡(luò)安全分析數(shù)據(jù)進行處理時，要根據(jù)不同的數(shù)據(jù)特點來使用不同的算法進行計算，之后再利用分類計算的方式，再將分類計算結(jié)果進行分析統(tǒng)計，形成最終的儲存報告。

2.4 數(shù)據(jù)分析

2.4.1 分析網(wǎng)絡(luò)流量

利用大數(shù)據(jù)技術(shù)對網(wǎng)絡(luò)安全進行分析時，其操作流程為首先使用分析工具進行數(shù)據(jù)分析，利用存儲工具對網(wǎng)絡(luò)端口的數(shù)據(jù)流進行采集和監(jiān)控，之后對采集到的數(shù)據(jù)進行分析統(tǒng)計，將其中潛在的網(wǎng)絡(luò)安全風(fēng)險進行及時的排除，將隱患的可能發(fā)生扼殺在搖籃里。

在具體的分析過程中，首先利用Storm 等專業(yè)的數(shù)據(jù)采集技術(shù)對病毒和惡意瀏覽事件進行規(guī)范化的數(shù)據(jù)采集。其次將采集到的信息利用Chukwa 分析工具進行多角度分析，將數(shù)據(jù)中暗藏的風(fēng)險進行提煉，這種分析工具能夠?qū)W(wǎng)絡(luò)安全數(shù)據(jù)進行有效的采集，并依照不同數(shù)據(jù)的特性通過分布式的采集方式，以高效的采集速度進行，有效的提升了網(wǎng)絡(luò)安全數(shù)據(jù)的采集效率以及采集準確性。

最后使用CC 攻擊檢測等方式，將采集到的含有安全隱患的信息進一步檢測分析，判斷其中的危險性，并結(jié)合當(dāng)時的網(wǎng)絡(luò)環(huán)境對發(fā)現(xiàn)的安全隱患進行防范策略的制定，并使用相關(guān)防范工具，以保障安全隱患不會危及到網(wǎng)絡(luò)運行安全。

2.4.2 分析APT 攻擊數(shù)據(jù)

針對性攻擊對計算機的網(wǎng)絡(luò)安全有著極高的威脅性，APT 攻擊就是其中的代表，我們做了2015—2019網(wǎng)絡(luò)遭受APT 的攻擊次數(shù)，如圖4 所示。

根據(jù)圖4 我們可以看出，隨著網(wǎng)絡(luò)環(huán)境使用的越來越廣，遭受APT 攻擊的次數(shù)也呈現(xiàn)了增長趨勢，APT攻擊比之其他的網(wǎng)絡(luò)安全威脅更加有針對性和潛伏性，并且影響時間較長，破壞性也極大。

圖4 2015—2019 年網(wǎng)絡(luò)遭受APT 攻擊數(shù)量

利用大數(shù)據(jù)技術(shù)能夠?qū)⒕W(wǎng)絡(luò)運行中的訪問日志等流量進行全面的監(jiān)控，進而將潛伏在其中的APT 攻擊進行發(fā)現(xiàn)找出，并且大數(shù)據(jù)具有自我學(xué)習(xí)的能力，可以根據(jù)既往的數(shù)據(jù)分析成果對APT 攻擊進行針對性的防御機制的建立，并依據(jù)既往數(shù)據(jù)制定一個遭受APT 攻擊后的拯救措施，進而達到預(yù)防的目的。大數(shù)據(jù)技術(shù)的使用還能將網(wǎng)絡(luò)安全分析的各環(huán)節(jié)進行實時掌控，對欠缺部分進行及時的改進，切實有效的幫助網(wǎng)絡(luò)安全提升到一個新高度。

2.4.3 分析安全日志

對安全日志的分析是網(wǎng)絡(luò)安全分析的核心關(guān)鍵，也是極為復(fù)雜的一項工作，大數(shù)據(jù)技術(shù)在目前的網(wǎng)絡(luò)安全日志分析中主要使用的有3 種形式。

（1）應(yīng)用QRadar 安全管理平臺，目前在多數(shù)西方國家，利用大數(shù)據(jù)分析安全日志已經(jīng)十分普遍，其使用的就是這種安全管理平臺，它能將網(wǎng)絡(luò)中大量的日志源進行集中整合，并在整合的基礎(chǔ)上將原始的日志信息進行標準化處理，以便將網(wǎng)絡(luò)安全中可能存在的隱患揭露的更加直觀，并且這樣直觀清晰地數(shù)據(jù)處理能夠幫助網(wǎng)絡(luò)安全分析工作更加具有針對性和準確性。

（2）將安全管理平臺與威脅數(shù)據(jù)統(tǒng)計進行整合利用，將二者進行結(jié)合能夠?qū)⒕W(wǎng)絡(luò)平臺中存在的惡意地址以及黑客軌跡等進行羅列，幫助網(wǎng)絡(luò)安全管理更加有條理性。

（3）使用數(shù)據(jù)分析與數(shù)據(jù)存儲相結(jié)合的數(shù)據(jù)倉庫，能夠?qū)⒕W(wǎng)絡(luò)安全分析進行流程化的管理，并且從多方下手，分析結(jié)果也更為全面。并且基于數(shù)據(jù)倉庫的龐大，其在網(wǎng)絡(luò)安全信息分析中能夠擁有更高的效率，這是傳統(tǒng)的網(wǎng)絡(luò)安全分析手段達不到的，最為明顯的一點就是分析時間，傳統(tǒng)網(wǎng)絡(luò)分析技術(shù)需要用30min 才能完成的分析利用數(shù)據(jù)倉庫只需要1min，效率之高令人贊嘆。

2.5 數(shù)據(jù)處理

傳統(tǒng)網(wǎng)絡(luò)安全分析中對于復(fù)雜數(shù)據(jù)的處理分析是十分費時費力的，效率不高且準確性低，并且由于復(fù)雜數(shù)據(jù)處理起來的難度使得最終的處理結(jié)果只在表面而沒有進行深度挖掘，更無法發(fā)現(xiàn)其中隱藏的潛在價值，例如航空航天等高科技數(shù)據(jù)信息。將大數(shù)據(jù)技術(shù)進行引用，基于大數(shù)據(jù)技術(shù)龐大的運算能力，能夠幫助網(wǎng)絡(luò)安全分析進行時將其中潛在的具有重大價值的信息挖掘提煉出來，并將其中的潛在風(fēng)險進行摘除，充分保證了網(wǎng)絡(luò)整體環(huán)境的平穩(wěn)流暢。

隨著網(wǎng)絡(luò)技術(shù)的逐漸進步，復(fù)雜數(shù)據(jù)也會越來越多的出現(xiàn)，伴隨著復(fù)雜數(shù)據(jù)出現(xiàn)的就是潛藏在其中的僵尸網(wǎng)絡(luò)，由于隱匿在復(fù)雜數(shù)據(jù)的環(huán)境下，傳統(tǒng)的網(wǎng)絡(luò)安全分析并不能發(fā)現(xiàn)，以致網(wǎng)絡(luò)安全隱患出現(xiàn)，大數(shù)據(jù)技術(shù)能夠?qū)?shù)據(jù)信息進行多方面的分析，通過多角度的探查能夠搜尋到隱匿在復(fù)雜網(wǎng)絡(luò)中的安全隱患，并將探查到的安全隱患進行發(fā)散性的關(guān)聯(lián)分析，從而揪出其他潛在的隱患并進行針對性的處理。大數(shù)據(jù)技術(shù)能夠確保網(wǎng)絡(luò)安全分析中各類型的復(fù)雜數(shù)據(jù)都能得到精準分析，以保障網(wǎng)絡(luò)安全分析工作的高質(zhì)高效。

3 結(jié)語

綜上所述，我們可以發(fā)現(xiàn)大數(shù)據(jù)技術(shù)的應(yīng)用能夠為網(wǎng)絡(luò)安全分析帶來更多的可能性，在當(dāng)下網(wǎng)絡(luò)不斷發(fā)展的大環(huán)境下，網(wǎng)路上的信息存儲會越來越多，這些信息關(guān)系著客戶的隱私和財產(chǎn)安全，只有強化網(wǎng)絡(luò)安全，才能充分保障每一個上網(wǎng)用戶的權(quán)益，基于此，必須正確認識大數(shù)據(jù)技術(shù)的優(yōu)勢，將其進行充分發(fā)揮，為網(wǎng)絡(luò)安全的穩(wěn)定鋪墊一個良好的平臺。