◆賈 衛(wèi)

（太原理工大學(xué)郵電中心 山西 030024）

網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用探討

◆賈 衛(wèi)

（太原理工大學(xué)郵電中心 山西 030024）

隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)在各個(gè)行業(yè)中的應(yīng)用與發(fā)展的不斷廣泛化，網(wǎng)絡(luò)安全也越來(lái)越受到企業(yè)和個(gè)人的重視。網(wǎng)絡(luò)安全不僅會(huì)影響國(guó)家重要信息的安全性也會(huì)影響私人信息的安全，而現(xiàn)階段大數(shù)據(jù)技術(shù)的不斷引進(jìn)與應(yīng)用使得信息網(wǎng)絡(luò)進(jìn)入到了一個(gè)新的發(fā)展階段。現(xiàn)在全球數(shù)據(jù)存有量正在每年超過(guò)40%的速度在增長(zhǎng)，然而信息網(wǎng)絡(luò)所承載的信息數(shù)據(jù)正在向分散化、多樣化，復(fù)雜化的趨勢(shì)發(fā)展從而增加了網(wǎng)絡(luò)信息數(shù)據(jù)管理的難度，更沖擊了傳統(tǒng)的網(wǎng)絡(luò)安全管理技術(shù)，介于網(wǎng)絡(luò)信息數(shù)據(jù)增長(zhǎng)速度之快，影響網(wǎng)絡(luò)安全的因素也在不斷地增加，所以網(wǎng)絡(luò)安全迫切的需要引進(jìn)大數(shù)據(jù)技術(shù)來(lái)進(jìn)行網(wǎng)絡(luò)安全分析，滿足高科技環(huán)境下信息網(wǎng)絡(luò)安全的需求。

網(wǎng)絡(luò)安全分析；大數(shù)據(jù)技術(shù)；應(yīng)用

0 引言

隨著網(wǎng)絡(luò)技術(shù)應(yīng)用的普遍性，網(wǎng)絡(luò)安全分析的數(shù)據(jù)也在呈指數(shù)曲線的速度增加，而且數(shù)據(jù)來(lái)源的廣泛性和內(nèi)容的細(xì)致性也使得網(wǎng)絡(luò)安全分析的架構(gòu)也越來(lái)越復(fù)雜，分析維度也越來(lái)越大，再加上4G時(shí)代的到來(lái)和智能化設(shè)備的不斷更新?lián)Q代使得信息數(shù)據(jù)的發(fā)送和接收速度也越來(lái)越快，數(shù)據(jù)分析的速度跟不上使網(wǎng)絡(luò)安全漏洞增加，影響力增大，造成此現(xiàn)象嚴(yán)重的主要原因就是網(wǎng)絡(luò)安全傳統(tǒng)分析架構(gòu)已經(jīng)不能滿足現(xiàn)在網(wǎng)絡(luò)信息數(shù)據(jù)分析的要求了，所以要引進(jìn)新的技術(shù)。

1 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

1.1 大數(shù)據(jù)技術(shù)分析

大數(shù)據(jù)安全分析主要是為了完善網(wǎng)絡(luò)安全分析中傳統(tǒng)安全分析能力的不足，大數(shù)據(jù)技術(shù)的核心技術(shù)分別是分布式采集處理、自然語(yǔ)言理解、流量計(jì)算引擎、關(guān)聯(lián)分析、大規(guī)模機(jī)器學(xué)習(xí)和可視化人機(jī)交互等多種分析方法[1]，實(shí)現(xiàn)在規(guī)模不斷擴(kuò)大的海量異構(gòu)數(shù)據(jù)信息中快速發(fā)現(xiàn)安全攻擊和安全威脅的一種工具。在大數(shù)據(jù)技術(shù)安全分析中該技術(shù)主要從分布式計(jì)算框架、流式計(jì)算引擎、分布式存儲(chǔ)技術(shù)來(lái)分析的。分布式計(jì)算框架不依賴高端硬件、擴(kuò)展性強(qiáng)的優(yōu)點(diǎn)提高了大數(shù)據(jù)技術(shù)應(yīng)用的適應(yīng)性，使得一些低端配置的設(shè)備都能引用該技術(shù)；流式計(jì)算引擎主要通過(guò)解決大數(shù)據(jù)歷史分析系統(tǒng)交互式計(jì)算，給網(wǎng)絡(luò)信息數(shù)據(jù)的快速查找提供了便利條件；分布式存儲(chǔ)技術(shù)能夠利用多臺(tái)存儲(chǔ)設(shè)備來(lái)分擔(dān)大量數(shù)據(jù)的存儲(chǔ)負(fù)荷，從而擴(kuò)大了大數(shù)據(jù)技術(shù)存儲(chǔ)的能力，也降低了存儲(chǔ)管理成本，在一定程度上也提高了整個(gè)網(wǎng)絡(luò)安全系統(tǒng)的可靠性和安全性。

1.2 網(wǎng)絡(luò)安全分析引入大數(shù)據(jù)技術(shù)的必要性

隨著網(wǎng)絡(luò)信息數(shù)據(jù)量的大量增加，數(shù)據(jù)來(lái)源越來(lái)越廣泛細(xì)致，分析維度也越來(lái)越大的特點(diǎn)下，利用傳統(tǒng)的技術(shù)架構(gòu)和結(jié)構(gòu)化數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)的存儲(chǔ)的和分析，不僅會(huì)增大網(wǎng)絡(luò)信息數(shù)據(jù)的存儲(chǔ)成本，也會(huì)導(dǎo)致一部分信息數(shù)據(jù)被丟失，并且隨著時(shí)間的延長(zhǎng)有些時(shí)間較長(zhǎng)的數(shù)據(jù)不能很好地被保存起來(lái)，這樣就會(huì)給日后信息數(shù)據(jù)的追蹤和查找?guī)?lái)了困難，并且數(shù)據(jù)廣泛的來(lái)源也給異構(gòu)數(shù)據(jù)的關(guān)聯(lián)分析和融合帶來(lái)了很大的困難，而對(duì)于傳統(tǒng)的網(wǎng)絡(luò)安全分析的技術(shù)已經(jīng)很難滿足現(xiàn)在龐大的、迥異的網(wǎng)絡(luò)信息數(shù)據(jù)分析的需求了。

早在2013年的調(diào)查資料中顯示，大數(shù)據(jù)技術(shù)在未來(lái)信息架構(gòu)的分析發(fā)展中有著很大的優(yōu)勢(shì)，并且近年來(lái)已經(jīng)有不少領(lǐng)域開(kāi)始引進(jìn)大數(shù)據(jù)技術(shù)。大數(shù)據(jù)技術(shù)之所以被各個(gè)領(lǐng)域重視，是因?yàn)樗軌蛑С趾Ａ康那义漠惖臄?shù)據(jù)的存儲(chǔ)和計(jì)算，相對(duì)于傳統(tǒng)網(wǎng)絡(luò)安全分析技術(shù)來(lái)說(shuō)，大數(shù)據(jù)技術(shù)使大量原始網(wǎng)絡(luò)信息數(shù)據(jù)的存儲(chǔ)和分析成為了可能；大數(shù)據(jù)技術(shù)對(duì)于傳統(tǒng)技術(shù)來(lái)說(shuō)對(duì)網(wǎng)絡(luò)信息數(shù)據(jù)的存儲(chǔ)成本較低，并且大數(shù)據(jù)技術(shù)在普通硬件水平上的應(yīng)用沒(méi)有局限性，在信息數(shù)據(jù)的查詢過(guò)程中查詢速度又快、精度又高，從而提升了網(wǎng)絡(luò)安全分析中一些數(shù)據(jù)的挖掘能力，提升了網(wǎng)絡(luò)安全分析的深度和廣度[2]，并為大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用奠定了堅(jiān)實(shí)的基礎(chǔ)。

1.3 網(wǎng)絡(luò)安全分析中大數(shù)據(jù)技術(shù)應(yīng)用分析

在我們的日常生活中，我們每天都在和數(shù)據(jù)打交道，不是創(chuàng)造數(shù)據(jù)就是利用分析數(shù)據(jù)。比如在我們有手機(jī)電腦上的聊天軟件聊天時(shí)就是在創(chuàng)造信息數(shù)據(jù)，聊天過(guò)程中流量的消耗就是在應(yīng)用數(shù)據(jù)（對(duì)近年來(lái)網(wǎng)絡(luò)流量使用數(shù)據(jù)調(diào)查如表1），設(shè)想一下如果我們的聊天數(shù)據(jù)被竊取，是多們可怕危險(xiǎn)的事情，再往大了去想就是國(guó)家機(jī)密數(shù)據(jù)，如果這些數(shù)據(jù)的丟失將會(huì)給整個(gè)國(guó)家?guī)?lái)危險(xiǎn)，所以網(wǎng)絡(luò)安全分析是當(dāng)前網(wǎng)絡(luò)數(shù)據(jù)分析中相當(dāng)重要的一方面。目前網(wǎng)絡(luò)安全分析的主要數(shù)據(jù)就是流量和日志，但是由于這些數(shù)據(jù)的分散性和存儲(chǔ)有限性使得網(wǎng)絡(luò)安全預(yù)測(cè)存在漏洞，而大數(shù)據(jù)技術(shù)的引進(jìn)則可以將分散的流量數(shù)據(jù)和日志數(shù)據(jù)集中到一起，利用大數(shù)據(jù)高效的采集和挖掘能力將采集到的數(shù)據(jù)存儲(chǔ)起來(lái)，然后再利用大數(shù)據(jù)技術(shù)對(duì)采集挖掘到的數(shù)據(jù)進(jìn)行分析和檢索，對(duì)網(wǎng)絡(luò)安全中存在安全隱患的數(shù)據(jù)進(jìn)行處理，不僅提高了網(wǎng)絡(luò)安全分析，也縮短了數(shù)據(jù)分析的時(shí)間，降低了信息丟失和泄露事件發(fā)生頻率，由傳統(tǒng)的被動(dòng)防御變?yōu)榇髷?shù)據(jù)背景下主動(dòng)地防御。

表1 近年來(lái)網(wǎng)絡(luò)流量使用數(shù)據(jù)調(diào)查表

2 大數(shù)據(jù)技術(shù)背景下網(wǎng)絡(luò)安全平臺(tái)的建設(shè)

2.1 大數(shù)據(jù)背景下網(wǎng)絡(luò)安全分析架構(gòu)建設(shè)

在網(wǎng)絡(luò)安全分析架構(gòu)建設(shè)中主要是由下向上建立數(shù)據(jù)采集層、數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)挖掘分析層、數(shù)據(jù)呈現(xiàn)層[3]等，由它們共同組成大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全分析架構(gòu)?；窘M成結(jié)構(gòu)如圖1。

圖1 基本組成結(jié)構(gòu)

網(wǎng)絡(luò)安全分析架構(gòu)中的數(shù)據(jù)采集層能夠分布式的采集基于流、用戶身份信息、事件和威脅情報(bào)等多源異構(gòu)信息的收集；而大數(shù)據(jù)技術(shù)中的存儲(chǔ)層則能夠利用分布式文件系統(tǒng)長(zhǎng)期大量的存儲(chǔ)龐大的信息數(shù)據(jù)，并能將數(shù)據(jù)的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的方式的信息數(shù)同意存儲(chǔ)，并未將來(lái)數(shù)據(jù)的檢索提供了便利條件，而且還能保障所存儲(chǔ)數(shù)據(jù)的安全性和完整性；數(shù)據(jù)挖掘分析層能夠?qū)?shù)據(jù)進(jìn)行關(guān)聯(lián)分析，提取數(shù)據(jù)的特征，通過(guò)這種方式可以實(shí)現(xiàn)安全事件的挖掘，并能夠很快地發(fā)現(xiàn)網(wǎng)絡(luò)異常的安全行為，并對(duì)存在安全隱患的數(shù)據(jù)進(jìn)行追溯，然后將其定位，等待安全處理；數(shù)據(jù)呈現(xiàn)層能夠?qū)⒋髷?shù)據(jù)技術(shù)分析的結(jié)構(gòu)進(jìn)行可視化處理，通過(guò)多種維度展現(xiàn)網(wǎng)絡(luò)安全的狀態(tài)。

2.2 網(wǎng)絡(luò)安全平臺(tái)實(shí)現(xiàn)的技術(shù)支持闡述

大數(shù)據(jù)采集技術(shù)。安全平臺(tái)主要利用大數(shù)據(jù)技術(shù)中的采集技術(shù)對(duì)海量的安全數(shù)據(jù)進(jìn)行采集、整合、傳輸，該過(guò)程能夠使使用方在安全性較高，可靠性也較高的狀態(tài)下接收到源自不同范圍的數(shù)據(jù)，然后在對(duì)收集到的信息數(shù)據(jù)進(jìn)行處理。

大數(shù)據(jù)存儲(chǔ)技術(shù)。該技術(shù)主要是對(duì)采集過(guò)程中采集到的數(shù)據(jù)進(jìn)行存儲(chǔ)，借助該技術(shù)的高吞吐量和高容錯(cuò)性將采集到的大量數(shù)據(jù)存儲(chǔ)起來(lái)，以保障數(shù)據(jù)的安全性和完整性。

大數(shù)據(jù)分析技術(shù)。在安全平臺(tái)中，該技術(shù)主要是完成數(shù)據(jù)的統(tǒng)計(jì)與分析工作，根據(jù)數(shù)據(jù)的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化進(jìn)行數(shù)據(jù)分析，然后建立分門(mén)別類的事件關(guān)系序列庫(kù)，將數(shù)據(jù)由簡(jiǎn)單化轉(zhuǎn)向復(fù)雜化，然后在大量的信息數(shù)據(jù)中查找網(wǎng)絡(luò)安全的隱患，進(jìn)而對(duì)安全隱患進(jìn)行處理，保障網(wǎng)絡(luò)安全。

3 結(jié)論

通過(guò)對(duì)大數(shù)據(jù)在網(wǎng)絡(luò)安全中的應(yīng)用分析和網(wǎng)絡(luò)安全平臺(tái)的建設(shè)知道，大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用不僅可以降低網(wǎng)絡(luò)信息數(shù)據(jù)存儲(chǔ)的成本，也提高了數(shù)據(jù)庫(kù)的存儲(chǔ)容量，更為數(shù)據(jù)的追溯和檢索提供了很大的保障，相信在未來(lái)網(wǎng)絡(luò)安全分析中，大數(shù)據(jù)技術(shù)必然會(huì)成為技術(shù)的主導(dǎo)力量。

[1]孫大為，張廣艷，鄭諱民．大數(shù)據(jù)流式計(jì)算．關(guān)鍵技術(shù)及系列實(shí)例．[J]軟件學(xué)報(bào)，2014．

[2]程學(xué)旗，靳小龍，王元卓，郭嘉豐，張鐵贏，李國(guó)杰．大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J]．軟件學(xué)報(bào)，2014．

[3]陳明奇，姜禾，張娟等．大數(shù)據(jù)時(shí)代的美國(guó)信息網(wǎng)絡(luò)安全新戰(zhàn)略分析．信息網(wǎng)絡(luò)安全，2012．