◆賈 衛(wèi)
(太原理工大學(xué)郵電中心 山西 030024)
網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用探討
◆賈 衛(wèi)
(太原理工大學(xué)郵電中心 山西 030024)
隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)在各個(gè)行業(yè)中的應(yīng)用與發(fā)展的不斷廣泛化,網(wǎng)絡(luò)安全也越來(lái)越受到企業(yè)和個(gè)人的重視。網(wǎng)絡(luò)安全不僅會(huì)影響國(guó)家重要信息的安全性也會(huì)影響私人信息的安全,而現(xiàn)階段大數(shù)據(jù)技術(shù)的不斷引進(jìn)與應(yīng)用使得信息網(wǎng)絡(luò)進(jìn)入到了一個(gè)新的發(fā)展階段。現(xiàn)在全球數(shù)據(jù)存有量正在每年超過(guò)40%的速度在增長(zhǎng),然而信息網(wǎng)絡(luò)所承載的信息數(shù)據(jù)正在向分散化、多樣化,復(fù)雜化的趨勢(shì)發(fā)展從而增加了網(wǎng)絡(luò)信息數(shù)據(jù)管理的難度,更沖擊了傳統(tǒng)的網(wǎng)絡(luò)安全管理技術(shù),介于網(wǎng)絡(luò)信息數(shù)據(jù)增長(zhǎng)速度之快,影響網(wǎng)絡(luò)安全的因素也在不斷地增加,所以網(wǎng)絡(luò)安全迫切的需要引進(jìn)大數(shù)據(jù)技術(shù)來(lái)進(jìn)行網(wǎng)絡(luò)安全分析,滿足高科技環(huán)境下信息網(wǎng)絡(luò)安全的需求。
網(wǎng)絡(luò)安全分析;大數(shù)據(jù)技術(shù);應(yīng)用
隨著網(wǎng)絡(luò)技術(shù)應(yīng)用的普遍性,網(wǎng)絡(luò)安全分析的數(shù)據(jù)也在呈指數(shù)曲線的速度增加,而且數(shù)據(jù)來(lái)源的廣泛性和內(nèi)容的細(xì)致性也使得網(wǎng)絡(luò)安全分析的架構(gòu)也越來(lái)越復(fù)雜,分析維度也越來(lái)越大,再加上4G時(shí)代的到來(lái)和智能化設(shè)備的不斷更新?lián)Q代使得信息數(shù)據(jù)的發(fā)送和接收速度也越來(lái)越快,數(shù)據(jù)分析的速度跟不上使網(wǎng)絡(luò)安全漏洞增加,影響力增大,造成此現(xiàn)象嚴(yán)重的主要原因就是網(wǎng)絡(luò)安全傳統(tǒng)分析架構(gòu)已經(jīng)不能滿足現(xiàn)在網(wǎng)絡(luò)信息數(shù)據(jù)分析的要求了,所以要引進(jìn)新的技術(shù)。
1.1 大數(shù)據(jù)技術(shù)分析
大數(shù)據(jù)安全分析主要是為了完善網(wǎng)絡(luò)安全分析中傳統(tǒng)安全分析能力的不足,大數(shù)據(jù)技術(shù)的核心技術(shù)分別是分布式采集處理、自然語(yǔ)言理解、流量計(jì)算引擎、關(guān)聯(lián)分析、大規(guī)模機(jī)器學(xué)習(xí)和可視化人機(jī)交互等多種分析方法[1],實(shí)現(xiàn)在規(guī)模不斷擴(kuò)大的海量異構(gòu)數(shù)據(jù)信息中快速發(fā)現(xiàn)安全攻擊和安全威脅的一種工具。在大數(shù)據(jù)技術(shù)安全分析中該技術(shù)主要從分布式計(jì)算框架、流式計(jì)算引擎、分布式存儲(chǔ)技術(shù)來(lái)分析的。分布式計(jì)算框架不依賴高端硬件、擴(kuò)展性強(qiáng)的優(yōu)點(diǎn)提高了大數(shù)據(jù)技術(shù)應(yīng)用的適應(yīng)性,使得一些低端配置的設(shè)備都能引用該技術(shù);流式計(jì)算引擎主要通過(guò)解決大數(shù)據(jù)歷史分析系統(tǒng)交互式計(jì)算,給網(wǎng)絡(luò)信息數(shù)據(jù)的快速查找提供了便利條件;分布式存儲(chǔ)技術(shù)能夠利用多臺(tái)存儲(chǔ)設(shè)備來(lái)分擔(dān)大量數(shù)據(jù)的存儲(chǔ)負(fù)荷,從而擴(kuò)大了大數(shù)據(jù)技術(shù)存儲(chǔ)的能力,也降低了存儲(chǔ)管理成本,在一定程度上也提高了整個(gè)網(wǎng)絡(luò)安全系統(tǒng)的可靠性和安全性。
1.2 網(wǎng)絡(luò)安全分析引入大數(shù)據(jù)技術(shù)的必要性
隨著網(wǎng)絡(luò)信息數(shù)據(jù)量的大量增加,數(shù)據(jù)來(lái)源越來(lái)越廣泛細(xì)致,分析維度也越來(lái)越大的特點(diǎn)下,利用傳統(tǒng)的技術(shù)架構(gòu)和結(jié)構(gòu)化數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)的存儲(chǔ)的和分析,不僅會(huì)增大網(wǎng)絡(luò)信息數(shù)據(jù)的存儲(chǔ)成本,也會(huì)導(dǎo)致一部分信息數(shù)據(jù)被丟失,并且隨著時(shí)間的延長(zhǎng)有些時(shí)間較長(zhǎng)的數(shù)據(jù)不能很好地被保存起來(lái),這樣就會(huì)給日后信息數(shù)據(jù)的追蹤和查找?guī)?lái)了困難,并且數(shù)據(jù)廣泛的來(lái)源也給異構(gòu)數(shù)據(jù)的關(guān)聯(lián)分析和融合帶來(lái)了很大的困難,而對(duì)于傳統(tǒng)的網(wǎng)絡(luò)安全分析的技術(shù)已經(jīng)很難滿足現(xiàn)在龐大的、迥異的網(wǎng)絡(luò)信息數(shù)據(jù)分析的需求了。
早在2013年的調(diào)查資料中顯示,大數(shù)據(jù)技術(shù)在未來(lái)信息架構(gòu)的分析發(fā)展中有著很大的優(yōu)勢(shì),并且近年來(lái)已經(jīng)有不少領(lǐng)域開(kāi)始引進(jìn)大數(shù)據(jù)技術(shù)。大數(shù)據(jù)技術(shù)之所以被各個(gè)領(lǐng)域重視,是因?yàn)樗軌蛑С趾A康那义漠惖臄?shù)據(jù)的存儲(chǔ)和計(jì)算,相對(duì)于傳統(tǒng)網(wǎng)絡(luò)安全分析技術(shù)來(lái)說(shuō),大數(shù)據(jù)技術(shù)使大量原始網(wǎng)絡(luò)信息數(shù)據(jù)的存儲(chǔ)和分析成為了可能;大數(shù)據(jù)技術(shù)對(duì)于傳統(tǒng)技術(shù)來(lái)說(shuō)對(duì)網(wǎng)絡(luò)信息數(shù)據(jù)的存儲(chǔ)成本較低,并且大數(shù)據(jù)技術(shù)在普通硬件水平上的應(yīng)用沒(méi)有局限性,在信息數(shù)據(jù)的查詢過(guò)程中查詢速度又快、精度又高,從而提升了網(wǎng)絡(luò)安全分析中一些數(shù)據(jù)的挖掘能力,提升了網(wǎng)絡(luò)安全分析的深度和廣度[2],并為大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用奠定了堅(jiān)實(shí)的基礎(chǔ)。
1.3 網(wǎng)絡(luò)安全分析中大數(shù)據(jù)技術(shù)應(yīng)用分析
在我們的日常生活中,我們每天都在和數(shù)據(jù)打交道,不是創(chuàng)造數(shù)據(jù)就是利用分析數(shù)據(jù)。比如在我們有手機(jī)電腦上的聊天軟件聊天時(shí)就是在創(chuàng)造信息數(shù)據(jù),聊天過(guò)程中流量的消耗就是在應(yīng)用數(shù)據(jù)(對(duì)近年來(lái)網(wǎng)絡(luò)流量使用數(shù)據(jù)調(diào)查如表1),設(shè)想一下如果我們的聊天數(shù)據(jù)被竊取,是多們可怕危險(xiǎn)的事情,再往大了去想就是國(guó)家機(jī)密數(shù)據(jù),如果這些數(shù)據(jù)的丟失將會(huì)給整個(gè)國(guó)家?guī)?lái)危險(xiǎn),所以網(wǎng)絡(luò)安全分析是當(dāng)前網(wǎng)絡(luò)數(shù)據(jù)分析中相當(dāng)重要的一方面。目前網(wǎng)絡(luò)安全分析的主要數(shù)據(jù)就是流量和日志,但是由于這些數(shù)據(jù)的分散性和存儲(chǔ)有限性使得網(wǎng)絡(luò)安全預(yù)測(cè)存在漏洞,而大數(shù)據(jù)技術(shù)的引進(jìn)則可以將分散的流量數(shù)據(jù)和日志數(shù)據(jù)集中到一起,利用大數(shù)據(jù)高效的采集和挖掘能力將采集到的數(shù)據(jù)存儲(chǔ)起來(lái),然后再利用大數(shù)據(jù)技術(shù)對(duì)采集挖掘到的數(shù)據(jù)進(jìn)行分析和檢索,對(duì)網(wǎng)絡(luò)安全中存在安全隱患的數(shù)據(jù)進(jìn)行處理,不僅提高了網(wǎng)絡(luò)安全分析,也縮短了數(shù)據(jù)分析的時(shí)間,降低了信息丟失和泄露事件發(fā)生頻率,由傳統(tǒng)的被動(dòng)防御變?yōu)榇髷?shù)據(jù)背景下主動(dòng)地防御。
表1 近年來(lái)網(wǎng)絡(luò)流量使用數(shù)據(jù)調(diào)查表
2.1 大數(shù)據(jù)背景下網(wǎng)絡(luò)安全分析架構(gòu)建設(shè)
在網(wǎng)絡(luò)安全分析架構(gòu)建設(shè)中主要是由下向上建立數(shù)據(jù)采集層、數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)挖掘分析層、數(shù)據(jù)呈現(xiàn)層[3]等,由它們共同組成大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全分析架構(gòu)?;窘M成結(jié)構(gòu)如圖1。
圖1 基本組成結(jié)構(gòu)
網(wǎng)絡(luò)安全分析架構(gòu)中的數(shù)據(jù)采集層能夠分布式的采集基于流、用戶身份信息、事件和威脅情報(bào)等多源異構(gòu)信息的收集;而大數(shù)據(jù)技術(shù)中的存儲(chǔ)層則能夠利用分布式文件系統(tǒng)長(zhǎng)期大量的存儲(chǔ)龐大的信息數(shù)據(jù),并能將數(shù)據(jù)的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的方式的信息數(shù)同意存儲(chǔ),并未將來(lái)數(shù)據(jù)的檢索提供了便利條件,而且還能保障所存儲(chǔ)數(shù)據(jù)的安全性和完整性;數(shù)據(jù)挖掘分析層能夠?qū)?shù)據(jù)進(jìn)行關(guān)聯(lián)分析,提取數(shù)據(jù)的特征,通過(guò)這種方式可以實(shí)現(xiàn)安全事件的挖掘,并能夠很快地發(fā)現(xiàn)網(wǎng)絡(luò)異常的安全行為,并對(duì)存在安全隱患的數(shù)據(jù)進(jìn)行追溯,然后將其定位,等待安全處理;數(shù)據(jù)呈現(xiàn)層能夠?qū)⒋髷?shù)據(jù)技術(shù)分析的結(jié)構(gòu)進(jìn)行可視化處理,通過(guò)多種維度展現(xiàn)網(wǎng)絡(luò)安全的狀態(tài)。
2.2 網(wǎng)絡(luò)安全平臺(tái)實(shí)現(xiàn)的技術(shù)支持闡述
大數(shù)據(jù)采集技術(shù)。安全平臺(tái)主要利用大數(shù)據(jù)技術(shù)中的采集技術(shù)對(duì)海量的安全數(shù)據(jù)進(jìn)行采集、整合、傳輸,該過(guò)程能夠使使用方在安全性較高,可靠性也較高的狀態(tài)下接收到源自不同范圍的數(shù)據(jù),然后在對(duì)收集到的信息數(shù)據(jù)進(jìn)行處理。
大數(shù)據(jù)存儲(chǔ)技術(shù)。該技術(shù)主要是對(duì)采集過(guò)程中采集到的數(shù)據(jù)進(jìn)行存儲(chǔ),借助該技術(shù)的高吞吐量和高容錯(cuò)性將采集到的大量數(shù)據(jù)存儲(chǔ)起來(lái),以保障數(shù)據(jù)的安全性和完整性。
大數(shù)據(jù)分析技術(shù)。在安全平臺(tái)中,該技術(shù)主要是完成數(shù)據(jù)的統(tǒng)計(jì)與分析工作,根據(jù)數(shù)據(jù)的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化進(jìn)行數(shù)據(jù)分析,然后建立分門(mén)別類的事件關(guān)系序列庫(kù),將數(shù)據(jù)由簡(jiǎn)單化轉(zhuǎn)向復(fù)雜化,然后在大量的信息數(shù)據(jù)中查找網(wǎng)絡(luò)安全的隱患,進(jìn)而對(duì)安全隱患進(jìn)行處理,保障網(wǎng)絡(luò)安全。
通過(guò)對(duì)大數(shù)據(jù)在網(wǎng)絡(luò)安全中的應(yīng)用分析和網(wǎng)絡(luò)安全平臺(tái)的建設(shè)知道,大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用不僅可以降低網(wǎng)絡(luò)信息數(shù)據(jù)存儲(chǔ)的成本,也提高了數(shù)據(jù)庫(kù)的存儲(chǔ)容量,更為數(shù)據(jù)的追溯和檢索提供了很大的保障,相信在未來(lái)網(wǎng)絡(luò)安全分析中,大數(shù)據(jù)技術(shù)必然會(huì)成為技術(shù)的主導(dǎo)力量。
[1]孫大為,張廣艷,鄭諱民.大數(shù)據(jù)流式計(jì)算.關(guān)鍵技術(shù)及系列實(shí)例.[J]軟件學(xué)報(bào),2014.
[2]程學(xué)旗,靳小龍,王元卓,郭嘉豐,張鐵贏,李國(guó)杰.大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J].軟件學(xué)報(bào),2014.
[3]陳明奇,姜禾,張娟等.大數(shù)據(jù)時(shí)代的美國(guó)信息網(wǎng)絡(luò)安全新戰(zhàn)略分析.信息網(wǎng)絡(luò)安全,2012.