◆董 超 劉 雷

（浙江乾冠信息安全研究院有限公司 浙江 310015）

當(dāng)前網(wǎng)絡(luò)信息技術(shù)發(fā)展迅速，在社會(huì)各領(lǐng)域、各行業(yè)得到廣泛應(yīng)用，人們也越來越關(guān)注網(wǎng)絡(luò)安全問題。我國互聯(lián)網(wǎng)行業(yè)起步較晚，在網(wǎng)絡(luò)安全技術(shù)方面仍然存在較大缺陷，使用大數(shù)據(jù)技術(shù)進(jìn)行網(wǎng)絡(luò)分析，可以有效提高我國的網(wǎng)絡(luò)安全技術(shù)水平，減少網(wǎng)絡(luò)入侵對(duì)政治、經(jīng)濟(jì)活動(dòng)和個(gè)人信息、財(cái)產(chǎn)安全的損害。本文首先闡述大數(shù)據(jù)的概念和特點(diǎn)，然后分析其在網(wǎng)絡(luò)安全技術(shù)中的發(fā)展趨勢(shì)。

1 大數(shù)據(jù)的概念和特點(diǎn)

大數(shù)據(jù)是指大規(guī)模的數(shù)據(jù)集合，通過獲取、管理、存儲(chǔ)、分析大量地的網(wǎng)絡(luò)數(shù)據(jù)，極大地?cái)U(kuò)充信息處理能力。大數(shù)據(jù)的基本特點(diǎn)是數(shù)據(jù)量大、數(shù)據(jù)流動(dòng)快、數(shù)據(jù)類型豐富、來源多樣、價(jià)值分散、動(dòng)態(tài)性強(qiáng)。大數(shù)據(jù)處理技術(shù)超出了傳統(tǒng)計(jì)算機(jī)數(shù)據(jù)庫軟件的處理能力，需要采用并行處理數(shù)據(jù)庫、分布式數(shù)據(jù)庫、分布式文件系統(tǒng)、云計(jì)算平臺(tái)等對(duì)大量數(shù)據(jù)進(jìn)行處理。大數(shù)據(jù)分析處理可以為社會(huì)經(jīng)濟(jì)活動(dòng)提供許多實(shí)用信息，幫助企業(yè)和政府部門精準(zhǔn)分析市場(chǎng)和社會(huì)動(dòng)向，對(duì)生產(chǎn)和管理工作進(jìn)行優(yōu)化，創(chuàng)造更大的經(jīng)濟(jì)效益和社會(huì)效益。

隨著我國信息技術(shù)水平不斷提升，大數(shù)據(jù)的使用范圍越來越廣，而云計(jì)算技術(shù)為大數(shù)據(jù)提供了比較完善的設(shè)備平臺(tái)。通過大數(shù)據(jù)和云計(jì)算的深度結(jié)合，可以將互聯(lián)網(wǎng)的數(shù)據(jù)信息轉(zhuǎn)化為龐大的數(shù)據(jù)資源，推動(dòng)大數(shù)據(jù)進(jìn)一步發(fā)展，擴(kuò)大其影響力。

2 在網(wǎng)絡(luò)安全分析中使用大數(shù)據(jù)的意義與優(yōu)勢(shì)

隨著現(xiàn)代網(wǎng)絡(luò)技術(shù)不斷完善，網(wǎng)絡(luò)結(jié)構(gòu)也逐漸朝復(fù)雜化、精細(xì)化、多元化的方向深入發(fā)展，在豐富網(wǎng)絡(luò)信息功能的同時(shí)，也導(dǎo)致網(wǎng)絡(luò)安全形勢(shì)日趨復(fù)雜，網(wǎng)絡(luò)安全分析也變得更加困難，技術(shù)要求越來越高。過去的網(wǎng)絡(luò)安全分析技術(shù)主要采用結(jié)構(gòu)化數(shù)據(jù)庫，對(duì)數(shù)據(jù)進(jìn)行提前處理和儲(chǔ)存，操作難度較大，需要耗費(fèi)大量的人力、物力進(jìn)行工作，處理過程中失誤和漏洞較多，準(zhǔn)確性和實(shí)效性不強(qiáng)，無法充分保障網(wǎng)絡(luò)信息安全。使用大數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)安全分析，可以極大地降低工作成本、降低工作強(qiáng)度和價(jià)值密度，提高數(shù)據(jù)處理速度，形成準(zhǔn)確、高效的安全分析機(jī)制，充分提升網(wǎng)絡(luò)安全水平。

3 大數(shù)據(jù)應(yīng)用在網(wǎng)絡(luò)安全分析技術(shù)中的發(fā)展趨勢(shì)

網(wǎng)絡(luò)安全分析技術(shù)是通過各種技術(shù)和管理方法，來保護(hù)計(jì)算機(jī)系統(tǒng)中的數(shù)據(jù)信息和軟件、硬件等，保障計(jì)算機(jī)系統(tǒng)的正常工作運(yùn)轉(zhuǎn)，維持其基本操作功能，防止信息數(shù)據(jù)被竊取、篡改或破壞。網(wǎng)絡(luò)安全分析的重點(diǎn)在于對(duì)數(shù)據(jù)流量傳輸?shù)膬?nèi)容進(jìn)行處理和分析，發(fā)現(xiàn)數(shù)據(jù)流量中存在的安全隱患。使用大數(shù)據(jù)進(jìn)行分析，可以將數(shù)據(jù)內(nèi)容分析與流量分析結(jié)合起來，進(jìn)一步提高網(wǎng)絡(luò)安全分析的有效性，加強(qiáng)對(duì)網(wǎng)絡(luò)信息的采集、監(jiān)控和處理能力，全面保障網(wǎng)絡(luò)系統(tǒng)的安全性。

（1）采集網(wǎng)絡(luò)數(shù)據(jù)信息

使用大數(shù)據(jù)技術(shù)，可以從海量的網(wǎng)絡(luò)信息源中提取非結(jié)構(gòu)化的數(shù)據(jù)信息，再將其保存到結(jié)構(gòu)化的存儲(chǔ)介質(zhì)當(dāng)中。在數(shù)據(jù)信息采集時(shí)，可以使用Chukwa等軟件實(shí)現(xiàn)網(wǎng)絡(luò)安全分析相關(guān)數(shù)據(jù)的采集工作，該軟件的采集效率高，速度和性能都比較強(qiáng)，使用分布式的數(shù)據(jù)采集方法，每秒可以采集數(shù)百兆以上的網(wǎng)絡(luò)信息，還可以使用鏡像采集的方法實(shí)現(xiàn)全流量數(shù)據(jù)采集[1]。

（2）儲(chǔ)存數(shù)據(jù)信息

現(xiàn)代網(wǎng)絡(luò)信息規(guī)模不斷擴(kuò)大，種類和來源日漸豐富，要增強(qiáng)網(wǎng)絡(luò)安全分析的準(zhǔn)確性和高效性，就必須穩(wěn)定、高效的儲(chǔ)存網(wǎng)絡(luò)數(shù)據(jù)。在儲(chǔ)存數(shù)據(jù)信息時(shí)，針對(duì)不同種類的數(shù)據(jù)特點(diǎn)，可以采用不同的儲(chǔ)存方式。對(duì)于流量和日志等原始數(shù)據(jù)項(xiàng)目，通常使用Hbade和GBase等方法進(jìn)行儲(chǔ)存，以便將來調(diào)用數(shù)據(jù)時(shí)可以進(jìn)行快速檢索，提升數(shù)據(jù)利用的效率。對(duì)于分析之后的數(shù)據(jù)信息，一般采用Hahoop計(jì)算其數(shù)據(jù)架構(gòu)，然后采用Hive技術(shù)分析腳本，實(shí)現(xiàn)深層次的數(shù)據(jù)分析和總結(jié)，完善網(wǎng)絡(luò)安全分析管理系統(tǒng)，并通過安全分析形成安全警告，將分析結(jié)果分類儲(chǔ)存起來。

（3）檢索數(shù)據(jù)信息

對(duì)網(wǎng)絡(luò)數(shù)據(jù)信息進(jìn)行有效地整理、加工、組織、存儲(chǔ)之后，就可以根據(jù)工作中的實(shí)際需要，對(duì)數(shù)據(jù)進(jìn)行檢索，快速查找到所需要的信息。在網(wǎng)絡(luò)安全分析技術(shù)中，一般使用MapReduce作為基本的數(shù)據(jù)檢索工具，將所要查找的關(guān)鍵詞置于數(shù)據(jù)庫中的各節(jié)點(diǎn)上，以完成數(shù)據(jù)檢索，獲得所需的目標(biāo)信息。

（4）對(duì)數(shù)據(jù)進(jìn)行分析處理

大數(shù)據(jù)的基本特點(diǎn)就是規(guī)模龐大、價(jià)值密度低、混亂度高，因此必須使用有效手段，從大數(shù)據(jù)中提取出有價(jià)值、有意義的數(shù)據(jù)，從而提高網(wǎng)絡(luò)安全分析的效率。在網(wǎng)絡(luò)安全分析技術(shù)中，通常采用Hadoop、MapReduce以及HDGS相結(jié)合的方法，快速提取并分析有效數(shù)據(jù)，查找網(wǎng)絡(luò)系統(tǒng)中存在的風(fēng)險(xiǎn)源和攻擊源。Hadoop工具的容錯(cuò)性較高，對(duì)硬件條件的適應(yīng)性強(qiáng)，通過集群效力的方式實(shí)現(xiàn)高效分析與存儲(chǔ)，可以充分滿足大數(shù)據(jù)分析處理的需求[2]。

（5）對(duì)數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析

在關(guān)系數(shù)據(jù)和交易數(shù)據(jù)等信息載體當(dāng)中，通過分析數(shù)據(jù)項(xiàng)目之間的相關(guān)性、頻繁模式和因果結(jié)構(gòu)，可以有效發(fā)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)之間的關(guān)聯(lián)性和多元結(jié)構(gòu)。在大數(shù)據(jù)當(dāng)中，通過高效率的數(shù)據(jù)分析和存儲(chǔ)，可以在較短的時(shí)間內(nèi)完成數(shù)據(jù)分析挖掘工作，避免在分析過程中附帶異質(zhì)多元結(jié)構(gòu)，從而尋找到關(guān)聯(lián)異構(gòu)數(shù)據(jù)，及時(shí)排查并發(fā)現(xiàn)網(wǎng)絡(luò)信息異常情況，有效保障網(wǎng)絡(luò)環(huán)境安全。若網(wǎng)絡(luò)系統(tǒng)在運(yùn)輸過程中，發(fā)生主機(jī)癱瘓或出現(xiàn)漏洞等情況，也可以通過信息關(guān)聯(lián)系統(tǒng)及時(shí)隔絕危險(xiǎn)源，防止其他設(shè)備遭到感染，實(shí)現(xiàn)網(wǎng)絡(luò)系統(tǒng)的實(shí)時(shí)安全防護(hù)，最大限度地降低網(wǎng)絡(luò)系統(tǒng)安全隱患[3]。

4 建設(shè)大數(shù)據(jù)網(wǎng)絡(luò)安全平臺(tái)

（1）構(gòu)建網(wǎng)絡(luò)安全平臺(tái)

大數(shù)據(jù)技術(shù)還可以用于構(gòu)建網(wǎng)絡(luò)安全平臺(tái)。網(wǎng)絡(luò)安全平臺(tái)的構(gòu)建層次分為數(shù)據(jù)分析層、數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)顯示層等。大多數(shù)網(wǎng)絡(luò)系統(tǒng)的信息安全保護(hù)能力存在缺陷，容易泄漏系統(tǒng)信息和用戶個(gè)人信息。使用大數(shù)據(jù)分布式文件系統(tǒng)，可以有效加強(qiáng)數(shù)據(jù)儲(chǔ)存層的作用，在系統(tǒng)中長期儲(chǔ)存海量的結(jié)構(gòu)化與半結(jié)構(gòu)化數(shù)據(jù)信息。在數(shù)據(jù)顯示層中，也可以有效完成信息檢索人物，為用戶提供所需的目標(biāo)數(shù)據(jù)，實(shí)現(xiàn)可視化展示，體現(xiàn)網(wǎng)絡(luò)系統(tǒng)當(dāng)前的信息安全水平。

（2）數(shù)據(jù)分析技術(shù)

在大數(shù)據(jù)網(wǎng)絡(luò)安全平臺(tái)當(dāng)中，使用 Hive形式對(duì)數(shù)據(jù)進(jìn)行綜合統(tǒng)計(jì)與分析，可以有效檢索非結(jié)構(gòu)化的數(shù)據(jù)信息，完成對(duì)API的封裝處理以及系統(tǒng)插件的數(shù)據(jù)分析工作。此外，還可以采用Aahout技術(shù)挖掘處理網(wǎng)絡(luò)安全平臺(tái)中的數(shù)據(jù)，對(duì)數(shù)據(jù)中出現(xiàn)的各類事件進(jìn)行關(guān)聯(lián)性分析，查找到危險(xiǎn)源。同時(shí)還可以使用CPE技術(shù)分類處理網(wǎng)絡(luò)安全平臺(tái)中的不同事件，分門別類地建立關(guān)系數(shù)據(jù)庫，以便將數(shù)據(jù)轉(zhuǎn)換到更高級(jí)別，及時(shí)查找出威脅網(wǎng)絡(luò)平臺(tái)安全的事件，并進(jìn)行預(yù)警。

5 結(jié)語

當(dāng)前大數(shù)據(jù)概念的發(fā)展不斷深入，網(wǎng)絡(luò)信息系統(tǒng)日趨復(fù)雜，人們?cè)絹碓疥P(guān)注網(wǎng)絡(luò)安全問題，對(duì)網(wǎng)絡(luò)安全保障工作的水平提出了更高要求。使用大數(shù)據(jù)技術(shù)對(duì)網(wǎng)絡(luò)數(shù)據(jù)信息進(jìn)行采集、儲(chǔ)存、檢索、處理和關(guān)聯(lián)分析，可以有效加強(qiáng)網(wǎng)絡(luò)安全分析技術(shù)的效果，提升網(wǎng)絡(luò)系統(tǒng)的安全性。運(yùn)用大數(shù)據(jù)構(gòu)建網(wǎng)絡(luò)信息安全平臺(tái)，可以系統(tǒng)地分析并查找網(wǎng)絡(luò)安全平臺(tái)中存在的風(fēng)險(xiǎn)源和漏洞，提高網(wǎng)絡(luò)安全防護(hù)工作的準(zhǔn)確性和高效性。在網(wǎng)絡(luò)安全技術(shù)中積極運(yùn)用大數(shù)據(jù)技術(shù)，可以充分適應(yīng)新時(shí)代網(wǎng)絡(luò)信息安全工作的要求，加強(qiáng)我國的網(wǎng)絡(luò)安全建設(shè)，改善網(wǎng)絡(luò)安全環(huán)境，為企業(yè)、政府、家庭和個(gè)人提供充分的安全保障，避免由于網(wǎng)絡(luò)安全問題而造成重大經(jīng)濟(jì)損失和社會(huì)危害。

圖1 大數(shù)據(jù)網(wǎng)絡(luò)安全平臺(tái)的結(jié)構(gòu)