◆盧 慶 文衛(wèi)疆 陳 新

大數(shù)據(jù)技術(shù)支持下的網(wǎng)絡(luò)安全態(tài)勢(shì)感知技術(shù)探究

◆盧 慶1文衛(wèi)疆2陳 新3

(1.湖南警察學(xué)院 湖南 410100；2.岳陽(yáng)市公安局 湖南 414000； 3.岳陽(yáng)市住房公積金管理中心 湖南 414000)

隨著計(jì)算機(jī)、智能手機(jī)逐漸成為我國(guó)民眾標(biāo)配，信息安全問(wèn)題的受關(guān)注程度日漸提升，如何應(yīng)用大數(shù)據(jù)開(kāi)展網(wǎng)絡(luò)安全分析也開(kāi)始成為業(yè)界關(guān)注的焦點(diǎn)，相關(guān)研究也因此大量涌現(xiàn)，基于此，本文簡(jiǎn)單分析了網(wǎng)絡(luò)安全防護(hù)存在的傳統(tǒng)問(wèn)題，并詳細(xì)論述了在大數(shù)據(jù)技術(shù)支持下網(wǎng)絡(luò)安全態(tài)勢(shì)感知技術(shù)的構(gòu)成與應(yīng)用，希望由此能夠?yàn)橄嚓P(guān)業(yè)內(nèi)人士帶來(lái)一定啟發(fā)。

大數(shù)據(jù)技術(shù)；網(wǎng)絡(luò)安全態(tài)勢(shì)感知技術(shù)；安全模型

0 前言

近年來(lái)我國(guó)網(wǎng)絡(luò)空間面臨的國(guó)內(nèi)外威脅日漸嚴(yán)峻化，國(guó)外有組織黑客的攻擊破壞、國(guó)內(nèi)不法分子的網(wǎng)絡(luò)犯罪活動(dòng)均屬于其中典型，我國(guó)網(wǎng)絡(luò)安全重大事件監(jiān)測(cè)預(yù)警與主動(dòng)防御手段的不足也因此暴露，而為了盡可能彌補(bǔ)這種不足，正是本文圍繞大數(shù)據(jù)技術(shù)支持下的網(wǎng)絡(luò)安全態(tài)勢(shì)感知技術(shù)開(kāi)展具體研究的原因所在。

1 網(wǎng)絡(luò)安全防護(hù)存在的傳統(tǒng)問(wèn)題分析

1.1 主要問(wèn)題

網(wǎng)絡(luò)安全領(lǐng)域存在三種基本的業(yè)態(tài)模型，分別為P2DR安全運(yùn)維模型、線式防御模型、立體防御模型，我國(guó)網(wǎng)絡(luò)安全產(chǎn)業(yè)的構(gòu)建便基本上圍繞三種模型實(shí)現(xiàn)，安全產(chǎn)品體系也因此形成，但深入分析現(xiàn)階段國(guó)內(nèi)外網(wǎng)絡(luò)安全產(chǎn)品發(fā)展現(xiàn)狀不難發(fā)現(xiàn)，目前并不存在可以防御所有攻擊的安全產(chǎn)品，這就使得我國(guó)長(zhǎng)期以來(lái)奉行的傳統(tǒng)網(wǎng)絡(luò)安全防護(hù)理念、網(wǎng)絡(luò)安全防護(hù)產(chǎn)品存在一些根本性問(wèn)題。傳統(tǒng)網(wǎng)絡(luò)安全防護(hù)處于一個(gè)后知后防的體系中，并通過(guò)通用、具體的特征規(guī)則進(jìn)行威脅防御，這種后知后防體系與網(wǎng)絡(luò)安全保護(hù)的實(shí)時(shí)性、前瞻性需求存在一定矛盾，過(guò)時(shí)的網(wǎng)絡(luò)安全產(chǎn)品自然無(wú)法完全滿足現(xiàn)階段各領(lǐng)域網(wǎng)絡(luò)安全防護(hù)需要?？偟膩?lái)說(shuō)，筆者認(rèn)為網(wǎng)絡(luò)安全防護(hù)存在的傳統(tǒng)問(wèn)題可概括為以本地規(guī)則庫(kù)為核心、沒(méi)有數(shù)據(jù)智能、無(wú)法實(shí)現(xiàn)未知威脅感知、無(wú)法有效檢測(cè)已知威脅、無(wú)法對(duì)網(wǎng)絡(luò)進(jìn)行協(xié)同防御、無(wú)法通過(guò)數(shù)據(jù)支持實(shí)現(xiàn)已知攻擊溯源分析，而深入分析這類(lèi)問(wèn)題不難發(fā)現(xiàn)，傳統(tǒng)的安全監(jiān)測(cè)與防護(hù)局限于私有、單機(jī)的思路屬于引發(fā)問(wèn)題的根本原因[1]。

1.2 解決思路

為真正解決網(wǎng)絡(luò)安全防護(hù)存在的傳統(tǒng)問(wèn)題，近年來(lái)學(xué)界開(kāi)展的大量相關(guān)探索，現(xiàn)有安全技術(shù)無(wú)法滿足信息安全領(lǐng)域數(shù)據(jù)規(guī)模日益增長(zhǎng)環(huán)境下的精細(xì)化高效安全分析需求也已經(jīng)成為業(yè)界共識(shí)，大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全防護(hù)領(lǐng)域具備的較高應(yīng)用價(jià)值也開(kāi)始得到重點(diǎn)關(guān)注。大數(shù)據(jù)技術(shù)本身具備靈活、海量、高速等特點(diǎn)，這些都使得該技術(shù)可較好滿足快速、精確、低成本、大容量的數(shù)據(jù)智能分析和網(wǎng)絡(luò)安全分析需要，基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知也由此成為業(yè)界關(guān)注的焦點(diǎn)，本文研究也是圍繞這一焦點(diǎn)展開(kāi)[2]。

2 大數(shù)據(jù)技術(shù)支持下網(wǎng)絡(luò)安全態(tài)勢(shì)感知技術(shù)的構(gòu)成與應(yīng)用

2.1 平臺(tái)構(gòu)建

2.1.1整體思路

網(wǎng)絡(luò)安全態(tài)勢(shì)指的是網(wǎng)絡(luò)當(dāng)前狀態(tài)和變化趨勢(shì)，主要由用戶行為、網(wǎng)絡(luò)行為、網(wǎng)絡(luò)設(shè)備運(yùn)行狀況等因素構(gòu)成，而網(wǎng)絡(luò)安全態(tài)勢(shì)感知?jiǎng)t是一種圍繞大規(guī)模網(wǎng)絡(luò)環(huán)境開(kāi)展的網(wǎng)絡(luò)態(tài)勢(shì)變化安全要素獲取、理解、顯示及未來(lái)趨勢(shì)預(yù)測(cè)。由此可見(jiàn)，大數(shù)據(jù)技術(shù)可較好服務(wù)于網(wǎng)絡(luò)安全態(tài)勢(shì)感知，但這種服務(wù)需要得到專(zhuān)業(yè)化平臺(tái)的支持，這一支持指的是各類(lèi)感知數(shù)據(jù)源的整合、各類(lèi)安全數(shù)據(jù)的可視化信息轉(zhuǎn)化，由此即可在平臺(tái)支持下實(shí)現(xiàn)威脅發(fā)現(xiàn)、精準(zhǔn)預(yù)警、態(tài)勢(shì)感知。

2.1.2技術(shù)架構(gòu)

為實(shí)現(xiàn)基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)構(gòu)建，安全數(shù)據(jù)采集、海量安全數(shù)據(jù)深度挖掘分析、分析結(jié)果應(yīng)用必須得到重點(diǎn)關(guān)注，其中安全數(shù)據(jù)采集需涉及整個(gè)防御鏈條，以此實(shí)現(xiàn)相關(guān)邊界、終端、服務(wù)、應(yīng)用相關(guān)安全數(shù)據(jù)的采集，海量安全數(shù)據(jù)深度挖掘分析則需要利用安全模型、分析算法，以此分析潛在威脅、發(fā)生安全事件、預(yù)判未知風(fēng)險(xiǎn)，分析結(jié)果應(yīng)用需要關(guān)注網(wǎng)絡(luò)安全威脅報(bào)警、網(wǎng)絡(luò)風(fēng)險(xiǎn)預(yù)警與感知、重要安全系統(tǒng)實(shí)時(shí)監(jiān)測(cè)、可視化態(tài)勢(shì)展示，圖1為基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)整體技術(shù)架構(gòu)[3]。

圖 1 網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)整體技術(shù)架構(gòu)

2.1.3安全數(shù)據(jù)采集與存儲(chǔ)

在應(yīng)用大數(shù)據(jù)技術(shù)完成安全數(shù)據(jù)采集后，還需要進(jìn)行數(shù)據(jù)的存儲(chǔ)，由此即可形成原始安全數(shù)據(jù)倉(cāng)庫(kù)滿足安全態(tài)勢(shì)感知需要。其中，安全數(shù)據(jù)采集需關(guān)注完整的網(wǎng)絡(luò)攻擊追蹤，以此圍繞身份認(rèn)證、應(yīng)用方位授權(quán)、網(wǎng)絡(luò)流量特征檢測(cè)、風(fēng)險(xiǎn)報(bào)警、應(yīng)用安全審計(jì)等環(huán)節(jié)涉及的網(wǎng)絡(luò)攻擊細(xì)節(jié)與潛藏的非法行為特征搜集，流量、日志、審計(jì)、監(jiān)測(cè)、病毒、資產(chǎn)、情報(bào)等各類(lèi)數(shù)據(jù)的采集均需要得到重點(diǎn)關(guān)注；而在安全數(shù)據(jù)的存儲(chǔ)中，需要整合關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)、分布式文件系統(tǒng)、數(shù)據(jù)庫(kù)集群以此構(gòu)建混合式數(shù)據(jù)倉(cāng)庫(kù)，海量安全數(shù)據(jù)存儲(chǔ)管理則需要得到基于Hadoop分布式文件存儲(chǔ)系統(tǒng)（HDFS）的支持。HDFS具備高吞吐量、容錯(cuò)性高等特點(diǎn)，在HDFS上的分布式非結(jié)構(gòu)化數(shù)據(jù)庫(kù)HBase則能夠進(jìn)行大量非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)，Sqoop則負(fù)責(zé)關(guān)系型數(shù)據(jù)庫(kù)與非關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)導(dǎo)入與導(dǎo)出。

2.1.4海量安全數(shù)據(jù)深度挖掘分析

海量安全數(shù)據(jù)深度挖掘分析可分為三個(gè)步驟，即數(shù)據(jù)預(yù)處理、模型設(shè)計(jì)、數(shù)據(jù)分析，其中數(shù)據(jù)預(yù)處理主要由數(shù)據(jù)清洗、數(shù)據(jù)融合、數(shù)據(jù)關(guān)聯(lián)三部分內(nèi)容組成，模型設(shè)計(jì)則需要關(guān)注數(shù)值統(tǒng)計(jì)模型、算法挖掘模型、攻擊樹(shù)推理模型的構(gòu)建，而數(shù)據(jù)分析則需要圍繞在線實(shí)時(shí)挖掘分析、離線挖掘分析實(shí)現(xiàn)，以其中的算法挖掘模型為例，構(gòu)建該模型需得到基于統(tǒng)計(jì)學(xué)方法的度分布計(jì)算算法、基于Page Rank的頂點(diǎn)分析算法、基于聚類(lèi)的相似度分析算法、社區(qū)發(fā)現(xiàn)分析算法支持，而在線實(shí)時(shí)挖掘分析的實(shí)現(xiàn)則需要得到Spark框架的支持，在采用內(nèi)存計(jì)算方式的批量數(shù)據(jù)流處理支持下，在線實(shí)時(shí)挖掘的需求可得到較好滿足。

2.1.5功能組成

在安全數(shù)據(jù)采集與存儲(chǔ)、海量安全數(shù)據(jù)深度挖掘分析的支持下，基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)將實(shí)現(xiàn)網(wǎng)絡(luò)安全威脅報(bào)警、網(wǎng)絡(luò)風(fēng)險(xiǎn)預(yù)警與感知、重要安全系統(tǒng)實(shí)時(shí)監(jiān)測(cè)、可視化態(tài)勢(shì)展示，其中網(wǎng)絡(luò)安全威脅報(bào)警可利用大數(shù)據(jù)分析結(jié)果實(shí)現(xiàn)信息盜取、權(quán)限獲取、木馬傳播、仿冒釣魚(yú)等網(wǎng)絡(luò)攻擊活動(dòng)的即時(shí)報(bào)警；重要安全系統(tǒng)實(shí)時(shí)監(jiān)測(cè)可實(shí)時(shí)關(guān)注網(wǎng)頁(yè)篡改、信息盜取、APT攻擊、拒絕服務(wù)攻擊等惡意破壞事件的監(jiān)測(cè)；網(wǎng)絡(luò)風(fēng)險(xiǎn)預(yù)警與感知可實(shí)現(xiàn)網(wǎng)絡(luò)安全態(tài)勢(shì)的展示與輸出，如網(wǎng)絡(luò)攻擊活動(dòng)、安全漏洞等；可視化態(tài)勢(shì)展示則能夠使用可視化腳本庫(kù)進(jìn)行安全態(tài)勢(shì)的全景展示。

2.2 技術(shù)應(yīng)用

近年來(lái)業(yè)內(nèi)圍繞基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)開(kāi)展了大量理論研究與實(shí)踐探索，我國(guó)很多行業(yè)的專(zhuān)網(wǎng)也已經(jīng)實(shí)現(xiàn)了該類(lèi)平臺(tái)的部署與運(yùn)行，筆者曾參與的基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)建設(shè)便使用了10臺(tái)高性能服務(wù)與100TB光存儲(chǔ)陣列，而在Spark、ETL、Kafka、Hbase、HDFS、Zookeeper、Map Reduce等工具和框架結(jié)構(gòu)支持下，完整的大數(shù)據(jù)存儲(chǔ)和分析集群構(gòu)建也得以實(shí)現(xiàn)，該集群能夠滿足彈性部署的需要，根據(jù)數(shù)據(jù)容量、計(jì)算需求的動(dòng)態(tài)節(jié)點(diǎn)擴(kuò)容也能夠由此實(shí)現(xiàn)。筆者參與的基于大數(shù)據(jù)技術(shù)網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)已經(jīng)上線近兩年，可平臺(tái)每天可分析并處理2億條安全數(shù)據(jù)，并能夠同時(shí)開(kāi)展30個(gè)安全規(guī)則庫(kù)的在線匹配分析、100個(gè)安全模型離線分析計(jì)算、30億條數(shù)據(jù)的IP關(guān)系圖譜分析，平臺(tái)的態(tài)勢(shì)可視化展示、網(wǎng)絡(luò)風(fēng)險(xiǎn)預(yù)警與感知等功能也長(zhǎng)期處于良好運(yùn)行狀態(tài)。

3 結(jié)論

綜上所述，大數(shù)據(jù)技術(shù)支持下的網(wǎng)絡(luò)安全態(tài)勢(shì)感知技術(shù)具備較高實(shí)踐應(yīng)用價(jià)值，在此基礎(chǔ)上，本文涉及的安全數(shù)據(jù)采集與存儲(chǔ)、海量安全數(shù)據(jù)深度挖掘分析等內(nèi)容，則提供了可行性較高的網(wǎng)絡(luò)安全態(tài)勢(shì)感知技術(shù)應(yīng)用路徑，而為了更好保證網(wǎng)絡(luò)安全，多源數(shù)據(jù)運(yùn)用、復(fù)雜網(wǎng)絡(luò)攻擊遏制也需要得到業(yè)內(nèi)人士的高度關(guān)注。

[1]鄧曉東，何慶，許敬偉，周樂(lè)坤.大數(shù)據(jù)網(wǎng)絡(luò)安全態(tài)勢(shì)感知中數(shù)據(jù)融合技術(shù)研究[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2017.

[2]陳興蜀，曾雪梅，王文賢.基于大數(shù)據(jù)的網(wǎng)絡(luò)安全與情報(bào)分析[J].工程科學(xué)與技術(shù)，2017.

[3]琚安康，郭淵博，朱泰銘.基于開(kāi)源工具集的大數(shù)據(jù)網(wǎng)絡(luò)安全態(tài)勢(shì)感知及預(yù)警架構(gòu)[J].計(jì)算機(jī)科學(xué)，2017.