余宏偉 高衛(wèi)華 黃國(guó)林

文章基于當(dāng)下網(wǎng)絡(luò)安全形勢(shì)及安全需求，從傳統(tǒng)網(wǎng)絡(luò)安全防護(hù)體系的不足和基于大數(shù)據(jù)技術(shù)的攻擊態(tài)勢(shì)感知分析優(yōu)勢(shì)兩個(gè)方面，對(duì)全網(wǎng)多源安全事件進(jìn)行關(guān)聯(lián)分析并研究，運(yùn)用數(shù)據(jù)挖掘、態(tài)勢(shì)分析等技術(shù)，建立一套集安全信息采集與存儲(chǔ)、集中處置與分析、態(tài)勢(shì)監(jiān)測(cè)與預(yù)測(cè)于一體的態(tài)勢(shì)感知平臺(tái)。該平臺(tái)整合全網(wǎng)環(huán)境內(nèi)管理類(lèi)、用戶(hù)類(lèi)、資產(chǎn)類(lèi)等數(shù)據(jù)，經(jīng)統(tǒng)一匯聚存儲(chǔ)，利用智能分析技術(shù)，將多種安全日志、報(bào)警數(shù)據(jù)轉(zhuǎn)換成可視化的安全事件信息，解決了目前多個(gè)網(wǎng)絡(luò)安全系統(tǒng)之間無(wú)法形成有效的整體安全防護(hù)效果的問(wèn)題。文章從多源安全數(shù)據(jù)的采集與處理、存儲(chǔ)、分析與展示三個(gè)層面對(duì)平臺(tái)的設(shè)計(jì)思路、技術(shù)要點(diǎn)和分析方法進(jìn)行闡述，并對(duì)平臺(tái)的實(shí)現(xiàn)情況進(jìn)行了說(shuō)明。

經(jīng)過(guò)多年的信息化與網(wǎng)絡(luò)安全建設(shè)，各單位的信息系統(tǒng)發(fā)展日益復(fù)雜化且功能愈加強(qiáng)大，信息化建設(shè)日益復(fù)雜化且功能強(qiáng)大。但隨著網(wǎng)絡(luò)環(huán)境的不斷變化，面向業(yè)務(wù)和用戶(hù)數(shù)據(jù)的攻擊行為也在迅猛增加，并且朝著技術(shù)專(zhuān)業(yè)化、團(tuán)隊(duì)組織化、行動(dòng)隱蔽化、攻擊分散化等特點(diǎn)發(fā)展，網(wǎng)絡(luò)空間安全面愈加嚴(yán)峻的威脅和挑戰(zhàn)。一方面攻擊面不斷增加，攻擊者可能會(huì)從一個(gè)業(yè)務(wù)系統(tǒng)的各組件進(jìn)行掃描，利用多弱點(diǎn)實(shí)施攻擊；另一方面攻擊的步驟逐漸復(fù)雜化，攻擊者進(jìn)行持續(xù)的滲透工作，進(jìn)而最終攻克用戶(hù)的核心業(yè)務(wù)系統(tǒng)或竊取核心數(shù)據(jù)。在這種背景下，雖然組織不斷完善安全防護(hù)體系，部署了防火墻、防病毒等各類(lèi)防護(hù)設(shè)備，但無(wú)法掌握全網(wǎng)安全狀況，無(wú)法有效整合串聯(lián)所有的安全監(jiān)控資源及安全信息，無(wú)法將全網(wǎng)安全信息有效利用起來(lái)，形成全網(wǎng)統(tǒng)一監(jiān)測(cè)、集中分析、集中展示呈現(xiàn)的態(tài)勢(shì)感知機(jī)制。

為提高國(guó)家信息安全保障能力，2015年1月，公安部頒布了《關(guān)于加快推進(jìn)網(wǎng)絡(luò)與信息安全通報(bào)機(jī)制建設(shè)的通知》（公信安[2015]21號(hào)）文件。通知明確要求建立攻擊態(tài)勢(shì)感知監(jiān)測(cè)通報(bào)手段和信息通報(bào)預(yù)警及應(yīng)急處置體系，實(shí)現(xiàn)對(duì)重要網(wǎng)站和網(wǎng)上重要信息系統(tǒng)的安全監(jiān)測(cè)、網(wǎng)上計(jì)算機(jī)病毒木馬傳播監(jiān)測(cè)、通報(bào)預(yù)警、應(yīng)急處置、態(tài)勢(shì)分析、安全事件（事故）管理等功能，為開(kāi)展相關(guān)工作提供技術(shù)保障。

《網(wǎng)絡(luò)安全法》明確了監(jiān)測(cè)預(yù)警與應(yīng)急處置措施，建立統(tǒng)一的檢測(cè)預(yù)警、信息通報(bào)和應(yīng)急處置制度和體系。因此加強(qiáng)和完善網(wǎng)絡(luò)安全監(jiān)測(cè)預(yù)警與主動(dòng)防御的能力刻不容緩。

一、傳統(tǒng)網(wǎng)絡(luò)安全防護(hù)存在的問(wèn)題

隨著互聯(lián)網(wǎng)以及周邊網(wǎng)絡(luò)安全產(chǎn)品的發(fā)展，信息安全越來(lái)越受到重視。組織無(wú)論是出于對(duì)自身利益的考慮，還是對(duì)于社會(huì)責(zé)任的考慮，都已開(kāi)始構(gòu)建更為豐富的內(nèi)部安全體系。安全體系涵蓋了包括防火墻，IDS、WAF、抗DDOS等在內(nèi)的安全防護(hù)系統(tǒng)以及安全評(píng)估、安全加固等專(zhuān)業(yè)安全服務(wù)。但業(yè)務(wù)信息系統(tǒng)運(yùn)行依然面臨諸多安全威脅，主要安全問(wèn)題為：

安全設(shè)備在過(guò)去幾年里積累了大量的歷史數(shù)據(jù)，但現(xiàn)有技術(shù)手段無(wú)法有效分析信息系統(tǒng)各設(shè)備和軟件的運(yùn)行或檢測(cè)數(shù)據(jù)，導(dǎo)致安全問(wèn)題無(wú)法及時(shí)發(fā)現(xiàn)；無(wú)法預(yù)測(cè)安全風(fēng)險(xiǎn)趨勢(shì)，導(dǎo)致無(wú)法及時(shí)調(diào)整安全策略。

過(guò)去的安全設(shè)備往往是針對(duì)某種特定威脅的，但隨著信息安全事件的不斷復(fù)雜化，孤立的安全措施很難適應(yīng)綜合的安全事件，無(wú)法從根本上解決這些問(wèn)題。

無(wú)法了解當(dāng)前整個(gè)IT系統(tǒng)的整體運(yùn)行狀況和安全狀態(tài)。

傳統(tǒng)的安全發(fā)現(xiàn)大多反應(yīng)的是網(wǎng)絡(luò)和系統(tǒng)的可用性問(wèn)題，無(wú)法有效發(fā)現(xiàn)由安全風(fēng)險(xiǎn)引發(fā)的網(wǎng)絡(luò)和系統(tǒng)問(wèn)題，

傳統(tǒng)的網(wǎng)絡(luò)安全防護(hù)機(jī)制是當(dāng)安全問(wèn)題出現(xiàn)之后，才考慮如何去追溯，無(wú)法提前預(yù)測(cè)或在發(fā)現(xiàn)問(wèn)題出現(xiàn)之前發(fā)現(xiàn)。

現(xiàn)有的安全措施很難保障組織對(duì)信息安全事件的響應(yīng)速度，無(wú)法達(dá)到業(yè)務(wù)連續(xù)性的要求。

二、基于大數(shù)據(jù)的攻擊態(tài)勢(shì)感知平臺(tái)設(shè)計(jì)

（一）基礎(chǔ)架構(gòu)設(shè)計(jì)

平臺(tái)依托于前沿大數(shù)據(jù)技術(shù)框架，整合E L K、Impala等大數(shù)據(jù)技術(shù)，形成基于大數(shù)據(jù)的攻擊態(tài)勢(shì)感知平臺(tái)。平臺(tái)從數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)到態(tài)勢(shì)分析與功能呈現(xiàn)都應(yīng)用了大數(shù)據(jù)技術(shù)，以應(yīng)對(duì)海量安全信息數(shù)據(jù)的高速處理場(chǎng)景，并通過(guò)分析結(jié)果和可視化效果呈現(xiàn)全網(wǎng)的攻擊態(tài)勢(shì)感知。

平臺(tái)整個(gè)技術(shù)架構(gòu)分為3個(gè)層次：數(shù)據(jù)采集與處理層、數(shù)據(jù)存儲(chǔ)層、態(tài)勢(shì)分析與功能呈現(xiàn)層（如圖1）。下面圍繞系統(tǒng)設(shè)計(jì)、技術(shù)要點(diǎn)和實(shí)現(xiàn)方案對(duì)這三個(gè)層次進(jìn)行闡述。

數(shù)據(jù)采集與處理層：實(shí)現(xiàn)了對(duì)全網(wǎng)IT資源的資產(chǎn)信息、性能信息、日志與安全事件信息、弱點(diǎn)信息等安全信息的統(tǒng)一采集與匯聚功能。

數(shù)據(jù)存儲(chǔ)層：數(shù)據(jù)存儲(chǔ)采用MPP架構(gòu)數(shù)據(jù)倉(cāng)庫(kù)來(lái)存儲(chǔ)加工處理后的日志數(shù)據(jù)，并將數(shù)據(jù)積累起來(lái)，實(shí)現(xiàn)海量安全大數(shù)據(jù)的分布式存儲(chǔ)，為上層態(tài)勢(shì)分析提供數(shù)據(jù)支撐。

態(tài)勢(shì)分析與功能呈現(xiàn)層：針對(duì)各類(lèi)安全信息，實(shí)現(xiàn)失陷主機(jī)實(shí)時(shí)檢測(cè)與告警分析、攻擊鏈實(shí)時(shí)分析、用戶(hù)行為畫(huà)像分析、資產(chǎn)異常行為分析、時(shí)間軸組件分析等態(tài)勢(shì)分析能力，是系統(tǒng)的核心功能層。

（二）數(shù)據(jù)采集與處理

攻擊態(tài)勢(shì)感知平臺(tái)安全數(shù)據(jù)源主要指用戶(hù)環(huán)境內(nèi)各類(lèi)IT資產(chǎn)信息、設(shè)備性能信息、日志與安全事件信息等各類(lèi)原始安全數(shù)據(jù)。

采集與處理環(huán)節(jié)的主要原理是利用FileBeat、Logstash等方式收集個(gè)日志源的數(shù)據(jù)并發(fā)送到Kafka集群，通過(guò)Logstash等方式對(duì)日志進(jìn)行格式化處理并經(jīng)初步篩選后，將匯總數(shù)據(jù)寫(xiě)入Elasticsearch。再利用Impala On Elasticsearch的前沿技術(shù)方案將非結(jié)構(gòu)化數(shù)據(jù)處理并轉(zhuǎn)換成結(jié)構(gòu)化數(shù)據(jù)。

平臺(tái)通過(guò)Impala來(lái)讀取存儲(chǔ)在Elasticsearch中的數(shù)據(jù)并進(jìn)行查詢(xún)和實(shí)時(shí)展現(xiàn)。具體實(shí)現(xiàn)如圖2：