騫 巍,劉莎莎,孫晶瑩
(中國電建集團海外投資有限公司,北京 100048)
當下,全球已經(jīng)全面進入了大數(shù)據(jù)時代,期刊《Science》在2011年發(fā)表的《Dealing With Data》中深入討論了我們在數(shù)據(jù)洪流(data deluge,DD)中所面臨的挑戰(zhàn),并指出人們在有效地組織和利用這些海量數(shù)據(jù)的基礎(chǔ)上,將會更好地利用科學(xué)技術(shù),達到發(fā)揮推動社會發(fā)展的巨大作用[1]。
在我國,隨著云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)、移動支付等新興技術(shù)的快速發(fā)展,以及智慧城市發(fā)展需求的提出,導(dǎo)致各種智能移動設(shè)備、傳感器、電子商務(wù)網(wǎng)站、社交網(wǎng)絡(luò)每時每刻都在產(chǎn)生結(jié)構(gòu)各異的海量數(shù)據(jù)[2]。區(qū)別于傳統(tǒng)的數(shù)據(jù)組成,容量大、結(jié)構(gòu)復(fù)雜的大數(shù)據(jù)背后隱藏著更多的知識與智慧,并為人類理解世界和社會提供了新的契機[3]。TB、PB級數(shù)據(jù)已成為常見數(shù)據(jù)規(guī)模,數(shù)據(jù)規(guī)模的幾何級增長遠遠超出了現(xiàn)有信息系統(tǒng)和傳統(tǒng)計算技術(shù)的計算能力,因此,尋找高效的大數(shù)據(jù)處理技術(shù)已經(jīng)成為必要。將信號轉(zhuǎn)化為數(shù)據(jù)、將數(shù)據(jù)分析為信息、將信息提煉為知識、以知識促成決策和行動是大數(shù)據(jù)技術(shù)的根本驅(qū)動力[4]。
服務(wù)器是IT系統(tǒng)中的核心設(shè)備,服務(wù)器一旦出現(xiàn)故障,整個IT系統(tǒng)就會立馬癱瘓,因而做好服務(wù)器的安全防護部署十分必要[5]。而對于政府部門和企業(yè)來說,機密文件較多,信息存儲量大,日常運轉(zhuǎn)對于計算機系統(tǒng)的依賴性較強,做好服務(wù)器安全防護方面的工作顯得尤為重要。
隨著大數(shù)據(jù)時代的來臨,如何展示大數(shù)據(jù)分析挖掘得到的關(guān)鍵數(shù)據(jù)成為新的研究方向??梢暬治鐾诰蛉祟悓τ谛畔⒌恼J知能力與優(yōu)勢,將人、機有機融合,借助人機交互高效洞悉大數(shù)據(jù)背后的信息與規(guī)律,是大數(shù)據(jù)分析的重要方法。人類從外界獲得的信息約有80%以上來自于視覺系統(tǒng)[6-7]。當大數(shù)據(jù)以直觀的可視化圖形方式展現(xiàn)時,利用人眼的感知能力可洞悉數(shù)據(jù)背后隱藏的信息,并可將其轉(zhuǎn)化為知識。
大數(shù)據(jù)服務(wù)器安全防護平臺是基于SaaS大數(shù)據(jù)分析平臺[8]DeepInsight進行開發(fā)、為內(nèi)外網(wǎng)安全防護提供保障的可視化分析平臺。平臺能夠采集并存儲多種數(shù)據(jù)源,并對多種數(shù)據(jù)源進行處理和數(shù)據(jù)分析。該安全防護系統(tǒng)主要從資產(chǎn)、用戶、數(shù)據(jù)、服務(wù)四個方面為用戶提供多維度安全分析的平臺,以確保企業(yè)用戶對各類資源進行實時監(jiān)控,并重點關(guān)注異常事件發(fā)展趨勢。
本系統(tǒng)是基于大數(shù)據(jù)服務(wù)器的安全防護平臺,為用戶提供了一體化、組件化、交互式、可視化、高可擴展性的開發(fā)環(huán)境。本系統(tǒng)能夠以資源、用戶、數(shù)據(jù)、服務(wù)安全分析對象,追溯目標實體發(fā)生的安全異常行為,便于用戶梳理安全事件線索,真正實現(xiàn)基于大數(shù)據(jù)服務(wù)器安全防護。
控制中心負責(zé)完成系統(tǒng)的各項配置工作,如數(shù)據(jù)管理、采集配置、權(quán)限管理等,保證系統(tǒng)的正常運營、數(shù)據(jù)采集、權(quán)限分配等。
管理維護主要分為資產(chǎn)維護、采集策略、過濾策略和性能監(jiān)控4個子模塊。其中,資產(chǎn)維護模塊用于查看當前維護的資產(chǎn)情況,可通過增、刪、改、查對資產(chǎn)進行操作;采集策略模塊通過配置Kibana相關(guān)參數(shù)來采集不同種類的數(shù)據(jù);過濾策略模塊通過配置Logstash過濾策略對采集到的數(shù)據(jù)進行規(guī)則篩選;性能監(jiān)控模塊可用于實時監(jiān)控Kibana、Logstash和Beats[9]的相關(guān)性能。
安全態(tài)勢主要有實時播報、拓撲展示和發(fā)展趨勢3個模塊。實時播報模塊主要展示異常事件表格數(shù)據(jù),異常事件的類型主要分為4種:資產(chǎn)、用戶、數(shù)據(jù)、服務(wù)。異常事件數(shù)據(jù)的采集需要在采集策略中進行配置。實時播報可以設(shè)置查詢時間,也可以設(shè)置為自動刷新并設(shè)置刷新時間間隔,以實現(xiàn)實時滾動播報當前系統(tǒng)發(fā)生的安全異常時間。此外可以通過添加過濾條件或使用Lucene查詢語法進行更精確的查詢。
拓撲展示模塊主要用來展示各個地域以及地域內(nèi)各資產(chǎn)之間相互連接的形式。默認按上一次保存布局的結(jié)果顯示拓撲結(jié)構(gòu)。雙擊區(qū)域圖表可以展示該區(qū)域內(nèi)的資產(chǎn)拓撲結(jié)構(gòu),資產(chǎn)名稱對應(yīng)資產(chǎn)維護表中的用戶名和IP號。
發(fā)展趨勢模塊主要是針對安全異常趨勢進行分析,通過對資產(chǎn)、用戶、數(shù)據(jù)和服務(wù)的安全異常歷史數(shù)據(jù)進行分析,展示系統(tǒng)安全異常發(fā)展趨勢。其中,周期執(zhí)行功能模塊可以定時查詢發(fā)展趨勢信息,周期時間類型支持日、時、分、秒4種類型;時間范圍數(shù)據(jù)查詢模塊可以查詢不同時間范圍內(nèi)系統(tǒng)安全異常發(fā)展趨勢;資產(chǎn)、用戶、數(shù)據(jù)和服務(wù)異常事件統(tǒng)計模塊返回當前查詢時間范圍內(nèi)對應(yīng)異常事件類型的記錄數(shù)、當前查詢時間范圍內(nèi)對應(yīng)異常事件類型的記錄數(shù)與上一時間段異常記錄數(shù)的差值。資產(chǎn)、用戶、數(shù)據(jù)和服務(wù)異常趨勢展示模塊以時間軸的方式展示查詢時間范圍內(nèi)各時間段資產(chǎn)、用戶、數(shù)據(jù)和服務(wù)異常事件變化的趨勢。資產(chǎn)、用戶、數(shù)據(jù)和服務(wù)類型事件Top5模塊主要是將查詢時間范圍內(nèi)產(chǎn)生的4種異常事件按時間名稱進行分組,統(tǒng)計異常事件的數(shù)量和嚴重程度,并按嚴重程度和異常事件數(shù)量進行排序。嚴重程度高的、相同嚴重程度事件數(shù)量多的排在前面,最終以表格的形式進行展示。
資產(chǎn)包括企業(yè)IT環(huán)境中存在的網(wǎng)絡(luò)設(shè)備、網(wǎng)絡(luò)安全設(shè)備、服務(wù)器、臺式機、移動電腦等。資產(chǎn)安全異常是指在有形物理資產(chǎn)上發(fā)現(xiàn)的安全異常,如:資產(chǎn)是否存在安全漏洞;是否受到安全攻擊等。
系統(tǒng)提供Nessus系統(tǒng)漏洞掃描與分析工具,將采集到的系統(tǒng)漏洞數(shù)據(jù)寫入Logstash,并通過Kibana進行多維度可視化分析,最終將分析結(jié)果通過儀表盤統(tǒng)一展示。
用戶是指使用IT系統(tǒng)資源的企業(yè)員工、訪客等。用戶安全異常是指人在IT環(huán)境中操作所引起的安全異常,例如:用戶上網(wǎng)行為異常,頻繁訪問重點監(jiān)控的招聘網(wǎng)站;開關(guān)機異常,在非正常工作時間開關(guān)機;違規(guī)使用移動存儲外設(shè)、無線網(wǎng)絡(luò);已解雇人員有IT操作痕跡;某員工賬號存在異常大流量郵件傳輸?shù)取?/p>
用戶安全目前只針對流量進行分析,能監(jiān)控到訪問次數(shù)和訪問流量,并通過Kibana進行多維度可視化分析,最終將分析結(jié)果通過儀表盤統(tǒng)一展示。
關(guān)鍵服務(wù)是指企業(yè)IT系統(tǒng)對內(nèi)或?qū)ν馓峁┑暮诵姆?wù),如Web服務(wù)、SVN代碼管理服務(wù)、關(guān)鍵數(shù)據(jù)庫服務(wù)等。關(guān)鍵服務(wù)異常分析包括服務(wù)?;畋O(jiān)控;服務(wù)資源占用情況監(jiān)控;服務(wù)性能統(tǒng)計分析;服務(wù)用戶操作行為審計等。
目前系統(tǒng)服務(wù)安全內(nèi)容主要包括:故障預(yù)警趨勢、服務(wù)響應(yīng)時間、服務(wù)在線情況、故障預(yù)警詳情。Heartbeat監(jiān)控工具(服務(wù)響應(yīng)時間、服務(wù)在線情況)將采集到的數(shù)據(jù)保存到Logstash中,并將Heartbeat采集到的異常數(shù)據(jù)再進行分析并保存,構(gòu)成故障預(yù)警趨勢和故障預(yù)警詳情的數(shù)據(jù)源。在數(shù)據(jù)采集之后通過Kibana進行多維度可視化分析,最終將分析結(jié)果通過儀表盤統(tǒng)一展示。
服務(wù)安全模塊下的資源使用趨勢子模塊主要展示CPU使用率、內(nèi)存使用率、磁盤使用率。服務(wù)器性能監(jiān)控工具Metricbeat(監(jiān)控內(nèi)容:CPU使用率、內(nèi)存使用率、磁盤使用率)采集資源使用趨勢數(shù)據(jù)。在數(shù)據(jù)采集之后通過Kibana進行多維度可視化分析,最終將分析結(jié)果通過儀表盤統(tǒng)一展示。
安全查詢主要由漏洞掃描、故障查詢和流量查詢3個模塊組成。
漏洞掃描模塊主要通過Nessus系統(tǒng)漏洞掃描與分析工具采集數(shù)據(jù),系統(tǒng)每天會將采集到的系統(tǒng)漏洞數(shù)據(jù)寫入數(shù)據(jù)庫中。資產(chǎn)安全模塊下的系統(tǒng)脆弱性即是基于此結(jié)果進行的分析。漏洞掃描可以設(shè)置查詢時間,也可以設(shè)置為自動刷新并設(shè)置刷新時間間隔,以實現(xiàn)實時滾動播報當前查詢時間范圍內(nèi)掃描到的系統(tǒng)漏洞。此外,可以通過添加過濾條件或使用Lucene查詢語法進行更精確的查詢。
故障查詢模塊主要由系統(tǒng)提供的服務(wù)預(yù)警數(shù)據(jù)采集功能采集數(shù)據(jù),系統(tǒng)將采集到的服務(wù)故障預(yù)警數(shù)據(jù)寫入數(shù)據(jù)庫,此模塊直接讀取故障預(yù)警詳情表結(jié)果。故障查詢可以設(shè)置查詢時間,也可以設(shè)置為自動刷新并設(shè)置刷新時間間隔,以實現(xiàn)實時滾動播報當前查詢時間范圍內(nèi)發(fā)生的故障預(yù)警信息以及故障處理情況。此外,還可以通過添加過濾條件或使用Lucene查詢語法進行更精確的查詢。
流量查詢模塊主要由系統(tǒng)提供的網(wǎng)絡(luò)流量監(jiān)控工具采集數(shù)據(jù),系統(tǒng)將采集到的流量監(jiān)控數(shù)據(jù)寫入數(shù)據(jù)庫。用戶可以查看各主機流量訪問情況。流量查詢可以設(shè)置查詢時間,也可以設(shè)置為自動刷新并設(shè)置刷新時間間隔,以實現(xiàn)實時滾動播報當前查詢時間范圍內(nèi)采集到各主機流量使用情況。此外可以通過添加過濾條件或使用Lucene查詢語法進行更精確的查詢。
大屏展示模塊主要用于查看各服務(wù)器流量訪問情況、異常報警情況、漏洞總數(shù)統(tǒng)計、各個正在使用中的服務(wù)器響應(yīng)時間,它不僅可以通過拓撲更直觀地了解到所有虛擬機與所在服務(wù)器的連接關(guān)系,還可以通過拓撲了解到虛擬機以及物理機的在線情況和警報情況。
拓撲展示分為3個區(qū)域,分別為A城市一區(qū)、二區(qū)(DMZ區(qū))以及B城市。
拓撲圖上有各個虛擬機以及物理機的分布情況,并可以通過拓撲連線關(guān)系,了解物理機與不同虛擬機的鏈接情況,清晰直觀地鎖定不同IP位置,同時,拓撲還具有告警展示的功能。機器報警時,拓撲圖上會展示警告數(shù)量在所報警區(qū)域的一期右上方,單擊告警機器時,還有觀看告警機器詳細報警的功能;另外,通過交互式平臺的拓撲展示頁面,還可以修改大屏展示中拓撲的連接情況。
企業(yè)大數(shù)據(jù)的應(yīng)用為商業(yè)智能的發(fā)展注入了新的活力,助力企業(yè)基于SaaS大數(shù)據(jù)平臺的服務(wù)器安全防護可視化系統(tǒng)的設(shè)計與實現(xiàn)??梢暬軌蛴行У乜朔嬎銠C自動化分析的劣勢與不足,整合計算機的分析能力和人們對信息的感知能力,利用認識理論、人機交互技術(shù)輔助人們直觀有效地洞悉大數(shù)據(jù)背后的信息,強調(diào)人類感知與計算機系統(tǒng)的深度耦合;構(gòu)建結(jié)構(gòu)化、非結(jié)構(gòu)化、海量、空間4類數(shù)據(jù)資源關(guān)聯(lián)模型,推進四類數(shù)據(jù)中心的數(shù)據(jù)融合,實現(xiàn)業(yè)務(wù)對4類數(shù)據(jù)資源的綜合利用;把分散的異構(gòu)數(shù)據(jù)進行整合,在自主可控、負載均衡的前提下,將數(shù)據(jù)資產(chǎn)化、可視化、共享化及云端化,構(gòu)建企業(yè)大數(shù)據(jù)的生態(tài)圈。
在未來,企業(yè)基于SaaS大數(shù)據(jù)平臺,需建立一套具有可用性高、伸縮性強、提供數(shù)據(jù)內(nèi)在關(guān)系和價值的數(shù)據(jù)挖掘分析系統(tǒng),為企業(yè)的發(fā)展、業(yè)務(wù)決策提供便捷、快速和高效的平臺支撐。