在當(dāng)前安全即服務(wù)(SaaS)和開源共享的理念下,有不少廠商和開源社區(qū)也推出了免費的大數(shù)據(jù)安全分析產(chǎn)品,用戶只需要通過正規(guī)渠道下載,即可免費安裝使用。下面列舉兩款主流的免費大數(shù)據(jù)安全分析產(chǎn)品。
OpenSOC是思科的安全大數(shù)據(jù)分析架構(gòu),其建立了一個平臺,專注于網(wǎng)絡(luò)數(shù)據(jù)包和流的大數(shù)據(jù)分析。功能上實現(xiàn)了實時地檢測網(wǎng)絡(luò)內(nèi)的異常,并且可以根據(jù)需要擴展節(jié)點。
OpenSOC的部署全部依靠開源軟件,存儲上使用Hadoop,實時索引采用ElasticSearch,而在線實時分析使用的Storm,因此可以說,OpenSOC是各種開源大數(shù)據(jù)架構(gòu)和安全分析工具的有機結(jié)合。
OpenSOC主要功能包括以下幾點。
1.可擴展的接收器和分析器能夠監(jiān)視任何Telemetry數(shù)據(jù)源。
2.OpenSOC具備很強的擴展性,且支持各種遙測數(shù)據(jù)流。
3.支持對遙測數(shù)據(jù)流的異常檢測和基于規(guī)則的實時報警。
4.通過預(yù)設(shè)時間使用Hadoop存儲遙測收集的數(shù)據(jù)流。
5.支 持 使 用ElasticSearch實現(xiàn)自動化實時索引遙測數(shù)據(jù)流。
6.支持通過Hive使用SQL查詢Hadoop中的數(shù)據(jù)。
7.兼容ODBC/JDBC并且繼承已有的分析工具。
8.支持自動生成報告、異常報警。
9.支持原數(shù)據(jù)包的抓取、存儲和重組。支持?jǐn)?shù)據(jù)驅(qū)動的安全模型。
從系統(tǒng)架構(gòu)來看,OpenSOC包含了數(shù)據(jù)源系統(tǒng)、數(shù)據(jù)收集層、消息系統(tǒng)層、實時處理層、存儲層、分析處理層。其中數(shù)據(jù)源系統(tǒng)主要設(shè)定大數(shù)據(jù)分析平臺的數(shù)據(jù)來源,包括通過網(wǎng)絡(luò)路由、網(wǎng)關(guān)等設(shè)備獲取的數(shù)據(jù)包和通過部署遙感傳感器從系統(tǒng)日志、HTTP流量、文件系統(tǒng)和其他行為中獲取到的日志信息。數(shù)據(jù)收集層收集經(jīng)過初步處理后的大量數(shù)據(jù),一方面利用PCAP機制收集數(shù)據(jù)包,另一方面利用Flume框架來收集大量的日志信息。消息系統(tǒng)層主要將數(shù)據(jù)收集層捕獲的數(shù)據(jù)包和日志包裝為消息隊列,便于上層Storm的實時處理。實時處理層將收到的消息隊列進行快速處理,Storm系統(tǒng)每秒可以處理數(shù)以百萬計的信息,而且用戶可以使用任意語言進行mapreduce模型的開發(fā)。存儲層主要就是有效合理地將前面獲得的數(shù)據(jù)存儲到文件系統(tǒng)中。分析處理層將最終處理后的數(shù)據(jù)進行分析,挖掘出有價值的數(shù)據(jù)信息展示給用戶。
用戶部署OpenSOC時,各個開源軟件和模塊均有一定的版本要求,具體如下:
Apache Flume 1.4.0版本及以上。Apache Kafka 0.8.1版本及以上。Apache Storm 0.9版 本及以上。Apache Hadoop 2.x系列版本均可。Apache Hive 12版本以上,建議13版本。Apache Hbase 0.94版本及以上。ElasticSearch 1.1版本及以上。MySQL 5.6版本及以上。
瀚 思 HanSight DataViewer是基于業(yè)界較成熟的分布式生態(tài)系統(tǒng)Elasticsearch開發(fā)的企業(yè)級日志管理平臺,提供搜索或大規(guī)模日志分析可視化等服務(wù),而且完全免費。DataViewer包括日志采集、存儲檢索、可視化展現(xiàn)三個部分。
日志采集部分由瀚思自主研發(fā),采用采集/轉(zhuǎn)發(fā)機制,便于大規(guī)模集群部署,提供了Web界面進行數(shù)據(jù)源的配置及集群狀態(tài)的監(jiān)控。在數(shù)據(jù)源的支持方面,內(nèi)置支持的種類包括目錄、文件、syslog協(xié)議等,同時DataViewer還提供了非常易用的Java API,方便用戶對新的數(shù)據(jù)源進行支持。
存儲檢索部分采用Elasticsearch,翰 思 對Elasticsearch進行了優(yōu)化,并有源碼級的支持能力。Elasticsearch是一個靈活、功能強大的開源、分布式、實時搜索和分析引擎,從設(shè)計之初就考慮了分布式環(huán)境,所以它具有天然的可靠性和可擴展性,Elasticsearch使用戶能夠輕松地地使用全文檢索的功能。通過其強大的、健壯的RESTful API和查詢DSL,支持多種客戶端,如Java、Python、Clojure等。
產(chǎn)品自帶數(shù)據(jù)可視化引擎,支持中文,并可以讓用戶在本地通過自定義的儀表盤同Elasticsearch所有的數(shù)據(jù)進行交互。動態(tài)儀表盤面板可保存、共享和導(dǎo)出,實時顯示更改查詢到的數(shù)據(jù),還可以使用預(yù)先設(shè)計的儀表盤在用戶界面上進行數(shù)據(jù)分析。
目 前,HanSight Data Viewer已發(fā)布2.0版,采用Master/Worker的分布式架構(gòu),可靈活擴展采集集群。用戶有興趣,可自行上翰思安信官網(wǎng)www.hansight.com下載試用,或聯(lián)系廠家?guī)椭惭b測試。