亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于流式處理架構(gòu)的日志采集系統(tǒng)的設(shè)計與實現(xiàn)

        2023-04-26 08:21:52邵旭東樊志杰張敬鋒曹志威周明富熊已興
        計算機測量與控制 2023年4期
        關(guān)鍵詞:線程隊列日志

        邵旭東,樊志杰,,張敬鋒,曹志威,周明富,熊已興,張 林

        (1.公安部第三研究所 信息安全技術(shù)部,上海 200031;2.安徽省公安廳 科技信息化處,合肥 230061;3.上海辰銳信息科技有限公司 研發(fā)中心,上海 200031)

        0 引言

        隨著世界范圍內(nèi)圍繞信息的獲取、使用、控制的斗爭愈演愈烈,全球網(wǎng)絡(luò)攻擊、網(wǎng)絡(luò)竊密和網(wǎng)絡(luò)犯罪等問題日漸突出,網(wǎng)絡(luò)安全問題已經(jīng)成為與政治安全、經(jīng)濟安全、文化安全同等重要,事關(guān)國家安全的重大戰(zhàn)略要害問題。泛政府行業(yè)大數(shù)據(jù)中心一旦發(fā)生安全問題,造成系統(tǒng)崩潰、網(wǎng)絡(luò)癱瘓、病毒爆發(fā)或重要數(shù)據(jù)丟失、泄漏,勢必導(dǎo)致災(zāi)難性后果,給泛政務(wù)業(yè)務(wù)系統(tǒng)正常運轉(zhuǎn)、甚至國家信息體系完整性帶來重大損失。為此,亟需建立以數(shù)據(jù)安全為核心的大數(shù)據(jù)安全保障體系,建立先進的安全運行管理平臺、專業(yè)的安全技術(shù)團隊、全面的安全策略以及高效的運行管理機制來保護大數(shù)據(jù)的安全。

        安全運行管理平臺匯聚的安全信息包括數(shù)據(jù)服務(wù)、應(yīng)用、云平臺、終端、邊界、網(wǎng)絡(luò)和安全保障設(shè)施等系統(tǒng)運行記錄、操作日志、告警信息,各類系統(tǒng)運行信息格式不一、支持的傳輸協(xié)議種類繁多,因此需尋求技術(shù)手段,對各類異構(gòu)的數(shù)據(jù)源進行統(tǒng)一采集和預(yù)處理,通過標準協(xié)議上報至安全運行管理平臺[1-5]。

        當(dāng)前,行業(yè)內(nèi)存在集中監(jiān)管與審計系統(tǒng),該系統(tǒng)為了保障泛政府行業(yè)信息安全,對接入泛政府行業(yè)內(nèi)網(wǎng)的業(yè)務(wù)和用戶進行監(jiān)控,一旦發(fā)現(xiàn)安全隱患或攻擊行為,立刻采取措施,保障泛政府行業(yè)內(nèi)網(wǎng)的安全。該系統(tǒng)支持對以TBSG可信邊界接入網(wǎng)關(guān)為隔離設(shè)備的邊界接入平臺、通過VPN網(wǎng)關(guān)接入的移動接入平臺、通過視頻接入專用設(shè)備的視頻接入平臺和以單向光閘為隔離設(shè)備的公網(wǎng)接入平臺等多種類型平臺上的通用網(wǎng)絡(luò)設(shè)備、通用安全設(shè)備和專用安全設(shè)備的監(jiān)控,以及設(shè)備狀態(tài)、業(yè)務(wù)流量和用戶訪問日志等信息的采集,使得泛政府行業(yè)建設(shè)單位的管理人員可以方便地對接入平臺進行管理,保證接入平臺安全穩(wěn)定地運行。但是該系統(tǒng)也存在一些不足之處,無法滿足大數(shù)據(jù)安全體系下的監(jiān)管要求,具體來說,存在的主要問題包括:

        1)支持的協(xié)議類型較少,只支持SNMP和SYSLOG等少數(shù)日志采集協(xié)議,且擴展難度大;

        2)系統(tǒng)將采集到的數(shù)據(jù)首先保存在關(guān)系數(shù)據(jù)庫中,上報數(shù)據(jù)到其他平臺時需要再次從數(shù)據(jù)庫中讀取、解析,時延大、執(zhí)行效率低;

        3)采集的日志只支持上報到單一的平臺上,數(shù)據(jù)上報協(xié)議固定。為了支持多平臺、多協(xié)議格式上報,擴展難度大;

        4)系統(tǒng)為采用模塊化的設(shè)計,模塊之間耦合大,不方便擴展功能。

        鑒于此,本文提出統(tǒng)一日志采集技術(shù)并研制系統(tǒng),可解決集中監(jiān)管與審計系統(tǒng)存在的不足:

        1)采用標準化接口和插件技術(shù),可靈活支持各種日志采集協(xié)議和數(shù)據(jù)上報協(xié)議,實現(xiàn)系統(tǒng)整體架構(gòu)的高度穩(wěn)定性和可擴展性;

        2)采用基于消息隊列的流式處理架構(gòu),實現(xiàn)日志采集、日志處理、日志上報等各個環(huán)節(jié)的解耦,并支持靈活的功能擴展;

        3)通過消息隊列的流量削峰保證了日志傳輸?shù)目煽啃裕?/p>

        4)根據(jù)日志流量特征,系統(tǒng)支持動態(tài)調(diào)整消費組規(guī)模,滿足系統(tǒng)的高性能要求。

        1 系統(tǒng)結(jié)構(gòu)及原理

        本文研制的統(tǒng)一日志采集系統(tǒng),軟件層面可以分為數(shù)據(jù)面與控制面兩個部分,如圖1所示。

        圖1 系統(tǒng)結(jié)構(gòu)圖

        數(shù)據(jù)面主要包括數(shù)據(jù)采集、數(shù)據(jù)發(fā)布、數(shù)據(jù)存儲與數(shù)據(jù)上報等功能,這些功能之間通過消息隊列實現(xiàn)模塊功能解耦和數(shù)據(jù)流式處理,方便功能的擴展。

        控制面主要包括日志源管理、策略管理、Agent管理、系統(tǒng)管理等功能,實現(xiàn)對數(shù)據(jù)面功能的策略配置與管控。

        2 系統(tǒng)軟件設(shè)計

        本文所設(shè)計的統(tǒng)一日志采集系統(tǒng)主要由日志采集、數(shù)據(jù)上報、數(shù)據(jù)管理、系統(tǒng)管理、策略管理、Agent管理、日志源管理模塊和日志采集代理(Agent)子系統(tǒng)組成[6-10],如圖2所示。

        圖2 軟件框架圖

        日志采集模塊通過各種采集協(xié)議實現(xiàn)對各種數(shù)據(jù)源的日志采集功能。

        數(shù)據(jù)上報模塊支持通過kafka、消息隊列、SFTP、FTP等協(xié)議將日志上報到各類平臺。

        數(shù)據(jù)管理模塊實現(xiàn)日志數(shù)據(jù)的本地存儲和查詢功能。

        圖3 日志采集模塊結(jié)構(gòu)圖

        系統(tǒng)管理模塊實現(xiàn)系統(tǒng)登錄、用戶角色管理、權(quán)限管理、版本管理、備份恢復(fù)等功能。

        策略管理模塊實現(xiàn)日志采集策略的增刪改查、同步等功能。

        Agent管理模塊實現(xiàn)Agent策略配置、Agent狀態(tài)監(jiān)控等功能。日志采集代理(Agent)可部署在Windows或Linux系統(tǒng)中,實現(xiàn)特定日志數(shù)據(jù)的采集上報,并接受統(tǒng)一日志采集系統(tǒng)的集中管理(如:策略配置、狀態(tài)管理等)。

        日志源管理模塊實現(xiàn)日志源類型和采集協(xié)議管理以及日志源自動發(fā)現(xiàn)等功能。

        2.1 日志采集

        日志采集模塊由任務(wù)管理、任務(wù)調(diào)度、采集器和過濾器等組成,日志采集流程如圖3所示。

        任務(wù)管理模塊負責(zé)生成采集任務(wù),根據(jù)系統(tǒng)配置的日志源、日志采集策略和清洗策略,創(chuàng)建相應(yīng)的采集器和過濾器,放到任務(wù)隊列中等待執(zhí)行。

        任務(wù)調(diào)度模塊負責(zé)讀取采集任務(wù)隊列,分配工作線程,調(diào)用采集器完成相應(yīng)類型日志的采集,采集器通過調(diào)用過濾器完成日志數(shù)據(jù)的清洗,清洗后的日志數(shù)據(jù)按照主題發(fā)布到日志隊列中。

        采集器根據(jù)采集方式不同可以分為主動采集和被動采集。主動采集主要包括FTP、SFTP、SNMP Get、WMI、ODBC/JDBC等協(xié)議的日志采集。被動采集主要包括SYSLOG、HTTP、SNMP Trap等協(xié)議的日志采集。

        對于主動日志采集是通過周期輪詢的方式實現(xiàn)日志的采集,任務(wù)管理模塊負責(zé)周期生成日志采集任務(wù),并寫入采集任務(wù)隊列,等待任務(wù)調(diào)度模塊調(diào)度執(zhí)行。

        對于被動日志采集,采集器采用監(jiān)聽服務(wù),實現(xiàn)日志數(shù)據(jù)的持續(xù)接收,處理流程如圖4所示。

        圖4 被動采集流程圖

        過濾器負責(zé)根據(jù)系統(tǒng)配置的數(shù)據(jù)清洗策略對采集器獲取到的日志數(shù)據(jù)進行過濾處理。根據(jù)不同的日志源類型和數(shù)據(jù)清洗策略,系統(tǒng)可實現(xiàn)多種類型的過濾器,多個過濾器可以通過組合模式形成新的過濾器。

        本系統(tǒng)通過制定標準化的采集器接口和過濾器接口,對于各種數(shù)據(jù)源和日志類型,按照標準接口實現(xiàn)各類采集器和過濾器,并以插件的方式注入系統(tǒng)中,實現(xiàn)日志采集系統(tǒng)整體架構(gòu)的穩(wěn)定性和可擴展性,靈活支持項目的各種實際需求,如圖5所示。

        圖5 采集器和過濾器插件工作原理

        2.2 日志數(shù)據(jù)發(fā)布

        采集器通過各種采集協(xié)議采集到原始日志后,經(jīng)過清洗、轉(zhuǎn)換等處理后按照主題發(fā)布到日志隊列中。

        主題可采用如下格式:<日志源類型>.<協(xié)議類型>.<日志級別>.<日志源IP>,方便數(shù)據(jù)存儲、數(shù)據(jù)上報等模塊按需進行訂閱。

        2.3 數(shù)據(jù)上報

        數(shù)據(jù)上報模塊支持通過kafka、MQ、SFTP、FTP等協(xié)議將日志上報到安全運行管理平臺。

        本系統(tǒng)通過制定標準化的數(shù)據(jù)上報引擎接口,對于各種上報協(xié)議方式,按照標準接口實現(xiàn)各類數(shù)據(jù)上報引擎,并以插件的方式注入系統(tǒng)中,實現(xiàn)日志采集系統(tǒng)整體架構(gòu)的穩(wěn)定性和可擴展性,如圖6所示。

        圖6 數(shù)據(jù)上報引擎工作原理

        數(shù)據(jù)上報模塊根據(jù)系統(tǒng)配置策略,加載指定的數(shù)據(jù)上報引擎,并創(chuàng)建獨立的工作線程,按照主題從日志隊列中訂閱日志消息,將日志數(shù)據(jù)上報到安全運行管理平臺。

        系統(tǒng)通過監(jiān)測隊列中的積壓消息數(shù),動態(tài)調(diào)整工作線程數(shù),實現(xiàn)日志消息傳輸?shù)牡脱舆t和可靠性。

        對于MQ、kafka等協(xié)議上報方式,當(dāng)接收端異常無法上報時,系統(tǒng)將產(chǎn)生告警日志,如果故障未恢復(fù)且RabbitMQ中的積壓消息達到配置的最大門限值,為了防止內(nèi)存耗盡,影響系統(tǒng)的整體性能和運行穩(wěn)定性,系統(tǒng)將啟動本地緩存機制,將日志接收并保存到本地文件中。

        在上報故障期間,上報線程定期嘗試將收到的新數(shù)據(jù)發(fā)送到MQ或kafka,以檢測其是否恢復(fù)故障,如果未恢復(fù),則繼續(xù)保存到本地文件中。

        如果檢測到接收端故障恢復(fù),數(shù)據(jù)上報正常,則原上報線程將接收的新數(shù)據(jù)直接上報給MQ、kafka。同時啟動獨立的線程負責(zé)讀取保存在本地緩存中的日志信息并上報,上報成功后刪除本地緩存文件。

        對于FTP、SFTP等協(xié)議的處理方式,采集日志數(shù)據(jù)后先保存到本地文件中,然后通過另外的上傳線程負責(zé)將本地文件上傳到FTP服務(wù)器上。

        2.4 數(shù)據(jù)管理

        數(shù)據(jù)管理模塊負責(zé)實現(xiàn)日志消息的本地存儲、歸檔和檢索等功能。

        數(shù)據(jù)管理模塊按照主題訂閱日志,從日志隊列中獲取日志數(shù)據(jù)進行本地存儲或者保存到全文搜索引擎中。

        2.4.1 日志存儲

        對于日志存儲,日志文件可按照年、月、日分級存儲,即目錄結(jié)構(gòu)為:<根目錄><年><月><日><日志文件>,這樣既方便查找日志文件,又避免同一級目錄下文件數(shù)過多,影響查詢速度。

        日志存儲模塊執(zhí)行流程如下所示:

        1)查詢數(shù)據(jù)表獲取系統(tǒng)配置的所有已使能的日志存儲策略;

        2)對于每條存儲策略,創(chuàng)建一個線程,線程函數(shù)的執(zhí)行邏輯如下:

        (1)根據(jù)配置的訂閱主題信息,依次訂閱這些主題的日志消息;

        (2)接收日志消息并保存日志到系統(tǒng)配置的文件存儲路徑下;

        (3)根據(jù)系統(tǒng)配置的文件切割策略,完成日志文件的切割。

        2.4.2 日志歸檔

        日志歸檔模塊根據(jù)系統(tǒng)配置的策略,將歷史日志文件壓縮后歸檔。歸檔日志可根據(jù)系統(tǒng)配置的保存時間定期清理。

        日志歸檔模塊執(zhí)行流程如下:

        1)啟動周期定時器,每天在指定時間(如:凌晨3點)觸發(fā)歸檔操作;

        2)歸檔步驟如下:

        (1)查詢數(shù)據(jù)表,獲取系統(tǒng)配置的所有已使用的日志存儲策略;

        (2)遍歷每條日志存儲策略,執(zhí)行如下流程:

        圖7 日志歸檔流程圖

        2.4.3 日志查詢

        日志查詢模塊通過訂閱機制,獲取日志數(shù)據(jù)保存到全文搜索引擎中,用于支持本地數(shù)據(jù)查詢功能。

        日志查詢模塊可根據(jù)系統(tǒng)配置的策略,定期清除過期數(shù)據(jù)。對于已過期的日志,系統(tǒng)提供日志文件下載功能。

        日志查詢模塊執(zhí)行流程如下:

        1)查詢數(shù)據(jù)表獲取系統(tǒng)配置的所有已使能的日志查詢策略;

        2)對于每條策略,創(chuàng)建一個線程,線程執(zhí)行邏輯如下:

        (1)根據(jù)配置的訂閱主題信息,依次訂閱這些主題的日志消息;

        (2)接收日志消息并保存日志到全文搜索引擎中,并制定相應(yīng)參數(shù),實現(xiàn)過期日志的自動刪除功能。

        2.5 策略管理

        提供日志源、數(shù)據(jù)上報策略、日志存儲策略和日志歸檔策略等管理功能,將配置信息保存到MySQL數(shù)據(jù)庫,然后發(fā)布配置更新消息到RabbitMQ消息隊列中,日志采集、數(shù)據(jù)上報和數(shù)據(jù)管理等模塊通過訂閱相應(yīng)的配置更新消息,并按照新策略執(zhí)行,流程如圖8所示。

        圖8 策略管理模塊結(jié)構(gòu)圖

        2.6 系統(tǒng)管理

        系統(tǒng)管理模塊提供用戶管理、角色管理、系統(tǒng)登錄、版本管理、備份恢復(fù)、系統(tǒng)狀態(tài)監(jiān)控等功能。

        2.6.1 用戶管理

        用戶管理主要完成用戶的查詢、新增、修改、刪除、導(dǎo)入、登錄IP限制和授權(quán)等操作。

        2.6.2 角色管理

        角色管理主要完成角色的查詢、新增、修改、刪除和授權(quán)等操作。

        2.6.3 系統(tǒng)登錄

        平臺提供登錄頁面,支持使用數(shù)字證書或用戶名密碼方式登錄系統(tǒng),平臺提供配置方法,可以選擇支持其中的一種或兩種方式登錄系統(tǒng)。為了提高系統(tǒng)的安全性,使用用戶名密碼登錄時,支持字符驗證碼或手機短信動態(tài)驗證碼,使用哪種方式支持可配置。

        用戶登錄流程如下:

        圖9 用戶登錄流程圖

        1)用戶打開登錄頁面,向服務(wù)器請求一個驗證碼圖片;

        2)服務(wù)器生成一個隨機驗證碼圖片返回,并將驗證碼保存到用戶Session中;

        3)用戶在瀏覽器中輸入用戶名、密碼和驗證碼信息,并點擊登錄按鈕;

        4)服務(wù)器驗證收到的用戶名、密碼和驗證碼是否正確,如果不正確提示登錄失敗并返回登錄頁面;等保測試下如果用戶連續(xù)登錄失敗達到一定次數(shù)后,應(yīng)鎖定賬戶,記錄安全審計事件;

        5)如果當(dāng)前為等保測試狀態(tài)且設(shè)置了密碼的最長使用期限,則判斷密碼是否過期,如果密碼過期則跳轉(zhuǎn)到用戶密碼修改頁面;否則表示登錄成功,跳轉(zhuǎn)到首頁。

        2.6.4 版本管理

        提供系統(tǒng)版本升級功能,為了簡化升級流程,最大程度支持向下兼容,系統(tǒng)對軟件部署和升級方式做如下約束:

        1)只能從低版本升級到更高版本,支持跨版本升級,任何高版本升級包都能夠升級低版本;

        2)除了用到的一些系統(tǒng)級的配置文件,軟件安裝部署后要求其所有的程序文件、數(shù)據(jù)文件和配置文件等都在同一個根目錄下,根目錄下可以包含子目錄。

        系統(tǒng)升級流程如圖10所示。

        2.6.5 備份恢復(fù)

        系統(tǒng)備份主要包括配置文件、數(shù)據(jù)文件和數(shù)據(jù)庫的備份,其中對于數(shù)據(jù)庫備份目前先實現(xiàn)全量備份。

        備份時可以選擇備份的內(nèi)容:配置文件、數(shù)據(jù)文件和/或數(shù)據(jù)庫,如果輸入的備份密碼為空,則表示備份包不做加密。

        系統(tǒng)備份的執(zhí)行流程如圖11所示。

        圖10 系統(tǒng)升級流程圖

        圖11 系統(tǒng)備份流程圖

        2.6.6 系統(tǒng)狀態(tài)監(jiān)控

        系統(tǒng)狀態(tài)監(jiān)控模塊通過向設(shè)備狀態(tài)獲取線程訂閱的方式,獲取服務(wù)器的CPU、內(nèi)存、磁盤利用率以及各個網(wǎng)卡接口的數(shù)據(jù)流量等信息,經(jīng)過處理后保存到數(shù)據(jù)庫中。

        以圖表的形式展現(xiàn)服務(wù)器的內(nèi)存、磁盤、CPU占用率以及網(wǎng)絡(luò)接口流量信息。在首頁和性能監(jiān)控頁面中都可以查看設(shè)備的狀態(tài),首頁由于展示區(qū)域有限應(yīng)以緊湊的形式進行展示,對于性能監(jiān)控頁面可以詳細地分開展示設(shè)備的各種狀態(tài)。

        2.7 日志源管理

        日志源管理模塊負責(zé)管理維護各類日志源屬性信息(如:系統(tǒng)名稱、IP地址、采集協(xié)議、認證憑據(jù)、日志源類型等),并實現(xiàn)日志源自動發(fā)現(xiàn)功能。

        系統(tǒng)支持日志源自動發(fā)現(xiàn)功能。一旦被監(jiān)控設(shè)備或系統(tǒng)有信息發(fā)送到統(tǒng)一日志采集系統(tǒng),系統(tǒng)會根據(jù)信息類型和發(fā)送端IP地址等進行匹配,一旦發(fā)現(xiàn)新的IP地址在監(jiān)控范圍內(nèi),且監(jiān)控設(shè)備數(shù)量不超過授權(quán)許可數(shù)量時,自動產(chǎn)生不同類型的新設(shè)備。新發(fā)現(xiàn)的IP如果發(fā)送的是Agent代理發(fā)送的事件信息,系統(tǒng)會自動生成一個主機類型日志源;新發(fā)現(xiàn)的IP如果發(fā)送的是其他類型信息,系統(tǒng)會自動生成一個未分類新日志源,需要管理員定義日志源信息。

        3 系統(tǒng)主要功能

        本文所研究統(tǒng)一日志采集系統(tǒng)的主要功能模塊包括:日志信息采集、數(shù)據(jù)管理、數(shù)據(jù)上報、Agent管理、日志源管理等功能[11-15]。

        3.1 日志采集功能

        支持各種數(shù)據(jù)源的運行信息和日志數(shù)據(jù)采集,按數(shù)據(jù)請求方向分為主動采集和被動采集兩類。

        主動采集:由統(tǒng)一日志采集系統(tǒng)主動向日志數(shù)據(jù)源請求獲取日志數(shù)據(jù),日志源設(shè)備被動響應(yīng)請求回應(yīng)數(shù)據(jù),采集協(xié)議包括SFTP、SNMP Get、WMI、HTTPS等。

        被動采集:統(tǒng)一日志采集系統(tǒng)支持特定協(xié)議監(jiān)聽,被動等待日志數(shù)據(jù)源傳入數(shù)據(jù),支持的采集協(xié)議有SYSLOG、HTTPS、SNMP Trap等。

        系統(tǒng)支持的主要采集協(xié)議參見表1。

        3.2 數(shù)據(jù)管理功能

        支持采集的數(shù)據(jù)本地分類存儲,提供全文查詢和文件檢索。提供數(shù)據(jù)清洗、壓縮、歸檔等數(shù)據(jù)管理維護功能。

        3.3 數(shù)據(jù)上報功能

        支持通過kafaka、消息隊列、SFTP、FTP等協(xié)議將數(shù)據(jù)上報到安全數(shù)據(jù)系統(tǒng)、安全審計中心等外部日志分析處理平臺。

        3.3.1 本地緩存

        在上報故障期間,上報線程應(yīng)定期嘗試將收到的新數(shù)據(jù)發(fā)送到MQ、kafka,以檢測其是否恢復(fù)故障,如果未恢復(fù),則繼續(xù)保存到本地文件中。

        表1 采集協(xié)議

        如果檢測到接收端故障恢復(fù),數(shù)據(jù)上報正常,則原上報線程將接收的新數(shù)據(jù)直接上報給MQ、kafka。同時啟動獨立的線程負責(zé)讀取保存在本地緩存中的日志信息并上報,上報成功后刪除本地緩存文件。

        3.3.2 跨邊界級聯(lián)

        在跨各類邊界進行日志信息采集時,邊界外側(cè)部署一套統(tǒng)一日志采集系統(tǒng)1,采集各類設(shè)備運行日志信息,通過FTP協(xié)議將采集的數(shù)據(jù)通過邊界設(shè)備傳到邊界內(nèi)測,該功能同屬數(shù)據(jù)上報模塊,只需要新增一個FTP級聯(lián)上報協(xié)議;邊界內(nèi)側(cè)部署另一套統(tǒng)一日志采集系統(tǒng)2,通過FTP協(xié)議采集外側(cè)傳入的文件并解析處理,該功能同屬日志采集模塊,只需要新增一個FTP級聯(lián)數(shù)據(jù)采集協(xié)議。

        3.4 策略管理功能

        支持數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)上報等策略的配置管理。

        3.5 日志源管理

        支持對各類日志源信息(日志源類型、系統(tǒng)名稱、系統(tǒng)品牌、系統(tǒng)型號、軟件版本、IPv4地址、IPv6地址、MAC地址、采集協(xié)議、協(xié)議版本、認證憑證)的增加、刪除、修改、查詢、導(dǎo)入、導(dǎo)出等功能,支持日志源自動發(fā)現(xiàn)。

        3.6 Agent管理

        設(shè)置Agent配置策略,包括系統(tǒng)的基本參數(shù),如:日志采集間隔、本地日志保存時間、文件大小設(shè)置、系統(tǒng)登錄密碼、卸載密碼等參數(shù),服務(wù)設(shè)置了相關(guān)參數(shù)后,主機Agent自動同步該參數(shù)。

        監(jiān)控各主機Agent信息及運行狀態(tài),提供Agent管理操作日志、各模塊的啟停等運行信息查詢、導(dǎo)出、歸檔等操作。

        4 實施方式與應(yīng)用案例

        4.1 實施方式

        日志采集、數(shù)據(jù)管理、數(shù)據(jù)上報和策略管理作為獨立的模塊進行部署。此外,系統(tǒng)還需要部署RabbitMQ、ElasticSearch和MySQL[16-19]。統(tǒng)一日志采集系統(tǒng)部署框架如圖12所示。

        圖12 統(tǒng)一日志采集系統(tǒng)部署圖

        圖12中的箭頭表示它們之間的數(shù)據(jù)流向。日志采集模塊從MySQL數(shù)據(jù)庫中讀取日志源、采集策略、清洗策略等配置信息,完成日志的采集后發(fā)布到RabbitMQ消息隊列中。

        數(shù)據(jù)上報模塊從MySQL數(shù)據(jù)庫中讀取上報策略信息,然后從RabbitMQ消息隊列中訂閱指定主題的日志消息,按照相應(yīng)協(xié)議完成日志上報。

        數(shù)據(jù)管理模塊從MySQL數(shù)據(jù)庫中讀取日志查詢、日志存儲和日志歸檔等策略信息,從RabbitMQ消息隊列中訂閱指定主題的日志消息,將日志數(shù)據(jù)保存到ElasticSearch全文搜索引擎或本地文件中,并對本地存儲的日志文件進行歸檔處理。

        策略管理模塊負責(zé)完成日志源管理、數(shù)據(jù)上報策略配置、日志存儲和日志歸檔策略配置等,將配置信息保存到MySQL數(shù)據(jù)庫。系統(tǒng)管理模塊通過查詢ElasticSearch全文搜索引擎提供日志數(shù)據(jù)的查詢功能。

        4.2 應(yīng)用案例

        本文所設(shè)計系統(tǒng)已在多地泛政府行業(yè)部門進行實際驗證,用于泛政府行業(yè)信息內(nèi)網(wǎng)和新一代移動警務(wù)平臺中應(yīng)用、云平臺、終端、邊界、網(wǎng)絡(luò)、安全基礎(chǔ)設(shè)施的全面日志采集,具體方案如下:

        圖13 某省泛政府行業(yè)信息網(wǎng)統(tǒng)一日志采集系統(tǒng)部署拓撲

        圖14 某省移動警務(wù)平臺統(tǒng)一日志采集系統(tǒng)部署拓撲

        4.2.1 新一代泛政府行業(yè)信息網(wǎng)部署

        如圖13所示,某省泛政府行業(yè)信息網(wǎng)按業(yè)務(wù)功能劃分為用戶接入和數(shù)據(jù)接入兩大子網(wǎng),以及子網(wǎng)和外部網(wǎng)絡(luò)之間的用戶訪問和數(shù)據(jù)交換通道,為實現(xiàn)全面日志采集,需要在三個不同網(wǎng)域分別部署一套統(tǒng)一日志采集系統(tǒng)。其中數(shù)據(jù)中心采用云化部署模式,采集數(shù)據(jù)中心內(nèi)主機、網(wǎng)絡(luò)、安全設(shè)備和應(yīng)用系統(tǒng)日志;用戶接入?yún)^(qū)采用軟硬一體部署模式,采集用戶接入?yún)^(qū)內(nèi)終端、網(wǎng)絡(luò)、安全設(shè)備和應(yīng)用系統(tǒng)日志;安全訪問與數(shù)據(jù)交換通道采用軟硬一體部署模式,采集網(wǎng)絡(luò)、安全設(shè)備和應(yīng)用系統(tǒng)日志[20-22]。

        4.2.2 新一代移動警務(wù)平臺部署

        如圖14所示,某省新一移動警務(wù)平臺按業(yè)務(wù)功能劃分移動互聯(lián)網(wǎng)服務(wù)子平臺(I區(qū))、聯(lián)網(wǎng)服務(wù)子平臺(II區(qū))、泛政府行業(yè)信息網(wǎng)服務(wù)子平臺(III區(qū)),以及移動安全接入子平臺、移動互聯(lián)網(wǎng)隔離交換區(qū)。為實現(xiàn)全過程日志采集,需要在三個不同子區(qū)域分別部署一套統(tǒng)一日志采集系統(tǒng),均采用軟硬一體化部署模式。其中I區(qū)統(tǒng)一采集系統(tǒng)負責(zé),采集I區(qū)內(nèi)主機、網(wǎng)絡(luò)、安全設(shè)備和應(yīng)用系統(tǒng)日志;II區(qū)統(tǒng)一日志采集系統(tǒng)負責(zé)采集II區(qū)內(nèi)終端、網(wǎng)絡(luò)、安全設(shè)備和應(yīng)用系統(tǒng)日志,同時采集兩個隔離交換區(qū)內(nèi)安全設(shè)備日志;III區(qū)統(tǒng)一日志采集III區(qū)內(nèi)網(wǎng)絡(luò)、安全設(shè)備和應(yīng)用系統(tǒng)日志[23-25]。

        5 結(jié)束語

        當(dāng)前,全國泛政府行業(yè)均以習(xí)近平總書記“以安全保發(fā)展、以發(fā)展促安全”新時代網(wǎng)絡(luò)安全思想為指引,牢固確立以人民為中心的發(fā)展思想,全面貫徹總體國家安全觀,全面實施泛政府行業(yè)大數(shù)據(jù)戰(zhàn)略,堅持大數(shù)據(jù)建設(shè)應(yīng)用與安全防護同步規(guī)劃實施,加快構(gòu)建大數(shù)據(jù)安全保障體系。本文提出的統(tǒng)一日志采集系統(tǒng),采用標準化接口和插件技術(shù),全面提升泛政府行業(yè)大數(shù)據(jù)安全運行管理平臺中日志采集的穩(wěn)定性和可擴展性。同時,采用基于消息隊列的流式處理架構(gòu),實現(xiàn)日志采集、日志處理、日志上報等各個環(huán)節(jié)的解耦,并支持靈活的功能擴展;通過消息隊列的流量削峰,保證日志傳輸?shù)目煽啃?,有效解決不同網(wǎng)域間海量日志數(shù)據(jù)的統(tǒng)一采集,進而為安全運行管理平臺提供數(shù)據(jù)支撐、安全分析和智能決策。

        猜你喜歡
        線程隊列日志
        一名老黨員的工作日志
        華人時刊(2021年13期)2021-11-27 09:19:02
        扶貧日志
        心聲歌刊(2020年4期)2020-09-07 06:37:14
        隊列里的小秘密
        基于多隊列切換的SDN擁塞控制*
        軟件(2020年3期)2020-04-20 00:58:44
        在隊列里
        游學(xué)日志
        豐田加速駛?cè)胱詣玉{駛隊列
        淺談linux多線程協(xié)作
        一種基于粗集和SVM的Web日志挖掘模型
        Linux線程實現(xiàn)技術(shù)研究
        在线观看一区二区三区视频| 九九在线中文字幕无码| 色诱视频在线观看| 美女自卫慰黄网站| 国产码欧美日韩高清综合一区| 久久老熟女一区二区三区| 无码人妻一区二区三区免费看| 久久久噜噜噜www成人网| 亚洲暴爽av天天爽日日碰| 91久久综合精品国产丝袜长腿| 中文字幕中文字幕三区| 欧美男生射精高潮视频网站| 婷婷久久久亚洲欧洲日产国码av| 国产精品1区2区| 国产成人亚洲综合二区| 麻豆国产精品久久人妻| 狠狠躁夜夜躁人人躁婷婷视频| 国产熟妇高潮呻吟喷水| 亚洲欧洲久久久精品| 加勒比一区二区三区av| 亚洲午夜无码毛片av久久| 欧美人做人爱a全程免费| 国产精品原创巨作AV女教师| 五月婷网站| 日本一道本加勒比东京热| 欧美老肥婆牲交videos| 亚洲最大av资源站无码av网址 | 极品粉嫩小泬无遮挡20p| 亚洲熟妇色xxxxx欧美老妇| 亚洲无av高清一区不卡| 不卡视频在线观看网站| 国产成人av综合色| 亚洲日韩v无码中文字幕| 北岛玲中文字幕人妻系列| 人妻人妇av一区二区三区四区 | 中文字幕日本人妻久久久免费| 国产AV无码专区亚洲AⅤ| 久久亚洲第一视频黄色| 青青草手机视频免费在线播放| 亚洲a∨无码男人的天堂| 亚洲综合色秘密影院秘密影院|