亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        數(shù)據(jù)中心IPv6網(wǎng)絡(luò)日志采集平臺的設(shè)計與實現(xiàn)

        2022-07-06 15:00:42吳宇平邢麗刃秦緒杰
        應(yīng)用科技 2022年3期
        關(guān)鍵詞:可視化分析

        吳宇平,邢麗刃,秦緒杰

        哈爾濱工程大學(xué) 信息化處,黑龍江 哈爾濱 150001

        近幾年,伴隨《推進互聯(lián)網(wǎng)協(xié)議第六版(IPv6)規(guī)模部署行動計劃》、《教育信息化2.0》以及《教育現(xiàn)代化2035》一系列重磅文件頒布,IPv6在國內(nèi)高校范圍內(nèi)獲得大面積重點部署。截止2021年11月,我國IPv6互聯(lián)網(wǎng)活躍用戶達到5.685億,占比約56%,其中雙一流大學(xué)網(wǎng)站IPv6占比更是達到了近85%[1],高校數(shù)據(jù)中心IPv6網(wǎng)絡(luò)的管理與運維等問題也隨之變?yōu)闊狳c與難點,如基于IPv6的攻擊已經(jīng)開始出現(xiàn),分布式拒絕服務(wù)攻擊、網(wǎng)絡(luò)穿透攻擊、IPv6加密蠕蟲等開始出現(xiàn)于安全媒體,但卻沒有引起安全界的重視[2]。

        通過建設(shè)IPv6網(wǎng)絡(luò)日志采集平臺,采集高校數(shù)據(jù)中心IPv6網(wǎng)絡(luò)流量日志、域名系統(tǒng)(domain name system,DNS)日志以及相關(guān)網(wǎng)絡(luò)設(shè)備、安全設(shè)備等日志,對IPv6地址、端口、應(yīng)用協(xié)議等日志數(shù)據(jù)進行可視化監(jiān)控、查詢,構(gòu)建一套以IPv6為研究核心的網(wǎng)絡(luò)管理運維的可視化的監(jiān)控體系。在網(wǎng)絡(luò)安全管理方面,通過日志平臺綜合分析,能及時了解校園網(wǎng)網(wǎng)絡(luò)狀態(tài)、攻擊來源、受攻擊情況,建立威脅可視化及分析能力,檢測出潛在的、惡意的攻擊行為[3],實現(xiàn)高校數(shù)據(jù)中心IPv6管理與運維工作的規(guī)范化,為高校更好地建設(shè)、管理與應(yīng)用數(shù)據(jù)中心IPv6網(wǎng)絡(luò)提供數(shù)據(jù)依據(jù)。

        1 IPv6網(wǎng)絡(luò)日志采集平臺構(gòu)建

        IPv6網(wǎng)絡(luò)日志采集平臺主要采用Cloudera公司的CDH-Hadoop作為核心基礎(chǔ)搭建。主要功能是對IPv6網(wǎng)絡(luò)日志進行數(shù)據(jù)采集、解析、存儲及大數(shù)據(jù)分析計算,并對日志進行相應(yīng)的操作和統(tǒng)計,把檢測IPv6數(shù)據(jù)包產(chǎn)生的報警和日志以各種豐富的格式進行記錄,以方便查詢和分析,可以為網(wǎng)絡(luò)分析提供依據(jù)[4]。

        1.1 CDH-Hadoop概述

        Hadoop是一種開源的分布式編程軟件框架,同時還是可以開發(fā)運行分布式應(yīng)用程序、處理大數(shù)據(jù)的平臺,它的2個核心組成部分為HDFS和Map Reduce[5]。

        Hadoop本身是分布式架構(gòu),而且本身包括的管理組件數(shù)量很多,因而相應(yīng)的部署和運維的門檻較高,所以市場出現(xiàn)了很多不同公司基于Hadoop再開發(fā)的產(chǎn)品。部署較多的有Cloudera公司的CDH、華為的MRS云服務(wù)、新華三的H3C DataEngine大數(shù)據(jù)平臺等發(fā)行版本。

        1.2 平臺設(shè)計原則

        IPv6集成了 IPsec協(xié)議,基于IPsec協(xié)議可實現(xiàn)IPv6網(wǎng)絡(luò)的加密通信,但請求注解(request for comments,RFC)規(guī)定默認(rèn)關(guān)閉IPsec協(xié)議,從而保證了IPv6網(wǎng)絡(luò)日志采集的數(shù)據(jù)為非加密數(shù)據(jù)。本文設(shè)計的數(shù)據(jù)中心IPv6網(wǎng)絡(luò)日志采集平臺主要是采集各類網(wǎng)絡(luò)設(shè)備、系統(tǒng)本身記錄存儲的IPv6網(wǎng)絡(luò)相關(guān)日志,并進行存儲、解析、查詢與分析。

        高校數(shù)據(jù)中心IPv6網(wǎng)絡(luò)日志包括防火墻日志、DNS日志、網(wǎng)站應(yīng)用級入侵防御系統(tǒng)(web application firewall,WAF)日志以及深度報文檢測(deep packet inspection,DPI)設(shè)備日志等多種數(shù)據(jù)源日志,數(shù)據(jù)量大,且不同廠商日志數(shù)據(jù)節(jié)點分散、格式不統(tǒng)一。從多源IPv6網(wǎng)絡(luò)日志的特征考慮,平臺設(shè)計需要滿足系統(tǒng)的可擴展性、兼容性以及高效性。

        平臺進行數(shù)據(jù)采集設(shè)計時,要擁有通用且集成接口,以確保可以兼容各類網(wǎng)絡(luò)以及安全設(shè)備,保障平臺未來發(fā)展的可擴展性。

        平臺進行數(shù)據(jù)解析設(shè)計時,應(yīng)著重考量具備不同的取值方式、兼容不同類型的數(shù)據(jù)源、過濾冗余數(shù)據(jù)、提取關(guān)鍵信息的能力。

        平臺進行數(shù)據(jù)分析設(shè)計時,由于多源IPv6網(wǎng)絡(luò)日志數(shù)據(jù)量大,產(chǎn)生的周期短,因此系統(tǒng)需要具備針對海量數(shù)據(jù)的高速分析處理能力[6]。

        1.3 平臺整體架構(gòu)

        IPv6網(wǎng)絡(luò)日志采集平臺由數(shù)據(jù)采集平臺和數(shù)據(jù)分析平臺兩部分組成。數(shù)據(jù)采集平臺為數(shù)據(jù)處理部分,采用Cloudera商用Hadoop集群搭建[7];數(shù)據(jù)分析平臺為應(yīng)用部分,利用B/S架構(gòu)進行設(shè)計開發(fā),采取可編輯式的可視化界面實現(xiàn)數(shù)據(jù)可視化展現(xiàn)及監(jiān)控。具體架構(gòu)如圖1所示。

        圖1 IPv6網(wǎng)絡(luò)日志采集平臺架構(gòu)

        1.4 平臺工作原理

        將數(shù)據(jù)中心核心交換機流量日志數(shù)據(jù)、DNS解析日志數(shù)據(jù)、防火墻流量日志數(shù)據(jù)的syslog通過用戶數(shù)據(jù)報協(xié)議(user datagram protocol, UDP)的方式發(fā)送到數(shù)據(jù)采集平臺的Flume組件,進行協(xié)議解析并將數(shù)據(jù)以副本的方式存儲到數(shù)據(jù)采集平臺的HDFS分布式文件系統(tǒng)上;WAF日志數(shù)據(jù)以及DPI設(shè)備數(shù)據(jù)庫所存儲關(guān)系型日志數(shù)據(jù),則是通過Sqoop組建進行數(shù)據(jù)導(dǎo)入,進入數(shù)據(jù)采集平臺的Hive中。工作原理如圖2所示。

        圖2 平臺工作原理

        所采集到的日志數(shù)據(jù),利用數(shù)據(jù)采集平臺進行數(shù)據(jù)的解析,并進行存儲。為了方便對數(shù)據(jù)采集平臺中日志的有效分析及利用,開發(fā)日志數(shù)據(jù)采集平臺的數(shù)據(jù)分析平臺功能。

        1.5 數(shù)據(jù)采集平臺

        數(shù)據(jù)采集平臺部署了Hadoop集群的Flume、Sqoop、HDFS、Hive、Spark等組件,如圖3所示,主要功能是采集、解析以及存儲IPv6網(wǎng)絡(luò)日志數(shù)據(jù)。

        圖3 CDH-Hadoop集群各組件運行情況

        1.5.1 數(shù)據(jù)采集

        1) 原始日志數(shù)據(jù)采集

        Flume組件是Cloudera提供的日志收集系統(tǒng),支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方,用于收集數(shù)據(jù),主要實時采集非關(guān)系型的原始日志數(shù)據(jù)。

        IPv6網(wǎng)絡(luò)日志采集平臺,原始日志數(shù)據(jù)采集部分就是通過Flume組件對IPv6 的DNS日志、防火墻的日志進行采集。圖4為Flume采集過程。

        圖4 Flume采集過程

        以下是采集過程中所涉及到的配置,業(yè)務(wù)信息已進行脫敏處理。

        ① 采集防火墻日志的Flume組件配置

        2) 關(guān)系數(shù)據(jù)庫日志數(shù)據(jù)采集

        Sqoop組件是一個數(shù)據(jù)傳輸工具,專為大數(shù)據(jù)批量傳輸設(shè)計, 主要用于分布式存儲系統(tǒng)與關(guān)系型數(shù)據(jù)庫間的數(shù)據(jù)傳遞[8],在數(shù)據(jù)源與Hadoop之間進行數(shù)據(jù)轉(zhuǎn)移時,可以保障數(shù)據(jù)處理的安全。

        由于學(xué)校的WAF以及DPI設(shè)備均是采用MySQL數(shù)據(jù)庫來存儲相關(guān)日志,因此數(shù)據(jù)采集平臺通過Sqoop組件對WAF日志數(shù)據(jù)、DPI日志數(shù)據(jù)進行采集,導(dǎo)入到Hadoop的 HDFS、HIVE 等數(shù)據(jù)存儲系統(tǒng)。圖5為Sqoop導(dǎo)入過程。

        圖5 Sqoop導(dǎo)入過程

        1.5.2 數(shù)據(jù)存儲

        HDFS分布式文件系統(tǒng)提供海量數(shù)據(jù)分布式存儲,由主節(jié)點和多個子節(jié)點組成,數(shù)據(jù)存儲具有高可靠性和完整性。HDFS基于移動計算的批處理技術(shù),數(shù)據(jù)的訪問采取一次寫入多次讀取的模式,保證數(shù)據(jù)的一致性和高吞吐率[5]。

        IPv6網(wǎng)絡(luò)日志采集平臺通過Flume組件所采集到的日志數(shù)據(jù)會直接存儲在HDFS分布式文件系統(tǒng)的不同目錄當(dāng)中,利用開發(fā)的數(shù)據(jù)分析平臺對HDFS目錄進行查詢分析,如圖6所示。

        圖 6 查看HDFS上存儲的原始日志格式

        1.5.3 數(shù)據(jù)倉庫

        Hive是Hadoop的數(shù)據(jù)倉庫工具, 將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表,使用HDFS作為存儲底層,Map Reduce作為執(zhí)行底層,并提供簡單的查詢功能[8]。

        數(shù)據(jù)采集平臺經(jīng)過模板對原始日志的處理加工后的數(shù)據(jù)最終會通過Hive進入數(shù)據(jù)倉庫,以滿足Spark SQL的計算需求,如圖7所示。

        圖7 查看經(jīng)過解析處理后的日志格式

        1.6 數(shù)據(jù)分析平臺

        數(shù)據(jù)分析平臺采用B/S架構(gòu)設(shè)計,業(yè)務(wù)層采用Python Django框架開發(fā),平臺存儲采用MySQL數(shù)據(jù)庫,表現(xiàn)層使用包括jQuery、Bootstrap、 ECharts等前端技術(shù)實現(xiàn)交互,底層通過Java開放的JAR與Hadoop的Spark相關(guān)組件進行調(diào)度。Spark是基于Map Reduce實現(xiàn)的分布式計算框架,將任務(wù)的中間輸出及結(jié)果保存在內(nèi)存中, 能更好地適用于數(shù)據(jù)挖掘與機器學(xué)習(xí)等需要迭代的環(huán)境[8]。

        數(shù)據(jù)分析平臺總體功能劃分為數(shù)據(jù)解析功能、數(shù)據(jù)查詢功能以及數(shù)據(jù)分析功能。部署環(huán)境在Linux操作系統(tǒng)(Ubuntu 14.0.4+)Docker模式下一鍵式安裝和管理。

        1.6.1 數(shù)據(jù)解析

        數(shù)據(jù)解析功能主要是采用圖形化界面的操作方式,通過調(diào)用已建立的Spark離線任務(wù)、Spark Streaming流式任務(wù)將采集防火墻、DNS的IPv6非結(jié)構(gòu)化網(wǎng)絡(luò)日志數(shù)據(jù)解析為結(jié)構(gòu)化數(shù)據(jù),存儲到Hive數(shù)據(jù)庫中,如圖8所示。

        圖8 日志解析模塊

        1.6.2 數(shù)據(jù)查詢

        1) 防火墻IPv6流量訪問明細(xì)查詢

        可以實時查詢并展示防火墻中保存的IPv6訪問數(shù)據(jù),包括源地址、目的地址和目的端口,對熱點業(yè)務(wù)進行分析,如圖9所示。

        2) WAF IPv6流量過濾明細(xì)查詢

        可以實時查詢并展示W(wǎng)AF中保存的IPv6攻擊數(shù)據(jù),包括源地址與端口、目的地址與端口,對攻擊進行分析溯源。如圖10所示。

        1.6.3 數(shù)據(jù)分析

        采用圖形化界面操作,通過調(diào)用Spark SQL對異構(gòu)數(shù)據(jù)源(Hive、MySQL)進行數(shù)據(jù)抽取轉(zhuǎn)換、處理以及分析計算,并將最終結(jié)果輸出到結(jié)構(gòu)化數(shù)據(jù)庫Hive中,如圖11所示。另外表1為經(jīng)過計算后的樣例數(shù)據(jù)。

        圖9 防火墻IPv6流量訪問明細(xì)查詢

        圖10 WAF IPv6流量訪問明細(xì)查詢

        圖11 通過Spark SQL的技術(shù)結(jié)果預(yù)覽

        表1 經(jīng)過計算后的主要數(shù)據(jù)樣例

        2 可視化監(jiān)控分析

        對IPv6網(wǎng)絡(luò)流量日志解析獲取時間、協(xié)議、應(yīng)用、源地址及端口號和目的地址及端口號等相關(guān)數(shù)據(jù),并進行聯(lián)合數(shù)據(jù)分析。通過分析結(jié)果的可視化展示,可以效率化分析研判網(wǎng)絡(luò)安全威脅[9],使高校數(shù)據(jù)中心運維人員通過更直觀地發(fā)現(xiàn)IPv6流量傳輸?shù)囊?guī)律、分析某段時間內(nèi)網(wǎng)絡(luò)的負(fù)載情況、觀察上網(wǎng)用戶的行為趨勢、發(fā)現(xiàn)網(wǎng)絡(luò)中的異常甚至防范網(wǎng)絡(luò)攻擊等。從而方便運維人員對IPv6網(wǎng)絡(luò)的管理和運維[10]。

        本文結(jié)合數(shù)據(jù)可視化監(jiān)控需求和數(shù)據(jù)變化影響關(guān)系,利用JAVA開發(fā)語言中的可視化展現(xiàn)插件,與日志分析平臺進行融合,開發(fā)設(shè)計可視化監(jiān)控分析功能,形成具有編輯能力的數(shù)據(jù)展示監(jiān)控平臺。

        具體功能如下:

        1) 高校數(shù)據(jù)中心24 h內(nèi)IPv6源地址訪問分析

        可以展示訪問數(shù)據(jù)中心的來源地址數(shù)據(jù),統(tǒng)計IPv6地址來源詳情,如圖12。

        圖12 數(shù)據(jù)中心24 h內(nèi)IPv6源地址訪問分析

        2) 高校數(shù)據(jù)中心24 h內(nèi)IPv6 目的地址訪問分析

        可以展示數(shù)據(jù)中心內(nèi)部地址被訪問詳情,統(tǒng)計內(nèi)部IPv6業(yè)務(wù)訪問情況,如圖13。

        圖 13 數(shù)據(jù)中心24 h內(nèi)IPv6目的地址訪問分析

        3)高校數(shù)據(jù)中心24 h內(nèi)IPv6端口訪問分析可以展示數(shù)據(jù)中心內(nèi)部端口被訪問詳情,統(tǒng)計未知端口被掃描和攻擊情況,如圖14。

        圖14 數(shù)據(jù)中心24 h內(nèi)IPv6端口訪問分析

        4)高校數(shù)據(jù)中心24 h內(nèi)IPv6 地址攻擊詳情可以展示數(shù)據(jù)中心內(nèi)部地址被攻擊詳情,及時對攻擊主機進行加固和安全防護,如圖15。

        圖15 數(shù)據(jù)中心24 h內(nèi)IPv6 地址攻擊詳情

        5)高校數(shù)據(jù)中心24 h內(nèi)IPv6源地址攻擊詳情可以展示IPv6地址攻擊數(shù)據(jù)中心內(nèi)部詳情,對攻擊來源進行溯源和封堵,如圖16。

        圖 16 數(shù)據(jù)中心24 h內(nèi)IPv6 源地址攻擊詳情

        3 結(jié)論

        隨著IPv6協(xié)議不斷完善和國內(nèi)外對IPv6網(wǎng)絡(luò)及應(yīng)用的加快推進和部署,對于走在科技前沿的高等院校來說,將迎來IPv6網(wǎng)絡(luò)及應(yīng)用的快速建設(shè)和全面實施。由于當(dāng)下主流的網(wǎng)絡(luò)與安全的軟硬件設(shè)備都對IPv6協(xié)議有較好支持,設(shè)計實現(xiàn)的數(shù)據(jù)中心IPv6網(wǎng)絡(luò)日志采集平臺,能夠?qū)崟r統(tǒng)一采集存儲各類軟硬件IPv6日志信息,快速高效查詢分析日志信息,既減輕高校數(shù)據(jù)中心IPv6網(wǎng)絡(luò)管理運維的工作體量與復(fù)雜度,又可通過對日志數(shù)據(jù)的關(guān)聯(lián)分析,為IPv6網(wǎng)絡(luò)攻擊的檢測預(yù)警工作提供依據(jù)。未來可采集更多類型的數(shù)據(jù)中心網(wǎng)絡(luò)及應(yīng)用的IPv6日志,繼續(xù)對日志數(shù)據(jù)進行深度挖掘與分析,為高校數(shù)據(jù)中心IPv6網(wǎng)絡(luò)的管理運維和安全監(jiān)測提供全面詳細(xì)的數(shù)據(jù)支撐。

        猜你喜歡
        可視化分析
        自然資源可視化決策系統(tǒng)
        北京測繪(2022年6期)2022-08-01 09:19:06
        思維可視化
        師道·教研(2022年1期)2022-03-12 05:46:47
        基于Power BI的油田注水運行動態(tài)分析與可視化展示
        云南化工(2021年8期)2021-12-21 06:37:54
        自然資源可視化決策系統(tǒng)
        北京測繪(2021年7期)2021-07-28 07:01:18
        隱蔽失效適航要求符合性驗證分析
        基于CGAL和OpenGL的海底地形三維可視化
        “融評”:黨媒評論的可視化創(chuàng)新
        傳媒評論(2019年4期)2019-07-13 05:49:14
        電力系統(tǒng)不平衡分析
        電子制作(2018年18期)2018-11-14 01:48:24
        電力系統(tǒng)及其自動化發(fā)展趨勢分析
        中西醫(yī)結(jié)合治療抑郁癥100例分析
        国产av天堂一区二区二区| 成年视频国产免费观看| 中文字幕巨乱亚洲| 蜜桃av一区二区三区| 久久精品韩国日本国产| 日本a级片一区二区三区| 久久久亚洲av波多野结衣| 成全高清在线播放电视剧| 亚洲一区二区婷婷久久| 亚洲中文字幕国产剧情| 亚洲中国精品精华液| 国产精品白丝喷水在线观看| 国产亚洲精品自在久久77| 久久久诱惑一区二区三区| 风流少妇一区二区三区91| 久久精品99国产精品日本| 国产午夜亚洲精品午夜鲁丝片| 亚洲一区二区三区偷拍女厕| 成黄色片视频日本秘书丝袜| 国语自产啪在线观看对白| 成人午夜高潮a∨猛片| 人妻忍着娇喘被中进中出视频| 亚洲中文字幕乱码免费| 国产丝袜一区丝袜高跟美腿| 欧美又粗又长又爽做受| 青青草国产成人99久久| 国产三级国产精品国产专区| 在线免费观看黄色国产强暴av| 污污内射在线观看一区二区少妇 | 国产亚洲亚洲精品777| 国产一区二区三区蜜桃av| 国产精品蝌蚪九色av综合网| 久久夜色精品国产噜噜av| 色婷婷狠狠97成为人免费| 美腿丝袜在线观看视频| 麻豆╳╳╳乱女另类| 一区二区三区日韩亚洲中文视频| 开心激情网,开心五月天| 精品无码一区二区三区爱欲| 青青青国产精品一区二区| 国产成人福利av一区二区三区|