亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于IPv6的網(wǎng)絡(luò)日志分析系統(tǒng)研究*

        2022-07-29 14:12:24
        計(jì)算機(jī)時(shí)代 2022年7期
        關(guān)鍵詞:訪問(wèn)者日志可視化

        王 爽

        (西安體育學(xué)院網(wǎng)絡(luò)管理中心,陜西 西安 710068)

        0 引言

        隨著大數(shù)據(jù)技術(shù)發(fā)展、高速互聯(lián)網(wǎng)的興起,大規(guī)模軟件運(yùn)行日志收集及維護(hù)系統(tǒng)得到快速的發(fā)展,隨之產(chǎn)生了越來(lái)越多的日志數(shù)據(jù)。一些國(guó)際頂級(jí)期刊已經(jīng)設(shè)立了??瘉?lái)研究如何有效地組織和使用海量的日志數(shù)據(jù)來(lái)推動(dòng)人類(lèi)的科學(xué)技術(shù)進(jìn)步和社會(huì)的發(fā)展。記錄了軟件系統(tǒng)、硬件設(shè)備和用戶行為的日志文件,在監(jiān)控網(wǎng)絡(luò)情況、檢查硬件故障、保護(hù)軟件安全等方面起著重要的作用。加強(qiáng)對(duì)網(wǎng)絡(luò)日志的管理和分析是強(qiáng)化網(wǎng)絡(luò)管理、維護(hù)網(wǎng)絡(luò)安全的一個(gè)重要途徑。通過(guò)分析日志數(shù)據(jù),可以獲取關(guān)于設(shè)備故障、網(wǎng)絡(luò)運(yùn)行歷史背景、網(wǎng)絡(luò)異常行為等信息,從而有助于網(wǎng)絡(luò)安全管理人員及時(shí)發(fā)現(xiàn)和解決網(wǎng)絡(luò)故障或阻斷網(wǎng)絡(luò)攻擊,保證網(wǎng)絡(luò)的健康穩(wěn)定運(yùn)行。提供針對(duì)日志內(nèi)容的分析和查詢能力,可以給軟件運(yùn)維帶來(lái)便利,也可以基于日志中獲得更深的業(yè)務(wù)價(jià)值。

        下一代互聯(lián)網(wǎng)技術(shù)IPv6 協(xié)議的不斷成熟及推廣,支持IPv6 訪問(wèn)的應(yīng)用逐漸成為了主流,IPv6 網(wǎng)絡(luò)面臨的安全風(fēng)險(xiǎn)與攻擊威脅成為網(wǎng)絡(luò)發(fā)展亟待解決的問(wèn)題。本文利用NoSQL非關(guān)系型數(shù)據(jù)庫(kù)設(shè)計(jì)并實(shí)現(xiàn)一種基于MongoDB 的IPv6 網(wǎng)絡(luò)安全日志分析系統(tǒng)。NoSQL 數(shù)據(jù)庫(kù)是一種新型模式,不僅能夠快速存儲(chǔ)數(shù)據(jù),也可以快速查詢數(shù)據(jù),除此之外,NoSQL 數(shù)據(jù)庫(kù)的容錯(cuò)性很高,靈活的分布方式更適合存儲(chǔ)海量數(shù)據(jù),NoSQL 數(shù)據(jù)庫(kù)有MongoDB、Hdase、Redis 等,其中MongoDB由于具有數(shù)據(jù)模型豐富、存取性能優(yōu)異、支持豐富查詢表達(dá)式、數(shù)據(jù)維護(hù)工作量小等諸多優(yōu)勢(shì)。因非常適用于分析和管理日志。

        網(wǎng)絡(luò)日志通常具有大規(guī)模、高維、非結(jié)構(gòu)化、非數(shù)值化、非拓?fù)涞忍攸c(diǎn)。本文根據(jù)網(wǎng)絡(luò)日志的應(yīng)用特點(diǎn),提出了日志數(shù)據(jù)NoSQL緩存及處理機(jī)制。并依其為基礎(chǔ),設(shè)計(jì)構(gòu)建了基于NoSQL的在線網(wǎng)絡(luò)日志分析系統(tǒng)。在新系統(tǒng)中,日志通過(guò)MongoDB 數(shù)據(jù)庫(kù)作為日志接收緩存層,從而應(yīng)對(duì)突然到達(dá)的海量日志造成緩沖溢出。日志通過(guò)分析處理后,將可視化數(shù)據(jù)存儲(chǔ)在NoSQL 中,可提供訪問(wèn)者行為分析、運(yùn)營(yíng)相關(guān)指標(biāo)統(tǒng)計(jì)和分析結(jié)果可視化報(bào)表。

        1 系統(tǒng)功能需求分析

        本系統(tǒng)包含六個(gè)功能:安全監(jiān)測(cè)預(yù)警、流量趨勢(shì)分析、訪問(wèn)者行為分析、日志檢索、設(shè)備管理、日志存儲(chǔ)管理。

        主要進(jìn)行異常信息的實(shí)時(shí)監(jiān)測(cè),并產(chǎn)生預(yù)警信息。功能包含URL 訪問(wèn)異常、設(shè)備登錄異常、反病毒分析、預(yù)警規(guī)則管理等。

        通過(guò)相關(guān)指標(biāo)進(jìn)行網(wǎng)絡(luò)流量趨勢(shì)分析,包括URL訪問(wèn)量、IP 流量、設(shè)備接口流量、應(yīng)用程序流量、防火墻規(guī)則流量等指標(biāo),各指標(biāo)最終以圖表方式展示。圖表主要內(nèi)容包括IP Top 10、規(guī)則Top10、接口Top10、IP 名聲、應(yīng)用程序Top10、URL Top 50、IP 源/目標(biāo)地理分布圖等。

        通過(guò)分析網(wǎng)絡(luò)中訪問(wèn)者的日志,可確定訪問(wèn)者在網(wǎng)絡(luò)中的活動(dòng)軌跡,即達(dá)到分析“誰(shuí),在什么時(shí)間,使用什么設(shè)備,做了什么”的目的。主要包含訪問(wèn)者的某時(shí)間范圍內(nèi)使用的IP、使用的設(shè)備名稱和MAC、具體的應(yīng)用程序、訪問(wèn)了哪些網(wǎng)絡(luò)資源,并產(chǎn)生了多少流量。

        通過(guò)日志檢索功能,可以確定網(wǎng)絡(luò)安全和設(shè)備運(yùn)行問(wèn)題,進(jìn)而加強(qiáng)網(wǎng)絡(luò)安全和網(wǎng)絡(luò)管理。

        通過(guò)配置日志源設(shè)備,來(lái)管理有效日志源,避免無(wú)效日志數(shù)據(jù)進(jìn)入系統(tǒng),造成系統(tǒng)負(fù)擔(dān)。

        管理日志存儲(chǔ)配置信息,可指定日志存儲(chǔ)時(shí)效、磁盤(pán)空間限額等。

        2 系統(tǒng)模塊設(shè)計(jì)

        本系統(tǒng)在結(jié)構(gòu)上分為五個(gè)大模塊:分別為日志采集、日志預(yù)處理、日志存儲(chǔ)、日志分析、日志分析結(jié)果可視化。

        2.1 日志采集模塊

        日志采集模塊將采集符合SysLog RFC3164 和RFC5424 兩種協(xié)議的日志。采集到的日志分別發(fā)送兩次,一次發(fā)送到日志預(yù)處理模塊進(jìn)行處理后存儲(chǔ)于MongoDB,如果日志級(jí)別為Error,則再次發(fā)送到日志實(shí)時(shí)分析模塊,為系統(tǒng)實(shí)時(shí)預(yù)警機(jī)制提供數(shù)據(jù)。支持現(xiàn)有系統(tǒng)的多種數(shù)據(jù)源,包括文件、系統(tǒng)事件等。

        系統(tǒng)基于Java 語(yǔ)言開(kāi)發(fā),用于接收網(wǎng)絡(luò)安全設(shè)備通過(guò)UDP 協(xié)議輸出的標(biāo)準(zhǔn)syslog 日志。要基于IPv6實(shí)現(xiàn)UDP通訊我們需要做到以下兩個(gè)方面。

        Java 從1.4 版開(kāi)始支持Linux 和Solaris 平臺(tái)上的IPv6,1.5 版起又加入了Windows 平臺(tái)上的支持,在Java 語(yǔ)言中對(duì)于InetAddress 提供了兩個(gè)擴(kuò)展類(lèi):Inet4Address和Inet6Address,其中封裝了對(duì)于IPv4和IPv6的特殊屬性和行為,方便我們處理不同的IP協(xié)議。

        Java 網(wǎng)絡(luò)棧會(huì)優(yōu)先檢查底層系統(tǒng)是否支持IPv6,及采用的何種IP 棧系統(tǒng)。如果是雙棧系統(tǒng),那它直接創(chuàng)建一個(gè)IPv6套接字如圖1所示,對(duì)于分隔棧系統(tǒng),Java則創(chuàng)建IPv4/v6兩個(gè)套接字(分隔棧結(jié)構(gòu))如圖2所示。

        圖1 雙棧結(jié)構(gòu)

        圖2 分隔棧結(jié)構(gòu)

        在系統(tǒng)中,使用的是UDP 協(xié)議,所以兩個(gè)套接字都會(huì)保留來(lái)完成通訊。

        在IPv4/IPv6雙環(huán)境中,對(duì)于使用Java開(kāi)發(fā)的網(wǎng)絡(luò)應(yīng)用,比較值得注意的是以下兩個(gè)IPv6 相關(guān)的Java虛擬機(jī)系統(tǒng)屬性:

        程序中設(shè)置代碼如下:

        preferIPv4Stack(默認(rèn)false)表示如果存在IPv4 和IPv6 雙棧,Java 程序是否優(yōu)先使用IPv4 套接字。默認(rèn)值是優(yōu)先使用IPv6套接字,因?yàn)镮Pv6套接字可以與對(duì)應(yīng)的IPv4 或IPv6 主機(jī)進(jìn)行對(duì)話。相反如果優(yōu)先使用IPv4,則不能只與IPv6主機(jī)進(jìn)行通信。

        preferIPv6Addresses(默認(rèn)false)表示在查詢本地或遠(yuǎn)端IP 地址時(shí),如果存在IPv4 和IPv6 雙地址,Java程序是否優(yōu)先返回IPv6 地址。Java 默認(rèn)返回IPv4地址主要是為了向后兼容,以支持舊有的IPv4 驗(yàn)證邏輯,以及舊有的僅支持IPv4地址的服務(wù)。

        2.2 日志預(yù)處理模塊

        日志預(yù)處理作為系統(tǒng)的一個(gè)重要模塊,是日志分析的基礎(chǔ)。本系統(tǒng)將源日志處理后直接存入MongoDB,為了加快對(duì)數(shù)據(jù)的寫(xiě)入,每個(gè)Document 下子Document 數(shù)據(jù)設(shè)置為2000,每200 個(gè)Document 寫(xiě)入一次。每條日志按內(nèi)容結(jié)構(gòu)進(jìn)行切分為五個(gè)部分:設(shè)備、ip、級(jí)別、時(shí)間、消息主體。

        2.3 日志存儲(chǔ)模塊

        對(duì)存儲(chǔ)模塊的設(shè)計(jì)采用MongoDB與NoSQL的組合方式,其中MongoDB 負(fù)責(zé)緩沖存儲(chǔ)采集的所有日志,NoSQL 負(fù)責(zé)存儲(chǔ)從MongoDB 中導(dǎo)出的日志數(shù)據(jù),從而為日志分析奠定基礎(chǔ)。

        2.4 日志分析模塊

        系統(tǒng)采集了大量網(wǎng)絡(luò)設(shè)備的日志,如:身份認(rèn)證、DHCP、DNS、流控等設(shè)備,系統(tǒng)依據(jù)這些設(shè)備日志,按業(yè)務(wù)規(guī)則對(duì)日志進(jìn)行分析,可以確定出訪問(wèn)者在網(wǎng)絡(luò)中的活動(dòng)軌跡,具體實(shí)現(xiàn)過(guò)程的描述如圖3所示。

        圖3 用戶行為軌跡分析

        2.5 日志分析結(jié)果可視化模塊

        對(duì)日志分析結(jié)果進(jìn)行再處理并可視化顯示,系統(tǒng)將日志分析處理后存儲(chǔ)在NoSQL 中,需要先將這些結(jié)果提取出來(lái),并分析轉(zhuǎn)換為相應(yīng)的可視化元素,如表格、圖、表等。例如:對(duì)目標(biāo)IP 位置進(jìn)行地圖展示如圖4所示。

        圖4 目標(biāo)IP位置地圖可視化展示

        2.6 系統(tǒng)部署架構(gòu)

        系統(tǒng)由一臺(tái)日志收集服務(wù)器、日志分析服務(wù)器、和日志存儲(chǔ)數(shù)據(jù)庫(kù)服務(wù)器構(gòu)成,其中日志分析服務(wù)器在整個(gè)架構(gòu)中居于中心地位。

        3 結(jié)束語(yǔ)

        本文完成了基于IPv6 的網(wǎng)絡(luò)日志分析系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn),系統(tǒng)結(jié)合Syslog 協(xié)議和MongoDB 數(shù)據(jù)庫(kù)技術(shù)實(shí)現(xiàn)了海量日志的收集和快速處理,同時(shí),實(shí)現(xiàn)了對(duì)訪問(wèn)者的行為軌跡分析。

        目前,本系統(tǒng)支持的網(wǎng)絡(luò)設(shè)備還不夠全面。此外,系統(tǒng)雖然具備一定的監(jiān)測(cè)預(yù)警能力,可以第一時(shí)間報(bào)警并告知管理人員,但是提供的安全監(jiān)測(cè)預(yù)警能力有限,在安全預(yù)警監(jiān)測(cè)方面仍有較大提升空間。

        猜你喜歡
        訪問(wèn)者日志可視化
        基于CiteSpace的足三里穴研究可視化分析
        基于Power BI的油田注水運(yùn)行動(dòng)態(tài)分析與可視化展示
        云南化工(2021年8期)2021-12-21 06:37:54
        一名老黨員的工作日志
        扶貧日志
        心聲歌刊(2020年4期)2020-09-07 06:37:14
        基于CGAL和OpenGL的海底地形三維可視化
        “融評(píng)”:黨媒評(píng)論的可視化創(chuàng)新
        游學(xué)日志
        人物專訪的技巧性分析
        采寫(xiě)編(2016年1期)2016-06-03 07:57:40
        “造訪”與“到訪”
        一種基于粗集和SVM的Web日志挖掘模型
        亚洲综合精品亚洲国产成人| 欧美中文字幕在线看| 青青草视频在线视频播放| 精品亚洲一区二区三洲| 手机看黄av免费网址| 性一乱一搞一交一伦一性| 免费国产h视频在线观看86| 亚洲中文字幕在线第六区| 波多野结衣av一区二区全免费观看 | 色爱区综合五月激情| 亚洲区精选网址| 狠狠色噜噜狠狠狠97影音先锋| 日本一区二区在线播放观看| 日本一区二区视频在线| 日产学生妹在线观看| 国产成年无码V片在线| 国产一区二区三区av香蕉| 日本熟女中文字幕在线| 人人爽久久涩噜噜噜av| 国产精品久久久久…| 久久精品国产亚洲av网在| 免费观看成人欧美www色| 无码精品a∨在线观看十八禁| 精品久久亚洲一级α| 国产熟女白浆精品视频二| 国产综合久久久久久鬼色| 国际无码精品| 中文字幕二区三区在线| 色偷偷激情日本亚洲一区二区| 国产精品va无码一区二区| 久久亚洲国产欧洲精品一| 国产乱子伦一区二区三区国色天香| 香港三日本三级少妇三级视频| 在线观看免费人成视频| 丁香婷婷激情俺也去俺来也| 97丨九色丨国产人妻熟女| 久久久久亚洲av无码专区导航| 国产高清黄色在线观看91| 日本人妻免费一区二区三区| 欧洲精品免费一区二区三区| 中文人妻AV高清一区二区|