刁其龍
【摘? 要】網(wǎng)絡(luò)安全分析對數(shù)據(jù)信息的存儲、傳輸數(shù)據(jù)等工作的安全性、可靠性、高效性會產(chǎn)生嚴(yán)重影響,因此在實際的數(shù)據(jù)處理工作中,網(wǎng)絡(luò)安全分析工作必須要做到最好。本文主要闡述了如何將大數(shù)據(jù)技術(shù)合理有效地運用到網(wǎng)絡(luò)安全分析工作中,希望能夠在網(wǎng)絡(luò)安全分析工作中發(fā)揮一點作用,同時希望與業(yè)界內(nèi)的研究者展開交流。
【關(guān)鍵詞】網(wǎng)絡(luò)安全;大數(shù)據(jù);數(shù)據(jù)包;大數(shù)據(jù)壓縮
引言
隨著數(shù)字時代的來臨,網(wǎng)絡(luò)已經(jīng)滲透到社會生產(chǎn)生活的各個方面,在帶來巨大便利的同時,網(wǎng)絡(luò)安全也成為人們必須重視和面對的一個問題。在智慧校園網(wǎng)絡(luò)建設(shè)中,做好網(wǎng)絡(luò)安全分析工作至關(guān)重要,利用大數(shù)據(jù)技術(shù)可以為網(wǎng)絡(luò)安全分析提供全面、準(zhǔn)確的數(shù)據(jù)資料,對于構(gòu)建智慧校園網(wǎng)絡(luò)安全防護體系具有積極意義。
1大數(shù)據(jù)時代的特點
大數(shù)據(jù)時代,數(shù)據(jù)增長速度非??欤尸F(xiàn)爆炸式增長,其中任何微小,不起眼的數(shù)據(jù)都可能產(chǎn)生難以估量的價值。大數(shù)據(jù)的關(guān)鍵特點是“大”,已經(jīng)過去的MB和GB單位,提升到了TB、PB甚至是EB單位,對數(shù)據(jù)的存儲空間提出了更高的要求。在信息技術(shù)和網(wǎng)絡(luò)技術(shù)飛速發(fā)送在的背景下,各項數(shù)據(jù)的增長速度日益加快,網(wǎng)絡(luò)交互是數(shù)據(jù)形成的主要來源,這也是大數(shù)據(jù)形式多樣化的主要原因之一,大數(shù)據(jù)好涵蓋的類型包括:日志、圖片、視頻、音頻、文字等?,F(xiàn)代人的生活生產(chǎn)都離不開互聯(lián)網(wǎng),每人每天使用互聯(lián)網(wǎng),都會產(chǎn)生大量數(shù)據(jù),大數(shù)據(jù)技術(shù)能夠從海量數(shù)據(jù)中,挖掘出有價值大數(shù)據(jù),再利用人工智能進行深度分析,便能發(fā)現(xiàn)新的知識,從而更好地應(yīng)用在各行各業(yè),為提升社會經(jīng)濟發(fā)展速度,提高生產(chǎn)效率,推進科學(xué)研究提供基礎(chǔ)數(shù)據(jù)支撐。
2網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用
2.1數(shù)據(jù)集統(tǒng)計
DOS等網(wǎng)絡(luò)攻擊是網(wǎng)絡(luò)攻擊的常見形式,由于上述惡意行為,公開的反向分散數(shù)據(jù)可以用于CAIDA文件,這組數(shù)據(jù)來自2019年11月,即上述網(wǎng)絡(luò)攻擊發(fā)生的時間。UCSD捕獲這些通信文件,其中僅包括單向通信,例如傳入通信,這些數(shù)據(jù)集被CAIDA認(rèn)為包括最常見的DOS攻擊和掃描攻擊方式。所以這個通用的異常數(shù)據(jù)是不同的。該數(shù)據(jù)集的大小為105.96,共有1548726487個數(shù)據(jù)包,其中90%屬于TCP協(xié)議,10%屬于IC‐MP協(xié)議,1548726407個端口,80個頂級端口。
2.2網(wǎng)絡(luò)安全防范機制
在網(wǎng)絡(luò)安全分析工作中,需要利用大數(shù)據(jù)技術(shù)做好數(shù)據(jù)管理,充分發(fā)揮DNS記錄等數(shù)據(jù)信息的作用,找到數(shù)據(jù)之間的關(guān)聯(lián)性,準(zhǔn)確定位病毒等安全問題出現(xiàn)的主機位置,通過系統(tǒng)化分析完善安全防護工作。以防范DDoS攻擊為例,利用大數(shù)據(jù)技術(shù)搜集相關(guān)信息進行針對性分析,獲得攻擊源相關(guān)位置信息,通過查詢獲得準(zhǔn)確的攻擊信息,對得到的信息進行安全處理和分析,以攻擊對象路由器為起點開展訪問,完成對所有相關(guān)節(jié)點的訪問分析。針對主機入侵的檢測,可以利用大數(shù)據(jù)技術(shù)挖掘歷史數(shù)據(jù)信息,識別攻擊源的相關(guān)信息,查詢?nèi)罩緮?shù)據(jù)庫中信息,與惡意URL庫進行比對,確認(rèn)被入侵主機是否為新的攻擊源。
2.3數(shù)據(jù)檢索與分析
數(shù)據(jù)的檢索是在數(shù)據(jù)分類存儲的基礎(chǔ)上進行的,通過對收集存儲的信息進行分析,進而加工整合,從而使得使用者通過查找關(guān)鍵詞的方式即可查詢到所需數(shù)據(jù)信息。數(shù)據(jù)信息的分析是指對于收集存儲信息的梳理和預(yù)判,可以分為對實時數(shù)據(jù)的分析和歷史數(shù)據(jù)的分析。結(jié)合到網(wǎng)絡(luò)安全問題,對于實時數(shù)據(jù)的分析可以分辨出當(dāng)下傳播的信息是否屬于或可能成為網(wǎng)絡(luò)安全問題。對于歷史數(shù)據(jù)的分析,多采用分布式存儲與計算的方式,對于歷史數(shù)據(jù)進行深入分析,從而對當(dāng)下或者即將要收集到的信息產(chǎn)生判斷的功能,實施網(wǎng)絡(luò)安全管控。
2.4構(gòu)建基于大數(shù)據(jù)分析技術(shù)的網(wǎng)絡(luò)安全平臺
在了解各網(wǎng)絡(luò)安全設(shè)備并構(gòu)建了網(wǎng)絡(luò)安全防護系統(tǒng)的基礎(chǔ)上,還需要基于大數(shù)據(jù)分析技術(shù)搭建其網(wǎng)絡(luò)安全平臺。構(gòu)建網(wǎng)絡(luò)安全平臺的分為數(shù)據(jù)收集層與數(shù)據(jù)處理層。數(shù)據(jù)收集層又分為數(shù)據(jù)信息的分析層與大數(shù)據(jù)技術(shù)信息存儲層,而數(shù)據(jù)處理層又分為數(shù)據(jù)挖掘?qū)?、分析層以及展示層。在這些層面內(nèi)能夠?qū)λ玫接脩舾魇礁鳂拥臄?shù)據(jù)信息展開逐一分類,以方便對這海量數(shù)據(jù)的量化存儲。至于展示層就是通過大數(shù)據(jù)分析技術(shù)對數(shù)據(jù)進行特定的檢索,并將其可視化,最后將安全規(guī)范數(shù)據(jù)多維度的空間模型來呈現(xiàn)網(wǎng)絡(luò)的安全性。基于大數(shù)據(jù)分析技術(shù)網(wǎng)絡(luò)安全平臺的構(gòu)建在運行期間通常會采用Hive的方式來統(tǒng)計和分析所得到的海量數(shù)據(jù),通過分析、檢索得到的數(shù)據(jù)可存儲在HDFS內(nèi)。對于數(shù)據(jù)挖掘?qū)佣?,可采取基于Hadoop技術(shù)的機械化數(shù)據(jù)挖掘技術(shù)(對于海量的靜態(tài)數(shù)據(jù)而言,Hadoop技術(shù)對數(shù)據(jù)的處理速度要遠(yuǎn)遠(yuǎn)大于Spack技術(shù)),對于海量數(shù)據(jù)進行深度挖掘與整理,并且能夠按照數(shù)據(jù)分析所引用的事件流來進行特殊化分析工作。在最后可以采用CPE技術(shù)來對平臺內(nèi)的不同類型、不同時間的數(shù)據(jù)加以分析,并且能夠較好幫助建設(shè)關(guān)系庫,從而更好實現(xiàn)平臺對數(shù)據(jù)處理的整體性,以保障網(wǎng)絡(luò)環(huán)境的安全與防范。
2.5加大IPv4/IPv6網(wǎng)絡(luò)數(shù)據(jù)包情報分析技術(shù)的應(yīng)用力度
IPv4/IPv6網(wǎng)絡(luò)數(shù)據(jù)包情報分析技術(shù)可以從大量數(shù)據(jù)流中快速篩選指定特征的數(shù)據(jù)包,再通過PPM概率預(yù)測算法或者模式匹配算法,就可以快速提取出數(shù)據(jù)中存在的安全隱患,再利用GPU硬件對數(shù)據(jù)進行處理,此種技術(shù)能夠有效防范“棱鏡門”窺探。計算機在運行過程中,數(shù)據(jù)在交換過程中,都是按照一定格式和規(guī)則運行,這些規(guī)格、標(biāo)準(zhǔn)就是網(wǎng)絡(luò)協(xié)議。計算機網(wǎng)絡(luò)通常分為若干個層次,不同層次有其獨特運行協(xié)議,為保證促使不同體系的計算機網(wǎng)絡(luò)能夠?qū)崿F(xiàn)跨平臺互聯(lián),國際標(biāo)準(zhǔn)化組成提出了OSI模型,有網(wǎng)絡(luò)分為7個層次,從上而下,分別是應(yīng)用層、表示層、會話層、運輸層、網(wǎng)絡(luò)層、設(shè)計鏈路層、物理層。IPv4/IPv6網(wǎng)絡(luò)數(shù)據(jù)包情報分析主要在TCP/IP模型中實現(xiàn),在組裝數(shù)據(jù)包時,按照從上到下的順序,對每層協(xié)議進行封裝處理,加上相應(yīng)的協(xié)議首部。在解析數(shù)據(jù)包時,按照從下到上的順序,將數(shù)據(jù)包中的各層協(xié)議一次剝離,協(xié)議首部可以采取固定的長度,也可以包含一個協(xié)議長度的字段,用以表示目前協(xié)議的長度。同時在根據(jù)協(xié)議長度就可以確定目前各層協(xié)議的結(jié)束為止和上一層協(xié)議的開始位置。IPv4/IPv6網(wǎng)絡(luò)數(shù)據(jù)包情報分析技術(shù)在網(wǎng)絡(luò)安全分析中應(yīng)用時,在首部通常還會包含一個協(xié)議類型字段,用以標(biāo)識上一層協(xié)議的使用類型,再通過分析目前首部長度和上層協(xié)議的種類,就可以實現(xiàn)下層到上層依次解析各層協(xié)議首部。
結(jié)語
大數(shù)據(jù)技術(shù)的應(yīng)用逐漸深入到網(wǎng)絡(luò)空間安全項目研究進程之中,改善了傳統(tǒng)網(wǎng)絡(luò)安全漏洞檢測方法存在的缺點,針對漏洞行為分析進行了改進,并通過實驗驗證結(jié)果可知,該技術(shù)有效提高了漏洞檢出效率。盡管大數(shù)據(jù)技術(shù)在信息安全檢測中的應(yīng)用前景很好,但是要實現(xiàn)大數(shù)據(jù)的真正潛力,還需要解決一些實際問題。對于異常檢測,增加多個數(shù)據(jù)源來協(xié)調(diào)異常的發(fā)現(xiàn)。借助已構(gòu)建的基于大數(shù)據(jù)分析Hadoop檢測框架,未來異常檢測算法的設(shè)計應(yīng)考慮融合大多數(shù)數(shù)據(jù)源。盡管海量數(shù)據(jù)極大地改變了網(wǎng)絡(luò)檢測安全技術(shù),但由于海量數(shù)據(jù)并非萬能,因此安全研究人員必須不斷探索新穎攻擊模式,以此為基礎(chǔ),繼續(xù)優(yōu)化網(wǎng)絡(luò)安全分析技術(shù)。
參考文獻:
[1]馮貴蘭,李正楠,周文剛.大數(shù)據(jù)分析技術(shù)在網(wǎng)絡(luò)領(lǐng)域中的研究綜述[J].計算機科學(xué),2019,46(6):1-20.
[2]張蕾,崔勇,劉靜,等.機器學(xué)習(xí)在網(wǎng)絡(luò)空間安全研究中的應(yīng)用[J].計算機學(xué)報,2018,33(9):1943-1975.
(作者身份證號碼:371402198806021915)