黨會博

摘? ?要：當前網(wǎng)絡(luò)安全問題日益嚴峻，將大數(shù)據(jù)技術(shù)應(yīng)用在網(wǎng)絡(luò)安全事件自動分析與深度挖掘中，可以提高網(wǎng)絡(luò)安全事件的分析效率，文章主要分析了網(wǎng)絡(luò)安全事件中的大數(shù)據(jù)自動分析技術(shù)、深度挖掘的相關(guān)流程及注意事項，期望提升大數(shù)據(jù)技術(shù)對網(wǎng)絡(luò)安全與深度挖掘的支撐能力。

關(guān)鍵詞：大數(shù)據(jù)技術(shù);網(wǎng)絡(luò)安全;深度挖掘

隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，網(wǎng)絡(luò)安全事件的發(fā)生日益頻繁，已經(jīng)從個人蔓延到了金融、通信等多個領(lǐng)域，如2019年發(fā)生的澳大利亞維多利亞州政府3萬名雇員個人信息外泄事件、萬豪酒店5億客戶數(shù)據(jù)泄漏事件、10多款I(lǐng)OS應(yīng)用被發(fā)現(xiàn)與安全惡意軟件有染、德國數(shù)百名政客私人信息泄漏事件、安全傳輸層（Transport Layer Security，TLS）1.2協(xié)議現(xiàn)漏洞，印度國有天然氣公司泄露了數(shù)百萬客戶的敏感信息、俄羅斯50多家大型企業(yè)遭到未知攻擊者勒索等，造成了嚴重的不良后果，因此，應(yīng)該加強對網(wǎng)絡(luò)安全事件的研究，降低網(wǎng)絡(luò)安全事件的發(fā)生率。

當前的網(wǎng)絡(luò)安全事件具有趨利性、隱蔽性和廣泛性等，網(wǎng)絡(luò)安全問題正在成為一個大數(shù)據(jù)分析的問題，因此，應(yīng)該應(yīng)用大數(shù)據(jù)技術(shù)加強對網(wǎng)絡(luò)安全事件的分析和檢索，以快速、實時洞悉網(wǎng)絡(luò)安全事件的發(fā)生，及時做出響應(yīng)和判斷。

1? ? 網(wǎng)絡(luò)安全事件大數(shù)據(jù)自動分析技術(shù)

1.1? 大數(shù)據(jù)處理技術(shù)

在對網(wǎng)絡(luò)安全事件進行分析時，需要應(yīng)用大數(shù)據(jù)處理技術(shù)，對網(wǎng)絡(luò)安全數(shù)據(jù)進行批量計算和流式計算等，具體分析如下：（1）批量數(shù)據(jù)處理技術(shù)。批量數(shù)據(jù)處理技術(shù)的示意如圖1所示，計算之前先對數(shù)據(jù)進行存儲，之后進行存儲數(shù)據(jù)的集中計算，由于吞吐計算量大，通常應(yīng)用在網(wǎng)絡(luò)安全事件中的技術(shù)包括高級持續(xù)性威脅（Advanced Persistent Threat，APT）檢測、欺詐檢測、網(wǎng)絡(luò)安全日志分析、網(wǎng)絡(luò)全流量分析等，處理過程中應(yīng)用的典型的大數(shù)據(jù)處理架構(gòu)為Hadoop，Apache Spark。（2）流式數(shù)據(jù)處理技術(shù)。該技術(shù)是一種實時、高效的數(shù)據(jù)處理方法，可以在內(nèi)存中直接進行流式數(shù)據(jù)的實時計算，處理效率非常高，處理時間為數(shù)百毫秒到數(shù)秒。數(shù)據(jù)處理中應(yīng)用的典型架構(gòu)為Twitter的Storm，Storm適用于處理網(wǎng)絡(luò)會話流還原或流匯聚;Apache Spark中的Spark Streaming，具有一定的延時，實現(xiàn)數(shù)據(jù)的分批處理。（3）交互式數(shù)據(jù)查詢技術(shù)。在對網(wǎng)絡(luò)安全事件進行分析時，主要強調(diào)以人作為安全分析的主體和需求主體，而大數(shù)據(jù)交互查詢技術(shù)基于NoSQL類型的數(shù)據(jù)存儲構(gòu)建數(shù)據(jù)索引目錄進行交互式查詢，查詢時間為數(shù)十秒到數(shù)分鐘，處理靈活，為網(wǎng)絡(luò)安全分析提供了技術(shù)支撐，在網(wǎng)絡(luò)安全事件交互查詢處理中，應(yīng)用的典型系統(tǒng)為Google的Dremel系統(tǒng)、Apache Spark系統(tǒng)。

1.2? 大數(shù)據(jù)安全分析技術(shù)

大數(shù)據(jù)安全分析技術(shù)主要包括安全可視分析技術(shù)、安全事件關(guān)聯(lián)分析技術(shù)、用戶行為分析技術(shù)。安全可視分析技術(shù)當前為網(wǎng)絡(luò)安全研究的新興領(lǐng)域，該技術(shù)將網(wǎng)絡(luò)安全數(shù)據(jù)以圖像的形式表現(xiàn)出來，借助人的視覺能力幫助分析人員及時發(fā)現(xiàn)和感知網(wǎng)絡(luò)安全問題，分析過程中常用到大規(guī)模網(wǎng)絡(luò)處理與大規(guī)模圖形數(shù)據(jù)處理、多視圖協(xié)同分析技術(shù)等，但是該技術(shù)當前還不太成熟，應(yīng)用較多的架構(gòu)為基于Web的視覺分析應(yīng)用程序NVisAware和基于Spark的網(wǎng)絡(luò)安全態(tài)勢可視化工具NStreamAware。安全事件關(guān)聯(lián)分析技術(shù)需要實現(xiàn)不同網(wǎng)絡(luò)安全事件的關(guān)聯(lián)，找出這些事件之間的聯(lián)系，以便及時發(fā)現(xiàn)入侵者的行為。主要的安全事件關(guān)聯(lián)分析方法為網(wǎng)絡(luò)和主機關(guān)聯(lián)分析、攻擊步驟關(guān)聯(lián)分析、安全設(shè)備報警關(guān)聯(lián)分析、不同領(lǐng)域安全事件關(guān)聯(lián)分析等[1]。用戶行為分析技術(shù)是當前應(yīng)用的IT安全行業(yè)防止黑客攻擊的新技術(shù)，用戶在應(yīng)用網(wǎng)絡(luò)時會留下審計跟蹤記錄、網(wǎng)絡(luò)流量等，通過對這些用戶信息的收集和處理，可以得到用戶行為基準線，而應(yīng)用用戶行為分析技術(shù)可以更加準確地識別除了用戶以外的其他威脅網(wǎng)絡(luò)安全的實體，關(guān)注網(wǎng)絡(luò)流量異常和偏離正常操作的行為，用來保護計算機不受到內(nèi)部和外部等其他威脅，用戶行為分析過程中應(yīng)用的大數(shù)據(jù)技術(shù)為時序數(shù)據(jù)挖掘分析技術(shù)、聚類分析技術(shù)、關(guān)聯(lián)規(guī)則分析技術(shù)等。

2? ? 大數(shù)據(jù)對網(wǎng)絡(luò)安全事件的深度挖掘流程

網(wǎng)絡(luò)安全信息深度挖掘是對信息進行從屬關(guān)系、學(xué)科性質(zhì)及層次關(guān)系的組織，實現(xiàn)信息分類匯總的過程，數(shù)據(jù)對網(wǎng)絡(luò)安全事件的深度挖掘流程包括數(shù)據(jù)采集存儲、數(shù)據(jù)清洗處理、數(shù)據(jù)分析挖掘、數(shù)據(jù)交換共享等[2]。

2.1? 數(shù)據(jù)采集存儲

網(wǎng)絡(luò)安全事件的數(shù)據(jù)采集分析主要采用集中式采集和分布式采集兩種方法，數(shù)據(jù)采集是數(shù)據(jù)分析和處理的基礎(chǔ)，存儲時需要根據(jù)大數(shù)據(jù)平臺的相關(guān)要求將數(shù)據(jù)轉(zhuǎn)換成非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)存儲時在滿足存儲要求的同時需要從成本角度選擇適宜的存儲架構(gòu)，如采用基于“廉價PC服務(wù)器+大容量SATA硬盤”為主的分布式存儲架構(gòu)。

2.2? 數(shù)據(jù)處理

網(wǎng)絡(luò)安全數(shù)據(jù)采集之后，在進行大數(shù)據(jù)分析之前，還需要進行處理，包括網(wǎng)絡(luò)安全數(shù)據(jù)導(dǎo)入、歸納整理等。數(shù)據(jù)導(dǎo)入主要有人工錄入數(shù)據(jù)、網(wǎng)站上的靜態(tài)數(shù)據(jù)鏈接、動態(tài)數(shù)據(jù)鏈接等，數(shù)據(jù)的歸納整理采用萃取、轉(zhuǎn)置、加載（Extract-Transform-Load，ETL）工具，根據(jù)定義好的關(guān)聯(lián)規(guī)則將目標數(shù)據(jù)抽提到數(shù)據(jù)庫。

2.3? 數(shù)據(jù)深度挖掘

網(wǎng)絡(luò)安全事件的數(shù)據(jù)分析包括結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的處理，需要采用相關(guān)算法對數(shù)據(jù)深度挖掘分析，包括神經(jīng)網(wǎng)絡(luò)算法、聚類算法、Adam算法、基于內(nèi)容的協(xié)同過濾算法等，本文主要分析深度神經(jīng)網(wǎng)絡(luò)算法和基于內(nèi)容的協(xié)同過濾算法[3]。

2.3.1? 深度神經(jīng)網(wǎng)絡(luò)算法

深度神經(jīng)網(wǎng)絡(luò)算法的具體流程如下：首先，將網(wǎng)絡(luò)用戶的行為特征映射為高維空間，以此作為神經(jīng)網(wǎng)絡(luò)的輸入。其次，根據(jù)用戶的點擊行為記錄作為訓(xùn)練樣本對網(wǎng)絡(luò)模型參數(shù)進行訓(xùn)練，提取用戶信息，計算用戶與用戶正常行為的相關(guān)性，以此作為網(wǎng)絡(luò)異常行為的評分依據(jù)。

具體如下：假設(shè)x，y分別代表輸入向量和輸出向量，神經(jīng)網(wǎng)絡(luò)中的隱含層用hi代表，i=1，2，...，N-1，Wi代表神經(jīng)網(wǎng)絡(luò)中第i層的權(quán)重矩陣，bi表示第i層的偏置。則有以下公式：

其中，f（x）表示激活函數(shù)，在本文中用tanh作為隱藏層和輸出層的激活函數(shù)。其具體公式如下：

最后，計算用戶U和用戶正常行為數(shù)據(jù)集V的語義相關(guān)性大小R（U，V），計算公式如下：

其中，yU為經(jīng)過分析提取后的用戶信息，yV為經(jīng)過分析之后的用戶正常行為數(shù)據(jù)集的分布式向量，對二者進行相關(guān)性評分，并根據(jù)評分從大到小進行依次排列，發(fā)現(xiàn)異常行為反饋給網(wǎng)絡(luò)安全事件分析者。

2.3.2? 基于內(nèi)容的協(xié)同過濾算法

基于內(nèi)容的協(xié)同過濾算法可以根據(jù)用戶行為庫，確定與用戶的行為差異較大的客戶端，及時鎖定異常行為，采用基于內(nèi)容的協(xié)同過濾算法，必須為每位用戶建立行為相似度矩陣。

3? ? 網(wǎng)絡(luò)安全事件自動分析與深度挖掘的注意事項

大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全事件自動分析與深度挖掘中的應(yīng)用，還需要注意相關(guān)的問題，如建立網(wǎng)絡(luò)安全事件的數(shù)據(jù)資源體系、應(yīng)用保密技術(shù)等，具體論述如下：（1）實時更新以大數(shù)據(jù)技術(shù)為核心的數(shù)據(jù)資源體系，為網(wǎng)絡(luò)事件的安全分析提供數(shù)據(jù)基礎(chǔ)，不斷擴大網(wǎng)絡(luò)安全事件數(shù)據(jù)分析的數(shù)據(jù)總量，完善數(shù)據(jù)分類，加強不同類型的網(wǎng)絡(luò)安全數(shù)據(jù)的收集。（2）建立構(gòu)建以人為本的用戶關(guān)系管理，使得網(wǎng)絡(luò)安全相關(guān)數(shù)據(jù)內(nèi)在關(guān)聯(lián)得以深度挖掘。利用大數(shù)據(jù)技術(shù)可以實時掌握用戶的日常行為數(shù)據(jù)，并且挖掘這些數(shù)據(jù)的內(nèi)在深度關(guān)聯(lián)，實現(xiàn)用戶的興趣、習(xí)慣等分析，產(chǎn)生用戶動態(tài)鏈接列表，便于及時發(fā)現(xiàn)異常行為。（3）在應(yīng)用大數(shù)據(jù)進行網(wǎng)絡(luò)事件分析時注重保護數(shù)據(jù)隱私安全，使用保護數(shù)據(jù)隱私的數(shù)據(jù)挖掘方法。（4）不斷應(yīng)用新的“智慧”技術(shù)，隨著智慧服務(wù)理念的提出，大數(shù)據(jù)技術(shù)也應(yīng)該與時俱進，與物聯(lián)網(wǎng)技術(shù)等結(jié)合，實現(xiàn)網(wǎng)絡(luò)安全信息的深度挖掘，將與網(wǎng)絡(luò)安全相關(guān)的各種數(shù)據(jù)進行融合匯總，利用智慧服務(wù)理念實現(xiàn)隱性知識的顯性化，構(gòu)建網(wǎng)絡(luò)安全事件分析智慧空間。

4? ? 結(jié)語

隨著大數(shù)據(jù)技術(shù)的發(fā)展，它的應(yīng)用范圍在不斷擴大，應(yīng)用效果也在不斷提升，因此，將其應(yīng)用在網(wǎng)絡(luò)安全自動分析和深度挖掘中將會是一種趨勢，以提高網(wǎng)絡(luò)安全事件的分析效率、降低網(wǎng)絡(luò)安全事件的發(fā)生率。同時，大數(shù)據(jù)技術(shù)的應(yīng)用促進了網(wǎng)絡(luò)安全管理的模式轉(zhuǎn)變，可以綜合、及時地感知網(wǎng)絡(luò)安全信息，遏制網(wǎng)絡(luò)攻擊，提升大數(shù)據(jù)技術(shù)對網(wǎng)絡(luò)安全與深度挖掘的支撐能力。

[參考文獻]

[1]陳興蜀，曾雪梅，王文賢，等.基于大數(shù)據(jù)的網(wǎng)絡(luò)安全與情報分析[J].工程科學(xué)與技術(shù)，2017（3）：1-12.

[2]張文元，張倩.大數(shù)據(jù)技術(shù)與檔案數(shù)據(jù)挖掘[J].檔案管理，2016（2）：33-35.

[3]李玉平.大數(shù)據(jù)時代下的網(wǎng)絡(luò)安全問題研究[J].中國新通信，2017（2）：50.