葛艷珍

（淮北礦業(yè)股份有限公司財務共享中心 安徽省淮北市 235000）

對于海量的網(wǎng)絡(luò)數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)分析技術(shù)明顯不足以應對，大數(shù)據(jù)分析技術(shù)具有更強的洞察力和分析能力，可對網(wǎng)絡(luò)中分散的各種信息進行整合，借助數(shù)據(jù)挖掘技術(shù)，對網(wǎng)絡(luò)內(nèi)各要素的關(guān)系深入分析，在網(wǎng)絡(luò)規(guī)劃、優(yōu)化、安全保障、流量預測中發(fā)揮重要價值。下文結(jié)合筆者實踐經(jīng)驗，對大數(shù)據(jù)分析技術(shù)在網(wǎng)絡(luò)領(lǐng)域中的應用展開綜述。

1 大數(shù)據(jù)分析技術(shù)及其作用

1.1 大數(shù)據(jù)分析技術(shù)的主要技術(shù)

大數(shù)據(jù)分析技術(shù)作為一種新時代處理和分析數(shù)據(jù)的方式，應用的主要技術(shù)體現(xiàn)在以下方面：

（1）去除不必要的信息。大數(shù)據(jù)時代，信息的大爆炸使得企業(yè)要處理大量的信息，但是巨量的信息中并非所有的都是有價值的信息。想要在激烈的競爭中抓住市場抓住發(fā)展的機會，就需要有效的處理無用的信息，利用大數(shù)據(jù)分析技術(shù)就能很好的實現(xiàn)數(shù)據(jù)的整合。

（2）數(shù)據(jù)的處理和提取。網(wǎng)絡(luò)中充斥著各類的信息，在大量的數(shù)據(jù)中，找到有用的信息離不開大數(shù)據(jù)分析技術(shù)的高效整合和提取技術(shù)。

（3）可視化的數(shù)據(jù)分析?；谟嬎銠C的大數(shù)據(jù)分析技術(shù)能同時處理多項數(shù)據(jù)，在進行數(shù)據(jù)的獲取和加工時，大數(shù)據(jù)分析技術(shù)能把整個的加工和處理的環(huán)節(jié)都進行可視化的呈現(xiàn)。對于一些企業(yè)需要提取關(guān)鍵的數(shù)字信息，這時候就可以在數(shù)據(jù)的分析環(huán)節(jié)進行可視化的數(shù)據(jù)分析技術(shù)，讓數(shù)據(jù)的處理結(jié)果更加的直觀清晰。新時代下進行數(shù)據(jù)的處理，讓大數(shù)據(jù)分析技術(shù)和人工智能進行融合，有利的一點是能使得數(shù)據(jù)的分析更加的準確和可靠，為網(wǎng)絡(luò)信息系統(tǒng)的優(yōu)化提供技術(shù)上的發(fā)展基礎(chǔ)。

1.2 大數(shù)據(jù)分析技術(shù)的作用

在網(wǎng)絡(luò)信息系統(tǒng)中，由于不同的網(wǎng)絡(luò)設(shè)備數(shù)量眾多，由此產(chǎn)生的數(shù)據(jù)量非常大。傳統(tǒng)的數(shù)據(jù)分析技術(shù)無法在短時間內(nèi)快速處理和分析大量的數(shù)據(jù)信息。鑒于網(wǎng)絡(luò)信息系統(tǒng)中數(shù)據(jù)信息的類型不同，并且涉及的業(yè)務領(lǐng)域廣泛，想要使得工作的效率得到保證，可以利用大數(shù)據(jù)分析技術(shù)從海量復雜的數(shù)據(jù)中分析提取有價值的數(shù)據(jù)內(nèi)容進行處理和整合，從而提高和優(yōu)化業(yè)務管理?，F(xiàn)代網(wǎng)絡(luò)大數(shù)據(jù)分析技術(shù)在社會生活中發(fā)揮著重要作用，但是事物都是兩面性的，在人們獲得良好的聯(lián)網(wǎng)體驗的同時，也因此產(chǎn)生越來越多的冗余數(shù)據(jù)。為了提高網(wǎng)絡(luò)安全和信息效率，可以引入大數(shù)據(jù)分析。完成大數(shù)據(jù)的采集、過濾、存儲、管理和應用，提高網(wǎng)絡(luò)信息系統(tǒng)效率的技術(shù)。

2 網(wǎng)絡(luò)領(lǐng)域中應用的大數(shù)據(jù)分析關(guān)鍵技術(shù)

2.1 數(shù)據(jù)匯聚傳輸

數(shù)據(jù)匯聚傳輸基于不同的開發(fā)接口協(xié)議，采用統(tǒng)一的數(shù)據(jù)標準規(guī)范通過加密服務、SSL 證書、DDoS 防護、傳輸身份認證等安全措施，實現(xiàn)集成 SCADA 數(shù)據(jù)、生產(chǎn)經(jīng)營計劃各系統(tǒng)數(shù)據(jù)、服務資源及第三方數(shù)據(jù)的準確采集及安全轉(zhuǎn)發(fā)。數(shù)據(jù)匯聚傳輸形式可以是公司各信息化系統(tǒng)的數(shù)據(jù)庫，可以是各單位上報的報表，也可以是手工導入系統(tǒng)的公司歷史檔案數(shù)據(jù)?？傊?，凡是在公司經(jīng)營計劃管理中產(chǎn)生的數(shù)據(jù)，均能夠成為數(shù)據(jù)匯聚的組成部分。

2.2 構(gòu)建數(shù)據(jù)處理中心

在軟硬件基礎(chǔ)之上，構(gòu)建企業(yè)大數(shù)據(jù)云存儲與應用服務中心，提供大數(shù)據(jù)下的對象存儲、文件存儲，采用時空組織框架提供大數(shù)據(jù)展示與智能分析服務，為各類綜合應用提供平臺服務插件、功能服務插件、數(shù)據(jù)服務插件、接口開發(fā)插件、可視化展示插件、應用插件和二次開發(fā)工具，實現(xiàn)數(shù)據(jù)資源各核心業(yè)務數(shù)據(jù)集中管理，固化統(tǒng)一數(shù)據(jù)管理流程。數(shù)據(jù)中心通過企業(yè)服務總線（ESB）、主數(shù)據(jù)庫、主數(shù)據(jù)管理平臺的建設(shè)，實現(xiàn)多個業(yè)務系統(tǒng)數(shù)據(jù)統(tǒng)一共享，集中對核心業(yè)務數(shù)據(jù)進行匯總、篩選等管理，最終以服務的形式把統(tǒng)一的、完整的、準確的數(shù)據(jù)分發(fā)給其他需要使用這些數(shù)據(jù)的業(yè)務系統(tǒng)。

2.3 數(shù)據(jù)管理

主要包含數(shù)據(jù)瀏覽、數(shù)據(jù)標準化、生命周期管理、數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理等功能。數(shù)據(jù)瀏覽提供圖形化的數(shù)據(jù)瀏覽展示，將總體的表數(shù)量及各子系統(tǒng)的數(shù)據(jù)量以圖表的形式直觀地展示出來; 系統(tǒng)提供數(shù)據(jù)全生命周期的流動管理（包括從數(shù)據(jù)到數(shù)據(jù)過時被刪除） ；數(shù)據(jù)質(zhì)量管理實現(xiàn)對數(shù)據(jù)從計劃、獲取、存 儲、共享、維護、應用、失效全生命周期里可能引發(fā)的各類質(zhì)量問題進行識別、度量、監(jiān)控、預警，采集到數(shù)據(jù)中心的各類數(shù)據(jù)經(jīng)過質(zhì)量管理、標準化處理后，方可流入業(yè)務模型中。

（1）數(shù)據(jù)存儲。數(shù)據(jù)存儲建立并存儲通過關(guān)聯(lián)規(guī)則和序列模式挖掘基于時間、空間、屬性和事件的多維關(guān)聯(lián)關(guān)系，實現(xiàn)數(shù)據(jù)資源管理、塑化劑更新管理、歷史數(shù)據(jù)數(shù)據(jù)管理及數(shù)據(jù)傳輸管理。

（2）數(shù)據(jù)計算?；趯崟r接入能力和服務能力擴展的需要，在萬兆網(wǎng)絡(luò)、使用雙副本的條件下，對于高效模式單臺數(shù)據(jù)總線服務器支持的業(yè)務數(shù)據(jù)加載速度不低于 300 Mb /s，可以線性擴展。對于可靠模式支持的業(yè)務數(shù)據(jù)加載速度不低于 20 Mb /s，可以線性擴展。高效模式下數(shù)據(jù)允許有萬分之一以內(nèi)的丟失。可靠模式下加載數(shù)據(jù)要求與輸入數(shù)據(jù)一致。單集群支持的數(shù)據(jù)總線服務器總數(shù)不少于 100 臺。數(shù)據(jù)從輸入到訂閱者能夠訂閱到時延不高于 1 s。

（3）資產(chǎn)分析。資產(chǎn)分析通過圖、表等可視化的方式，直觀的對資產(chǎn)大數(shù)據(jù)進行統(tǒng)計分析。

（4）安全管理。采用防火墻、防病毒軟件等保護工具，利用磁盤的RAID 機制、容災備份、軟件服務主備自動切換、數(shù)據(jù)可備份與恢復、數(shù)據(jù)加密、數(shù)據(jù)脫敏等安全措施預防和解決系統(tǒng)或應用程序在使用過程中出現(xiàn)計算、傳輸數(shù)據(jù)泄漏或數(shù)據(jù)失竊等問題。

3 大數(shù)據(jù)分析技術(shù)在網(wǎng)絡(luò)領(lǐng)域中的應用

3.1 光纖網(wǎng)絡(luò)中大數(shù)據(jù)分析技術(shù)的應用

光纖屬于重要的網(wǎng)絡(luò)資源，對其合理分配，是滿足用戶對網(wǎng)絡(luò)流量需求的重要措施，也是基本前提。近年來，在光纖網(wǎng)絡(luò)優(yōu)化、流量預測中，應用大數(shù)據(jù)分析技術(shù)來解決問題的案例屢屢增多，且均獲得了研究成果。其具體應用包括如下方面：

3.1.1 網(wǎng)絡(luò)優(yōu)化

在光纖網(wǎng)絡(luò)優(yōu)化中，大數(shù)據(jù)分析技術(shù)的應用，主要是可解決路由和波長分配的問題。路由和波長分配算法對光纖網(wǎng)絡(luò)有重要意義。目前這一算法有多重解決方案，包括快速有效啟發(fā)式算法、分層圖模型、線性規(guī)劃模型等，而大數(shù)據(jù)分析技術(shù)在其中的應用研究較少。研究人員開發(fā)了一個Hadoop 云計算系統(tǒng)，其包含10 臺低端桌面，各計算機上能夠獨立運行路由和波長分配算法，對一定數(shù)量需求序列進行分析，從而在短時間內(nèi)，對一定數(shù)量需求序列進行評估。研究人員對各需求序列結(jié)果進行評估，選出最佳解決方案，流程見圖1。

圖1： 需求序列分析流程圖

仿真結(jié)果發(fā)現(xiàn)，對若干混洗需求序列進行評估，可以獲得和最優(yōu)值十分接近的性能。若某一大型網(wǎng)絡(luò)中，節(jié)點數(shù)共500 個，鏈路1000 條，請求4000 個，并行混洗光路需求序列5000 個，運用這一系統(tǒng)，可在3h 之內(nèi)，為所有序列運行同一個路由和波長分配算法，這和普通的計算機相比，要快30 倍左右。

3.1.2 流量預測

新服務一旦出現(xiàn)，對網(wǎng)絡(luò)就會提出更高要求，所需的比特率更大，且要為動態(tài)狀態(tài)，這需要網(wǎng)絡(luò)運營商主動探索以動態(tài)方式來解決預期流量問題的系統(tǒng)，而虛擬網(wǎng)絡(luò)拓撲架構(gòu)為最佳解決系統(tǒng)。一種方案是，采取網(wǎng)絡(luò)超供應形式，對預期流量做好應對，不過這會導致總成本升高。另一方案是，在閾值基礎(chǔ)上實現(xiàn)容量重配置，節(jié)省功耗，這一方案的不足是，不能促使每個IP 路由器需安裝光轉(zhuǎn)發(fā)器數(shù)量減少。利用大數(shù)據(jù)分析技術(shù)，可以構(gòu)建一種新的方案，對原始目的地通信流展開定期分析，來執(zhí)行對應VNT 重構(gòu)，流程見圖2。這一方案是借助邊際IP 路由器，對流量監(jiān)控數(shù)據(jù)展開定期收集，各邊際路由器是每個其他目的路由器收集的流量樣本，這些信息會在收集數(shù)據(jù)庫中儲存。預測模塊可借助機器學習技術(shù)，為未來時段預測OD 的流量矩陣，此時，決策者可結(jié)合這一矩陣，決定是否開展VNT 重構(gòu)。

圖2： 大數(shù)據(jù)分析技術(shù)上的VNT 重配置流程圖

相較于靜態(tài)、閾值的架構(gòu)方法，大數(shù)據(jù)分析技術(shù)基礎(chǔ)上的VNT 重構(gòu)方案，可節(jié)省安裝光轉(zhuǎn)發(fā)器總數(shù)8%至42%，且這一方案可于低流量狀態(tài)，將轉(zhuǎn)發(fā)器停用進行應對，達到節(jié)能的目的。同時，還可自光學層來將光路釋放，促使成本降低。

3.2 無線網(wǎng)絡(luò)中大數(shù)據(jù)分析技術(shù)的應用

和網(wǎng)絡(luò)領(lǐng)域的其他分領(lǐng)域比較，無線網(wǎng)絡(luò)對于大數(shù)據(jù)分析技術(shù)的應用更為成熟，且已形成了大量的研究成果。大數(shù)據(jù)分析技術(shù)在其中的應用，主要集中在以下幾個方面：

3.2.1 故障檢測

故障檢測是無線網(wǎng)絡(luò)應用大數(shù)據(jù)技術(shù)的典型案例。借助大數(shù)據(jù)分析技術(shù)實施故障檢測，主要是通過對帶寬趨勢、用戶通話記錄、切換成功情況、測量報告等進行分析，來對設(shè)備故障、覆蓋程度弱、休眠小區(qū)、用戶異常等網(wǎng)絡(luò)故障問題加以解決。

很多用戶會遇到手機通話突然中斷的情況，如用戶自某一小區(qū)向另一小區(qū)移動后（如從5G 基站向4G 基站移動），可能會出現(xiàn)無法接通、通話中斷情況，要解決這一類的問題，通常需要應用網(wǎng)絡(luò)仿真、路測、基于KPI 等方法。其中路測費用較高，耗時較長，而網(wǎng)絡(luò)仿真和基于KPI 的結(jié)果均不精確。國外學者借助大數(shù)據(jù)提出，可借助5G 網(wǎng)絡(luò)覆蓋的分析方法，對運營商儲存的大量網(wǎng)絡(luò)測試數(shù)據(jù)，來對現(xiàn)有網(wǎng)絡(luò)覆蓋性能加以優(yōu)化。這一方案是在Hadoop 平臺分析基站系統(tǒng)之上，通過移動交換中心和基站子系統(tǒng)實現(xiàn)信息交換。5G 網(wǎng)絡(luò)覆蓋分析法精度較高，比基于KPI 的方法更為精確。網(wǎng)絡(luò)運營商可通過運營支撐系統(tǒng)，對網(wǎng)絡(luò)性能測量的數(shù)據(jù)進行收集，借助大數(shù)據(jù)技術(shù)，處理運營支撐系統(tǒng)中的相關(guān)數(shù)據(jù)，從而實現(xiàn)高效、自動的網(wǎng)絡(luò)優(yōu)化。還有研究人員發(fā)現(xiàn)了在大數(shù)據(jù)分析技術(shù)之上的覆蓋自由化算法，其是獲取、分析數(shù)據(jù)的基礎(chǔ)上，對現(xiàn)階段無線網(wǎng)絡(luò)性能情況做好記錄，對異常覆蓋性能小區(qū)加以定位，通過對天線參數(shù)適當調(diào)整，促使下行覆蓋性能提升。對電信運營商而言，覆蓋優(yōu)化算法成本較低、效率較高。

3.2.2 緩存應用

在緩存中大數(shù)據(jù)分析技術(shù)的應用，主要包括優(yōu)化帶寬分配、緩存及熱點跟蹤、優(yōu)化緩存節(jié)點部署、5G 主動緩存等內(nèi)容。

移動互聯(lián)網(wǎng)中的用戶數(shù)量龐大，在互聯(lián)網(wǎng)應用不斷增多的背景下，為用戶分配帶寬，提供高質(zhì)量服務，十分重要。大數(shù)據(jù)分析技術(shù)的應用，能夠讓用戶隨時提供互聯(lián)網(wǎng)的連接，要實現(xiàn)這一目的，可借助動態(tài)帶寬分配算法，讓要下載同一內(nèi)容的用戶，共享基站無線信道。這一算法可自用戶設(shè)備中，收集網(wǎng)絡(luò)數(shù)據(jù)及用戶數(shù)據(jù)，對用戶進行劃分，放到不同集群中，實現(xiàn)寬帶共享，這樣能夠提升網(wǎng)絡(luò)資源的利用率，促使內(nèi)容分發(fā)速度加快。

5G 主動緩存中，可在大數(shù)據(jù)分析、機器學習基礎(chǔ)上，形成主動緩存機制，來對5G 中內(nèi)容流行度進行預測。在對用戶流量這一原始數(shù)據(jù)收集之后，可通過Hadoop 來對有用信息加以提取，如HTTP 請求統(tǒng)一資源標識符、位置區(qū)域代碼等；之后可用這一信息，對原始數(shù)據(jù)中內(nèi)容流行度進行評估。從大城市的基站中獲取的移動用戶真實數(shù)據(jù)顯示，這一機制能促使緩存性能提升，并對用戶體驗加以優(yōu)化。

3.2.3 流量監(jiān)控

大型蜂窩網(wǎng)絡(luò)的傳輸速率較高，可滿足用戶對移動多媒體應用的需求。這些網(wǎng)絡(luò)需要通過大容量、高性能服務器，實施流量監(jiān)視、分析。不過隨著人們對數(shù)據(jù)量、數(shù)據(jù)速率的需求逐漸提升，這一方法逐漸呈現(xiàn)出局限性。借助Hadoop移動互聯(lián)網(wǎng)流量監(jiān)控系統(tǒng)，可在大型蜂窩網(wǎng)絡(luò)中部署，每日可對123Gbit/s 鏈路4.2TB 流量數(shù)據(jù)進行監(jiān)測，性能較高，成本較低。Ocampo 等人，構(gòu)建了在Spark 基礎(chǔ)上的企業(yè)網(wǎng)絡(luò)流量監(jiān)控框架，允許批處理和流處理。流處理功能，可對各會話、各端口的帶寬應用情況進行分析，在不同時間跨度實現(xiàn)對用戶網(wǎng)絡(luò)活動的監(jiān)測。這一框架可對存儲用戶流量進行批量處理，能對用戶當前活動和歷史應用情況進行比較。流式、批量分析，都可構(gòu)成異常檢測基礎(chǔ)，可對錯誤配置、惡意行為、異常行為進行識別。這一框架可于不同數(shù)量用戶及工作負載之下，完成擴展。

3.2.4 網(wǎng)絡(luò)優(yōu)化

網(wǎng)絡(luò)大融合背景下，各種通信手段及網(wǎng)絡(luò)間的互相操作越發(fā)頻繁，涉及到的優(yōu)化、協(xié)調(diào)部署更為復雜，對網(wǎng)絡(luò)管理系統(tǒng)中各數(shù)據(jù)處理的能力要求也越發(fā)升高。與此同時，業(yè)務類型越發(fā)多樣，入網(wǎng)設(shè)備數(shù)量增多，這為網(wǎng)絡(luò)規(guī)劃、優(yōu)化造成了一定挑戰(zhàn)。對網(wǎng)絡(luò)規(guī)劃、網(wǎng)絡(luò)質(zhì)量可造成干擾的因素較多，傳統(tǒng)因果關(guān)系建模難度較大，而通過大數(shù)據(jù)分析技術(shù)，可對數(shù)據(jù)間有價值的、潛在的關(guān)系進行分析，為網(wǎng)絡(luò)分析工作創(chuàng)造有利條件。目前，大數(shù)據(jù)分析技術(shù)在網(wǎng)絡(luò)規(guī)劃、優(yōu)化中的應用，主要包括表1 中的幾個方面。

表1： 大數(shù)據(jù)分析技術(shù)在網(wǎng)絡(luò)規(guī)劃、優(yōu)化中的應用

3.2.5 5G 通信

和4G 網(wǎng)絡(luò)相比，5 G 網(wǎng)絡(luò)的容量更大，速率更高，預期連接能力較高，至少可對1000 億臺設(shè)備、各用戶10gbps高速傳輸提供支持。借助大數(shù)據(jù)分析技術(shù)，推動新興通信技術(shù)發(fā)展十分重要。在5G 網(wǎng)絡(luò)中，大數(shù)據(jù)分析技術(shù)包括預測分析、規(guī)范性分析、診斷分析及描述性分析。

描述性分析，指的是在歷史、當前網(wǎng)絡(luò)數(shù)據(jù)基礎(chǔ)上，展開分析，對過去的事件進行識別，分析測量報告中各決定因素等的方式，在網(wǎng)絡(luò)管理中應用較多?？蓸?gòu)建5G 網(wǎng)在大數(shù)據(jù)自組織網(wǎng)絡(luò)基礎(chǔ)上的框架，開發(fā)端到端網(wǎng)絡(luò)可見性，這樣能夠?qū)Ξ斍暗木W(wǎng)絡(luò)狀態(tài)形成完整情報，對用戶行為可進行預測，且可具備連接網(wǎng)絡(luò)響應、網(wǎng)絡(luò)參數(shù)的性能。

診斷分析是對歷史數(shù)據(jù)展開分析，提供過去部分結(jié)果出現(xiàn)的根本原因。網(wǎng)絡(luò)運營商可結(jié)合診斷結(jié)果，采取更好措施來實施網(wǎng)絡(luò)運維管理，防止過去出現(xiàn)過的負面結(jié)果，進而為網(wǎng)絡(luò)優(yōu)化、故障診斷提供思路。

預測分析是對預測、未來結(jié)果概率展開估算的方法，可對未來機會、風險進行定義，能對用戶行為進行預測。如可構(gòu)建在大數(shù)據(jù)分析基礎(chǔ)上的預測、主動推送、緩存技術(shù)互相結(jié)合的系統(tǒng)，將用戶的需求作為個人興趣的驅(qū)動需求，在大數(shù)據(jù)分析技術(shù)上，對用戶需求進行預測，之后構(gòu)建這一系統(tǒng)基本的框架，結(jié)合預測結(jié)果，確定緩存、推送策略，應用緩存命中率，對系統(tǒng)性能進行測試。

規(guī)范性分析可對未來行動造成的影響進行預測，在組織行動過程中，將“可能發(fā)生的事”作為參考，便于用戶根據(jù)這一結(jié)果，采取最合理的決策。典型規(guī)范性分析應用，是網(wǎng)絡(luò)資源的分配。如有一種BDA 基礎(chǔ)上的切片準入策略，這一策略可對資源分配的解決方案實現(xiàn)最優(yōu)化分析，促使基礎(chǔ)設(shè)施提供商利潤明顯提升。軟件定義網(wǎng)絡(luò)、網(wǎng)絡(luò)功能虛擬化，可實現(xiàn)無線電、傳輸、云資源聯(lián)合協(xié)調(diào)，于5G 中占據(jù)核心作用。這樣，InPs 可于基礎(chǔ)物理設(shè)施之上，創(chuàng)建一個虛擬的網(wǎng)絡(luò)，在不同需求用戶之間實現(xiàn)資源的共享。InPs 可通過大數(shù)據(jù)分析，來對切片資源需求變化情況進行預測。

3.3 網(wǎng)絡(luò)安全中大數(shù)據(jù)分析技術(shù)的應用

對于網(wǎng)絡(luò)領(lǐng)域而言，網(wǎng)絡(luò)安全是重要支柱，是互聯(lián)網(wǎng)穩(wěn)定、可靠運行的基礎(chǔ)，各網(wǎng)絡(luò)安全檢測措施，能為互聯(lián)網(wǎng)活動的開展創(chuàng)建安全通信保障。在網(wǎng)絡(luò)安全領(lǐng)域，大數(shù)據(jù)分析技術(shù)同樣可以發(fā)揮作用。

3.3.1 檢測APT 攻擊

在全球網(wǎng)絡(luò)信息化快速發(fā)展背景下，APT 這種針對性、滲透性、隱秘性強的攻擊逐漸增多，這導致企業(yè)、國家的網(wǎng)絡(luò)信息系統(tǒng)、數(shù)據(jù)安全均面臨巨大挑戰(zhàn)。APT 攻擊檢測的挑戰(zhàn)之一，是在發(fā)現(xiàn)檢測異常時，篩選出海量的數(shù)據(jù)，這導致檢測任務難度較大。因網(wǎng)絡(luò)數(shù)據(jù)數(shù)量多、增長快、來源廣，傳統(tǒng)網(wǎng)絡(luò)外圍防御系統(tǒng)效果不佳。大數(shù)據(jù)分析技術(shù)可在海量數(shù)據(jù)中發(fā)現(xiàn)深度關(guān)聯(lián)，對APT 攻擊有明顯的防御效果。

借助大數(shù)據(jù)分析技術(shù)檢測APT 攻擊的具體應用為：可根據(jù)攻擊樹概念，構(gòu)建概念攻擊模型，也即攻擊金字塔。在金字塔的頂層，包括可能被攻擊的目標，如數(shù)據(jù)服務器、敏感數(shù)據(jù)等，通過橫向平面表示攻擊相關(guān)事件環(huán)境，如網(wǎng)絡(luò)平面或用戶平面。在檢測框架中，將組織內(nèi)和安全相關(guān)的事件分組成若干場景，之后于每個場景、跨場景之中，借助MAPReduce 并行處理，再通過不同算法，對可能惡意活動進行檢測。

3.3.2 檢測僵尸網(wǎng)絡(luò)

互聯(lián)網(wǎng)存在的一些安全問題，如網(wǎng)絡(luò)釣魚、垃圾郵件等，均是因僵尸網(wǎng)絡(luò)引發(fā)。僵尸網(wǎng)絡(luò)指的是攻擊者控制的、被惡意軟件入侵的機器形成的網(wǎng)絡(luò)，一次攻擊中，僵尸網(wǎng)絡(luò)可對90000 個IP 形成攻擊，這是巨大的安全性挑戰(zhàn)。為檢測這一類攻擊，網(wǎng)絡(luò)分析師一般會通過網(wǎng)絡(luò)跟蹤、數(shù)據(jù)包捕獲來加強防御，不過這些大型數(shù)據(jù)集的處理，對普通計算機而言處理難度較大。為解決這一問題，可通過大數(shù)據(jù)分析技術(shù)，構(gòu)建大數(shù)據(jù)分析框架P2P 僵尸網(wǎng)絡(luò)檢測系統(tǒng)，包括流量嗅探、機器學習、特征抽取模塊。這一系統(tǒng)可借助Dumpcap 來抓包，借助Tshark 提取域內(nèi)數(shù)據(jù)，送至HDFS 存儲，以Apache Hive 來提取動態(tài)的網(wǎng)絡(luò)特征，最后通過Mahout 并行處理能力，構(gòu)建決策樹模型，用于僵尸網(wǎng)絡(luò)的檢測。

4 結(jié)束語

大數(shù)據(jù)分析技術(shù)在網(wǎng)絡(luò)領(lǐng)域中的應用多種多樣，通過這一技術(shù)，用戶可以對網(wǎng)絡(luò)中的日志信息、流量信息、系統(tǒng)信號等進行收集，充分挖掘數(shù)據(jù)背后潛藏的巨大利用價值，來獲取更高收益。在日后網(wǎng)絡(luò)領(lǐng)域應用大數(shù)據(jù)分析技術(shù)過程中，需要特別注意數(shù)據(jù)安全、最小化處理、人口密集及貧窮地區(qū)微型互聯(lián)網(wǎng)連接、物聯(lián)網(wǎng)節(jié)點部署等內(nèi)容，促使大數(shù)據(jù)分析技術(shù)在網(wǎng)絡(luò)領(lǐng)域得到更為有效的應用。