張榆 韋安壘

摘 要：文章提出了一種在大流量網(wǎng)絡(luò)環(huán)境下的大規(guī)模網(wǎng)絡(luò)安全處理分析平臺的系統(tǒng)架構(gòu)設(shè)計方案，采用分級的思想，分為：第一級——流量匯聚分流；第二級——流量還原實時處理；第三級——文件分析處理；第四級——大數(shù)據(jù)存儲與挖掘分析。通過分級架構(gòu)，把原本復(fù)雜的網(wǎng)絡(luò)安全處理分析流程，分為四個層面，每個層面都通過專用技術(shù)實現(xiàn)處理的優(yōu)化和加速，并且可以單獨擴容單獨演進。采用SDN技術(shù)，通過統(tǒng)一的集中管理平臺，對系統(tǒng)中的各節(jié)點下發(fā)策略，形成自動化配置和呈現(xiàn)的閉環(huán)。

關(guān)鍵詞：大數(shù)據(jù)安全處理；匯聚分流；存儲挖掘

中圖分類號：TN915.08 文獻標(biāo)識碼：A

1 引言

隨著網(wǎng)絡(luò)安全的形勢越來越嚴(yán)峻，威脅和攻擊手段越來越多樣化、越來越難以察覺和抵御，傳統(tǒng)的“防火墻+入侵檢測+病毒防護”的三種防御手段已經(jīng)不足以防護諸如DDoS攻擊、APT（Advanced Persistent Threat：高級持續(xù)性威脅）攻擊、來自于內(nèi)部的攻擊以及0day漏洞利用攻擊，需要構(gòu)建立體化的縱深防御體系來抵御這些高級攻擊。

現(xiàn)有的企業(yè)級應(yīng)對高級攻擊的防護思路是以檢測為主，通常是在網(wǎng)絡(luò)出口處通過鏡像或者分光的方式將進出網(wǎng)絡(luò)的雙向流量復(fù)制一份，發(fā)送給安全分析系統(tǒng)。安全分析系統(tǒng)進行入侵檢測、異常流量檢測、惡意代碼檢測等工作；同時，可在安全分析系統(tǒng)后面接存儲或者數(shù)據(jù)挖掘系統(tǒng)，對安全分析結(jié)果進行審計和存檔，進行深度挖掘，實現(xiàn)對威脅態(tài)勢的感知和攻擊模型的分析和預(yù)警。旁路的好處是部署簡單，且不會因為性能和處理延時問題造成網(wǎng)絡(luò)瓶頸，并且可以將分析的結(jié)果呈現(xiàn)給安全團隊，制定相應(yīng)的應(yīng)急響應(yīng)策略。

企業(yè)級的網(wǎng)絡(luò)安全分析系統(tǒng)架構(gòu)如圖1所示，目前通用的盒式設(shè)備可以滿足百兆到準(zhǔn)萬兆的環(huán)境，提升性能需要擴充硬件平臺的CPU、內(nèi)存等硬件資源，現(xiàn)階段最高端的雙路Intel志強平臺可達雙向萬兆的實網(wǎng)吞吐量，基本適用于萬兆以內(nèi)環(huán)境。受限于進程間通信及網(wǎng)卡收發(fā)包機制帶來的瓶頸，采用更高端的更多核心的硬件設(shè)備（如四路服務(wù)器）并不會帶來性能上過多的提升。因此，要想進一步提升性能通常需要采用分布式的硬件平臺，通過插箱式的架構(gòu)，將流量經(jīng)過分流模塊按照分發(fā)給多塊業(yè)務(wù)板協(xié)同處理，可采用高端路由器架構(gòu)或者ATCA架構(gòu)。

即使采用分布式硬件平臺，性能也有瓶頸，最多也就能夠處理幾十Gbps的實網(wǎng)流量，對于更大規(guī)模如1～10Tbps的網(wǎng)絡(luò)環(huán)境，如運營商骨干網(wǎng)、城域網(wǎng)等，并沒有很好的方案。

本文將設(shè)計一種在大規(guī)模/超大規(guī)模流量模型下的網(wǎng)絡(luò)安全處理分析平臺架構(gòu)設(shè)計，要求具備性能擴展彈性靈活、功能模塊隨意增減、部署簡單、不影響現(xiàn)有網(wǎng)絡(luò)環(huán)境、不造成網(wǎng)絡(luò)瓶頸，且網(wǎng)絡(luò)兩端無感知。

2 架構(gòu)設(shè)計

對于100Gbps以上的網(wǎng)絡(luò)環(huán)境，采用擴容CPU、內(nèi)存等硬件配置以及業(yè)務(wù)板卡的Scale-up的方式是不夠的，需要全新的集群部署的Scale-out方式。將整個集群系統(tǒng)功能分解為幾個要點。

（1）將大規(guī)模網(wǎng)絡(luò)流量復(fù)制并進行收集，負載均衡分發(fā)給集群中的各個計算節(jié)點來進行處理，同時需要保持同源同宿，避免同一條流分發(fā)給不同的節(jié)點。

（2）針對計算節(jié)點對網(wǎng)絡(luò)流量的分析進行優(yōu)化，提升單個節(jié)點的處理能力。

（3）對于文件的分析，需要在將流量還原成文件之后，負載均衡分發(fā)給一個大的文件資源池，進行不同的分析。

（4）將對流量和文件的分析結(jié)果保存到大數(shù)據(jù)存儲分析系統(tǒng)中，進行歸檔審計以及深度數(shù)據(jù)挖掘，最終實現(xiàn)威脅態(tài)勢感知。

根據(jù)以上功能需求，設(shè)計四級的處理架構(gòu)，如圖2和圖3所示。

2.1 第一級

一般來說，如此大流量的網(wǎng)絡(luò)環(huán)境，存在于運營商骨干網(wǎng)絡(luò)中，如國際出口、省口互聯(lián)網(wǎng)，移動互聯(lián)網(wǎng)核心網(wǎng)出口，大型IDC機房等，而且一般都有多條等價路由的鏈路，由于同一個流的不同數(shù)據(jù)包有可能通過不同的鏈路，在做網(wǎng)絡(luò)安全分析時，需要對完整的流量進行還原，因此要將多條鏈路的雙向流量全部接入。一般都是通過分光的方式，在鏈路中接入分光器，全部復(fù)制并匯聚下來。

如果是廣域網(wǎng)的流量，接口封裝具有多樣性，一般來說，有10GE、100GE、10G POS、40G POS、100G OTN等。對于POS接口，走的不是以太網(wǎng)流量，是SDH或者HDLC流量，通用的企業(yè)網(wǎng)設(shè)備無法識別該協(xié)議。另外，廣域網(wǎng)中流量復(fù)雜，可能會有大于MTU值的巨幀（Jombo Frame）和超小幀（Runt Frame）等存在，企業(yè)網(wǎng)設(shè)備無法識別該數(shù)據(jù)，會做丟棄處理，嚴(yán)重時甚至造成程序出錯；同樣，廣域網(wǎng)中會有大量的隧道報文，如QinQ、MPLS（包含多層封裝）、VPN、IPinIP、Terado、6to4等，企業(yè)網(wǎng)設(shè)備同樣無法處理。

這就要求第一級能夠?qū)⒍喾N接口的流量以及廣域網(wǎng)中各種流量進行識別和處理，并且處理性能足夠，不會丟包。

在對流量匯聚后，第二步的工作是負載均衡分流，且能夠?qū)⑦@些流量進行通用化處理，比如進行切片、補齊、隧道頭剝離、協(xié)議轉(zhuǎn)換等，統(tǒng)一轉(zhuǎn)換成10GE接口，負載均衡分流給后端的第二級的處理集群。

關(guān)于負載均衡算法，要求保證同一個流量的所有數(shù)據(jù)報文轉(zhuǎn)發(fā)到同一個計算節(jié)點之上，一種常見的實現(xiàn)方式時根據(jù)五元組進行HASH運算。對于IPv4報文來說，HASH不均勻的情況還好，但是IPv6由于現(xiàn)在應(yīng)用較少，大部分地址都集中在某些段，如果對全部128bit的IPv6地址進行HASH，會造成嚴(yán)重的不均勻，因此需要根據(jù)實際網(wǎng)絡(luò)環(huán)境調(diào)整HASH算法。

在第一級采用大型高端的匯聚分流設(shè)備來實現(xiàn)，目前市面上最高端的大型匯聚分流設(shè)備整機可以線速處理2Tbps以上的流量，對于大于2Tbps的流量處理需求，可以采用設(shè)備堆疊或者集群的方式處理。

2.2 第二級

由于要處理分析的流量巨大，目前單臺通用雙路x86服務(wù)器的處理能力在5Gbps左右，因此就需要大量的服務(wù)器來構(gòu)建分析集群?？梢詫⒕W(wǎng)絡(luò)安全的業(yè)務(wù)模型進行劃分，如DDoS攻擊檢測，入侵檢測，HTTP協(xié)議檢測（WAF的功能、檢測SQL注入、跨站腳本攻擊等），郵件檢測，DNS檢測等。在第一級分流時可以根據(jù)具體業(yè)務(wù)的分析內(nèi)容，進行初步的處理，比如根據(jù)協(xié)議做過濾，過濾出HTTP、DNS、FTP等協(xié)議分發(fā)給不同的業(yè)務(wù)集群，同時還可以將不需要關(guān)心的流量進行過濾，比如只關(guān)注某個網(wǎng)段的流量，即可將其他流量全部過濾。這樣能夠從很大程度上降低第二級計算節(jié)點的工作量，節(jié)省計算資源。同樣，針對多個安全分析集群，需要復(fù)制多份流量，這就要在第一級匯聚分流設(shè)備中即支持過濾又支持多份復(fù)制。

集群的單臺計算節(jié)點處理能力有限，每臺大概在5Gbps左右，比如要分析1Tbps的流量，則需要200臺設(shè)備，如有多套分析系統(tǒng)，設(shè)備數(shù)量還需翻倍。這對于機房空間、電力能耗和資金成本等來說都是一筆小的開銷。

在架構(gòu)設(shè)計時，需要考慮系統(tǒng)性能的優(yōu)化，通過技術(shù)手段提升單個節(jié)點的處理能力，從而減少設(shè)備使用量，提升系統(tǒng)ROI。

現(xiàn)階段CPU的處理能力已經(jīng)很強大，網(wǎng)絡(luò)安全分析系的瓶頸在于收發(fā)包的過程，通用網(wǎng)卡在處理網(wǎng)絡(luò)流量時存在明顯的瓶頸，如圖4所示，數(shù)據(jù)包進入網(wǎng)卡，要發(fā)起CPU中斷，CPU響應(yīng)中斷，將數(shù)據(jù)包從內(nèi)核空間經(jīng)過協(xié)議?？截惖接脩艨臻g，經(jīng)過操作系統(tǒng)協(xié)議棧的處理，最后才能交給應(yīng)用程序使用。在這一系列過程中CPU中斷和內(nèi)存拷貝占用了大量的系統(tǒng)資源。

而這些流程占用了CPU大量的資源，事實上如入侵檢測、DDoS異常流量分析時，完全不需要經(jīng)過如此復(fù)雜的處理，可對其進行優(yōu)化。在設(shè)計時可以采用兩種方式。

（1） 零拷貝技術(shù)?？苫诰W(wǎng)卡自行開發(fā)零拷貝驅(qū)動或者是使用開源的NetMAP等技術(shù)，原理是網(wǎng)卡在收到數(shù)據(jù)包時，直接DMA（Direct Memory Access，直接內(nèi)存存?。┑接脩魬B(tài)內(nèi)存中，應(yīng)用程序可直接調(diào)用，省去了從內(nèi)核態(tài)到用戶態(tài)的拷貝。也可以采用比較成熟的DPDK技術(shù)，該技術(shù)是Intel開發(fā)的，需要Intel網(wǎng)卡和CPU的支持，可在網(wǎng)卡層面實現(xiàn)零拷貝快速收發(fā)包，并且可以采用Intel配套的用戶態(tài)協(xié)議?；蛘咦孕虚_發(fā)一套精簡的協(xié)議棧，采用該技術(shù)實測可提升2～3倍的處理能力。

（2） 專用網(wǎng)卡。通過專用芯片，如Cavium、FPGA、ASIC等加速數(shù)據(jù)包的處理，與零拷貝原理一樣，可避免內(nèi)核態(tài)到用戶態(tài)的拷貝，同時，作為專用硬件協(xié)處理卡，可以針對不同的安全分析系統(tǒng)進行定制，對更多的流還原、分片重組、過濾、正則表達式匹配高負載應(yīng)用進行卸載，進一步提升處理能力。

無論哪種技術(shù)，其核心思路均是把占CPU計算資源的收發(fā)包等簡單重復(fù)的工作進行卸載，從而釋放計算資源，使其更多的用于網(wǎng)絡(luò)安全分析。

第二級網(wǎng)絡(luò)安全分析集群也可采用虛擬化的架構(gòu)搭建，實現(xiàn)彈性擴展，業(yè)務(wù)快速部署，但如果采用協(xié)處理卡，需要其支持SR-IOV技術(shù)，以供虛擬機調(diào)用。關(guān)于虛擬化，本文不再做深入探討。

2.3 第三級

第二級的計算集群完成的是網(wǎng)絡(luò)流量的實時分析處理，對流量進行還原，根據(jù)定義的模式或者特征庫分析攻擊行為。對于一些需要深度分析的文件，如音視頻、加密文件、可執(zhí)行程序等，比較耗費資源和時間，在大規(guī)模網(wǎng)絡(luò)安全處理分析平臺中，將其分發(fā)到另一個集群中進行統(tǒng)一的分析處理。

第二級將網(wǎng)絡(luò)流量還原成文件后，通過文件負載均衡平臺，按照一定的規(guī)則分發(fā)給第三級文件分析處理平臺。該平臺同樣分為多個分析系統(tǒng)，包括沙箱、音視頻文件解析、加密文件破解等。

對于可執(zhí)行文件、批處理文件和文本文件等，分發(fā)給沙箱系統(tǒng)，文件沙箱會模擬運行這些文件，觀察其動作，如果發(fā)現(xiàn)對系統(tǒng)造成破壞或者大量復(fù)制，或者有非法外連行為，則定義其為惡意代碼，進行歸檔和告警。

對于音視頻文件，可分析其內(nèi)嵌字幕、臺標(biāo)等，以及比對人臉、物品等特征。網(wǎng)上傳輸?shù)囊话愣际菈嚎s格式的視頻文件，在分析時，需要將其轉(zhuǎn)換為原始的YUV格式的視頻流，從而對每一幀進行分析。而視頻文件的格式轉(zhuǎn)換非常耗費CPU計算資源，可采用協(xié)處理卡方式將這部分工作進行卸載。在設(shè)計時可以考慮兩種方式。

（1） 顯卡/GPU?，F(xiàn)階段應(yīng)用最廣泛的方式，顯卡輸入通用產(chǎn)品，專門用于視頻圖像處理，性能強勁。但是其也有一定的局限性。首先，尺寸大，全高半長，要占用PCIE x16的槽位，受限于機器空間，每臺通用服務(wù)器一般也就插一兩塊；其次，功耗大，都在200瓦以上；最后，采用CUDA編程，較復(fù)雜。

（2） 專用視頻加速卡。采用Tilera眾核芯片或者Xeon E3 CPU（集成GPU顯卡），在某些場景下對視頻文件的分析性能更強，尺寸?。ㄍǔ槿甙腴L、占用PCIE x8槽位），功耗低（幾十瓦），編程簡單（C語言編程），一臺服務(wù)器能夠插4塊卡，整體方案性價比高。

對于加密文件。需要對其密碼進行暴力破解，同樣采用協(xié)處理卡方式進行加速，同樣有兩種技術(shù)路線：（1）顯卡/GPU；（2）FPGA。其優(yōu)缺點與音視頻文件的技術(shù)路線類似，此處不再贅述。

2.4 第四級

對于分析的結(jié)果，需要做歸檔和離線深度挖掘，構(gòu)建大數(shù)據(jù)安全威脅態(tài)勢感知系統(tǒng)。由于前段分析的是網(wǎng)絡(luò)中的全部流量，因此能夠掌握網(wǎng)絡(luò)中的全部信息，可以從大量的分析結(jié)果中總結(jié)出包括攻擊頻率、攻擊模型、攻擊特征等，可進一步實現(xiàn)主動安全防御，即安全預(yù)警。

第四級大數(shù)據(jù)存儲分析系統(tǒng)需要分析處理的數(shù)據(jù)包括兩部分。

（1） 文件歸檔。前端分析平臺分析日志的保存于呈現(xiàn)；第三級處理后需要歸檔的各種文件；原始數(shù)據(jù)包文件，將原始流量保存成Pcap文件，可以在需要時調(diào)出進行現(xiàn)場還原，可以構(gòu)建流量回放取證系統(tǒng)。

（2） 大數(shù)據(jù)挖掘分析。對前端分析結(jié)果進行匯總，通過機器學(xué)習(xí)、推理等數(shù)據(jù)挖掘手段，做安全威脅態(tài)勢感知分析。

由于數(shù)據(jù)量非常龐大，因此需要采用分布式架構(gòu)來存儲和分析數(shù)據(jù)。

對于文件歸檔，采用分布式并行文件系統(tǒng)，將多臺低成本的通用存儲服務(wù)器的存儲空間虛擬成一個具有統(tǒng)一訪問接口和管理界面的存儲池（也叫統(tǒng)一命名空間）。應(yīng)用服務(wù)器通過統(tǒng)一訪問接口獲得所需得存儲資源。用戶的數(shù)據(jù)按照一定的負載均衡策略，條帶化的分布到后臺的多套存儲設(shè)備上，從而能夠?qū)崿F(xiàn)數(shù)據(jù)的并行讀寫以獲得更高的并發(fā)訪問性能，充分利用多臺存儲設(shè)備的性能和更大的存儲容量，并有效的提高存儲空間利用率。

對于大數(shù)據(jù)挖掘分析，采用Hadoop大數(shù)據(jù)框架來搭建。加速加載和查詢，對海量數(shù)據(jù)實現(xiàn)秒級處理。

3 應(yīng)用論證

本文設(shè)計的大規(guī)模網(wǎng)絡(luò)安全處理分析平臺適用于需要對海量流量進行分析處理的應(yīng)用場景，通常都是大型的大數(shù)據(jù)分析系統(tǒng)。

（1）大型IDC數(shù)據(jù)中心及云計算數(shù)據(jù)中心的安全大數(shù)據(jù)態(tài)勢感知系統(tǒng)、不良網(wǎng)站分析系統(tǒng)。

（2）公安、國安、國防等基于骨干網(wǎng)絡(luò)的流量分析系統(tǒng)、大數(shù)據(jù)分析系統(tǒng)；公安和運營商的網(wǎng)絡(luò)分析系統(tǒng)。

（3）運營商、廣電網(wǎng)絡(luò)骨干網(wǎng)的安全分析系統(tǒng)、DPI分析系統(tǒng)、網(wǎng)絡(luò)優(yōu)化系統(tǒng)、信令分析系統(tǒng)。

4 結(jié)束語

本文設(shè)計了一種通過分級處理實現(xiàn)大規(guī)模網(wǎng)絡(luò)安全處理分析平臺架構(gòu)，通過高性能匯聚分流技術(shù)、DPI深度報文檢測技術(shù)、異構(gòu)計算加速技術(shù)、大數(shù)據(jù)處理分析技術(shù)、機器學(xué)習(xí)模型訓(xùn)練及推理技術(shù)等，解決Tb級海量流量接入與處理的問題，打通計算瓶頸，并應(yīng)用于骨干網(wǎng)流量的分析與處理，為網(wǎng)絡(luò)安全與信息安全保駕護航。

參考文獻

[1] 楊松岸，楊華，楊宇航.用于TCP/IP減荷的智能網(wǎng)卡的設(shè)計與實現(xiàn)[J].計算機工程，2004，30（14）：178-180.

[2] 曾宇，劉朝暉，云曉春，孫凝暉.一種可重構(gòu)智能網(wǎng)卡的設(shè)計及實現(xiàn)[C].全國網(wǎng)絡(luò)與信息安全技術(shù)研討會，2007.

[3] 王佰玲，方濱興，云曉春.零拷貝報文捕獲平臺的研究與實現(xiàn)[J].計算機學(xué)報，2005，28 （1） ：46-52.

[4] 管磊，胡光俊，王專.基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)研究[J].信息網(wǎng)絡(luò)安全，2016 （9） ：45-50.

[5] 李詩旸，沈軍，劉東鑫，鄧博仁.基于大數(shù)據(jù)架構(gòu)的安全分析技術(shù)研究與實踐[J].廣東通信技術(shù)，2017，37 （11） ：2-7.