摘要：隨著物聯(lián)網(wǎng)技術(shù)迅速發(fā)展，網(wǎng)絡(luò)數(shù)據(jù)激增，對(duì)數(shù)據(jù)分析和網(wǎng)絡(luò)安全提出挑戰(zhàn)。數(shù)據(jù)可視化技術(shù)在物聯(lián)網(wǎng)網(wǎng)絡(luò)流量數(shù)據(jù)分析中發(fā)揮關(guān)鍵作用。本文設(shè)計(jì)一個(gè)專注于物聯(lián)網(wǎng)網(wǎng)絡(luò)流量數(shù)據(jù)的可視化系統(tǒng)，整合各類數(shù)據(jù)可視化工具，建立高效分析平臺(tái)。該系統(tǒng)實(shí)際部署后能有效識(shí)別和分析網(wǎng)絡(luò)流量數(shù)據(jù)，為研究人員提供強(qiáng)大支持。通過數(shù)據(jù)可視化技術(shù)，用戶能夠更直觀地了解大規(guī)模網(wǎng)絡(luò)流量的特征、趨勢(shì)和異常，為不斷變化的網(wǎng)絡(luò)環(huán)境提供全面可靠的解決方案。

關(guān)鍵詞：物聯(lián)網(wǎng)；網(wǎng)絡(luò)流量；網(wǎng)絡(luò)安全；數(shù)據(jù)可視化

引言

數(shù)據(jù)可視化技術(shù)在物聯(lián)網(wǎng)網(wǎng)絡(luò)流量數(shù)據(jù)分析中扮演關(guān)鍵角色，提升了網(wǎng)絡(luò)安全和分析人員對(duì)通信模式及異常的識(shí)別效率[1]，對(duì)物聯(lián)網(wǎng)網(wǎng)絡(luò)研究和監(jiān)管至關(guān)重要，有助于檢測(cè)異常、了解流量特征和趨勢(shì)。隨著物聯(lián)網(wǎng)網(wǎng)絡(luò)節(jié)點(diǎn)增多，結(jié)構(gòu)復(fù)雜，流量數(shù)據(jù)不斷增加，網(wǎng)絡(luò)管理和安全分析面臨巨大挑戰(zhàn)。數(shù)據(jù)可視化技術(shù)減輕了分析人員工作負(fù)擔(dān)，避免了資源和時(shí)間成本的浪費(fèi)。物聯(lián)網(wǎng)網(wǎng)絡(luò)安全可視化技術(shù)通過將抽象網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)化為圖形和動(dòng)畫，結(jié)合人機(jī)交互技術(shù)進(jìn)行網(wǎng)絡(luò)安全事件分析，有助于實(shí)現(xiàn)網(wǎng)絡(luò)安全態(tài)勢(shì)感知，發(fā)現(xiàn)入侵和異常，促進(jìn)未知安全事件的研究[2]。

將可視化技術(shù)應(yīng)用于網(wǎng)絡(luò)安全領(lǐng)域?qū)?lái)許多優(yōu)勢(shì)。首先，可視化技術(shù)使得網(wǎng)絡(luò)安全數(shù)據(jù)信息更易于獲取。通過可視化技術(shù)，研究和管理人員能夠更快速地感知網(wǎng)絡(luò)安全數(shù)據(jù)信息，迅速識(shí)別數(shù)據(jù)模式和數(shù)據(jù)差異，從而更深入地發(fā)現(xiàn)數(shù)據(jù)異常。其次，可視化技術(shù)使對(duì)威脅的感知更加直觀敏捷。它可以方便地對(duì)網(wǎng)絡(luò)入侵事件進(jìn)行聚類識(shí)別，從海量數(shù)據(jù)信息中發(fā)現(xiàn)新的攻擊模式和規(guī)律，進(jìn)而對(duì)攻擊趨勢(shì)進(jìn)行預(yù)測(cè)并提前進(jìn)行防御。

物聯(lián)網(wǎng)安全可視化的方向大體可分為以下幾種：首先是物聯(lián)網(wǎng)安全管理的可視化，該方法實(shí)現(xiàn)了對(duì)物聯(lián)網(wǎng)安全運(yùn)維全過程的跟蹤和管控，通過拓?fù)浔磉_(dá)方式支持設(shè)備管理、策略管理及部署，圖表數(shù)據(jù)暴露了更深層次的物聯(lián)網(wǎng)安全信息和線索。其次是信息安全的可視化，解決了不同物聯(lián)網(wǎng)安全產(chǎn)品產(chǎn)生的異構(gòu)安全信息的融合問題，整理分析出真正對(duì)物聯(lián)網(wǎng)安全分析人員有意義有價(jià)值的信息，增強(qiáng)物聯(lián)網(wǎng)安全產(chǎn)品和網(wǎng)絡(luò)系統(tǒng)之間的聯(lián)系。最后是數(shù)據(jù)可視化，通過二維或三維空間的直觀反映，解決了日志數(shù)據(jù)信息受到數(shù)據(jù)集特征限制的問題，使信息更直觀立體，達(dá)到更好的顯示效果。

Keim等人[3]引入Radial Traffic Analyzer系統(tǒng)，以同心圓形式可視化網(wǎng)絡(luò)流量的源/目的IP地址和端口，協(xié)助分析人員監(jiān)控流量、捕捉通信模式。Lakkaraju等人[4]設(shè)計(jì)TNV系統(tǒng)，基于時(shí)序進(jìn)行全局網(wǎng)絡(luò)流量分析，避免底層細(xì)節(jié)過度關(guān)注。Cappers等人[5]提出SNAPS系統(tǒng)，結(jié)合深度數(shù)據(jù)包檢查和異常檢測(cè)，協(xié)助安全分析人員評(píng)估消息層異常對(duì)網(wǎng)絡(luò)層安全的威脅。Ball等人[6]提出VISUAL系統(tǒng)監(jiān)控內(nèi)部網(wǎng)絡(luò)，通過網(wǎng)格表示內(nèi)外部節(jié)點(diǎn)，展示訪問行為和強(qiáng)度。Xiao等人[7]將網(wǎng)絡(luò)流量可視化與陳述式知識(shí)表達(dá)法相結(jié)合，通過迭代發(fā)現(xiàn)網(wǎng)絡(luò)攻擊模式，并更新知識(shí)庫(kù)。Mansmann等人[8]提出可交互的TreeMap布局網(wǎng)絡(luò)地圖系統(tǒng)，對(duì)IP地址空間分層處理，實(shí)現(xiàn)大規(guī)模網(wǎng)絡(luò)直觀分析。

本文專注于研究物聯(lián)網(wǎng)網(wǎng)絡(luò)流量數(shù)據(jù)可視化和網(wǎng)絡(luò)安全可視化，設(shè)計(jì)并建立物聯(lián)網(wǎng)網(wǎng)絡(luò)流量數(shù)據(jù)可視化系統(tǒng)，并利用可信賴的網(wǎng)絡(luò)異常流量數(shù)據(jù)集CIC-IDS-2017進(jìn)行系統(tǒng)測(cè)試，通過構(gòu)建后臺(tái)管理平臺(tái)，整合了模擬攻擊、數(shù)據(jù)收集和圖表展示等功能。

1. 系統(tǒng)設(shè)計(jì)

在龐大的物聯(lián)網(wǎng)網(wǎng)絡(luò)流量數(shù)據(jù)中，有針對(duì)性地進(jìn)行全面的可視化模擬與分析，對(duì)于不同研究領(lǐng)域和具體平臺(tái)環(huán)境至關(guān)重要。盡管已存在多種網(wǎng)絡(luò)數(shù)據(jù)可視化技術(shù)，卻缺乏一個(gè)綜合的平臺(tái)架構(gòu)，為數(shù)據(jù)可視化提供更大的發(fā)展空間。本文提出了一個(gè)與物聯(lián)網(wǎng)網(wǎng)絡(luò)數(shù)據(jù)深度結(jié)合、兼具視覺效果和高性能操控感的物聯(lián)網(wǎng)網(wǎng)絡(luò)流量數(shù)據(jù)可視化系統(tǒng)平臺(tái)。

該系統(tǒng)整合了數(shù)據(jù)可視化、后臺(tái)管理和模擬網(wǎng)絡(luò)攻擊等功能，涵蓋了數(shù)據(jù)集研究、真實(shí)數(shù)據(jù)反饋和跨平臺(tái)數(shù)據(jù)交互等需求。從對(duì)數(shù)據(jù)集的研究到對(duì)真實(shí)環(huán)境下網(wǎng)絡(luò)流量數(shù)據(jù)的分析，該系統(tǒng)滿足了數(shù)據(jù)分析管理人員學(xué)習(xí)與工作的多方面需求。

物聯(lián)網(wǎng)網(wǎng)絡(luò)流量數(shù)據(jù)可視化系統(tǒng)涉及兩個(gè)主要信息來(lái)源：一是網(wǎng)絡(luò)安全數(shù)據(jù)集的信息，通過對(duì)不同網(wǎng)絡(luò)安全數(shù)據(jù)集進(jìn)行數(shù)據(jù)可視化，降低研究人員的工作難度，以更直觀有效的方式獲取全面的數(shù)據(jù)集信息；二是網(wǎng)站后臺(tái)的真實(shí)網(wǎng)絡(luò)流量數(shù)據(jù)，通過對(duì)真實(shí)流量數(shù)據(jù)的研究分析，深入了解網(wǎng)絡(luò)流量數(shù)據(jù)的各個(gè)方面，幫助實(shí)際網(wǎng)站運(yùn)營(yíng)者提供準(zhǔn)確的網(wǎng)絡(luò)安全洞察，以便網(wǎng)絡(luò)安全人員更好地理解網(wǎng)絡(luò)攻擊和威脅。

2. 系統(tǒng)實(shí)現(xiàn)

2.1 PC前端部分

PC前端數(shù)據(jù)可視化部分的核心基礎(chǔ)是Web技術(shù)，其主要功能是實(shí)現(xiàn)數(shù)據(jù)可視化，使研究人員能以更直觀清晰的方式研究網(wǎng)絡(luò)數(shù)據(jù)集，發(fā)揮數(shù)據(jù)可視化在網(wǎng)絡(luò)安全研究學(xué)習(xí)中的作用。

PC端數(shù)據(jù)可視化部分的主要功能流程如下：用戶注冊(cè)登錄，本功能為系統(tǒng)基礎(chǔ)功能，用于用戶的注冊(cè)和登錄，用戶可分為管理員和普通用戶，管理員可以在后臺(tái)進(jìn)行設(shè)置，目前為了系統(tǒng)的通用性，系統(tǒng)所有功能設(shè)置對(duì)所有用戶可見，之后會(huì)加強(qiáng)系統(tǒng)的安全性和可維護(hù)性，添加隱私機(jī)制。用戶通過注冊(cè)和登錄進(jìn)入系統(tǒng)，系統(tǒng)分為系統(tǒng)首頁(yè)與實(shí)驗(yàn)案例兩部分。在系統(tǒng)首頁(yè)，用戶可以根據(jù)需要查看基于某些數(shù)據(jù)集的網(wǎng)絡(luò)攻擊數(shù)據(jù)展示。此外，用戶也可根據(jù)自身需求上傳自有數(shù)據(jù)進(jìn)行可視化操作。PC端數(shù)據(jù)可視化部分的建立涵蓋兩個(gè)主要方面：網(wǎng)絡(luò)攻擊數(shù)據(jù)展示和數(shù)據(jù)上傳處理操作。

在系統(tǒng)的架構(gòu)中，采用了Python的Tornado作為Web服務(wù)器兼Web應(yīng)用框架，同時(shí)利用Nginx進(jìn)行反向代理，并通過Supervisor進(jìn)行監(jiān)控。在Handlers中，包含了系統(tǒng)所有頁(yè)面的處理邏輯。通過向web.Application類的構(gòu)造函數(shù)傳遞static_path參數(shù)，系統(tǒng)能夠從文件系統(tǒng)的特定位置提供靜態(tài)文件。為便于部署，靜態(tài)文件目錄被命名為static。我們配置了靜態(tài)文件的URL，并設(shè)定了模板文件的路徑。在Methods部分，使用PyMySQL進(jìn)行數(shù)據(jù)庫(kù)連接的配置，并利用MySQL處理相關(guān)的數(shù)據(jù)庫(kù)操作。這種系統(tǒng)架構(gòu)充分發(fā)揮了Tornado的異步性能、Nginx的反向代理特性，并通過Supervisor進(jìn)行監(jiān)控，從而使系統(tǒng)具備高性能、可伸縮性和穩(wěn)定性。

本系統(tǒng)的主要功能包括網(wǎng)絡(luò)攻擊數(shù)據(jù)的展示和數(shù)據(jù)上傳操作。在網(wǎng)絡(luò)攻擊數(shù)據(jù)展示功能頁(yè)面中，詳細(xì)呈現(xiàn)了數(shù)據(jù)集中的攻擊類型統(tǒng)計(jì)、攻擊源IP和目的IP，以及時(shí)間戳對(duì)IP的關(guān)聯(lián)（由于數(shù)據(jù)集中時(shí)間戳過于集中而省略此功能）、時(shí)間戳對(duì)其他、其他對(duì)其他（根據(jù)數(shù)據(jù)集中的特征標(biāo)簽來(lái)命名功能）。在數(shù)據(jù)上傳操作功能頁(yè)面中，包括攻擊源IP和目的IP，以及時(shí)間戳對(duì)其他這兩個(gè)功能，其他功能由于實(shí)用性不高而被舍棄。在數(shù)據(jù)上傳操作功能中，用戶可以上傳經(jīng)CICFlowMeter處理過的csv文件，生成相應(yīng)的可視化圖表。

2.2 后臺(tái)管理部分

該系統(tǒng)將采用React構(gòu)建后臺(tái)管理部分的用戶界面，使用Koa作為后臺(tái)管理系統(tǒng)的Web框架，并選擇MySQL 8作為數(shù)據(jù)庫(kù)支持。監(jiān)控方面將使用PM2，同時(shí)通過Nginx進(jìn)行反向代理。系統(tǒng)還嵌入了tcpdump、CICFlowMeter等工具，以實(shí)現(xiàn)網(wǎng)絡(luò)攻擊模擬、網(wǎng)絡(luò)流量數(shù)據(jù)整理和數(shù)據(jù)預(yù)處理等功能的整合。

后臺(tái)管理部分的主要功能流程如下：用戶首先進(jìn)行注冊(cè)或登錄，然后進(jìn)入后臺(tái)管理平臺(tái)。系統(tǒng)展示各項(xiàng)功能，其中重要的功能包括素材管理、文件下載和檢測(cè)操作。在各功能模塊中，用戶可以根據(jù)需要自行更改系統(tǒng)所需的素材，或查看并下載PC端數(shù)據(jù)可視化子系統(tǒng)生成的文件。tcpdump在系統(tǒng)中的嵌入涉及文件下載系統(tǒng)的實(shí)現(xiàn)。目前，系統(tǒng)主要利用tcpdump實(shí)現(xiàn)數(shù)據(jù)包的自動(dòng)捕獲，并將數(shù)據(jù)包保存到pcap文件中，然后使用CICFlowMeter獲取csv文件。流程包括在服務(wù)器端運(yùn)行shell腳本啟動(dòng)tcpdump自動(dòng)捕獲程序，自動(dòng)捕捉數(shù)據(jù)包并保存到指定位置以供系統(tǒng)調(diào)用，在實(shí)驗(yàn)中可停止捕獲。

本平臺(tái)的后臺(tái)管理系統(tǒng)采用了React-Antd-Admin框架，該框架適用于構(gòu)建簡(jiǎn)單通用的后臺(tái)管理系統(tǒng)，可在開源基礎(chǔ)上引入更多的框架更新和功能擴(kuò)展優(yōu)化。主要功能包括用戶注冊(cè)登錄、系統(tǒng)首頁(yè)、用戶管理以及文件下載。用戶注冊(cè)登錄是系統(tǒng)的基礎(chǔ)功能，分為管理員和普通用戶，管理員可在后臺(tái)進(jìn)行設(shè)置。目前，為了系統(tǒng)通用性，所有用戶都可以看到所有功能設(shè)置，但未來(lái)將加強(qiáng)系統(tǒng)的安全性、可維護(hù)性，并添加隱私機(jī)制。系統(tǒng)首頁(yè)設(shè)有側(cè)邊導(dǎo)航欄，顯示具體功能，并在右上角設(shè)置了用戶中心，用于管理用戶信息。用戶管理功能用于管理使用本系統(tǒng)的用戶。文件下載功能用于與PC端數(shù)據(jù)可視化子系統(tǒng)交互，可下載適用于PC端數(shù)據(jù)可視化系統(tǒng)操作的數(shù)據(jù)，包括csv文件和pcap文件，這些文件由tcpdump在項(xiàng)目所部署的服務(wù)器上捕獲的流量數(shù)據(jù)文件。

3. 系統(tǒng)測(cè)試

本文實(shí)驗(yàn)過程中使用CIC-IDS-2017數(shù)據(jù)集進(jìn)行測(cè)試。CIC-IDS-2017數(shù)據(jù)集全面覆蓋了11種常見攻擊的必要標(biāo)準(zhǔn)，包括DoS、DDoS、Brute Force、XSS、SQL注入、過濾、端口掃描和Botnet等。該數(shù)據(jù)集經(jīng)過完全標(biāo)記，通過使用CICFlowMeter軟件提取和計(jì)算了所有良性和入侵性流量的80多個(gè)網(wǎng)絡(luò)流量特征。該軟件已在加拿大網(wǎng)絡(luò)安全研究所的網(wǎng)站上公開提供[9]。

CIC-IDS-2017數(shù)據(jù)集捕獲期為五天，分別為星期一至星期五。星期一為正常流量，其余四天分別實(shí)施多種攻擊，如FTP Patator、SSH Patator、DoS、Heartbleed等。使用CICFlowMeter提取了80個(gè)流量特征。在線模式可實(shí)時(shí)監(jiān)控并生成特征，監(jiān)聽結(jié)束后可保存結(jié)果或通過離線模式提交pcap文件，并獲取包含特征的csv文件，如表1所示。

為確定每種攻擊的最佳特征集，使用了Scikit-Learn的隨機(jī)森林回歸模型類。首先，對(duì)整個(gè)數(shù)據(jù)集中的每個(gè)特征進(jìn)行重要性評(píng)估。接下來(lái)，在每個(gè)類別上，將每個(gè)特征的拆分平均標(biāo)準(zhǔn)化值與相應(yīng)特征重要性的乘積計(jì)算得出。這一過程最終產(chǎn)生了綜合結(jié)果，通過將平均標(biāo)準(zhǔn)化值與特征重要性相乘，有效地捕捉了每個(gè)類別內(nèi)各個(gè)特征的貢獻(xiàn)，從而提供了綜合而有針對(duì)性的評(píng)估。數(shù)據(jù)集攻擊數(shù)據(jù)樣本統(tǒng)計(jì)表展示效果如表2所示。

結(jié)語(yǔ)

數(shù)據(jù)可視化技術(shù)是幫助人們挖掘大規(guī)模數(shù)據(jù)中潛在特征的重要手段，在多個(gè)領(lǐng)域得到廣泛應(yīng)用，包括物聯(lián)網(wǎng)網(wǎng)絡(luò)流量數(shù)據(jù)分析。物聯(lián)網(wǎng)網(wǎng)絡(luò)流量數(shù)據(jù)可視化有助于提升網(wǎng)絡(luò)安全人員和分析人員對(duì)通信模式及異常情況的識(shí)別和定位效率。作為網(wǎng)絡(luò)數(shù)據(jù)的重要組成部分，物聯(lián)網(wǎng)網(wǎng)絡(luò)流量數(shù)據(jù)對(duì)于網(wǎng)絡(luò)研究和監(jiān)管人員偵測(cè)網(wǎng)絡(luò)異常、了解網(wǎng)絡(luò)流量特征和趨勢(shì)等具有重要意義。物聯(lián)網(wǎng)網(wǎng)絡(luò)安全可視化的實(shí)現(xiàn)離不開網(wǎng)絡(luò)數(shù)據(jù)，因?yàn)榫W(wǎng)絡(luò)數(shù)據(jù)源在可視化流程中至關(guān)重要。各類網(wǎng)絡(luò)數(shù)據(jù)中蘊(yùn)含著多樣的網(wǎng)絡(luò)信息，為網(wǎng)絡(luò)安全可視化在不同領(lǐng)域的應(yīng)用奠定了基礎(chǔ)。本文以物聯(lián)網(wǎng)網(wǎng)絡(luò)流量數(shù)據(jù)為研究對(duì)象，通過分析不同系統(tǒng)，探討了先前的網(wǎng)絡(luò)安全可視化工作，構(gòu)建了基于Web的網(wǎng)絡(luò)流量可視化系統(tǒng)，提出了線上網(wǎng)站與安全數(shù)據(jù)監(jiān)測(cè)分析相結(jié)合的方案，并進(jìn)行了線上部署和實(shí)驗(yàn)驗(yàn)證。在未來(lái)研究中，將專注于深入研究實(shí)時(shí)數(shù)據(jù)交互和分析，以提供實(shí)用的數(shù)據(jù)可視化方案，同時(shí)力求擺脫特定數(shù)據(jù)集的限制，進(jìn)行更廣泛通用的可視化技術(shù)研究。

參考文獻(xiàn)：

[1]穆逸誠(chéng)，柯珊珊.網(wǎng)絡(luò)安全的可視化分析[J].科技創(chuàng)業(yè)月刊，2017，30（3）：20-22.

[2]Becker R A，Eick S G，Wilks A R.Visualizing Network Data[J].IEEE Transactions on visualization and computer graphics，1995，1（1）：16-28.

[3]Keim D A，Mansmann F，Schneidewind J，et al..Monitoring Network Traffic with Radial Traffic Analyzer[C].IEEE Symposium.Visual Analytics Science and Technology，2006：123-128.

[4]Lakkaraju K，Yurcik W，Lee AJ.NVisionIP：Netflow Visualizations of System State for Security Situational Awareness[C].ACM Workshop Visualization and Data Mining for Computer Security，2004：65-72.

[5]Cappers B C M，Wijk J J V.SNAPS：Semantic Network traffic Analysis through Projection and Selection[C].IEEE Workshop Visualization for Computer Security，2015：1-8.

[6]Ball R，F(xiàn)ink G A，North C.Home-Centric Visualization of Network Traffic for Security Administration[C].ACM Workshop Visualization and Data Mining for Computer Security，2004：55-64.

[7]Xiao L，Gerth J，Hanrahan P.Enhancing Visual Analysis of Network Traffic Using a Knowledge Representation[C].IEEE Symp.Visual Analytics Science and Technology，2006：107-114.

[8]Mansmann F，Keim D，North S，et al.Visual analysis of network traffic for resource planning，interactive monitoring，and interpretation of security threats[J].IEEE transactions on visualization and computer graphics，2007，13（6）：1105-1112.

[9]Sharafaldin I，Lashkari A H，Ghorbani A A.Toward Generating a New Intrusion Detection Dataset and Intrusion Traffic Characterization[C].The 4th International Conference on Information Systems Security and Privacy，2018：108-116.

作者簡(jiǎn)介：張軒，博士研究生，工程師，研究方向：物聯(lián)網(wǎng)。