劉智國，于增明，王 建，張 磊，黎康盛，沈 輝

(1.中國電子信息產(chǎn)業(yè)集團有限公司第六研究所，北京 100083；2.國網(wǎng)黑龍江省電力有限公司大興安嶺供電公司，黑龍江大興安嶺 165000)

1 網(wǎng)絡(luò)靶場的研究背景

網(wǎng)絡(luò)靶場主要用于網(wǎng)絡(luò)攻防演練和網(wǎng)絡(luò)裝備測試,以提高網(wǎng)絡(luò)和信息系統(tǒng)的安全性。雖然在網(wǎng)絡(luò)性能評測及仿真方面，已有眾多的評測工具，但是僅僅實現(xiàn)了核心網(wǎng)絡(luò)包傳輸及網(wǎng)絡(luò)操作的模擬。如思科的Cisco Packet Tracer[1]是一款網(wǎng)絡(luò)模擬學(xué)習(xí)工具,實現(xiàn)了模擬網(wǎng)絡(luò)操作命令、維護和網(wǎng)絡(luò)設(shè)備配置等。OPNET[2]產(chǎn)品主要面向?qū)I(yè)人士，幫助客戶進行網(wǎng)絡(luò)拓撲、網(wǎng)絡(luò)設(shè)備和應(yīng)用的設(shè)計、實施、分析和管理。Network Simulator[3]是一個由UC Berkeley開發(fā)的用于仿真各種IP網(wǎng)絡(luò)為主的仿真軟件，可以實現(xiàn)離散事件模擬、仿真網(wǎng)絡(luò)傳輸協(xié)議、業(yè)務(wù)源流量產(chǎn)生、路由隊列管理機制及路由算法模擬。然而，網(wǎng)絡(luò)靶場需要對網(wǎng)絡(luò)節(jié)點及網(wǎng)絡(luò)進行全量的模擬，對目標網(wǎng)絡(luò)進行高逼真度仿真，復(fù)現(xiàn)真實網(wǎng)絡(luò)環(huán)境行為，只模擬了核心功能的模擬器無法實現(xiàn)。

網(wǎng)絡(luò)靶場體系架構(gòu)為了達到目標環(huán)境高逼真度模擬，需包含網(wǎng)絡(luò)拓撲設(shè)計、網(wǎng)絡(luò)及節(jié)點虛擬化、系統(tǒng)互聯(lián)、環(huán)境設(shè)置、數(shù)據(jù)采集、結(jié)果評估等功能。分別為：(1)網(wǎng)絡(luò)拓撲設(shè)計：設(shè)計網(wǎng)絡(luò)拓撲結(jié)構(gòu)，并以網(wǎng)絡(luò)符號等方式存儲為文件；(2)網(wǎng)絡(luò)及節(jié)點虛擬化：讀入網(wǎng)絡(luò)拓撲文件，將其虛擬化為物理網(wǎng)絡(luò)，可分為節(jié)點虛擬化(如KVM)和鏈路虛擬化兩方面。Dummynet[4]作為鏈路虛擬化的代表，通過一個或多個管道模擬帶寬、傳播時延、丟包率等鏈路特性,具有很高的逼真度；(3)系統(tǒng)互聯(lián)：實現(xiàn)路由器、交換機等網(wǎng)絡(luò)設(shè)備虛擬化，并節(jié)點互聯(lián)，形成高逼真網(wǎng)絡(luò)；(4)環(huán)境設(shè)置：設(shè)置網(wǎng)絡(luò)仿真平臺、背景流量、系統(tǒng)網(wǎng)絡(luò)帶寬等參數(shù)設(shè)置，并應(yīng)用于目標虛擬化生成及仿真控制過程；(5)數(shù)據(jù)采集：試驗數(shù)據(jù)采集分成物理數(shù)據(jù)采集和虛擬化數(shù)據(jù)采集；(6)結(jié)果評估：對于采集到的測試數(shù)據(jù)進行分析處理、評判攻防態(tài)勢。

2 現(xiàn)有主流網(wǎng)絡(luò)靶場體系架構(gòu)

現(xiàn)有靶場主流體系架構(gòu)主要有美國的Emulab[5]、DeterLab[6]，英國的BreakingPoint[7]靶場，日本的Starbed[8]靶場，美國NCR靶場[9]等，分別對其體系架構(gòu)介紹如下：

2.1 EmuLab[5]

Emulab是由猶他大學(xué)計算機學(xué)院Flux研究團隊開發(fā)的一個網(wǎng)絡(luò)測試床,其核心架構(gòu)為一套分布式軟件系統(tǒng)及一個基礎(chǔ)平臺架構(gòu)，并提供共享平臺用于研究、教育及開發(fā)分布式系統(tǒng)及網(wǎng)絡(luò)，可以用于系統(tǒng)仿真、Internet網(wǎng)絡(luò)模擬、無線網(wǎng)絡(luò)仿真、對比驗證。

圖1 Emulab網(wǎng)絡(luò)測試床

系統(tǒng)包括總線、外部分布式節(jié)點(Internet接入)、用戶集中控制節(jié)點(usershost)、服務(wù)器管理節(jié)點(masterhost)、PC節(jié)點、NSE節(jié)點?？偩€分為兩種:數(shù)據(jù)總線(Programmable patch panel)和控制總線(Control switch/Router)。PC節(jié)點共有168臺，每臺有5個100Mb的以太網(wǎng)接口:一個連接控制總線，另一個連接數(shù)據(jù)總線，其它在實驗中可任意使用。NSE節(jié)點也同時和兩種總線連接，用于創(chuàng)建虛擬機和實際業(yè)務(wù)仿真，可以模擬節(jié)點的鏈接和流量。服務(wù)器管理節(jié)點是許多關(guān)鍵服務(wù)的安全服務(wù)器，包括web服務(wù)、數(shù)據(jù)庫和交換機管理服務(wù)。

Web界面作為一個可訪問的門戶，實驗者通過它可以創(chuàng)建或終止一個實驗，查看相應(yīng)的虛擬拓撲，或者配置節(jié)點屬性。在實驗創(chuàng)建之后，實驗者可以直接登錄到他們分配的節(jié)點，或者用戶集中控制節(jié)點，然后開始試驗過程。

2.2 DeterLab[6]

DeterLab基于Emulab基礎(chǔ)上，由南加州大學(xué)ISI和加州大學(xué)伯克利分校聯(lián)合開發(fā)的計算機安全及工控系統(tǒng)安全測試床，用于網(wǎng)絡(luò)安全技術(shù)研究。到目前為止，基于確定性的項目包括行為分析和防御技術(shù)，包括DDoS攻擊、蠕蟲和僵尸網(wǎng)絡(luò)攻擊、加密、模式檢測和入侵容忍存儲協(xié)議。

DeterLab由兩組分布在ISI和UC Berkeley的300個實驗PC集群節(jié)點組成，他們擁有共同的控制平面。仿真控制軟件被配置為將兩個站點的節(jié)點放置在單獨的邏輯池中，一個實驗可以從一個或兩個集群中分配節(jié)點。

圖2 Deterlab網(wǎng)絡(luò)測試床

這些節(jié)點是由高速以太網(wǎng)交換機的“可編程背板”連接的，它被截斷形成一個邏輯開關(guān)。每個實驗PC有四個實驗接口和一個控制接口連到這個開關(guān)。為了創(chuàng)建由實驗人員指定的拓撲，“Boss”服務(wù)器上的仿真控制軟件將PC節(jié)點分配給實驗，并通過在交換機中設(shè)置Vlan來將它們連接起來，高容量開關(guān)硬件用于避免Vlan之間的干擾。

2.3 BreakingPoint[7]

BreakingPoint是英國Ixia公司的網(wǎng)絡(luò)靶場系統(tǒng)。它支持流量生成和仿真,以創(chuàng)建一個互聯(lián)網(wǎng)規(guī)模的網(wǎng)絡(luò)靶場環(huán)境。BreakingPoint中對互聯(lián)網(wǎng)環(huán)境仿真包括目標仿真、漏洞仿真、逃避仿真和流量仿真。BreakingPoint支持網(wǎng)絡(luò)安全測試，它能測量硬件設(shè)備的吞吐量，發(fā)送惡意流量進行測試，并將流量發(fā)送到設(shè)備，以模擬攻擊行為。

圖3 BreakingPoint網(wǎng)絡(luò)測試床

2.4 Starbed[8]

Starbed由日本情報通信研究機構(gòu)(NICT)于2002 年主導(dǎo)研制,主要提供大規(guī)模的網(wǎng)絡(luò)試驗環(huán)境用于評估真實場景下的新技術(shù)。結(jié)構(gòu)如圖所示，Starbed測試網(wǎng)絡(luò)分為實驗網(wǎng)及管理網(wǎng)。實驗網(wǎng)主要提供L2拓撲。管理網(wǎng)主要對試驗進行全生命周期管理、并連接到全局網(wǎng)絡(luò)。系統(tǒng)通過Internet和JGN2plus提供兩個外部線路，將其他站點的連接或?qū)嶋H的流量引入到實驗網(wǎng)絡(luò)環(huán)境中。

圖4 Starbed網(wǎng)絡(luò)測試床

2.5 美國國家靶場NCR[9]

美國“國家網(wǎng)絡(luò)靶場”(National Cyber Range,NCR)項目是“曼哈頓計劃”的五個組成部分之一，由美國國防高級研究計劃局(DARPA)負責(zé)組建,國防部測試資源管理中心(TRMC)負責(zé)運營，包括測試、培訓(xùn)和實驗社區(qū)使用的功能。通過構(gòu)建可伸縮的互聯(lián)網(wǎng)模型, 進行網(wǎng)絡(luò)戰(zhàn)爭推演，測試涉密與非涉密網(wǎng)絡(luò)項目的安全設(shè)備，維護美國的網(wǎng)絡(luò)安全。

圖5 美國NCR網(wǎng)絡(luò)測試床

測試過程主要分為三個階段。首先，在測試開始之前，NCR工作人員將使用CSTL測試規(guī)范工具構(gòu)建測試平臺，構(gòu)建過程包括對測試平臺進行分區(qū)，為測試分配系統(tǒng)資源，以及集成和配置共同的硬件/軟件資源和網(wǎng)絡(luò)工具，作為測試的資產(chǎn)描述。其次，通過NCR的數(shù)據(jù)傳感器、資源管理器、范圍存儲庫和可視化工具進行收集客戶指定的事件數(shù)據(jù)。在這個過程中，范圍配置以及驗證工具會自動將硬件連接到適當?shù)呐渲貌⑶易詣优渲盟枰\行的軟件。最后，使用測試執(zhí)行工具、流量生成工具以及特定系統(tǒng)執(zhí)行測試隊列，進行數(shù)據(jù)收集以及分析[10-11]。

2.6 美國國家SCADA測試床項目(NSTB)[12]

美國國家SCADA測試床(NSTB)創(chuàng)建于2003年，是美國能源部匯集阿貢、愛達荷、勞倫斯伯克利、洛斯阿拉莫斯、橡樹嶺、西太平洋和桑迪亞國家實驗室，結(jié)合國家實驗室先進的操作系統(tǒng)測試設(shè)施和專家的研究能力，以此來發(fā)現(xiàn)和解決關(guān)鍵安全漏洞和應(yīng)對能源行業(yè)所面臨的安全威脅。NSTB項目主要任務(wù)為：提高工業(yè)控制系統(tǒng)網(wǎng)絡(luò)安全漏洞問題的認知能力，與企事業(yè)單位合作來識別、評估和解決當前的SCADA系統(tǒng)漏洞；利用測試床資源，針對現(xiàn)有控制系統(tǒng)的安全問題，測試研究與開發(fā)出短期應(yīng)對方案和風(fēng)險緩解策略；設(shè)計下一代工控系統(tǒng)安全架構(gòu)，建設(shè)智能、安全、可靠的控制系統(tǒng)和基礎(chǔ)設(shè)施系統(tǒng)；研究制定國家標準和指導(dǎo)方針。

2.7 基于IaaS的網(wǎng)絡(luò)靶場[13]

圖6 基于IaaS的網(wǎng)絡(luò)靶場

南京信息系統(tǒng)工程重點實驗室結(jié)合基礎(chǔ)設(shè)施即服務(wù)(IaaS)云計算技術(shù)，從系統(tǒng)頂層設(shè)計、物理結(jié)構(gòu)、邏輯組成、運行架構(gòu)和優(yōu)化部署等方面，提出了基于IaaS的網(wǎng)絡(luò)靶場試驗系統(tǒng)。根據(jù)IaaS云計算理念進行網(wǎng)絡(luò)靶場試驗系統(tǒng)頂層設(shè)計，通過基礎(chǔ)設(shè)施服務(wù)化整合，提高了靶場試驗環(huán)境構(gòu)建的靈活性和可擴展性；提出了基于軟件定義網(wǎng)絡(luò)(SDN)技術(shù)的靶場試驗網(wǎng)絡(luò)基礎(chǔ)設(shè)施服務(wù)化構(gòu)建方法，實現(xiàn)了試驗資源的網(wǎng)絡(luò)一體化集成；建立了虛擬與物理資源的最優(yōu)映射和調(diào)度模型，提高了硬件資源的利用率和試驗環(huán)境的構(gòu)建效率。

3 基于云計算的靶場體系架構(gòu)

3.1 系統(tǒng)架構(gòu)

圖7 系統(tǒng)架構(gòu)

圖8 試驗物理環(huán)境架構(gòu)

基于我們在靶場方面的技術(shù)積累以及相關(guān)研究，我們基于云計算技術(shù)提出了xCloudbed體系架構(gòu)，并在分析、評估等方面基于AI技術(shù)，實現(xiàn)對資源智能分配及攻防效果動態(tài)評估。對系統(tǒng)架構(gòu)描述如下：系統(tǒng)整體邏輯架構(gòu)方面，整個系統(tǒng)由物理平臺層、操作系統(tǒng)層、Hypervisor層、云資源虛擬化層、應(yīng)用層、目標網(wǎng)絡(luò)環(huán)境層組成。其中，物理平臺主要包括網(wǎng)絡(luò)通信設(shè)備、計算設(shè)備及接口設(shè)備等，作為云平臺的基礎(chǔ)硬件層；操作系統(tǒng)層主要在宿主機上安裝相應(yīng)的操作系統(tǒng)、還要實現(xiàn)時間同步、消息分發(fā)等功能；Hypervisor層主要實現(xiàn)對容器及虛擬機的管理；云資源虛擬化管理層主要是指云管理操作系統(tǒng)及微服務(wù)管理操作系統(tǒng)；應(yīng)用層主要實現(xiàn)虛擬化網(wǎng)絡(luò)管理、應(yīng)用模擬、監(jiān)測評估、系統(tǒng)調(diào)度管理及數(shù)據(jù)管理等功能；系統(tǒng)目標網(wǎng)絡(luò)環(huán)境是針對不同場景進行設(shè)計，產(chǎn)出相應(yīng)的目標仿真環(huán)境。

3.2 試驗環(huán)境物理架構(gòu)

網(wǎng)絡(luò)靶場試驗環(huán)境在物理上由計算服務(wù)器、存儲服務(wù)器和網(wǎng)絡(luò)服務(wù)器(虛擬化云內(nèi)部網(wǎng)絡(luò))等設(shè)備，與物理網(wǎng)絡(luò)設(shè)備、物理安全防護設(shè)備通過網(wǎng)絡(luò)互連，實現(xiàn)各類資源的互連互通、端口映射和流量重定向。系統(tǒng)的物理網(wǎng)絡(luò)分為管理網(wǎng)和數(shù)據(jù)網(wǎng)2種，管理網(wǎng)實現(xiàn)環(huán)境配置及控制命令傳輸，數(shù)據(jù)網(wǎng)實現(xiàn)目標系統(tǒng)網(wǎng)絡(luò)數(shù)據(jù)傳輸功能，管理網(wǎng)和數(shù)據(jù)網(wǎng)之間相互隔離。物理網(wǎng)絡(luò)上部署防火墻、IPS、IDS、安全認證及審計、數(shù)據(jù)庫安全防護、數(shù)據(jù)防泄漏等物理安全設(shè)備，虛擬網(wǎng)絡(luò)內(nèi)部部署虛擬防火墻、虛擬防病毒、虛擬IPS等虛擬安全設(shè)備，并連接到統(tǒng)一的安全管理中心，實現(xiàn)整體的安全運維管理。物理網(wǎng)絡(luò)與外部網(wǎng)絡(luò)之間邊界隔離，對外提供試驗接入服務(wù)。

3.3 系統(tǒng)交互關(guān)系

在系統(tǒng)流程方面，實驗開始階段相關(guān)試驗員通過Web管理界面實現(xiàn)網(wǎng)絡(luò)拓撲結(jié)構(gòu)、任務(wù)設(shè)置、資源配置等信息，調(diào)用系統(tǒng)調(diào)度分系統(tǒng)的資源，將配置信息及運控信息傳遞到虛擬網(wǎng)絡(luò)分系統(tǒng)、計算分系統(tǒng)、應(yīng)用模擬分析圖進行目標網(wǎng)絡(luò)環(huán)境的生成。搭建完畢后，啟動仿真過程，信息采集與處理子系統(tǒng)對目標網(wǎng)絡(luò)的網(wǎng)絡(luò)流、虛擬機內(nèi)部的進程等事件進行監(jiān)控，并及時通知監(jiān)測評估分系統(tǒng)。試驗結(jié)束后，由監(jiān)測評估分系統(tǒng)進行整體攻防過程的評估，結(jié)果評判等。

圖9 系統(tǒng)交互關(guān)系圖

3.4 實現(xiàn)技術(shù)

從技術(shù)實現(xiàn)角度，運維保障分系統(tǒng)中主要完成的是配置管理下發(fā)，而采用的是XML進行配置描述；基礎(chǔ)設(shè)施分系統(tǒng)中的總線采用的是Kafka，可以確保其具備高吞吐、高可用和可擴展的特性；數(shù)據(jù)資源存儲管理分系統(tǒng)主要包括了采用libvmi和libvirt的帶外采集技

術(shù)、基于SNMP的實物采集技術(shù)、BPF的實物網(wǎng)絡(luò)設(shè)備采集技術(shù)和針對大小規(guī)模的關(guān)系型和非關(guān)系型數(shù)據(jù)庫的存儲技術(shù)；應(yīng)用模擬分系統(tǒng)主要采用了一些套件和開源技術(shù)完成了高并發(fā)式的大規(guī)模應(yīng)用模擬部署功能；虛擬網(wǎng)絡(luò)分系統(tǒng)主要基于KVM、Docker等技術(shù)來實現(xiàn)底層環(huán)境生成的虛擬化和仿真；監(jiān)測評估分系統(tǒng)中采用的關(guān)鍵技術(shù)是SVG、HighCharts等圖形繪制技術(shù)，以及采用通用的JSON格式完成數(shù)據(jù)交互以便減少數(shù)據(jù)傳輸量節(jié)省帶寬。

4 綜合對比

將目前主流的靶場系統(tǒng)與基于云的靶場架構(gòu)xCloudbed進行了綜合對比，如表1所示。從執(zhí)行效率角度來看，基于集群的靶場架構(gòu)由于采用交換機開關(guān)切換的方式生成網(wǎng)絡(luò)，并基于物理PC機快速構(gòu)建目標環(huán)境，執(zhí)行效率較高，但會受限于現(xiàn)有物理節(jié)點的數(shù)量及節(jié)點的系統(tǒng)環(huán)境，支持場景有限，動態(tài)擴展能力差?；诩?虛擬化方式構(gòu)建的靶場系統(tǒng)，雖然從一定程度上解決了動態(tài)擴展，但系統(tǒng)采用混合架構(gòu)，結(jié)構(gòu)比較復(fù)雜，帶來了兼容性的問題。基于云及虛擬化架構(gòu)的靶場環(huán)境，采用統(tǒng)一的虛擬化平臺資源，很好地解決了動態(tài)擴展及兼容性的問題。

表1 網(wǎng)絡(luò)靶場體系架構(gòu)對比

5 未來發(fā)展方向

基于云及虛擬化架構(gòu)的靶場應(yīng)在未來重點對以下技術(shù)展開研究：

(1)復(fù)雜網(wǎng)絡(luò)環(huán)境仿真的支持

實現(xiàn)對復(fù)雜網(wǎng)絡(luò)環(huán)境仿真的支持，如智能制造工業(yè)場景、5G無線通信，面向未來的網(wǎng)絡(luò)、特殊網(wǎng)絡(luò)協(xié)議的支持，擴充平臺的適應(yīng)性。

(2)高效數(shù)據(jù)采集

針對中心采集程序和植入虛擬機的代理程序方式受到虛擬機自身運行狀況影響的問題，實現(xiàn)虛擬化帶外數(shù)據(jù)采集技術(shù)，從虛擬機外部進行數(shù)據(jù)采集，獲取虛擬機內(nèi)部的運行狀態(tài)。

(3)背景流量模擬

針對測試環(huán)境中網(wǎng)絡(luò)流量行為模擬及背景流量生成的問題，實現(xiàn)海量用戶并發(fā)訪問互聯(lián)網(wǎng)應(yīng)用的用戶行為模擬，并能定制化生成含有特定內(nèi)容、地址等的網(wǎng)絡(luò)應(yīng)用流量。

(4)網(wǎng)絡(luò)靶場自身安全與隔離

目前云環(huán)境中由于共享物理及資源，特別是Docker技術(shù)提供的微服務(wù)，由于和操作系統(tǒng)共享，存在很多的安全問題。保障網(wǎng)絡(luò)空間安全試驗訓(xùn)練系統(tǒng)與互聯(lián)網(wǎng)隔離、測試任務(wù)與任務(wù)之間隔離、運行數(shù)據(jù)與對外服務(wù)隔離是未來一個研究方向。

(5)與人工智能結(jié)合的分析及預(yù)測技術(shù)

主要實現(xiàn)對靶場采集數(shù)據(jù)進行大數(shù)據(jù)深度分析，自動生成攻防態(tài)勢預(yù)測圖、攻防手法分析、靶場網(wǎng)絡(luò)自優(yōu)化等。利用深度學(xué)習(xí)及蜜罐技術(shù)、威脅情報感知技術(shù)，預(yù)測網(wǎng)絡(luò)攻擊發(fā)展趨勢，自動擴充測試工具，完善攻防手段。

總之，隨著云計算、虛擬化、人工智能技術(shù)的不斷成熟，基于云的靶場體系架構(gòu)將成為一個新的熱點研究方向。

[1] JANITOR J, JAKAB F, KNIEWALD K. Visual learning tools for teaching/learning computer networks: Cisco Networking Academy and Packet Tracer[C]// Sixth International Conference on NETWORKING and Services, IEEE Computer Society, 2010:351-355.

[2] CHCANG X. Network simulations with OPNET[C]// Simulation Conference Proceedings. IEEE, 2002:307-314 vol.1.

[3] LIU N, CAROTHERS C, COPE J, et al. Model and simulation of exascale communication networks[J]. Journal of Simulation, 2012, 6(4):227-236.

[4] CARBONE M, RIZZO L. Dummynet revisited[J]. Acm Sigcomm Computer Communication Review, 2010, 40(2):12-20.

[5] HIBLER M, RICCI R, STOLLER L, et al. Large-scale virtualization in the emulab network testbed[C]//USENIX Annual Technical Conference.2008: 113-128.

[6] MIRKOVIC J, BENZEL T. Teaching cybersecurity with DeterLab[J].Security & Privacy, IEEE, 2012, 10(1): 73-76.

[7] WINTER H. System security assessment using a cyber range[C]//System Safety, incorporating the Cyber Security Conference 2012,7th IET International Conference on. IET, 2012: 1-5.

[8] MIYACHI T, MIWA S, HASEGAWA S, et al. Hands-on environments for network technologies on StarBED[J]. Educational technology research, 2011, 34(1): 107-118.

[9] PRIDMORE L, LARDIERI P, HOLLISTER R. National Cyber Range (NCR) automated test tools: Implications and application to network-centric support tools[C]//AUTOTESTCON, IEEE, 2010: 1-4.

[10] 方濱興, 賈焰, 李愛平,等. 網(wǎng)絡(luò)空間靶場技術(shù)研究[J]. 信息安全學(xué)報, 2016, 1(3):1-9.

[11] 韓衛(wèi)國, 徐明迪. 面向賽博空間的網(wǎng)絡(luò)靶場建設(shè)思路[J]. 計算機與數(shù)字工程, 2015(8):1465-1470.

[12] Department of Energy，National SCADA Tested[Z/OL]．(2012-07-01)，https://www.energy.gov/oe/technology-development/energy-delivery-systems-cybersecurity/national-scada-test-bed

[13] 李大偉. 基于IaaS的網(wǎng)絡(luò)靶場試驗系統(tǒng)設(shè)計與實現(xiàn)[J]. 指揮信息系統(tǒng)與技術(shù), 2015, 6(5):1-6.