李凌書，鄔江興

（解放軍信息工程大學(xué)國家數(shù)字交換系統(tǒng)工程技術(shù)研究中心，鄭州 450002）

0 概述

云計算是一種基于泛在網(wǎng)絡(luò)連接的服務(wù)提供形式，網(wǎng)絡(luò)連接的一端是具有強大計算能力的“云”，另一端是功能簡化為輸入輸出設(shè)備的用戶終端?！霸啤倍死锰摂M化、分布式計算等技術(shù)匯聚碎片化的IT 資源形成共享資源池，再以動態(tài)、彈性、按量付費的方式為用戶提供可配置的大規(guī)模計算和存儲服務(wù)。云網(wǎng)融合是當前云計算的發(fā)展方向之一，功能部署和資源管理縱向下沉到網(wǎng)絡(luò)層進行統(tǒng)一調(diào)度和控制，橫向拓展實現(xiàn)包括公有云、私有云、混合云、企業(yè)IT 系統(tǒng)等多種資源的協(xié)同控制?！岸嘣?多網(wǎng)”將是未來長期存在的需求。

軟件即服務(wù)（Software as a Service，SaaS）是云計算的一種交付模型，根據(jù)美國國家標準與技術(shù)研究院（National Institute of Standards and Technology，NIST）的定義，SaaS 使用戶可以通過各類客戶端接口，直接訪問和使用運行在云基礎(chǔ)設(shè)施上由服務(wù)提供商提供的應(yīng)用程序，而無需管理云基礎(chǔ)設(shè)施和應(yīng)用程序。SaaS 模式在面向多租戶時保持了快速、彈性、可配置且低成本的特點，而新冠肺炎疫情的出現(xiàn)，更加速了遠程辦公、在線教育等SaaS 服務(wù)落地。據(jù)Gartner 調(diào)查顯示，SaaS 是云計算中最大的細分市場。

SaaS 服務(wù)可擴展、可重用和模塊化的特性吸引了越來越多的政企業(yè)務(wù)向云端遷移，人們對SaaS 安全性的考量也與日俱增。數(shù)據(jù)泄露、數(shù)據(jù)丟失、認證憑據(jù)劫持、不安全的接口、惡意內(nèi)部攻擊和濫用云服務(wù)等安全問題嚴重影響云應(yīng)用的發(fā)展。中國信息通信研究院發(fā)布的云計算發(fā)展調(diào)查報告顯示，42.4%的企業(yè)在選擇公有云服務(wù)時會考慮服務(wù)安全性，由此可以看出，在高效部署SaaS 業(yè)務(wù)的同時兼顧安全具有重要的研究意義。

SaaS 業(yè)務(wù)部署可以抽象為虛擬網(wǎng)絡(luò)映射（Virtual Network Embedding，VNE），即將承載SaaS業(yè)務(wù)的容器（執(zhí)行虛擬網(wǎng)絡(luò)功能）部署到物理服務(wù)器上。當前關(guān)于VNE 已出現(xiàn)大量研究。文獻［1］通過定義適應(yīng)度來衡量映射策略的質(zhì)量，提出一種適用于云環(huán)境的虛擬網(wǎng)絡(luò)映射算法。文獻［2］提出一種基于多層編碼的遺傳算法實現(xiàn)動態(tài)場景下業(yè)務(wù)的高效部署，提高了資源調(diào)度的智能性。文獻［3］提出一種高效可擴展的虛擬網(wǎng)絡(luò)服務(wù)功能鏈拓撲設(shè)計和映射方法，將拓撲設(shè)計和資源映射結(jié)合考慮。文獻［4］提出一種基于馬爾科夫決策過程的虛擬網(wǎng)絡(luò)功能調(diào)度模型，并設(shè)計基于Q-learning 的動態(tài)調(diào)度算法以優(yōu)化虛擬機的部署和調(diào)度。文獻［5］針對大規(guī)模網(wǎng)絡(luò)場景下的虛擬網(wǎng)絡(luò)映射問題進行研究，提出一種基于分區(qū)映射的進化算法以提高資源利用率。文獻［6］為靈活地滿足虛擬網(wǎng)絡(luò)高帶寬、低時延、高時延等不同需求，提出一種基于軟件定義網(wǎng)絡(luò)的自適應(yīng)VNE算法。文獻［7］提出一種基于強化學(xué)習(xí)的虛擬網(wǎng)絡(luò)映射算法DeepViNE，通過限制動作的數(shù)量加快學(xué)習(xí)和算法收斂速度。然而，當前研究主要針對資源開銷、能耗、負載均衡等方面，關(guān)注服務(wù)安全性和魯棒性的研究較少。

文獻［8］通過分析安全漏洞來對虛擬化環(huán)境中的底層資源安全性進行建模，進而抽象成安全需求作為虛擬網(wǎng)絡(luò)映射的約束條件。文獻［9］對不同的物理節(jié)點和虛擬節(jié)點均設(shè)置安全等級，規(guī)定虛擬節(jié)點只能部署到不低于其安全性要求的物理節(jié)點上。文獻［10］也采用類似的思路保證虛擬服務(wù)的安全性需求，并提出一種基于強化學(xué)習(xí)和安全感知的虛擬網(wǎng)絡(luò)映射算法。上述工作可以有效保護關(guān)鍵云服務(wù)的安全，但實質(zhì)上均是通過選擇優(yōu)質(zhì)的物理資源來提高虛擬服務(wù)的可信性和安全性，并未直接緩解風險，缺少利用云環(huán)境冗余性、異構(gòu)性來提升安全性的考量。

本文對SaaS 業(yè)務(wù)面臨的安全問題進行建模分析，基于冗余執(zhí)行和交叉校驗的思想提出一種面向SaaS 安全的組合服務(wù)模式，進而建立擬態(tài)化虛擬網(wǎng)絡(luò)功能映射（Mimic Virtual Network Function Embedding，MVNE）模型和安全性優(yōu)化機制。在此基礎(chǔ)上，提出基于近端策略優(yōu)化（Proximal Policy Optimization，PPO）的虛擬網(wǎng)絡(luò)功能映射算法PJM，通過合理的虛擬網(wǎng)絡(luò)映射提高服務(wù)質(zhì)量。

1 基于云網(wǎng)融合的SaaS 交付模式

本節(jié)分析討論云網(wǎng)融合的研究意義，闡述目前實踐中云網(wǎng)融合的實現(xiàn)框架，并介紹SaaS 組合服務(wù)的交付模型。

1.1 云網(wǎng)融合的意義

隨著云計算從消費領(lǐng)域逐漸轉(zhuǎn)向?qū)嶓w領(lǐng)域，不斷擴張的網(wǎng)絡(luò)規(guī)模和業(yè)務(wù)類型對云架構(gòu)設(shè)計提出了新的挑戰(zhàn)，定制化、精細化運營和多云互通成為研究熱點。

1）定制化是運營商向服務(wù)提供商轉(zhuǎn)型的關(guān)鍵需求。運營商需要以適當?shù)姆绞介_放部分網(wǎng)絡(luò)資源、網(wǎng)絡(luò)拓撲以及信道組織的控制權(quán)。

2）精細化運營有利于提高網(wǎng)絡(luò)利用率，幫助運營商實現(xiàn)從經(jīng)營管道到經(jīng)營網(wǎng)絡(luò)，進而實現(xiàn)“增速降費”。

3）多云互通有利于整合多類型資源。國內(nèi)阿里、華為等云環(huán)境相對獨立，多云資源難以互通共享，阻礙了SaaS 業(yè)務(wù)的發(fā)展［11］。

云網(wǎng)融合可以有效實現(xiàn)以上需求。目前云網(wǎng)之間的關(guān)系日益緊密。一方面，云離不開網(wǎng)，井噴增長的SaaS 應(yīng)用需要更便捷、安全的網(wǎng)絡(luò)連接，研究表明，網(wǎng)絡(luò)性能很多時候成為限制高性能SaaS 應(yīng)用的瓶頸［12-13］；另一方面，網(wǎng)離不開云，網(wǎng)絡(luò)的控制管理功能（如移動核心網(wǎng)的網(wǎng)元）逐步云化，網(wǎng)絡(luò)技術(shù)的進一步發(fā)展勢必需要借鑒云計算的理念。提供給云用戶的服務(wù)本質(zhì)上是云服務(wù)和網(wǎng)絡(luò)服務(wù)的組合，打破傳統(tǒng)云和網(wǎng)之間彼此封閉和獨立的形態(tài)，構(gòu)建一個云網(wǎng)高度融合的信息基礎(chǔ)設(shè)施勢在必行。

1.2 云網(wǎng)融合的實現(xiàn)框架

1.2.1 云資源編排管理

基礎(chǔ)設(shè)置即服務(wù)（Infrastructure as a Service，IaaS）使用虛擬化技術(shù)對各種資源進行抽象和管理，屏蔽資源的位置、管理和配置細節(jié)，在用戶端呈現(xiàn)為虛擬機（Virtual Machine，VM）或容器（Container）。云資源的編排管理目前存在2 種主流的模式：一種是VM+OpenStack，其中OpenStack 是美國國家航天局與Rackspace 合作的云平臺開源項目，旨在提供大規(guī)?？蓴U展、標準化的云計算管理服務(wù)；另一種是Container+Kubernetes，其中Kubernetes 是谷歌公司開源的一個容器編排引擎，實現(xiàn)了容器自動化部署、管理與配置。

1.2.2 網(wǎng)絡(luò)資源編排管理

網(wǎng)絡(luò)資源的編排管理基于通信鏈路質(zhì)量的可測量和可定制特性。SRv6等面向連接的承載協(xié)議，依靠SDN控制器收集拓撲信息和下發(fā)隧道路徑，通過丟包檢測、時延檢測、路徑還原等機制實現(xiàn)端到端質(zhì)量控制。據(jù)此，運營商可提供多條不同服務(wù)質(zhì)量的路由供用戶選擇。網(wǎng)絡(luò)虛擬化平臺將物理網(wǎng)絡(luò)分成多個邏輯網(wǎng)絡(luò)，允許拓撲指定與尋址，其為管理員提供標準規(guī)則來管理網(wǎng)絡(luò)，而不是通過調(diào)度路由器和交流機。基于網(wǎng)絡(luò)虛擬化，運營商無需提供拓撲、容量、內(nèi)部標簽棧等網(wǎng)絡(luò)參數(shù)，用戶也無需提供流量分類、轉(zhuǎn)向策略和業(yè)務(wù)邏輯，即可實現(xiàn)網(wǎng)絡(luò)資源的編排與交付［14］。資源發(fā)現(xiàn)與分配、任務(wù)調(diào)度與負載、故障發(fā)現(xiàn)與定位，則依賴于資源監(jiān)測技術(shù)［15］。

1.2.3 云網(wǎng)融合編排管理

面向服務(wù)的體系結(jié)構(gòu)（Service Oriented Architecture，SOA）是云網(wǎng)融合的橋梁［16］?；A(chǔ)設(shè)施即服務(wù)、平臺即服務(wù)以及軟件即服務(wù)均基于SOA 設(shè)計，為云基礎(chǔ)設(shè)施提供商、網(wǎng)絡(luò)服務(wù)提供商以及應(yīng)用開發(fā)者提供了一種高效靈活的溝通機制，也為異構(gòu)系統(tǒng)集成提供了有效的體系結(jié)構(gòu)原則。本質(zhì)上，SOA 以服務(wù)的形式封裝系統(tǒng)資源和功能，并在這些服務(wù)之間提供松耦合的交互機制。

圖1 所示的云網(wǎng)融合分層框架是一種基于SOA 的邏輯結(jié)構(gòu)。一方面，路由器、交換機、網(wǎng)絡(luò)鏈路等網(wǎng)絡(luò)基礎(chǔ)設(shè)施基于OpenVirteX、FlowVisor 等技術(shù)虛擬化為統(tǒng)一的網(wǎng)絡(luò)資源，進而由Floodlight、Beacon 等控制面管理工具對其進行編排和管理；另一方面，CPU 資源、內(nèi)存資源等云基礎(chǔ)設(shè)施通過虛擬機監(jiān)視器（Virtual Machine Monitor，VMM）、Linux Containers（LXC）等技術(shù)抽象為虛擬機、容器等可以統(tǒng)一管理的云資源，進而由Openstack、Kubernetes 等云編排管理工具對其進行編排和管理。網(wǎng)絡(luò)和計算資源作為單個虛擬化、動態(tài)供應(yīng)的資源集合，實現(xiàn)了跨網(wǎng)絡(luò)和計算域的資源靈活協(xié)調(diào)管理，同時通過建立整體資源視圖，進一步釋放服務(wù)提供的靈活性，使得跨地域、異質(zhì)的計算系統(tǒng)之間的協(xié)作成為可能。

圖1 云網(wǎng)融合框架Fig.1 Cloud-network integration framework

目前，云網(wǎng)資源對接主要有2 種形式：在VM+OpenStack 的云資源管理模式下，云網(wǎng)資源對接主要基于OpenStack 的Neutron 組件實現(xiàn)；在Docker+Kubernetes 的云資源管理模式下，云網(wǎng)資源對接主要基于Kubernetes 的Calico 組件實現(xiàn)［4］。然而這2 種形式目前功能較為有限，不能實現(xiàn)廣域網(wǎng)上常見的網(wǎng)絡(luò)配置和調(diào)整操作，也不能滿足云網(wǎng)融合對主機進行操作系統(tǒng)升級和應(yīng)用更新的需求。

1.3 SaaS 組合服務(wù)模式

SaaS 云中的應(yīng)用構(gòu)建方式正向組合服務(wù)模式發(fā)展，即通過組合一系列松散耦合的可交互功能形成更高級別的應(yīng)用系統(tǒng)。構(gòu)成一個服務(wù)組合的組件可以是云服務(wù)、網(wǎng)絡(luò)服務(wù)、數(shù)據(jù)資源或者是零散的SaaS子服務(wù)，并且不同組件之間存在一定的依賴關(guān)系。云網(wǎng)融合下的組合服務(wù)構(gòu)建模式如圖2 所示。當服務(wù)請求發(fā)生時，服務(wù)代理對編排管理層提供的各種云服務(wù)和網(wǎng)絡(luò)服務(wù)基于服務(wù)質(zhì)量等約束進行選擇和組合，配置成終端用戶所需要的個性化SaaS 服務(wù)。

圖2 組合服務(wù)構(gòu)建模式Fig.2 Construction pattern of composite service

組合服務(wù)模型類似于國際互聯(lián)網(wǎng)工程任務(wù)組（Internet Engineering Task Force，IETF）提出的服務(wù)功能鏈（Service Function Chain，SFC）技術(shù)［17］。一個云服務(wù)對應(yīng)一條服務(wù)功能鏈，一條服務(wù)功能鏈中多個承載不同功能的容器按照一定的業(yè)務(wù)邏輯相互連接，共同為用戶提供特定的服務(wù)。由于容器相較于虛擬機更加輕量級、靈活和容易部署，因此本文主要以容器作為虛擬網(wǎng)絡(luò)功能的承載方式。

2 安全威脅

本節(jié)闡述SaaS 服務(wù)面臨的主要安全威脅，并對其進行抽象建立威脅模型，為后續(xù)虛擬網(wǎng)絡(luò)功能映射研究提供基礎(chǔ)。

2.1 SaaS 云的主要安全威脅

SaaS 模式允許多個租戶通過虛擬化技術(shù)共享底層資源和網(wǎng)絡(luò)基礎(chǔ)組件，這為交叉租戶攻擊創(chuàng)造了便利條件。云上的用戶通常被授予超級用戶訪問權(quán)限，以便管理他們的容器。過高的訪問權(quán)限使惡意用戶能夠獲取系統(tǒng)IP 或MAC 地址，并惡意使用IaaS網(wǎng)絡(luò)接口。具有root 權(quán)限的惡意用戶可以對真實網(wǎng)絡(luò)組件發(fā)動攻擊，例如在真實網(wǎng)絡(luò)上嗅探和欺騙。SaaS 主要面臨以下安全問題：

1）容器安全問題。

容器鏡像是SaaS 云中軟件交付流轉(zhuǎn)的主要形態(tài)，但基礎(chǔ)鏡像來源復(fù)雜，源頭管控難，且官方鏡像倉庫和第三方鏡像倉庫均存在安全漏洞［18］。如果未正確清理鏡像，可能會泄露用戶隱私信息［19］。攻擊者可對鏡像進行代碼檢測和漏洞挖掘，尋找程序脆弱點。攻擊者也可以上傳包含惡意軟件、預(yù)置漏洞后門的鏡像。

容器間的邏輯隔離屬于進程級別的“軟”隔離，相較于物理服務(wù)器的“硬”隔離，逃逸風險更大，容易導(dǎo)致數(shù)據(jù)泄露［20］。攻擊者可能通過側(cè)信道繞過邏輯隔離來竊取敏感信息（如密碼口令或密鑰），實現(xiàn)容器跳躍攻擊［21］。

2）Hypervisor 安全問題。

Hypervisor 是提供虛擬化的關(guān)鍵組件，用于生成、管理容器以及實現(xiàn)容器的隔離，管理容器對硬件的訪問。容器逃逸是指攻擊者獲得其容器所在直接宿主機上某種權(quán)限下的命令執(zhí)行能力。例如：Xen 中的漏洞可能被攻擊者濫用以獲得Hypervisor的root權(quán)限［22］，一旦Hypervisor 被攻擊者占領(lǐng)，其管理的所有容器將在攻擊者的控制之下，高級攻擊者可進一步發(fā)起B(yǎng)IOS（Basic Input/Output System）等攻擊直接威脅物理服務(wù)器，影響IaaS 服務(wù)［23］

3）云基礎(chǔ)設(shè)施的安全問題。

虛擬化網(wǎng)絡(luò)是在物理網(wǎng)絡(luò)基礎(chǔ)上建立的邏輯網(wǎng)，由基于軟件的網(wǎng)絡(luò)組件（如網(wǎng)橋、虛擬交換機等）構(gòu)成。傳統(tǒng)流量檢測機制無法有效監(jiān)控虛擬網(wǎng)絡(luò)流量，這使得云中某些惡意活動無法被傳統(tǒng)安全工具檢測到［18］。此外，虛擬化網(wǎng)絡(luò)也為拒絕服務(wù)、網(wǎng)絡(luò)嗅探、流量竊聽等攻擊提供了便利。

2.2 安全威脅建模

在SaaS 云中，容器作為客戶業(yè)務(wù)的實際載體和執(zhí)行者，是攻擊者的首要攻擊目標。本文考慮3 種攻擊模式，分別是針對容器系統(tǒng)的攻擊、針對Hypervisor 的攻擊和針對云基礎(chǔ)設(shè)施的攻擊，在這3 種模式下，攻擊者的攻擊能力不斷增強。

假設(shè)n個不同的云基礎(chǔ)設(shè)施（包括公有云和私有云）組成一個多云互聯(lián)場景，其中共有m臺服務(wù)器。同時假定一個服務(wù)器只構(gòu)建一個虛擬化層Hypervisor，在Hypervisor上共實例化了l個容器。攻擊者已知其要攻擊的目標業(yè)務(wù)由這l個容器中k個容器進行承載，但無法確定是哪些容器。若對所有的云、服務(wù)器和主機進行編號，則一個容器c的歸屬信息可以由一個三元組(nc，mc，lc)表示。同理：針對容器系統(tǒng)的攻擊可表示為若則說明攻擊成功；針對Hypervisor的攻擊可表示為若則表示攻擊者以極高的概率攻擊成功；針對云基礎(chǔ)設(shè)施的攻擊可表示為則表示攻擊者以較高的概率攻擊成功。

3 面向SaaS 安全的VNE 模型

本節(jié)介紹虛擬網(wǎng)絡(luò)功能映射問題的含義，提出一種基于網(wǎng)絡(luò)空間擬態(tài)防御（Cyber Mimic Defense，CMD）的組合服務(wù)模式，并提出一種擬態(tài)化虛擬網(wǎng)絡(luò)功能映射（MVNE）模型。

3.1 虛擬網(wǎng)絡(luò)功能映射問題

虛擬網(wǎng)絡(luò)功能映射指的是為租戶請求的虛擬網(wǎng)絡(luò)功能（Virtual Network Function，VNF）分配物理資源，在SaaS 云中指的是將提供SaaS 組合服務(wù)的容器部署到合適的服務(wù)器上。SaaS 組合服務(wù)的虛擬網(wǎng)絡(luò)功能映射示意圖如圖3 所示，其中，為用戶提供服務(wù)的虛擬網(wǎng)絡(luò)功能包括A、B、C 3 個容器，底層網(wǎng)絡(luò)包括a～e 5 個物理節(jié)點。VNE 的目標是得出一種映射關(guān)系，將容器通過虛擬化層映射到物理節(jié)點上，將虛擬鏈路映射到底層物理鏈路上。成功映射的前提是物理節(jié)點和鏈路上有充足的資源來承載虛擬網(wǎng)絡(luò)功能所需要的計算、存儲和網(wǎng)絡(luò)資源。如圖3 中虛擬網(wǎng)絡(luò)功能A 被映射到了節(jié)物理點a 上，虛擬鏈路A-B被映射到了物理鏈路a-b-f 上。

圖3 虛擬網(wǎng)絡(luò)功能映射示意圖Fig.3 Schematic diagram of virtual network function embedding

3.2 基于CMD 的組合服務(wù)模式

網(wǎng)絡(luò)空間擬態(tài)防御借鑒多樣性、隨機性、動態(tài)性、非相似余度以及生物啟發(fā)安全技術(shù)，解決目標對象的不確定威脅問題。擬態(tài)防御通過異構(gòu)執(zhí)行體運行功能相同程序、表決監(jiān)控冗余執(zhí)行的輸出結(jié)果，將擬態(tài)構(gòu)造內(nèi)的安全威脅轉(zhuǎn)化為廣義的不確定擾動影響，使得服務(wù)功能的可靠性、可用性與可信性得到質(zhì)量控制［24］。

作為一種主動防御技術(shù)，CMD的核心思想是通過引入動態(tài)異構(gòu)冗余（Dynamic Heterogeneous Redundancy，DHR）體系結(jié)構(gòu)和負反饋機制來提高系統(tǒng)處理未知威脅的能力。DHR 系統(tǒng)架構(gòu)如圖4 所示，其由異構(gòu)執(zhí)行體池、輸入輸出代理、擬態(tài)調(diào)度器、擬態(tài)裁決器組成。云資源池中包括m種功能等價的異構(gòu)執(zhí)行體集合E，按服務(wù)注冊與發(fā)現(xiàn)機制動態(tài)地從集合E中選出n個執(zhí)行體作為一個執(zhí)行體集（1，2，…，n）。輸入代理將用戶輸入轉(zhuǎn)發(fā)至對應(yīng)執(zhí)行體集合中的每個執(zhí)行體（容器），擬態(tài)裁決器接收多個輸出，進行表決后發(fā)送給輸出代理進行語義標準化處理。在此基礎(chǔ)上，擬態(tài)裁決器對裁決結(jié)果統(tǒng)計分析，實時發(fā)現(xiàn)目標對象執(zhí)行過程中的異常行為并反饋給擬態(tài)調(diào)度器，由擬態(tài)調(diào)度器對執(zhí)行體集進行動態(tài)調(diào)度操作，如啟動恢復(fù)清洗機制。

圖4 DHR 架構(gòu)Fig.4 DHR architecture

為有效應(yīng)對2.1節(jié)中的3種攻擊模式，可以基于CMD思想對SaaS 組合服務(wù)進行改進以提高云服務(wù)的安全性。首先基于CMD 對關(guān)鍵節(jié)點進行安全加固，即對于重點任務(wù)，基于擬態(tài)思想對其進行保護，主要表現(xiàn)在構(gòu)建特殊的SFC 模型，使用多個容器執(zhí)行該VNF，并對輸出進行交叉校驗；然后增大承載服務(wù)的容器之間的歸屬信息差異，即對于冗余執(zhí)行的容器，盡可能使其部署在不同的服務(wù)器或云環(huán)境中。為方便表述，將這種引入冗余執(zhí)行和交叉校驗的虛擬網(wǎng)絡(luò)功能映射問題稱為擬態(tài)化虛擬網(wǎng)絡(luò)功能映射（MVNE）問題。

3.3 擬態(tài)化虛擬網(wǎng)絡(luò)映射模型

本文利用多層有向無環(huán)圖（Directed Acyclic Graph，DAG）對MVNE 問題進行建模，如圖5 所示。工作任務(wù)由G=(V，E，T)表示。其中：V={v1，v2，…，vn}，表示執(zhí)行工作任務(wù)的一條服務(wù)功能鏈，vi表示一個需要在容器中被執(zhí)行的VNF，vi=1 表示是一個需要重點保護的VNF，vi=0 表示是一個普通VNF；E表示傳輸帶寬需求；T表示該業(yè)務(wù)在服務(wù)等級協(xié)定中的完成時間約束。

圖5 擬態(tài)化虛擬網(wǎng)絡(luò)功能映射示意圖Fig.5 Schematic diagram of mimic virtual network function embedding

目前對網(wǎng)絡(luò)資源的定義普遍較為簡單［14-15］。為細粒度刻畫網(wǎng)絡(luò)鏈路質(zhì)量，本文將容器之間的網(wǎng)絡(luò)連接分為3 種情況：1）容器部署在同一個主機上，通過總線交互，時延最低；2）容器在同一個云的不同主機上，信息通過大二層網(wǎng)絡(luò)傳輸；3）容器在不同的混合云的主機上，跨云交互延遲較大。令傳輸時延矩陣為Dw×w，矩陣中元素dij表示服務(wù)器i與服務(wù)器j之間的傳輸時延。

此外，容器部署還應(yīng)滿足資源約束。令Ow×x為服務(wù)器資源容量矩陣，矩陣中元素qij表示服務(wù)器i上第j種資源的容量。假定所有SaaS 業(yè)務(wù)發(fā)起的SFC總數(shù)為u，一條SFC 中VNF 的數(shù)量為v，混合云中所有可部署容器的服務(wù)器個數(shù)為w，則對于VNE 問題的優(yōu)化目標是在滿足資源等約束的條件下，最小化整體傳輸時延，如式（1）所示：

整體傳輸時延包括處理時延和傳輸時延，其中，Ev×w×Tv×w表示Ev×w和Tv×w的哈達瑪積（Hadamard Product），表 示A中所有元素的和，即

對于MVNE 問題中的安全SFC 而言，其包含一個或多個基于擬態(tài)加固的VNF。加固后的整體傳輸時延取決于性能最差的分支。本文所使用的主要數(shù)學(xué)符號如表1 所示。

表1 數(shù)學(xué)符號定義Table 1 Definition of mathematical symbols

為實現(xiàn)3.2 節(jié)定義的基于CMD 的組合服務(wù)模式，MVNE 模型使用以下3 種機制：

1）容器同駐懲罰機制。當同一個業(yè)務(wù)的容器部署在同一個主機上時，在優(yōu)化目標函數(shù)中加入一個懲罰項。

2）多云部署獎勵機制。若承載擬態(tài)化VNF 的容器部署在多個云上，則在優(yōu)化目標函數(shù)中加入一個獎勵項。

3）延時裁決機制。經(jīng)典擬態(tài)構(gòu)造中需要收集所有分支執(zhí)行體的結(jié)果，進行交叉校驗后再進行下一步操作。為縮短業(yè)務(wù)處理時延，引入一種稱為擬態(tài)化VNF延時裁決的任務(wù)預(yù)處理機制，流程如圖6 所示。

圖6 擬態(tài)化VNF 延遲處理機制流程Fig.6 Procedure of mimic VNF delay processing mechanism

假定MVNE 有一個冗余執(zhí)行的子任務(wù)X，當裁決模塊收到子任務(wù)X 中第1 個分支結(jié)果后，直接將其用于下個子任務(wù)Y 的執(zhí)行，將之后到達的分支結(jié)果用于校驗和糾錯。然后裁決模塊會等待一段時間，獲得從冗余執(zhí)行體發(fā)來的輸出結(jié)果進行校驗。如果存在差異，則重新執(zhí)行子任務(wù)X，并根據(jù)差異類型和圖6 中的流程，選擇重新執(zhí)行Y 或終止Y。

采用延時裁決機制后，MVNE 中SFC 的整體傳輸時延不再取決于性能最差的分支，雖然冗余執(zhí)行依然會帶來較高的資源開銷，但可以顯著減少對端到端時延等服務(wù)性能的影響。

4 基于深度強化學(xué)習(xí)的MVNE 算法

當前研究中一般將VNE 問題建模為混合整數(shù)線性規(guī)劃問題（Mixed Integer Linear Programming，MILP）。而MILP 被證明是NP-hard 問題，相關(guān)算法在真實云網(wǎng)場景中的應(yīng)用效率有待提升，且MVNE問題較VNE 問題更為復(fù)雜。為提升應(yīng)用效率，本節(jié)提出一種基于近端策略優(yōu)化的MVNE 算法PJM，首先介紹智能體交互環(huán)境和算法框架，然后闡述其中神經(jīng)網(wǎng)絡(luò)的構(gòu)造方法。

4.1 智能體的交互環(huán)境

環(huán)境是現(xiàn)實問題轉(zhuǎn)換到數(shù)學(xué)模型的橋梁，其將底層網(wǎng)絡(luò)和虛擬網(wǎng)絡(luò)請求都抽象為圖的形式，包括節(jié)點資源容量、節(jié)點處理時延、網(wǎng)絡(luò)帶寬容量、傳輸時延等數(shù)據(jù)。如第3.3 節(jié)所述，假定底層網(wǎng)絡(luò)包括w個節(jié)點，虛擬網(wǎng)絡(luò)請求包含v個節(jié)點，虛擬網(wǎng)絡(luò)映射需要同時滿足節(jié)點約束和鏈路約束。為簡化智能體的處理問題維度，PJM 算法將節(jié)點約束在環(huán)境中進行預(yù)處理轉(zhuǎn)換。首先遍歷當前處理的虛擬網(wǎng)絡(luò)請求的每個節(jié)點，找到滿足資源約束的底層網(wǎng)絡(luò)節(jié)點，并將計算結(jié)果存儲到一個v×w維數(shù)組Mv×w中，數(shù)組中的項mij∈M代表虛擬網(wǎng)絡(luò)請求中的節(jié)點i能夠映射到底層網(wǎng)絡(luò)的節(jié)點j上，如果可以則為1，否則為0。M輸入RL 模型后，在最后一步與模式生成的映射策略（同樣為一個v×w維數(shù)組）相乘，得到最終的輸出策略。

環(huán)境中會對模型的最終輸出進行判斷，由于M會使得不符合節(jié)點約束的輸出中出現(xiàn)0，因此對其進行篩選并給予較大的負收益。此外，如果模型輸出的映射策略中有底層網(wǎng)絡(luò)中不存在的邊，或是存在不滿足邊約束等不合理的情況，也會給予一個負收益。只有當映射同時滿足節(jié)點約束和鏈路約束時，才會反饋一個正收益。收益值同時受到容器同駐懲罰機制和多云部署獎勵機制的影響。

4.2 算法框架

強化學(xué)習(xí)（Reinforcement Learning，RL）是一種無模型的動態(tài)規(guī)劃問題。強化學(xué)習(xí)的基本思路是通過智能體不斷與環(huán)境交互，定義獎勵值，引導(dǎo)智能體在不斷試錯中優(yōu)化策略，使其適合解決序列決策問題［25］。MVNE 問題可以建模為一個馬爾科夫決策過程，對于每個到達的服務(wù)分配資源，更新可用資源視圖［26］。因此，資源映射問題可以方便地提取出強化學(xué)習(xí)的三要素（狀態(tài)、動作和獎勵），采樣成本低，適合建模為強化學(xué)習(xí)問題。

本文所提出的PJM 算法是一種深度強化學(xué)習(xí)算法（Deep Reinforcement Learning，DRL），其算法框架部分與近端策略優(yōu)化（Proximal Policy Optimization，PPO）算法［27］相同，但PPO 算法不能直接求解MVNE 問題，需要編寫環(huán)境實現(xiàn)現(xiàn)實問題到數(shù)學(xué)模型的轉(zhuǎn)變。PPO是一種策略梯度（Policy Gradient，PG）算法，通常定義策略的擬合函數(shù)，通過優(yōu)化擬合函數(shù)的參數(shù)θ來優(yōu)化策略［28］。常用的梯度估計量為：

PPO 不使用誤差反向傳播，而是直接選擇一個行為進行反向傳播，根據(jù)獎級對每種行為進行打分，然后調(diào)整各種行為被選擇的概率。標準策略梯度算法執(zhí)行對每個樣本數(shù)據(jù)執(zhí)行一次梯度更新，而PPO 允許更靈活的小批量更新，相較于信任區(qū)域策略優(yōu)化（Trust Region Policy Optimization，TPRO）算法更簡單通用，并具有較低的樣本復(fù)雜度。本文引入CPI 方法中的概率比率將優(yōu)化目標表示為：

通過對比新舊策略的差異，不允許新策略出現(xiàn)過于劇烈的改變，從而限制學(xué)習(xí)率。如式（5）所示：

其中：ε是一個超參數(shù)；clip()函數(shù)通過限制概率比率來限制變化幅度。

4.3 神經(jīng)網(wǎng)絡(luò)構(gòu)造

PJM 屬于一種演員評論家（Actor Critic，AC）算法，因此，需要構(gòu)造2 個結(jié)構(gòu)相同的神經(jīng)網(wǎng)絡(luò)。將資源映射問題建模成一個序列形式的輸入，基于當前剩余資源（局部解）使網(wǎng)絡(luò)輸出新加入的節(jié)點來拓展當前的局部解，迭代若干次從而得到所有SFC 的映射策略（完整解）。算法的狀態(tài)、動作和獎勵值定義如下：

狀態(tài)s：網(wǎng)絡(luò)狀態(tài)信息由云網(wǎng)融合框架中編排管理層的網(wǎng)絡(luò)操作系統(tǒng)和云編排管理系統(tǒng)聯(lián)合提供。狀態(tài)信息包括當前主機上的業(yè)務(wù)分布和鏈路上的流量分布，然后轉(zhuǎn)化為向量格式的剩余資源視圖S=[s1，s2，…，sn，l1，l2，…，lm]，其中，n為主機數(shù)，m為鏈路數(shù)。該視圖作為DRL 神經(jīng)網(wǎng)絡(luò)的輸入。

動作a：由DRL 中的神經(jīng)網(wǎng)絡(luò)計算得到，表示SFC 的部署策略，相較于Q-learning 算法，其避免了使用表格存儲狀態(tài)和Q 值而導(dǎo)致消耗大量存儲和搜索緩慢的問題。動作作用于網(wǎng)絡(luò)狀態(tài)后，將改變網(wǎng)絡(luò)剩余資源視圖。

獎勵值r：即策略的回報，本文主要基于業(yè)務(wù)端到端平均時延計算獎勵值。部署策略的質(zhì)量通過價值函數(shù)來判定，則時刻t時的策略質(zhì)量可表示為：

其中：γ是未來收益折現(xiàn)因子，由于策略價值函數(shù)也是由神經(jīng)網(wǎng)絡(luò)實現(xiàn)，因此可表示為Q(st，at|θ)。

使用PJM 算法求解MVNE 問題的核心難點在于映射動作存在貫序性。由于每個動作a包含多個點的映射，而這些映射之間相互依賴和影響，導(dǎo)致神經(jīng)網(wǎng)絡(luò)無法求解。該問題可以通過專家經(jīng)驗添加預(yù)置條件和匹配規(guī)則解決，但實現(xiàn)上較為繁瑣。本文在PJM 算法中設(shè)計了一種輸出嵌套結(jié)構(gòu)，使模型每次執(zhí)行部分節(jié)點匹配，然后將得到的匹配結(jié)果和上一層（layer）的結(jié)果共同作為計算下一個節(jié)點的輸入?yún)?shù)，從而解決節(jié)點之間依賴的問題。

為實現(xiàn)云網(wǎng)資源協(xié)同最優(yōu)調(diào)度，PJM 算法的獎勵值函數(shù)同時考慮了節(jié)點（容器）處理時延和鏈路傳輸時延的影響，擴大了解空間的范圍，解決了使用傳統(tǒng)Q-learning 算法可能存在擴展性不足、無法適應(yīng)大規(guī)模場景的問題。

5 實驗評估

鑒于冗余設(shè)計和交叉校驗機制能夠直接帶來安全性的提升，本節(jié)主要關(guān)注所提PJM 算法與同類算法在端到端時延等方面的性能提升，并分析不同安全機制對服務(wù)質(zhì)量的影響。

5.1 實驗環(huán)境設(shè)置

仿真網(wǎng)絡(luò)使用Intel Core i5 3.20 GHz CPU，4 GB RAM 的主機，系統(tǒng)配置為Ubuntu 12.04。網(wǎng)絡(luò)環(huán)境拓撲來自公開數(shù)據(jù)集SNDlib［29］。PPO算法基于Tensorflow 和OpenAI的開源項目aseline 實現(xiàn)。DRL 環(huán)境基于python3 編寫。

本文以基于關(guān)鍵映射閉環(huán)反饋算法（CCMF）［3］、聯(lián)合編碼的遺傳算法（JEGA）［2］和基于Q-learing 的VNE 算法（QVNE）［4］作為對比算法。CCMF 是早期經(jīng)典的拓撲設(shè)計和映射聯(lián)合優(yōu)化算法，支持虛擬功能到物理實體的多對一映射。JEGA 是生物啟發(fā)式近似算法一種性能較好的實現(xiàn)算法，能夠在可接受的時間內(nèi)找到一個可行解。QVNE 是近年來提出的一種流行的基于強化學(xué)習(xí)的映射算法，其將資源映射建模為一個馬爾科夫決策過程，在與環(huán)境的交互中尋找最優(yōu)解。服務(wù)鏈的VNF 個數(shù)取值范圍為［3，9］，其中擬態(tài)化VNF 的個數(shù)為1。處理時延矩陣和傳輸時延矩陣的元素在［2 ms，10 ms］范圍內(nèi)隨機生成。

5.2 性能評估

所使用的對比算法設(shè)計之初是為了解決VNE問題，使其能夠求解MVNE 問題進而與所提方法進行對比。因此，首先對其進行修改和參數(shù)調(diào)整，使對比算法支持重要VNF 的冗余執(zhí)行。

不同算法的平均服務(wù)完成時間如圖7 所示，可以看出，隨著服務(wù)功能鏈長度的增加，每種算法中平均服務(wù)完成時間均大致呈線性增長趨勢。一般而言，服務(wù)功能鏈長度與服務(wù)的復(fù)雜度正相關(guān)，是影響端到端時延的主導(dǎo)因素。當服務(wù)功能鏈長度相同時，CCMF 算法的端到端時延性能最差，其采用一種點和邊交替映射的啟發(fā)式搜索機制，分析生成的映射策略可以發(fā)現(xiàn)，輸出策略受算法初始點選擇影響較大，容易陷入局部最優(yōu)。JEGA 算法的端到端時延性能表現(xiàn)僅優(yōu)于CCMF，其雖然是一種全局搜索算法，但容易出現(xiàn)早熟收斂問題。本文基于深度強化學(xué)習(xí)的PJM 算法具有最短的服務(wù)完成時間，相較于當前次優(yōu)的方案（QVNE 算法）平均降低了12.2%的端到端服務(wù)完成時間，這主要是因為PJM 使用策略梯度直接對策略的總期望獎勵進行優(yōu)化，能更有效地更新策略空間中參數(shù)。

圖7 不同算法的平均服務(wù)完成時間Fig.7 Average service completion time of different algorithms

不同算法部署80 條服務(wù)功能鏈數(shù)量的執(zhí)行時間如表2 所示。JEGA 算法基于聯(lián)合編碼方式的遺傳算法尋優(yōu)，具有最快的收斂速度，這主要得益于JEGA 算法簡單的邏輯，但JEGA 算法收斂速度和最終解質(zhì)量與迭代參數(shù)有關(guān)，收斂性能一般以降低解質(zhì)量為代價，由上文可知JEGA 算法輸出結(jié)果的端到端時延較差。PJM 算法的運行效率次之，其直接選擇一個行為進行梯度更新和小批量更新的方法，具有較高的學(xué)習(xí)效率，雖然線下的時間開銷大于JEGA，但得出的映射策略可以獲得更優(yōu)的部署效果，降低服務(wù)的端到端時延?；赒-learing 的QVNE 算法由于使用Q 表進行狀態(tài)存儲，空間復(fù)雜度較高，狀態(tài)搜索困難導(dǎo)致運行速度較慢。CCMF算法由于容易出現(xiàn)進化停滯，算法收斂最慢，而且MVNE 問題中存在一個VNF 連接多個VNF 的情況，而對節(jié)點和邊交替映射的CCMF 算法不適合處理這種復(fù)雜的結(jié)構(gòu)。

表2 不同算法執(zhí)行時間Table 2 Execution time of different algorithms s

強化學(xué)習(xí)類算法（PJM 和QVNE）的訓(xùn)練過程如圖8 所示，可以看出，隨著算法不斷迭代，平均回報值均呈上升趨勢。PJM 算法的訓(xùn)練成績優(yōu)于QVNE且更快達到收斂，這是因為梯度更新使其具有更快的訓(xùn)練效率。

圖8 強化學(xué)習(xí)類算法的訓(xùn)練過程Fig.8 Training process of reinforcement learning class algorithm

對不同的VNE 部署模式性能進行分析，評估引入3.3 節(jié)中3 類安全機制后對時延性能的影響。根據(jù)附加安全機制，可以分為5 種VNE 模式：一般模式（VNE），擬態(tài)模式（MVNE），禁止容器同駐的擬態(tài)模式（MVNE-V1），采用延時裁決的擬態(tài)模式（MVNE-V2），禁止容器同駐和采用延時裁決的擬態(tài)模式（MVNE-V3）。不同VNE 模式下SFC 總傳輸時延如圖9 所示?？梢钥闯觯贿M行擬態(tài)化改造的普通映射方式具有最短的傳輸時延，擬態(tài)化安全增益均以一定的性能開銷為代價。

圖9 不同VNE 模式下SFC 的總傳輸時延Fig.9 Total transmission delay of SFC in different VNE modes

禁止容器同駐的擬態(tài)模式（MVNE-V1）的傳輸時延最大，因為難以保證多個執(zhí)行分支都具有良好的傳輸時延性能，而業(yè)務(wù)需要等待多個分支的結(jié)果進行交叉校驗，帶來了較大的時延開銷。MVNE-V2相較于MVNE，MVNE-V3 相較于MVNE-V1 都有一定的傳輸時延下降，驗證了延遲裁決機制的有效性，可以規(guī)避擬態(tài)化容器中性能最差執(zhí)行分支對性能的影響，但提供SaaS 組合服務(wù)的容器中的惡意容器越多，頻繁的重復(fù)計算將導(dǎo)致延遲裁決機制的作用越小。此外，由于延遲裁決機制在嚴格執(zhí)行交叉校驗和大數(shù)表決之前就預(yù)執(zhí)行了后面的功能，降低了一定的安全性，因此不適合數(shù)據(jù)敏感型的SaaS 業(yè)務(wù)。

6 結(jié)束語

傳統(tǒng)網(wǎng)絡(luò)安全防護措施多在本地部署入侵檢測、防火墻等硬件設(shè)備，而SaaS 云的基礎(chǔ)設(shè)施部署在云端，攻防對抗也發(fā)生在云端，因此可以利用SaaS 云中異構(gòu)資源豐富和服務(wù)部署靈活的特點，通過交叉校驗來提高安全性。本文結(jié)合當前基于云網(wǎng)融合SaaS 交付模式的特點，提出一種面向SaaS 安全的虛擬網(wǎng)絡(luò)映射方法，將基于CMD 的組合服務(wù)模式建模為一個整數(shù)線性規(guī)劃問題。在此基礎(chǔ)上，提出基于深度強化學(xué)習(xí)的PJM算法，對狀態(tài)、動作、獎勵等概念進行定義，并設(shè)計一種輸出嵌套結(jié)構(gòu)規(guī)避MVNE 的映射貫序問題。實驗結(jié)果表明，PJM 算法可有效縮短端到端時延，有助于運營商提供高可用、高可信、高安全的SaaS 服務(wù)，為電子簽約、線上金融等高安全需求的SaaS 業(yè)務(wù)部署提供借鑒。但該算法面臨一定的維度災(zāi)難問題，且作為一種演員評論家算法，其涉及的參數(shù)較多，參數(shù)調(diào)整較為繁瑣。下一步將對PJM 算法的擴展性進行優(yōu)化，并對SaaS 服務(wù)抽象出服務(wù)功能鏈進行劃分，通過分區(qū)分段映射降低復(fù)雜度。