史庭祥，田會芹（中興通訊股份有限公司，江蘇 南京 210012）

0 前言

大數(shù)據(jù)、在線交易、電子政務、網(wǎng)絡視頻等新興互聯(lián)網(wǎng)業(yè)務使得數(shù)據(jù)中心進入高速增長期，需要提供數(shù)據(jù)中心互聯(lián)（DCI）業(yè)務，將業(yè)主的多個數(shù)據(jù)中心，多個云連接起來，形成邏輯上整體的數(shù)據(jù)中心和云網(wǎng)絡，滿足多種業(yè)務和多地數(shù)據(jù)中心交織的情況。此外，軟件定義安全（SDS）方案以虛擬化數(shù)據(jù)中心和租戶維度，提供安全防護模型，適應全新的服務計算模式、動態(tài)虛擬化管理方式和多租戶共享運營模式。

可見，在不考慮應用改造為面向業(yè)務架構（SBA）的情況下，云化網(wǎng)絡需要改造支持多租戶和多數(shù)據(jù)中心的應用場景，滿足應用多樣性、業(yè)務靈活部署和資源共享等多方面需求。

1 面向多租戶的云化網(wǎng)絡架構研究

云化網(wǎng)絡面向多租戶和多數(shù)據(jù)中心（DC）的場景時，需要給應用（租戶）帶來差別化體驗，也要為租戶帶來和DC 無關的無差異服務，使DC 基礎設施以云服務方式售賣。

圖1 示出的是支持多租戶應用的跨DC 全局資源的統(tǒng)一管理。

從租戶角度，每個租戶可以管理各自的資源，資源支持分布在不同資源集群，滿足預先設定的業(yè)務服務質量（SLA）。為此，云化網(wǎng)絡設計要滿足如下要點。

圖1 支持多租戶應用的跨DC全局資源的統(tǒng)一管理

a）邏輯隔離的統(tǒng)一硬件資源池。按硬件資源類型不同，劃分不同的資源集群（Resource Cluster），分布在多個物理DC。為對全局資源進行邏輯隔離，將數(shù)據(jù)中心的資源，定向分配給不同的虛擬化數(shù)據(jù)中心（vDC或PvDC：提供者虛擬化數(shù)據(jù)中心），避免資源的互相占用，影響業(yè)務的開展。同時，根據(jù)不同SLA需求劃分各自的PvDC，如非信任域（DMZ）PvDC，一類服務等級的PvDC，二類服務等級的PvDC，公有云PvDC 等，以便滿足運營商或大型企業(yè)租用專有云，超過專有云計算能力的服務由公用云服務；亦或是運營商網(wǎng)絡的部分網(wǎng)元部署在DMZ 域，部分網(wǎng)元部署在高服務等級的域。而且PvDC 要支持資源分布在多個DC，比如控制面和用戶面分離業(yè)務（CUPS），其控制面和用戶面盡管有相同的SLA，但分布在不同DC。

b）組織vDC 和分配租戶資源。PvDC 不足以支撐復雜多變的應用需求，租戶可能包括多種用戶，每個用戶包括一種或多種SLA的vDC資源。因此，引入“組織vDC”（OvDC），即滿足一種或多種SLA 的vDC 資源的集合。租戶網(wǎng)絡在組織vDC 里構建，使得租戶的資源和網(wǎng)絡可以跨在不同物理DC，實現(xiàn)多種HA 和容災場景，而應用驅動著vDC靈活部署，通過云管理系統(tǒng)和編排器的統(tǒng)一管理和調度，實現(xiàn)差異化SLA 資源的自動匹配。

c）跨DC 部署資源。一個資源集群可以跨DC 部署，好處在于當某個類型的硬件資源不足時，可以在其他DC 部署擴充的新增容量。反過來，資源集群的資源可以在多個vDC 之間分配，比如2 類vDC 都需要轉發(fā)面硬件資源，該資源集群就會被切割成2個部分，每個部分歸屬在一類vDC里。

圖2 示出的是支持多租戶應用的跨DC 全局資源的統(tǒng)一管理（vDC跨DC部署）。

圖2 支持多租戶應用的跨DC全局資源的統(tǒng)一管理（vDC跨DC部署）

支持多租戶的虛擬化網(wǎng)絡將為每個租戶提供更加靈活的資源分配和管理，并實現(xiàn)多個租戶之間的業(yè)務隔離和安全通信。為此，該網(wǎng)絡的虛擬化管理系統(tǒng)架構所包含的組件，橫向劃分3個資源域。

a）服務器，存儲和網(wǎng)絡等資源域（Resource Cluster）：NFV應用服務所需的資源。

b）基礎設施的管理域（Infrastructure Management Cluster）：管理服務所需的資源。

c）NFV 應用服務的管理域（NFV Management Cluster）：NFV管理服務所需的資源。

圖3示出的是支持多租戶的虛擬化資源管理系統(tǒng)架構。

支持多租戶的虛擬化管理系統(tǒng)采用Overlay 方式，搭建在已有虛擬化管理系統(tǒng)之上，便于靈活配置，實現(xiàn)租戶和非租戶2種系統(tǒng)的混合，因而架構縱向分為2個維度。

a）非多租戶方式的虛擬化管理系統(tǒng)。和傳統(tǒng)虛擬化系統(tǒng)一樣，資源管理系統(tǒng)分為2類：服務器等資源管理器和管理等資源管理器，當然也可以是兩者的結合體。該組件的作用是直接和Hypervisor、虛擬交換機通信，基于預設規(guī)則完成對虛擬機分配計算、存儲和網(wǎng)絡資源。根據(jù)多種資源集群的設置情況，資源管理器可以有一個，也可配置多個；既可以管理一個DC 內的全部資源，也可以跨DC管理。

圖3 支持多租戶的虛擬化資源管理系統(tǒng)架構

b）多租戶方式的虛擬化管理系統(tǒng)。如上述分析的多租戶需求，為在資源集群之上構建靈活的PvDC和OvDC，作為各個租戶分配的虛擬機的容器，需要構建多租戶資源管理器（Res Manager for Multi-tenant）。該組件支持租戶和相關所需的虛擬機的創(chuàng)建和隔離，用于租戶的生命周期管理（LCM）的API接口也通過該組件實現(xiàn)，包括實例化、伸縮容量等。同時，應用管理器（VNFM）和網(wǎng)元管理系統(tǒng)（EMS）作為一種特殊的租戶形式存在。

2 多租戶網(wǎng)絡改造方案設計實踐

多租戶網(wǎng)絡在架構組件上和非多租戶的最顯著的區(qū)別在于引入多租戶資源管理系統(tǒng)，和管理多個虛擬化資源管理系統(tǒng)不同，即使只有一個虛擬化管理系統(tǒng)，也需要為多租戶場景配置多租戶管理系統(tǒng)。

2.1 案例分析

以某國虛擬化IMS 項目為例，客戶要求采用支持多租戶的VMware 系統(tǒng)為云管理平臺，因此，多租戶資源管理系統(tǒng)采用vCloud Director-SP 8.2（vCD）。虛擬化IMS 系統(tǒng)作為應用服務部分，包括的VNF 或組件有vCSCF、vCG、vMMTel、vSBC、VNFM、EMS。支撐這些應用，將每個物理DC 的資源集群分為3 個PvDC，即NFV管理域（PvDC NFV MGMT）、NFV 資源域（PvDC Res）、資源保留域（RP PvDC）。

OvDC 也分為3 個，和PvDC 一一對應：OvDC-NFV Mgn、OvDC-vIMS、OvDC-vSBC。劃分的依據(jù)是應用服務組件的不同屬性，如NFV 管理域中組件（如VNFM和EMS 等）所需的硬件資源不需要很強的性能，應用服務本身的組件如vCSCF、vCG、vMMTel 和vSBC 的應用場景不同，前3 個組件屬于控制面，置于NFV 資源域，而vSBC 包括數(shù)據(jù)轉發(fā)面的性能需求，因而單獨劃分出“資源保留域”，通過固定分配資源的方式確保vSBC虛擬機獨占相應的資源。由此可見，云化網(wǎng)絡在電信領域也有多租戶場景。

圖4示出的是多租戶網(wǎng)絡改造方案設計實踐。

圖4 多租戶網(wǎng)絡改造方案設計實踐

從該案例可知，多租戶網(wǎng)絡的實際部署，包括2部分需求。

a）部署需求。按照重建方式，所有的網(wǎng)元實體，包括VNFM、EMS、vCSCF、vCG、vMMTel、vSBC 等都需要在多租戶資源管理平臺之上重新部署，這些VNF 或組件依據(jù)不同的特性需求部署在不同OvDC 資源池內。

b）組網(wǎng)需求。按網(wǎng)元的操作維護管理、VNF 生命周期管理和VNF之間的關系，劃分為3部分網(wǎng)絡。

（a）VNFM-VIM Network：VNF 管理器和虛擬化資源管理平臺的接口網(wǎng)絡，后者在多租戶需求下是vCD，通過vCD 提供API接口實現(xiàn)虛擬機自動部署等虛擬化特性，獲取多租戶環(huán)境。

（b）VNFM-VNF Network：VNF 管理器和VNF 的接口網(wǎng)絡，實現(xiàn)對VNF生命周期管理功能。

（c）Operation Network：操作維護網(wǎng)絡，包括幾類接口：EMS 和VNF、EMS 和VNFM、Web 客戶端和VNFM、Web客戶端和EMS。

2.2 應用初始化

每個租戶的應用，由一個或多個VNF 組成，把每個VNF 部署稱為“應用初始化”。非多租戶場景時，通過虛擬化資源管理系統(tǒng)（VMware 命名為vCenter）實現(xiàn)VNF 的手工部署；相應的，多租戶場景下，多租戶虛擬化資源管理系統(tǒng)vCD提供接口支撐VNFM 初始化VNF和運行VNF 實例，且支持自動部署方式，此外，vROPS提供告警和性能統(tǒng)計接口。

和安裝應用軟件類似，初始化VNF 所需的全部信息包括：VNF 安裝包，VNF 鏡像文件，VM 信息（描述計算、存儲、網(wǎng)絡等資源信息），部署指令文件和運行策略，以及VNF 相關的組網(wǎng)信息等。VNFM 和vCD 的接口定義，決定用什么方式來加載VNF 安裝包，實現(xiàn)應用初始化。IT 和CT 應用有所不同，加載VNF 安裝包有2種方法（見圖5）。

圖5 加載VNF安裝包的方法

方法1 源于IT 領域常用的“開放虛擬化格式”（OVF），按ETSI DMTF 的定義，OVF 是一種軟件包標準，支持開放、安全、高效和可擴展的格式，用于運行在虛擬化系統(tǒng)上的分布式軟件包。而VNF 有描述符VNFD，這是部署VNF 的模板，描述VNF 的部署和運行行為需求。方法1包括以下步驟。

a）VNFD映射成OVFD，即2種描述符的轉換。

b）VNFM 構 建OVF Package，包 括XML 格 式 的OVFD，VNF鏡像文件等。

c）VNFM把OVF Package發(fā)給vCD。

d）vCD 解析OVF Package，調用REST API 接口通過vCenter實現(xiàn)VNF部署。

由于vCD 也支持外部作為Restful Web 客戶端，VNFM 初始化應用就有第2 種方法：方法2 常用于CT領域。OVF作為IT領域常用方法，主要用于VM 部署，但對CT 定制支持不多。另一方面，ETSI 以TOSCA 格式定義VNFD，TOSCA（云應用拓撲編排標準）由OASIS組織制定，開源組織中廣泛使用，大部分廠商參與TOSCA 標準制定。因此，基于REST API 的方法2 非常值得討論和采用。VNF 初始化之前，驅動vCD 加載VNF安裝包的過程包括以下步驟。

a）VNFM獲取包括VNFD的VNF Package。

b）VNFM解析包括VNFD的VNF Package。

c）VNFM把VNFD翻譯成Json文件并保存。

d）VNFM 通過REST API接口，請求vCD 存儲鏡像文件包，這步包括許多Restful 接口消息，如請求創(chuàng)建OVF Package、獲取上傳的URL、上傳OVFD、獲取另一個上傳的URL、上傳VM 鏡像文件、監(jiān)控和獲取上傳結果。

采用方法2，VNFM 對VNF 安裝包加載和后續(xù)的實例化有更大的自主權，避免直接加載OVFD 帶來和vCD 的理解差異，某國虛擬化項目采用該方法成功實現(xiàn)分鐘級自動部署。

3 面向多租戶的應用網(wǎng)絡移植方案研究

虛擬化網(wǎng)絡設計方案1 般側重在“新建”角度，隨著虛擬化網(wǎng)絡建設第1 波浪潮接近結束，云網(wǎng)一體化等方案走到前臺，然而重心仍然在提供統(tǒng)一、融合、智能、簡潔的網(wǎng)絡，依然沒有考慮虛擬化網(wǎng)絡本身的進階，沒有考慮虛擬化網(wǎng)絡存量如何平滑的更新?lián)Q代。本文從多租戶需求為切入點，除闡述面向對租戶網(wǎng)絡的架構和方案設計和實踐外，增加面向多租戶的應用移植方案研究。

根據(jù)對應用的影響程度，多租戶應用的移植方案有3種。

a）Online方式：完全不影響現(xiàn)有應用和相關服務。

b）Offline 方式：移植過程中關閉應用的原實例和相關服務。

c）Rebuild方式：重建應用的新實例和相關服務。

以某國虛擬化IMS 項目為背景，說明每種方式的部署過程。

Online方式的部署過程如下：

a）準備OVF 模板，由管理該IMS 應用的OvDC 資源池的Catalogue 使用，Catalogue 負責管理VNFD、軟件鏡像文件等。

b）為該應用創(chuàng)建目標OvDC，并在vCD 配置該OvDC。

c）創(chuàng)建該OvDC 管理的計算、存儲和網(wǎng)絡等資源，即待移植的虛擬機所需的資源，包括分配內外部的網(wǎng)絡資源，以及在現(xiàn)有資源集群里分配計算資源。

d）移植該應用的每個虛擬機到vCD 環(huán)境，像初始化VNF一樣。

e）VNFM 和云管理平臺的接口從vCenter 遷移到vCD。

f）確認VNFM和該應用的全部VNF集成成功。

Offline方式的部署過程如下：

a）準備OVF 模板，由管理該IMS 應用的OvDC 資源池的Catalogue使用。

b）為該應用創(chuàng)建目標OvDC，并在vCD 配置該OvDC。

c）創(chuàng)建該OvDC 管理的計算、存儲和網(wǎng)絡等資源，即待移植的虛擬機所需的資源，包括分配內外部的網(wǎng)絡資源，以及在現(xiàn)有資源集群里分配計算資源。

d）移植該應用的每個虛擬機到vCD 環(huán)境，具體包括先下電已運行的IMS 應用的全部虛擬機，再創(chuàng)建目標IMS應用。

e）VNFM 和云管理平臺的接口從vCenter 遷移到vCD。

f）確認VNFM和該應用的全部VNF集成成功。

Rebuild方式的部署過程如下：

a）準備OVF 模板，由管理該IMS 應用的OvDC 資源池的Catalogue使用。

b）為該應用創(chuàng)建目標OvDC，并在vCD 配置該OvDC。

c）創(chuàng)建該OvDC 管理的計算、存儲和網(wǎng)絡等資源，即待移植的虛擬機所需的資源，包括分配內外部的網(wǎng)絡資源，以及在現(xiàn)有資源集群里分配計算資源。

d）VNFM 和云管理平臺的接口從vCenter 遷移到vCD。

e）開通新的IMS 應用，具體包括的步驟有：確保重建的IMS 應用所需的資源足夠；使用VNFM 部署新IMS 應用；確認和配置新的IMS 應用成功；清除原IMS應用，包括斷開和vCenter的聯(lián)系。

實際部署時選擇Offline 方式，主要原因是Offline方式比重建方式少占用硬件資源，比在線移植方式的風險更加可控。在線移植方式的風險是，盡管虛擬機以獨立應用方式完成遷移非常平滑，但是和新建應用采用的完整的初始化過程不同，存在中間態(tài)，可能無法確保過程完美，或者說，增加應用上線后的驗證和維護時間和成本。

4 結束語

隨著2019年6月工信部發(fā)放5G商用牌照，移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)朝著產(chǎn)業(yè)互聯(lián)網(wǎng)進發(fā)，個體消費者、企業(yè)、政府部門都是云化網(wǎng)絡的使用者，電信云、專網(wǎng)、政務云混雜交合，這一切使得多數(shù)據(jù)中心和多租戶成為大規(guī)模、統(tǒng)一的云化網(wǎng)絡的必備需求。面向多租戶的云化網(wǎng)絡是本文的研究對象，其采用資源邏輯隔離，vDC 和Multi-DC 技術，以及全局化資源的配置管理，實現(xiàn)隨需而動的資源分配和多租戶層面的負荷均衡，可見，從面向應用角度，這是更先進的云化網(wǎng)絡。

云計算和虛擬化的結合，來源于社會各界對“資源共享，智能運維”的共同訴求，激起了近年如火如荼的從IT 到CT 的云化網(wǎng)絡建設浪潮。多租戶的需求，好比客戶希望享受出租車的服務卻只要付公交車的價格，這是把云計算和虛擬化技術推向更高效率的結果。本文從多租戶的需求出發(fā)，提供適配的虛擬化資源管理的架構分析、方案設計，并結合項目實戰(zhàn)分享經(jīng)驗，希望對國內云化網(wǎng)絡技術發(fā)展提供參考和借鑒。