莊子睿，王敬宇，徐 童

（北京郵電大學網絡與交換技術國家重點實驗室 北京100876）

1 引言

近年來，隨著云計算產業(yè)的蓬勃發(fā)展，電信運營商、信息技術企業(yè)、互聯網公司的不斷投入，云服務種類快速增加、功能逐漸完善。各式各樣的云服務從各種各樣的角度簡化了租戶的部署、維護和管理難度，也在相當程度上減輕了租戶的資本性支出負擔和運營成本。愈發(fā)成熟的技術特征和保障也吸引了越來越多的租戶，從傳統的信息通信技術產業(yè)領域，電信行業(yè)、互聯網行業(yè)，擴展到物流、制造、教育、公共服務等各行各業(yè)[1]，乃至個人最終租戶。租戶接觸、使用信息技術的方式也從最原始的自行購買、組建、維護和管理的模式，轉變成向云提供商購買服務的模式，方便、快捷、省心省力。

租戶需要在各種物理設備之間遷移數據和應用，搭建云計算平臺的廠商必須提供按需伸縮容量的能力，讓租戶根據需要很容易地配置新的服務器和存儲設備。因而，在虛擬化的基礎上，需要一個優(yōu)化的體系結構對異構的軟硬件資源進行互聯，高可擴展性地增加、刪除資源，并根據租戶的需求自動伸縮，充分利用虛擬化的好處，方便租戶在虛擬機上直接部署所定制的網絡環(huán)境。

從云計算的服務層次來講，網絡服務常常被視為底層的基礎設施，僅提供滿足基本需求的網絡通信能力，而沒有給租戶開放定制網絡關系、進行組網規(guī)劃的能力，難以滿足特定租戶多樣化、定制化的靈活組網需求。目前在云計算環(huán)境中，云網絡模型通常只把基礎的動態(tài)或者靜態(tài)地址以及基本的防火墻等功能分配給租戶所使用的虛擬機。網絡關鍵服務的缺乏極大地限制了租戶的使用、網絡的安全和性能，那么如何幫助實現靈活、可擴展地設計和部署網絡服務——這正是NaaS（network as a service，網絡即服務）提供的功能。

NaaS是用來支持應用的虛擬網絡，與連接固定地點（如總部）到分支機構、服務器到服務器以及服務器到存儲等的傳統網絡相比，有明顯的區(qū)別。如果NaaS是應用網絡，一個重要問題是它如何關聯到網絡基礎設施和網絡服務。這個問題的答案是將NaaS從美好的想法轉變成“真正的NaaS”的關鍵。

因此，本文專注研究基于數據中心的虛擬機定制化組網技術，重點在于在數據中心的環(huán)境下為租戶提供虛擬機間靈活的網絡關系定制，使租戶能遵照自己應用的具體需求，以相對簡單易行的操作、低廉的學習和部署成本對虛擬機進行組網編排（orchestration）。這一編排技術的應用，對于企業(yè)租戶來說，可以根據自己企業(yè)內部的組織架構或者功能劃分，從網絡基礎設施組建的層次上進行多維度的網絡訪問控制和均衡，并且可以對應企業(yè)內部的變化進行敏捷快速的調整；對于科研租戶來說，則可以利用靈活開放的網絡基礎設施，搭建符合科研需求的實驗環(huán)境，能夠在準真實環(huán)境下對研究成果進行驗證和測試。

已有的研究諸如覆蓋網絡仿真軟件OverSim[2]，使用了遠程過程調用進行分布式系統組件之間的溝通[3,4]，使用了管理器模式組織應用程序接口，有一定的靈活性[5]，但是其功能也受到限制，僅針對覆蓋網絡提供測試仿真能力。與先前的研究[6]相比，本定制化組網系統基于數據中心場景提供了面向租戶開放，針對計算和網絡資源的編排能力和操作；同時關注編排實施過程中，平臺邊緣側虛擬機的智能化協同生成和放置，提供了優(yōu)化的虛擬資源部署。本系統不僅僅基于處理器、內存等傳統資源的利用狀況[7]，還考慮了虛擬基礎設施的網絡連接關系、網絡性能需求等，涉及一系列資源的組網優(yōu)化。為此，本系統采用分而治之的方法，向上結合租戶編排需求，向下探測基礎設施狀態(tài)，將大問題化成若干小問題，對解決NP難問題提出了可行的解決方案。

2 編排系統

資源編排系統負責解析、處理組網需求數據，并將處理好的需求數據轉化為基礎設施平臺可以識別的任務。該系統需要能夠檢測輸入數據的完整性、經受不合法的輸入數據的干擾，能夠智能化地分析租戶所請求的虛擬基礎設施資源之間的依賴關系、合理地安排相關資源的生成。除此之外，還應當對原有基礎設施平臺的所有配置提供兼容性支持。

在數據輸入部分，基礎設施描述需要包含云主機、交換機、路由器、負載均衡器、防火墻，周邊支持資源描述還包含密鑰對。數據輸入需要使用一種半結構化的、方便擴展的數據格式進行封裝。

資源處理部分需要能夠靈活地識別租戶在平臺上已經擁有的資源、新請求的資源，并且能夠以一個統一的模型表示上述各項差異化的資源信息，同時易于維護資源之間的依賴關系、方便在運行時動態(tài)地解析和修改，并且為動態(tài)調整和增量更新提供便利；在此基礎上，還要能夠針對租戶比較模糊的組網需求進行處理，比如資源調度位置偏好等。

虛擬資源生成部分需要能夠將處理好的上述各種資源需求數據，完整地轉化為底層基礎設施平臺能夠識別與理解的配置數據，同時有針對性地準備資源監(jiān)測配置，提交給平臺進行生成，監(jiān)測并返回任務狀態(tài)。

2.1 元數據定義

編排系統使用元數據（metadata）對租戶所請求的資源進行定義?？紤]到擴展性要求，使用半結構化的JSON（JavaScript object notation）格式進行封裝。元數據涵蓋的簡要內容見表1。

表1 元數據定義

2.2 資源表示

由于基礎設施平臺在具體實現時，虛擬機對虛擬子網存在依賴性，然而虛擬機描述過程中只對虛擬網絡有依賴需求，虛擬子網依賴于虛擬網絡，反之不然，也就是說虛擬機對虛擬子網無法從邏輯上歸納出依賴性。因此這里采取重載資源描述HeatOrchestrationTemplate類的toDictionary()函數，二次檢查和虛擬機資源相關的虛擬網絡資源，并搜尋依賴于相應的虛擬網絡資源的所有虛擬子網資源，并將它們添加到虛擬機資源的依賴項中。

出于可維護性的考慮，在進行資源描述表示時使用統一的基礎類型進行表達；又由于系統需要考慮已有資源和新增資源之間在發(fā)生屬性依賴時的兼容性，這里專門做出處理。特別地，在BaseResource類中，設置資源屬性的時候做出檢測，如果目標賦值為Resource實例，則創(chuàng)建一個對該Resource實例的引用ResourceReference對象，并進行具體賦值。類似地，針對列表和字典內容，也有相應的解碼賦值操作。

綜上所述，資源統一使用BaseResource類的細分派生成員來表示，并且使用ResourceReference對象類型標識資源間的引用和依賴關系，便于統一的設計以及運行時的自動處理。

2.3 資源調度策略

虛擬機作為最小計算資源單元，是虛擬基礎設施資源的管理重點。而在虛擬基礎設施資源的生成過程中，虛擬機映射位置的選擇必然影響網絡連接關系的映射、網絡資源的安排和配置。首先，原有平臺的管理模塊基于傳統思路，針對虛擬機的調度生成，僅考慮了諸如處理器核心數量、隨機存取存儲器大小、塊設備大小等傳統計算資源，本著篩選可用、選取最適的原則執(zhí)行虛擬機的調度任務。這樣的調度邏輯基本滿足傳統的IaaS（infrastructure as a service，基礎設施即服務）需求，但是難以滿足租戶在定制化的虛擬機組網下，對虛擬機間和虛擬網絡內通信的優(yōu)化需求。其次，原有的調度僅針對單一虛擬機資源，難以從整體角度給出優(yōu)化方案。另外，租戶可能需要指定若干服務節(jié)點或者服務節(jié)點集合來生成某些具體的虛擬機，這在原有平臺的模式中也是不能被滿足的。

基于上述各項原因，本文擴展了原虛擬基礎設施平臺對虛擬機的調度功能，對原有的基于處理器核心等計算能力的調度算法進行了擴展。擴展后的調度算法，依然遵循“先篩選可用，再選取最適”的思路[8,9]。首先，在原有算法的基礎上，根據生成位置的定義，篩選可用的服務節(jié)點；其次，將虛擬機的網絡連接關系納入考慮范圍，評價各個虛擬機在各個虛擬網絡內到鄰近虛擬機的通信時延，通過選取最短時延的方式產生最適節(jié)點。各虛擬機對應的最適節(jié)點以及相關的資源占用將被記錄下來供進一步優(yōu)化調度。最終調度算法能夠針對所提交的一組虛擬機調度請求，返回整體優(yōu)化過的調度結果。

（1）調度消息交互序列

鑒于原有基礎設施平臺沒有很好地考慮網絡連接關系和服務節(jié)點位置對虛擬機組網通信的影響，這里對調度模塊進行了擴展。外部應用通過WSGI提供的接口進行調用，管理器通過遠程過程調用數據中間件的arrange_instances方法，數據中間件進一步使用遠程過程調用調度器的arrange_instances方法，如圖1所示。

圖1 調度功能的交互序列

（2）調度工作流程

規(guī)劃調度時依然采用“先過濾可用，再選取最適”的思路。首先根據組網需求中對位置的偏好過濾出一部分可用服務節(jié)點，再根據對處理器、內存、磁盤的需求，過濾出合適的可用節(jié)點。使用請求的計算能力和計算容量對節(jié)點進行加權并排序。在此基礎上，考慮網絡的連接關系，針對虛擬機所連接的每一個虛擬網絡，計算各個可用服務節(jié)點被選中后產生的與其他虛擬機通信的平均時延。將虛擬網絡選項遍歷完成之后，計算各個可用服務節(jié)點針對各個虛擬網絡的平均通信時延。最后對這一結果進行加權、排序，選取最優(yōu)的候選作為調度結果返回。上述過程如圖2所示。

（3）虛擬機狀態(tài)維護

由于對虛擬機的調度納入了網絡連接關系作為參考依據，所以在調度請求中需要增加相應的網絡連接信息。同時，出于整體優(yōu)化的考慮，還需要綜合考慮現有虛擬機在各個虛擬網絡中的分布狀態(tài)，這就需要對虛擬機狀態(tài)和相關的網絡連接參數進行專門的維護。

鑒于上述原因，新建立了InstanceManager類來負責管理、維護相關數據，可以提供虛擬機狀態(tài)、虛擬機網絡連接信息、指定虛擬網絡中虛擬機在各個服務節(jié)點上的分布狀態(tài)，并提供接口獲取各個服務節(jié)點之間物理網絡的性能參數。該類實例與調度器運行在同一進程，并且跟隨調度器進行初始化。

2.4 映射算法

圖2 調度流程

虛擬機間的虛擬網絡連接關系復雜多樣，虛擬網絡通信以覆蓋網絡的方式承載于物理鏈路上，利用GRE隧道[10]進行連接，虛擬網絡的性能很大程度上取決于所選用的物理網絡。如圖3所示，虛擬機到物理節(jié)點的映射關系實質上決定了虛擬機之間復雜的虛擬網絡連接關系到物理通信鏈路之間的映射關系，要優(yōu)化虛擬網絡內的通信，則需要將虛擬網絡連接關系和物理鏈路狀態(tài)納入虛擬機映射的算法當中。

圖3 虛擬機、虛擬網絡、物理節(jié)點和物理鏈路的關系

對于給定的一組虛擬機以及它們之間的虛擬網絡連接關系，結合物理鏈路狀態(tài)信息，可以給出更優(yōu)化的映射及調度方案。如圖4所示，給定4臺虛擬機之間的連接關系，可以簡單地將虛擬機逐一隨機映射到一臺可用的物理節(jié)點上，未考慮物理節(jié)點之間的通信鏈路狀態(tài)時，方案A得到的平均時延是22.5 s。分析連接關系，發(fā)現三角形內的3臺虛擬機關聯度較高；方案B考慮了物理鏈路信息，將它們映射到狀態(tài)比較良好的兩個物理節(jié)點上，剩余的一臺虛擬機映射到次優(yōu)的節(jié)點上，總體平均時延降到6.25 s。

圖4 隨機映射方案和優(yōu)化映射方案

虛擬機間的通信條件受制于覆蓋網絡下物理節(jié)點之間的鏈路狀態(tài)（帶寬、時延等）。除了上述單一的虛擬網絡，還會存在虛擬機屬于多個不同的虛擬網絡、分屬于多個不同的物理計算節(jié)點的情景。此時應當評價待選節(jié)點在各個虛擬網絡拓撲下的平均網絡時延，并計算多個虛擬網絡內的加權平均值。在一定的差異范圍內，選取最優(yōu)的若干個物理節(jié)點作為調度結果順序返回。參見下列偽代碼內容。

全局調度（上下文,實例集）：

連接關系計算判定(實例,權重,實例管理器):if權重列表為空：

另外，如圖5所示，物理節(jié)點之間可能存在多條鏈路。此時基于上述思路還可以繼續(xù)擴展，在對虛擬機進行映射之后，結合軟件定義網絡的靈活特性，可以進一步在虛擬網絡鏈路和物理網絡鏈路之間建立映射關系，便于對虛擬網絡通信流量進行分流、隔離和服務質量控制。

圖5 虛擬網絡連接到物理鏈路的映射

3 實驗與結果分析

3.1 實驗環(huán)境

實驗中使用兩臺物理服務器節(jié)點，節(jié)點A擁有4處理核心、8 GB內存和500 GB磁盤空間，節(jié)點B擁有16處理核心、32 GB內存和500 GB磁盤空間，節(jié)點A、B之間使用100 Mbit/s網絡連接。3臺虛擬機配置為單處理核心、512 MB內存、10 GB磁盤空間，使用Ubuntu Server 14.04操作系統。

3.2 功能測試

在最終的實現中，通過統一的、簡化的圖形化租戶界面入口，使用與物理設備對應的熟悉的虛擬主機、虛擬交換機、虛擬路由器、虛擬負載均衡器和虛擬防火墻的資源組織，屏蔽了原有平臺的實例、網絡、子網、路由、浮動IP地址、固定IP地址等專門技術細節(jié)，有利于租戶使用在現實世界里先驗的知識快速上手使用，完成了以可視化方式實現包括隔離網絡、虛擬機、負載均衡器和防火墻在內的各種虛擬資源的生成。虛擬機的網絡連接如圖6所示。

圖6 圖形化虛擬機組網編排系統

通過編排模塊的設計，可以使用統一而簡化的方式動態(tài)更改乃至批量更改資源的配置。通過對平臺底層虛擬化接口的修改，實現了針對虛擬機的、多個網絡接口單獨定義粒度上的網絡服務質量控制。

3.3 性能測試

從服務節(jié)點和虛擬機之間的虛擬網絡連接關系的角度出發(fā)，對租戶定制以及資源優(yōu)化配置也做了一定的探索工作。由表2和表3可知，改進的映射調度算法對虛擬機間通信質量的提升有一定作用。新算法對最小RTT（round trip time）影響不大，但是對平均RTT有8%左右的提升，對最大RTT有80%左右的提升，同時可以看到，新算法調度下的虛擬機間通信有著更小的標準差，也就是更加一致且容易預測的通信表現，見表4。

表2 原有映射調度算法的虛擬機間通信

表3 改進的映射調度算法的虛擬機間通信

表4 改進后的算法相對于原有算法的改善

4 結束語

隨著云服務產業(yè)的成熟，越來越多的租戶嘗試了解、接納甚至擁抱云服務，但云服務仍存在著顯著的不足，如配置繁瑣、使用門檻高、組網方式與傳統實際物理機組網模式相比有較大差別等。產業(yè)界和學術界都開始關注網絡服務，本文以開源云計算管理平臺OpenStack為基礎，構建了一個虛擬機定制化組網系統，最大程度地簡化租戶操作，使租戶可以方便、快捷、不過多地受技術細節(jié)干擾地達成預期的組網目的。

跨數據中心地域、網域的傳統部署方式是分區(qū)域隔離的，這限制了資源的有效利用。未來工作將嘗試用覆蓋網絡技術突破這一限制?？鐢祿行木W域、地域的系統部署，有利于服務提供商通過高效而廣域的資源映射減小自身的運營成本和線路負擔；能夠提升平臺部署的可擴展性，使得平臺有可能以成機房、成數據中心的方式提升計算能力，有針對性地化解資源瓶頸；能夠為業(yè)務設計提供更強的靈活性，比如跨地域的虛擬設施編排、組建以及遷移，動態(tài)地跟隨租戶的接入位置進行優(yōu)化配置生成，提供更加智能化的服務。這個方向尚存在著顯著的難點需要攻克，還有很多內容需要思考與探索。

1 虛擬化與云計算小組.云計算實踐之道：戰(zhàn)略藍圖與技術架構.北京：電子工業(yè)出版社，2011 Group of Virtualization and Cloud Computing.A Practical Guide to Cloud Computing:Strategy Blueprint and Technical Architecture.Beijing:Publishing House of Electronics Industry,2011

2 Baumgart I,Heep B,Krause S.OverSim:a flexible overlay network simulation framework.Proceedings of the Conference on IEEE Global Internet Symposium,Anchorage,AK,2007:79～84

3 Birrell A D,Nelson B J.ACM transactions on implementing remote procedure calls.Computer Systems,1984,2(1)

4 Vinoski S.Convenience over correctness.IEEE Internet Computing,2008,12(4)

6 Mayoral A,Vilalta R,Mu觡oz R,et al.Integrated IT and network orchestration using OpenStack,OpenDaylight and active stateful PCE for intra and inter data center connectivity.Proceedings of 2014 European Conference on Optical Communication(ECOC),Cannes,France,2014:1～3

7 Sotomayor B,Montero R S,Llorente I M,et al.Virtual infrastructure management in private and hybrid clouds,IEEE Internet Computing,2009,13(5):14～22

8 Hu J H,Gu J H,Sun G F,et al.A scheduling strategy on load balancing of virtual machine resources in cloud computing environment.Proceedings of 2010 Third International Symposium on Parallel Architectures,Algorithms and Programming(PAAP),Dalian,China,2010:89～96

9 Sotomayor B,Montero R S,Llorente I M,et al.Virtual infrastructure management in private and hybrid clouds.IEEE Internet Computing,2009,13(5):14～22

10 IETF Network Working Group.Generic Routing Encapsulation(GRE).RFC2784,2000