孫莉莉 王興偉 張闖闖 李婕

1 引言

美國斯坦福大學提出的SDN面向于校園網，目前在互聯網和網絡核心層面被廣泛研究[1]。其特點是分離控制平面和底層交換機的功能，可在控制平面形成網絡的全局視圖[2]，并支持通過南向接口對網絡資源進行分配，通過北向接口對控制平面進行編程以實現可編程網絡[3]?？梢?，SDN的核心部分為控制器，直接決定了網絡的性能和SDN架構實現的效果[4]。

SDN（Software Defined Network）集中式控制器存在單點失效問題，其安全性和擴展性都面臨挑戰(zhàn)。分布式控制器有效地解決了集中式控制器單點瓶頸及可擴展性問題[5]，但分布式控制器之間需要不斷通信以維護全局視圖。隨著網絡擴大，本地網絡視圖策略或者把全局網絡視圖策略實現的分布式控制平面的通信開銷導致的能耗均在不斷增大。為了滿足最大峰值時的網絡流量，需要部署大量的SDN控制器以保證網絡性能。在非峰值期，大量控制器處于空閑狀態(tài)?？刂破鏖_啟后，無論處于空閑狀態(tài)還是負載狀態(tài)，均消耗同樣的能源[6]。目前，SDN可有效地管理數據中心網絡，但在大規(guī)模多控制器數據中心網絡中，降低能耗方面并未充分發(fā)揮其功能[7]。因此，SDN控制器能耗問題有待研究。

NFV（Network Function Virtualization）通過虛擬化使得虛擬網絡功能按需接入資源共享池[8]。相對于傳統(tǒng)網絡基礎設置，NFV架構可節(jié)省50%的能源[9]。

目前，國內外學者在合理部署分布式控制器以最小化開銷[10]、SDN靈活休眠模型[11]、基于能量感知對控制器進行布局以提高SDN節(jié)能可能性[12]、NFV在大規(guī)模網絡中減少能源[13]、5G網絡中NFV能量效率[14]等方面的研究已經取得了一定的成果。目前，已有研究多專注于SDN分布式控制器的部署問題，對于休眠算法只考慮當前控制器負載，未考慮長期效能。NFV架構可以減輕能耗，為SDN控制器節(jié)能帶來了新的可能性。在SDN中通過NFV思想引入虛擬層，不僅可以解決網絡流量過大時控制器處理能力不足的問題，還可以有效地降低SDN控制器能耗。

本文架構主要針對教育網，采用分級管理進行邏輯集中控制，對物理設備進行集群管理。根據網絡狀態(tài)需求動態(tài)虛擬化控制器，虛擬化的控制器只需要滿足網絡當前所需功能不必實現物理控制器所有功能。本文主要工作：1）建立控制器數學模型并設置節(jié)能優(yōu)化目標;2）提出虛擬控制器數量自適應調整算法，根據網絡流量變化動態(tài)虛擬控制器;3）提出控制器負載自適應調整算法，調整虛擬控制器負載;4）結合物理控制器頻率縮放策略以減少能耗;5）當網絡負載過小時，提出基于節(jié)能和時延優(yōu)化的控制器休眠算法，在網絡流量過小時可休眠部分控制器以節(jié)約能耗。

2 相關工作

在SDN節(jié)能方面，文獻[10]提出MIP線性方法及基于貪婪算法的啟發(fā)式算法來找到近似最優(yōu)的控制器布局，解決分布式控制平面中的通信開銷問題。文獻[11]提出了基于排隊理論和遺傳算法的SDN靈活休眠模型。該模型在流量較少時，利用包含平均時延、分組丟失率和隊列長度等信息的成本函數，計算預期總成本。通過遺傳算法找到決策的最優(yōu)值以休眠部分空閑的控制器。文獻[12]研究如何合理放置分布式控制器，以最大限度地提高SDN節(jié)能的可能性，提出二進制整數程序（BIP）模型，在路徑延遲和控制器負載約束下，控制網絡能量消耗最小化。文獻[7]提出了E3MC能量感知模型，在流量較小時關閉部分冗余設備，將相關流量整合到其他設備。在數據平面，主要考慮流量匯聚和流量分割;在控制平面，主要考慮多控制器的SDN大規(guī)模網絡的節(jié)能。文獻[15]提出了基于Hybrid Flow架構關閉集群控制器來提高效能的方法，并介紹了M-N休眠策略。但是，對SDN控制平面能耗研究中，多關注于SDN分布式控制器部署，且已有的休眠算法中只考慮當前控制器的負載，未考慮長期效能和休眠后消息處理的優(yōu)先級問題。

在NFV節(jié)能方面，文獻[13]介紹了NFV在大規(guī)模網絡中以虛擬功能替代傳統(tǒng)網絡中間件的模式，該模式可減少大量能源的消耗。文獻[14]研究了5G網絡中引入NFV可能帶來的能耗效益。貝爾實驗室提出GWATT來解決NFV中的能耗問題，文獻[16]利用GWATT，證明了在虛擬化情況下，網絡流量增加甚至更能節(jié)約能耗。可以看出，NFV架構可切實有效地降低網絡能耗，為進一步解決SDN控制器節(jié)能問題提供了可能性。

3 系統(tǒng)架構

系統(tǒng)架構主要包含六個模塊：模塊1為控制器負載檢測，用于實時監(jiān)測網絡負載情況;模塊2為控制器CPU頻率縮放策略，在網絡負載較小時對物理控制器進行降頻;模塊3為虛擬控制器數量自適應調整算法，根據網絡狀態(tài)自動調整虛擬控制器數量;模塊4為控制器負載自適應調整算法，實時監(jiān)測控制器的負載情況以對各個控制器的負載情況進行調整;模塊5為基于節(jié)能和時延優(yōu)化的控制器休眠算法，對空閑的控制器進行休眠;模塊6為控制器和交換機消息映射模塊。根據模塊3、模塊4和模塊5的輸出結果調整控制器與交換機之間的映射關系，系統(tǒng)架構如圖1所示。

控制器負載檢測模塊實時檢測網絡中控制器負載，根據負載情況觸發(fā)不同模塊。虛擬控制器數量自適應模塊在物理控制器流量負載過大、處理時延增加時被觸發(fā)。根據網絡當前狀態(tài)虛擬部分控制器以協助物理控制器完成相應功能，降低物理控制器負載，同時避免物理控制器冗余而造成資源浪費。為了保障虛擬控制器的處理能力，同時設計控制器負載自適應調整模塊，實時監(jiān)控物理控制器和虛擬控制器的負載情況，以進行負載調整。當物理控制器負載較小時，為保證平均時延同時減少能耗，啟動控制器頻率縮放策略縮放物理控制器CPU的頻率以降低能耗。當物理控制器負載過小時，在確保相應的物理控制器被休眠后，全網仍能正常工作的情況下，啟動基于節(jié)能和時延優(yōu)化的控制器休眠模塊，將相應的物理控制器進行休眠，并將傳輸給被休眠的物理控制器的相應包，轉發(fā)給其他物理控制器進行處理。

4 控制器節(jié)能問題數學模型

4.1 物理控制器模型

本文利用一個三元組來表示物理控制器：

其中，控制器標識為。表示物理控制器狀態(tài)，代表物理控制器被休眠，代表物理控制器開啟。表示控制器CPU頻率。

控制器能耗主要與CPU的負載相關[11]，修改控制器能耗公式。休眠狀態(tài)能耗和開啟狀態(tài)下能耗計算公式分別如（1）和（2）所示。

其中，休眠能耗為固定常數。開啟狀態(tài)能耗為。 表示域控制器在CPU狀態(tài)為且負載的情況下產生的能耗，其中中的表示CPU支持的頻率狀態(tài)集合。是控制器在CPU頻率為狀態(tài)且空閑狀態(tài)下的能耗。是控制器在CPU頻率為狀態(tài)下滿載的能耗。是控制器在狀態(tài)下CPU的利用率。是一個實驗測量的值。

4.2 虛擬控制器模型

本文利用NFV概念在SDN控制平面引入虛擬控制器以減少物理控制器能耗，可根據需求開啟或關閉虛擬控制器。利用二元組表示虛擬控制器：

其中，虛擬控制器標識為。表示虛擬控制器的狀態(tài)，當時，虛擬控制器處于關閉狀態(tài)，當時，節(jié)點處于休眠狀態(tài)，否則虛擬控制器處于開啟狀態(tài)。

虛擬控制器處于關閉狀態(tài)時能耗為0，虛擬控制器能耗計算公式如（4）和（5）所示。

其中，虛擬控制器休眠時能耗為固定常數。為虛擬控制器開啟狀態(tài)時的能耗，。 為虛擬控制器負載為u時產生的能耗 。是虛擬控制器滿載下的能耗。u是虛擬控制器CPU的利用率。是一個實驗測量的值。

4.3 優(yōu)化目標

能耗最小化為本模型的優(yōu)化目標，控制器能耗計算公式如（7）所示。

其中，物理控制器數量為。第i個物理控制器具有的虛擬控制器數量為。第i個物理控制器的能耗和第i個物理控制器的第j個虛擬控制器的能耗分別為和。公式（1）和（2）可計算物理控制器i處于休眠狀態(tài)和開啟狀態(tài)下的能耗。（4）和（5）可用來計算虛擬控制器不同狀態(tài)下能耗。

其中，表示交換機i的流量是否由控制器j處理，交換機i的時延小于交換機j的時延表示為?？刂破鱥和控制器j的時延為?？刂破鱦和控制器k的時延為。約束（9）表示時延較小的交換機請求由域內虛擬控制器優(yōu)先處理，約束（10）表示交換機到其他域的物理控制器的時延不超過D，約束（11）表示控制器處理一個交換機當前所有流量。

5 控制器節(jié)能算法

為避免保障網絡流量峰值而過量部署物理控制器造成大量能源浪費，設置虛擬控制器數量自適應調整算法，根據網絡狀態(tài)自動調整虛擬控制器數量。同時，因虛擬控制器處理能力有限，為了保障虛擬控制器的處理能力，設計控制器負載自適應調整算法，實時監(jiān)測控制器的負載情況以進行調整;當網絡流量過小，為進一步降低能耗，提出基于節(jié)能和時延優(yōu)化的控制器休眠算法，對空閑的控制器進行休眠。

5.1 虛擬控制器數量自適應動態(tài)調整算法

當物理控制器負載過重導致處理延時增大時，可以開啟通過NFV引入的虛擬控制器，協助物理控制器完成包處理。虛擬控制器數量計算公式如（12）及（13）所示。

其中，需要增加的虛擬控制器數量表示為。當前控制器集群需要提供的負載表示為。當前控制器集群能夠處理的最高負載表示為。虛擬控制器能夠處理的最高負載表示為。-1代表每次最多減少一個虛擬控制器，表示向上取整。需要調整的虛擬控制器數量表示為。當前虛擬控制器數量表示為。應分配的虛擬控制器數量為，其值大于0。

首先，根據公式（12）計算出需要調整的虛擬控制器的數量。當需要增加虛擬控制器數量且需要增加的虛擬機數量小于已休眠的虛擬機數量，則喚醒相應數量的休眠虛擬機。當需要的虛擬控制器數量大于休眠的虛擬控制器數量，就將所有的休眠虛擬控制器切換為工作狀態(tài)，并打開相應數量的處于關閉狀態(tài)的虛擬控制器，若需要減少虛擬控制器，為保證流量波動對系統(tǒng)性能的影響，每次只休眠一臺虛擬控制器。并且在整個過程中控制休眠的虛擬控制器數量不會一直增加，保證休眠的虛擬機數量小于工作態(tài)的虛擬機數量。

5.2 控制器負載自適應調整算法

在數據包處理分配時需要平衡各交換機的時延，規(guī)定物理控制器傳輸時延大于虛擬控制器傳輸時延，即時延較高的數據包由物理控制器處理。來自同一個交換機的消息由同一個虛擬控制器或物理控制器處理以更好地管理流量。在流量動態(tài)變化中，基于上述機制可能導致流量負載不均，為保證處理時延及負載均衡，設計控制器負載自適應調整算法。

虛擬控制器和物理控制器的負載情況被實時監(jiān)控，以用于決定是否進行負載調整，算法2的觸發(fā)策略：

（1） 算法1執(zhí)行后，若輸出的虛擬控制器的數量被調整，則控制器的負載需要被調整;

（2） 物理控制器的最高負載為，當物理控制器的負載超過閾值，則物理控制器的負載需要被調整;

（3） 虛擬控制器的最高負載為，當虛擬控制器的負載超過閾值，則虛擬控制器的負載需要被調整。

其中，交換機數量為。域內物理控制器和虛擬控制器的總數量為。列1，列2至n分別代表交換機和物理控制器及交換機與虛擬控制器之間的映射。消息由j處理表示為，不存在映射表示為。

根據算法1的輸出，若虛擬控制器的數量增加或不變時，先判斷物理控制器是否過載，若過載則計算需要轉移的負載以調整物理控制器負載。然后計算虛擬控制器的平均負載，判斷虛擬控制器是否過載，若過載則調整虛擬控制器和交換機之間的映射。若根據算法1的輸出，需要減少虛擬控制器的數量，先判斷虛擬控制器是否過載，若未過載則更新虛擬控制器和交換機之間的映射，否則更新虛擬控制器和交換機以及物理控制器和交換機之間的映射。

根據上述機制，提出了控制器負載自適應調整算法，其偽代碼如算法2描述。

5.3 物理控制器休眠算法

由交換機到睡眠控制器的延遲以及睡眠控制器到被選擇控制器的延遲構成，表示傳送到睡眠控制器信息的延遲。由控制器進入睡眠狀態(tài)節(jié)約的能源以及負載轉移給其他控制器增加的能耗構成，表示睡眠控制器節(jié)約的能源。

[5] H. G. Ahmed and R. Ramalakshmi. Performance Analysis of Centralized and Distributed SDN Controllers for Load Balancing Application[C].Proceedings of the International Conference on Trends in Electronics and Informatics ，? Tirunelveli，? 2018：758-764.

[6] D. B. Rawat and C. Bajracharya. Software Defined networking for reducing energy consumption and carbon emission[C]. Proceedings of the SoutheastCon. Norfolk， VA， 2016： 1-2.

[7] Xie K， Huang X， Hao S， et al. E3MC： Improving energy efficiency via elastic multi-controller SDN in data center networks[J]. IEEE Access， 2017， 4： 6780-6791.

[8] R. Mijumbi， J. Serrat， J. Gorricho， N. Bouten， F. De Turck and R. Boutaba. Network Function Virtualization： State-of-the-Art and Research Challenges[J]. IEEE Communications Surveys & Tutorials， 2016，18（1）： 236-262.

[9] Network Functions Virtualisation （NFV）; Infrastructure Overview， https：//www.etsi.org/deliver/etsi_gs/NFV-INF/001_099/001/01.01.01_60/gs_NFV-INF001v010101p.pdf? 2015.1.

[10] M. Obadia， M. Bouet， J. Rougier and L. Iannone. A greedy approach for minimizing SDN control overhead[C]. Proceedings of the 2015 1st IEEE Conference on Network Softwarization （NetSoft）. London， 2015： 1-5.

[11] Yonghong F U， Jun B I， Jianping W U， et al. A dormant multi-controller model for software defined networking[J]. China Communications， 2014， 11（3）： 45-55.

[12] Hu Y ， Luo T ， Beaulieu N C ， et al. The energy-aware controller placement problem in software defined networks[J]. IEEE Communications Letters， 2017， 21（4）： 741-744.

[13] Z. Xu， F. Liu， Tao Wang and H. Xu. Demystifying the energy efficiency of Network Function Virtualization[C]. Proceedings of the 2016 IEEE/ACM 24th International Symposium on Quality of Service. Beijing， China， 2016： 1-10.

[14] A. Al-Quzweeni， A. Lawey， T. El-Gorashi and J. M. H. Elmirghani. A framework for energy efficient NFV in 5G networks[C]. Proceedings of the 2016 18th International Conference on Transparent Optical Networks （ICTON）. Trento， Italy， 2016： 1-4.

[15] Qiu C， Zhao C， Xu F， et al. Sleeping mode of multi-controller in green software-defined networking[J]. Eurasip Journal on Wireless Communications & Networking， 2016， 2016（1）： 282.

[16] Mijumbi R. On the Energy efficiency prospects of network function virtualization[J]. Computer Science， 2015： 1-6.

[17] Yang L， Dick R P， Memik G， et al. HAPPE： Human and application-driven frequency scaling for processor power efficiency[J]. IEEE Transactions on Mobile Computing， 2013， 12（8）： 1546-155.