朱國(guó)暉 李晨光 程 宇

(西安郵電大學(xué)通信與信息工程學(xué)院 陜西 西安 710121)

?

基于Dyna agent算法的SDN控制策略

朱國(guó)暉 李晨光 程 宇

(西安郵電大學(xué)通信與信息工程學(xué)院 陜西 西安 710121)

為改善網(wǎng)絡(luò)節(jié)點(diǎn)資源利用率，提出基于Dyna agent算法的控制器控制策略。首先對(duì)網(wǎng)絡(luò)控制器部署建模；然后控制器利用環(huán)境反饋信息反作用于控制端網(wǎng)絡(luò)流量控制策略抉擇；最后分析觸發(fā)學(xué)習(xí)機(jī)制后各節(jié)點(diǎn)轉(zhuǎn)發(fā)狀態(tài)的變化，重新設(shè)置節(jié)點(diǎn)選擇權(quán)值。仿真結(jié)果表明，該控制策略相對(duì)于普通控制策略的網(wǎng)絡(luò)可使目的節(jié)點(diǎn)處理能力更強(qiáng)，吞吐量增大，網(wǎng)絡(luò)延遲更小。

軟件定義網(wǎng)絡(luò) Dyna agent OpenFlow 控制策略

0 引 言

降低流量成本、提升管道價(jià)值、加速網(wǎng)絡(luò)創(chuàng)新是網(wǎng)絡(luò)發(fā)展的目標(biāo)。在此背景下，軟件定義網(wǎng)絡(luò)SDN應(yīng)運(yùn)而生。SDN核心是控制與轉(zhuǎn)發(fā)相分離，網(wǎng)絡(luò)軟件化，對(duì)目前垂直緊耦合結(jié)構(gòu)進(jìn)行解耦，網(wǎng)絡(luò)能力得到充分開放，從而提升網(wǎng)絡(luò)的創(chuàng)新能力。

利用SDN控制器可編程特性，對(duì)網(wǎng)絡(luò)切片進(jìn)行重新部署[1,2]，解決網(wǎng)絡(luò)僵化問(wèn)題，提高網(wǎng)絡(luò)資源利用率。文獻(xiàn)[3]研究了SDN分布式控制平面中控制器的靜態(tài)部署問(wèn)題，使得交換機(jī)到控制器的時(shí)延最短，并保證控制器的處理能力能夠滿足其上所連接交換機(jī)上承載的業(yè)務(wù)需求。但是，在多控制器部署環(huán)境下，由于網(wǎng)絡(luò)負(fù)載動(dòng)態(tài)變化，需要將交換機(jī)從負(fù)載較重的控制器動(dòng)態(tài)遷移到負(fù)載較輕的控制器下；文獻(xiàn)[4]提出了彈性控制平面的概念、知識(shí)架構(gòu)以及遷移過(guò)程的簡(jiǎn)述，但文章中并沒有給出具體的算法。盡管網(wǎng)絡(luò)控制與數(shù)據(jù)轉(zhuǎn)發(fā)相分離的新型網(wǎng)絡(luò)架構(gòu)簡(jiǎn)化了網(wǎng)絡(luò)管理，但隨著交換機(jī)數(shù)量的增多，單一控制器吞吐能力有限，對(duì)于大規(guī)模網(wǎng)絡(luò)必然會(huì)產(chǎn)生系統(tǒng)性能瓶頸。此外，如果網(wǎng)絡(luò)設(shè)備阻塞或者周圍發(fā)生災(zāi)難故障，控制器控制策略同樣會(huì)對(duì)網(wǎng)絡(luò)整體流量產(chǎn)生影響。

本文主要針對(duì)網(wǎng)絡(luò)資源利用率進(jìn)行研究，從服務(wù)器端入手，提出基于Dyna agent的動(dòng)態(tài)路由控制策略。當(dāng)網(wǎng)絡(luò)嚴(yán)重阻塞或者遇到災(zāi)害時(shí)，觸發(fā)學(xué)習(xí)控制策略，對(duì)其建模，通過(guò)仿真查看網(wǎng)絡(luò)觸發(fā)學(xué)習(xí)機(jī)制前后負(fù)載以及時(shí)延變化情況。

1 SDN控制端負(fù)載分析

SDN分為基礎(chǔ)設(shè)施層、控制層和應(yīng)用層。虛擬化在基礎(chǔ)設(shè)施和控制層兩個(gè)層面上來(lái)實(shí)現(xiàn)：前者實(shí)現(xiàn)設(shè)備級(jí)的虛擬化；后者實(shí)現(xiàn)網(wǎng)絡(luò)級(jí)的虛擬化。SDN控制器將整個(gè)網(wǎng)絡(luò)當(dāng)成一個(gè)邏輯的超級(jí)交換機(jī)進(jìn)行管理控制。

路由負(fù)載調(diào)節(jié)方案需要在服務(wù)器集群入口處，通過(guò)一個(gè)Gateway或者Router來(lái)監(jiān)測(cè)統(tǒng)計(jì)服務(wù)器工作負(fù)載，然后動(dòng)態(tài)轉(zhuǎn)移用戶到負(fù)載相對(duì)較輕的服務(wù)器上，從而緩解網(wǎng)絡(luò)的擁堵狀況。OpenFlow[5]可以對(duì)網(wǎng)絡(luò)中所有設(shè)備進(jìn)行集中式控制和管理，同時(shí)服務(wù)器的負(fù)載運(yùn)行狀態(tài)可以及時(shí)地反饋到OpenFlow控制器，因此OpenFlow就非常適合做負(fù)載調(diào)節(jié)工作。控制器通過(guò)Host及網(wǎng)絡(luò)控制器來(lái)監(jiān)測(cè)服務(wù)器和網(wǎng)絡(luò)的負(fù)載變化，然后將這些信息反饋給Flow Manager。OpenFlow控制器就可以根據(jù)這些實(shí)時(shí)的負(fù)載信息，重新制定網(wǎng)絡(luò)設(shè)備運(yùn)行規(guī)則，從而將網(wǎng)絡(luò)數(shù)據(jù)包按照服務(wù)器的處理能力進(jìn)行調(diào)整和分發(fā)。控制器可以動(dòng)態(tài)地感知各節(jié)點(diǎn)和每條路徑的負(fù)載狀況，因而可以根據(jù)網(wǎng)絡(luò)中的負(fù)載實(shí)時(shí)調(diào)整路由策略，從而實(shí)現(xiàn)網(wǎng)絡(luò)流量的最優(yōu)化。

2 OpenFlow控制器算法設(shè)計(jì)

OpenFlow能夠?qū)崿F(xiàn)數(shù)據(jù)轉(zhuǎn)發(fā)和控制相分離，在控制器、FlowVisor中可進(jìn)行編程，不直接提供網(wǎng)絡(luò)切片能力，而是把網(wǎng)元設(shè)備分割成單獨(dú)的控制端口組，或?qū)⒕W(wǎng)絡(luò)分割成單獨(dú)的管理域。線路協(xié)議用于建立控制會(huì)話，對(duì)流的修改進(jìn)行定義和對(duì)統(tǒng)計(jì)數(shù)據(jù)進(jìn)行收集。本文研究SDN分布式控制平面中控制器的靜態(tài)部署問(wèn)題，使得交換機(jī)到控制器的時(shí)延最短，并保證控制器的處理能力能夠滿足其上所連接交換機(jī)上承載的業(yè)務(wù)需求。在多控制器部署環(huán)境下，由于網(wǎng)絡(luò)負(fù)載動(dòng)態(tài)變化，需要將交換機(jī)從負(fù)載較重的控制器動(dòng)態(tài)轉(zhuǎn)移到負(fù)載較輕的控制器，實(shí)現(xiàn)控制器之間的負(fù)載均衡[6,7]。

Dyna agent[8]適用于不知道環(huán)境的全部信息以及在環(huán)境中采取行動(dòng)所產(chǎn)生的反應(yīng)是不確定的狀況。Q學(xué)習(xí)[9]是無(wú)模型算法，通過(guò)Q值對(duì)累積回報(bào)進(jìn)行估計(jì)來(lái)尋找最優(yōu)策略，需要大量試驗(yàn)來(lái)保證其收斂性。Dyna agent是一種給予模型的算法，基于模型的系統(tǒng)利用經(jīng)驗(yàn)對(duì)環(huán)境的交互過(guò)程進(jìn)行建模，在此基礎(chǔ)上開發(fā)策略，通過(guò)學(xué)習(xí)已制定的策略減少網(wǎng)絡(luò)環(huán)境中學(xué)習(xí)探索成本的過(guò)度消耗。

Dyna agent循環(huán)迭代函數(shù)：

其中，st、a表示當(dāng)前狀態(tài)，r為學(xué)習(xí)效率，0≤r≤1。本文中R為6×6階矩陣，狀態(tài)為行，列表示行為，矩陣中各個(gè)元素表示行為的有效反饋狀態(tài)。由于剛開始時(shí)控制策略對(duì)環(huán)境一無(wú)所知，Q值初始狀態(tài)全部設(shè)置為0。

圖1 Dyna agent學(xué)習(xí)模型

OpenFlow控制器學(xué)習(xí)過(guò)程如圖1所示，中間的線表示環(huán)境和代理間的相互作用，產(chǎn)生一個(gè)現(xiàn)實(shí)經(jīng)驗(yàn)。結(jié)合探索學(xué)習(xí)模型，控制器是將現(xiàn)實(shí)經(jīng)驗(yàn)和已有模型的經(jīng)驗(yàn)結(jié)合起來(lái)學(xué)習(xí)。本文的目的是通過(guò)對(duì)已有模型的探測(cè)經(jīng)驗(yàn)，反饋給控制器優(yōu)先制定探索策略，再進(jìn)行循環(huán)迭代；且用Q值矩陣記錄數(shù)據(jù)，矩陣中的各個(gè)元素在網(wǎng)絡(luò)中表示對(duì)應(yīng)數(shù)據(jù)選擇各條路徑的權(quán)重系數(shù)。Dyna agent控制策略程序運(yùn)行過(guò)程具體如圖2所示。

步驟1網(wǎng)絡(luò)觸發(fā)學(xué)習(xí)機(jī)制，控制平面初始化Q值矩陣，初始化狀態(tài)Q矩陣元素值都為0；

步驟2路由器發(fā)出試探信息探索網(wǎng)絡(luò)通信狀態(tài)，找出可通信的子節(jié)點(diǎn)，使其劃分到最近的網(wǎng)絡(luò)核心控制控制器下，并確定各個(gè)區(qū)域核心節(jié)點(diǎn)；

步驟3選擇具有最大Q值的狀態(tài)作為當(dāng)前的激活狀態(tài)s；文中對(duì)于每一個(gè)循環(huán)周期，表示路由行為和狀態(tài)的Q表中，各有6個(gè)Q值；

步驟4根據(jù)循環(huán)迭代函數(shù)，觸發(fā)更新狀態(tài)s下采取動(dòng)作a的Q值Q(s,a)，對(duì)Q值變化進(jìn)行標(biāo)記，其余的Q值則不做標(biāo)記；

步驟5選擇矩陣中具有最大Q值的狀態(tài)作為下一個(gè)起始狀態(tài)，并更新狀態(tài)s；檢查是否到達(dá)目標(biāo)狀態(tài)，到達(dá)則停止，若沒有則繼續(xù)下一步；

步驟6返回步驟3運(yùn)行得到狀態(tài)s，繼續(xù)依次運(yùn)行，并記錄循環(huán)的次數(shù)。

圖2 Dyna agent循環(huán)過(guò)程

3 仿真及結(jié)果分析

3.1 控制器算法模型設(shè)計(jì)

Dyna agent算法設(shè)計(jì)：假設(shè)在網(wǎng)絡(luò)負(fù)載很嚴(yán)重時(shí)某些路徑堵塞或者處于災(zāi)后時(shí)某些節(jié)點(diǎn)中斷后，網(wǎng)絡(luò)模型的6個(gè)中心節(jié)點(diǎn)狀態(tài)如圖3所示。節(jié)點(diǎn)間鏈接代表網(wǎng)絡(luò)設(shè)備可通信，節(jié)點(diǎn)無(wú)鏈接代表網(wǎng)絡(luò)設(shè)備中斷或者嚴(yán)重堵塞，0代表可通信，初始狀態(tài)反饋值為0，100為有效激勵(lì)反饋獎(jiǎng)勵(lì)值，代表數(shù)據(jù)到達(dá)目標(biāo)節(jié)點(diǎn)。

網(wǎng)絡(luò)模型設(shè)計(jì)：模擬現(xiàn)實(shí)網(wǎng)絡(luò)分布情況，把網(wǎng)絡(luò)模型劃分為34個(gè)節(jié)點(diǎn)，網(wǎng)絡(luò)編號(hào)及節(jié)點(diǎn)數(shù)分別為：0、4個(gè)；1、6個(gè)；2、5個(gè)；3、6個(gè)；4、6個(gè)；5、7個(gè)。網(wǎng)絡(luò)中另外隨機(jī)設(shè)置一個(gè)輔助節(jié)點(diǎn)(6)用來(lái)驗(yàn)證網(wǎng)絡(luò)結(jié)構(gòu)有效性以及服務(wù)器支撐業(yè)務(wù)量對(duì)網(wǎng)絡(luò)的影響，結(jié)構(gòu)如圖4所示。根據(jù)上文假設(shè)的兩種網(wǎng)絡(luò)情況，遇到災(zāi)難或者嚴(yán)重堵塞時(shí)假設(shè)只有圖3所示鏈接可以通信，其中節(jié)點(diǎn)5設(shè)定為目標(biāo)網(wǎng)絡(luò)節(jié)點(diǎn)，各節(jié)點(diǎn)配置如表1所示。

圖3 網(wǎng)絡(luò)鏈接狀態(tài)

圖4 網(wǎng)絡(luò)結(jié)構(gòu)拓?fù)鋱D

表1 網(wǎng)絡(luò)節(jié)點(diǎn)配置

3.2 結(jié)果仿真與性能分析

設(shè)置實(shí)驗(yàn)網(wǎng)絡(luò)為高峰期擁堵狀態(tài)，部分節(jié)點(diǎn)之間無(wú)法直接進(jìn)行數(shù)據(jù)通信。為簡(jiǎn)化實(shí)驗(yàn)網(wǎng)絡(luò)，文中擁堵狀態(tài)網(wǎng)絡(luò)去掉部分節(jié)點(diǎn)間鏈接，只設(shè)置6個(gè)核心控制節(jié)點(diǎn)及輔助節(jié)點(diǎn)組成的網(wǎng)絡(luò)初始狀態(tài)均配置為可通信，鏈接狀態(tài)如圖4所示。為驗(yàn)證模型中業(yè)務(wù)量對(duì)網(wǎng)絡(luò)節(jié)點(diǎn)服務(wù)器影響情況，實(shí)驗(yàn)運(yùn)行算法策略仿真網(wǎng)絡(luò)之前，首先配置其輔助節(jié)點(diǎn)支持的服務(wù)分別為數(shù)據(jù)輕量級(jí)和數(shù)據(jù)重量級(jí)，比對(duì)這兩種數(shù)據(jù)服務(wù)支撐狀態(tài)可以驗(yàn)證網(wǎng)絡(luò)優(yōu)化控制結(jié)構(gòu)設(shè)計(jì)有效性。仿真對(duì)比如圖5、圖6所示，可以看出，輔助節(jié)點(diǎn)支撐數(shù)據(jù)較重時(shí)給網(wǎng)絡(luò)帶來(lái)?yè)矶?，時(shí)延較大，流量速率較低，數(shù)據(jù)處理能力衰減。

圖5 輔助節(jié)點(diǎn)服務(wù)調(diào)整前后延遲對(duì)比

圖6 輔助節(jié)點(diǎn)服務(wù)調(diào)整前后吞吐量對(duì)比

令r=0.8，∑p(st,a,st+1)=1時(shí)，實(shí)驗(yàn)程序中函數(shù)經(jīng)過(guò)2443次循環(huán)運(yùn)算后得到的數(shù)據(jù)滿足程序設(shè)定條件，得到矩陣Q1；當(dāng)r=0.9，∑p(st,a,st+1)=1時(shí)，運(yùn)行4056次達(dá)到最優(yōu)，得到矩陣Q2。

定義Q/100×100%為各路徑上選擇權(quán)重比。仿真軟件中默認(rèn)權(quán)重系數(shù)初始值為10，程序循環(huán)運(yùn)行后得到新的權(quán)重系數(shù)，各路徑節(jié)點(diǎn)權(quán)重系數(shù)進(jìn)行重新分配，配置如表2所示。

運(yùn)行仿真程序，經(jīng)過(guò)多次改變環(huán)境參數(shù)運(yùn)行仿真得到的圖像大體類似。本文只給出兩組具有代表性的狀態(tài)，當(dāng)r=0.8和r=0.9時(shí)，仿真網(wǎng)絡(luò)中權(quán)重系數(shù)加入前后網(wǎng)絡(luò)負(fù)載變化及時(shí)延改變對(duì)比如圖7、圖8和圖9所示。

表2 服務(wù)器節(jié)點(diǎn)配置

圖7 Dyna觸發(fā)前后服務(wù)器吞吐量對(duì)比

從圖7和圖9可以看出，面對(duì)負(fù)載較大或者災(zāi)難時(shí)，普通網(wǎng)絡(luò)運(yùn)行中流量和時(shí)延抖動(dòng)較大。在網(wǎng)絡(luò)觸發(fā)Dyna agent學(xué)習(xí)機(jī)制后，由于每條鏈路上加入了權(quán)重系數(shù)，網(wǎng)絡(luò)節(jié)點(diǎn)減少了無(wú)效的探索，從而減少流量和時(shí)間成本消耗，流量數(shù)據(jù)可以更有效到達(dá)服務(wù)器端。

圖8 Dyna觸發(fā)前后延遲對(duì)比

圖9 Dyna觸發(fā)前后平均時(shí)間服務(wù)器流量變化

4 結(jié) 語(yǔ)

提出基于Dyna gent的路由控制算法，通過(guò)節(jié)點(diǎn)周圍環(huán)境的反饋學(xué)習(xí)，制定出符合當(dāng)前環(huán)境的策略。從仿真結(jié)果可以看出，網(wǎng)絡(luò)觸發(fā)控制策略后處理能力得到增強(qiáng)，網(wǎng)絡(luò)延遲也有改善；并且隨著學(xué)習(xí)效率提升，服務(wù)器端接收速率明顯變大，網(wǎng)絡(luò)更容易達(dá)到最優(yōu)。

[1] Heller B,Sherwood R,McKeown N.The controller Placement problem[C]//Proceedings of the First Workshop on Hot Topics in Software Defined Networks.ACM,2012:7-12.

[2] Levin D,Wundsam A,Heller B,et al.Logically centralized?:state distribution trade-offs in software defined networks[J].Proceedings of the First Workshop on Hot Topics in Software Defined Networks,2012:1-6.

[3] Tootoonchian A,Ganjali Y.HyperFlow:a distributed control plane for OpenFlow[C]//Internet Network Management Conference on Research on Enterprise NETWORKING.2010:3-3.

[4] Dixit A,Hao F,Mukherjee S,et al.Towards an Elastic Distributed SDN Controller[J].ACM SIGCOMM Computer Communication Review,2013,43(4):7-12.

[5] Namal S,Ahmad I,Gurtov A,et al.SDN Based Inter-Technology Load Balancing Leveraged by Flow Admission Control[C]// Future Networks and Services (SDN4FNS),2013 IEEE SDN for.IEEE,2013:1-5.

[6] Zhang J J,Xi K,Luo M,et al.Load Balancing for Multiple Traffic Matrices Using SDN Hybrid Routing[C]// High Performance Switching and Routing (HPSR),2014 IEEE 15th International Conference on.IEEE,2014:44-49.

[7] Tian H Y,Zhang K,Ruan L,et al.Analysis and Optimization of CFS Scheduler on NUMA-Based Systems[M]// Emerging Technologies for Information Systems,Computing,and Management.New York:Springer,2013:181-189.

[8] Hsu Y P,Jiang W C,Lin H Y.A CMAC-Q-Learning based Dyna agent[C]// SICE Annual Conference.IEEE,2008:2946-2950.

[9] Hwang K S,Jiang W C,Chen Y J.Model learning and knowledge sharing for a multiagent system with Dyna-Q learning[J].Cybernetics,IEEE Transactions on,2015,45(5):978-990.

SDN CONTROL STRATEGY BASED ON DYNA AGENT ALGORITHM Zhu Guohui Li Chenguang Cheng Yu

(SchoolofCommunicationandInformationEngineering,Xi’anUniversityofPostsandTelecommunications,Xi’an710121,Shaanxi,China)

A control strategy based on Dyna agent algorithm is proposed to improve resource utilization of network node.First step is to model the deployment of the network controller,then the controller do policy choice by using the environmental feedback which reacts to controller terminal network.Finally,analyze the changes of the node forwarding situation after learning this method,and reset the node option value.The simulation results show that this control strategy has better ability to deal with process nodes,larger throughput and smaller network delay compared with the general control strategy.

Software Defined Network Dynaagent Open Flow Control Strategy

2015-09-01。陜西省教育廳科學(xué)研究計(jì)劃項(xiàng)目(07JK 377)。朱國(guó)暉，副教授，主研領(lǐng)域：移動(dòng)互聯(lián)網(wǎng)和路由算法。李晨光，碩士生。程宇，碩士生。

TP393

A

10.3969/j.issn.1000-386x.2016.11.021