居建濤，鄭弘迪，羅琴

（1.四川大學計算機學院，成都 610065；2.四川大學空天科學與工程學院，成都 610065）

0 引言

近年來隨著智能設備以及網(wǎng)絡技術的快速發(fā)展，數(shù)據(jù)流量呈現(xiàn)出指數(shù)級的增長。為了優(yōu)化流量分布以及管理大量設備，網(wǎng)絡結(jié)構(gòu)變得異常復雜。這種復雜的異構(gòu)網(wǎng)絡基礎設施增加了網(wǎng)絡的復雜性并對有效地組織、管理以及優(yōu)化網(wǎng)絡資源提出了巨大的挑戰(zhàn)。

解決上述問題的一個可行方案為在網(wǎng)絡中采用更多的智能化辦法。文獻[1]中提出了知識平面（Knowledge Plane，KP）方法，通過應用機器學習技術（Machine Learning，ML）以及感知技術，將自動化、推薦和智能化引入互聯(lián)網(wǎng)。然而，由于傳統(tǒng)網(wǎng)絡所固有的分布式特性，諸如路由器、交換機等每一個節(jié)點僅僅能夠了解整個網(wǎng)絡中的一部分信息，將機器學習技術應用于傳統(tǒng)網(wǎng)絡十分復雜，難度較大。隨著網(wǎng)絡技術的發(fā)展，軟件定義網(wǎng)絡（Software Defined Network，SDN）技術的出現(xiàn)減小了將機器學習技術應用于網(wǎng)絡的復雜度[2]。

SDN通過將控制平面與數(shù)據(jù)轉(zhuǎn)發(fā)平面解耦，實現(xiàn)邏輯上集中控制，起到網(wǎng)絡操作系統(tǒng)（Network Operating System，NOS）的作用。在SDN網(wǎng)絡架構(gòu)中控制器具備可編程的邏輯特性，通過實時監(jiān)控、采集網(wǎng)絡狀態(tài)信息可獲得整個網(wǎng)絡的全局信息，從而從全局的角度來管理網(wǎng)絡資源。將機器學習技術應用于SDN網(wǎng)路架構(gòu)中是合適且有效的，首先，無論是圖形處理器（Graphics Processing Unit，GPU）還是張量處理單元（Tensor Processing Unit，TPU）等計算技術的發(fā)展為機器學習技術應用到網(wǎng)絡領域提供了一個好的機遇；其次，機器學習算法的關鍵要素是數(shù)據(jù)，SDN控制器掌控著整個網(wǎng)絡視圖，能夠收集各個狀態(tài)下的網(wǎng)絡數(shù)據(jù)，方便了機器學習算法的應用。最后，基于實時以及歷史數(shù)據(jù)，機器學習技術通過數(shù)據(jù)分析，網(wǎng)絡優(yōu)化以及網(wǎng)絡服務的自動化配置使得SDN控制器更加智能化。

本文中總結(jié)了當前可用于部署在SDN網(wǎng)絡架構(gòu)中的機器學習算法，并分析了機器學習算法應用在SDN架構(gòu)中的優(yōu)劣。

1 相關工作

文獻[3]中詳細的描述了機器學習技術在入侵檢測領域的應用，文獻[4]中通過使用機器學習技術進行IP流量分類。文獻[5]中介紹了應用于發(fā)展異構(gòu)網(wǎng)絡的最先進的基于人工智能（Artificial Intelligence，AI）的技術，并討論了未來的研究挑戰(zhàn)。文獻[6]中研究了如何應用機器學習技術來提高網(wǎng)絡流量控制性能。文獻[7]中研究了如何將無監(jiān)督機器學習技術應用到網(wǎng)絡領域。盡管機器學習技術應用到了各個領域，但關于機器學習技術應用于SDN領域的文獻資料相對分散，本文進行了整理分析，以便給相關的研究人員提供研究方向。

2 SDN架構(gòu)與機器學習算法

2.1 SDN架構(gòu)

SDN架構(gòu)受到越來越多的關注，非營利性組織開放網(wǎng)絡基金會（Open Networking Foundation，ONF）致力于SDN架構(gòu)的開發(fā)、標準化和商業(yè)化。ONF為SDN做了如下定義：在SDN架構(gòu)中控制平面和數(shù)據(jù)平面解耦，網(wǎng)絡狀態(tài)邏輯集中，底層網(wǎng)絡設施從應用層中抽象出來[8]。根據(jù)定義SDN架構(gòu)包括三部分，分別為數(shù)據(jù)平面，控制平面以及應用平面，具體如圖1所示。

圖1 SDN網(wǎng)絡架構(gòu)

（1）數(shù)據(jù)平面

數(shù)據(jù)平面又稱基礎設施層，位于SDN架構(gòu)的最底層，該層由轉(zhuǎn)發(fā)設備構(gòu)成，包括物理交換機以及虛擬交換機。虛擬交換機是基于軟件的交換機，其可運行在普通的操作系統(tǒng)中，Open vSwitch、Indigo以及Pantou是三種不同的虛擬交換機；物理交換機是基于硬件的交換機，包括基于NetFPGA的物理交換機以及支持SDN協(xié)議的惠普、思科以及華為等廠家的商用交換機。虛擬交換機相比于物理交換機能夠支持SDN協(xié)議的全部特性，物理交換機相比于虛擬交換機轉(zhuǎn)發(fā)數(shù)據(jù)包的速率更高。數(shù)據(jù)平面的交換機負責轉(zhuǎn)發(fā)，丟棄或者根據(jù)控制平面策略修改數(shù)據(jù)包。

（2）控制平面

控制平面相當于整個SDN系統(tǒng)的大腦，它可以對網(wǎng)絡資源進行規(guī)劃，動態(tài)更新轉(zhuǎn)發(fā)規(guī)則，使得網(wǎng)絡管理更加靈活。控制平面主要有邏輯上的集中控制器組成，而控制器可以控制應用平面和轉(zhuǎn)發(fā)設備之間的通信。一方面控制器向應用平面提供數(shù)據(jù)平面的網(wǎng)絡狀態(tài)信息，另一方面，控制器將應用程序的需求轉(zhuǎn)換為定制策略，并分發(fā)給轉(zhuǎn)發(fā)設備。此外，控制器提供了大多數(shù)網(wǎng)絡應用程序所需的基本信息，例如最短路由、網(wǎng)絡拓撲存儲、設備配置信息以及設備狀態(tài)信息等。常見的控制器包括 NOX、POX、Floodlight、Ryu、OpenDay-Light以及Beacon。此外，與控制器相關的接口包括南向接口，北向接口以及東西向接口，其中南向接口又稱為控制器和轉(zhuǎn)發(fā)設備之間的接口，其可以使得轉(zhuǎn)發(fā)設備與控制器之間交換網(wǎng)絡狀態(tài)信息和控制策略。到目前為止，由ONF提出的OpenFlow協(xié)議是第一個同時也是最流行的開放南向接口，但并不是唯一的南向接口協(xié)議，其他的還包括OVSDB、ForCES、NETCONF等；北向接口是指控制平面與應用平面之間的接口，使用北向接口應用程序可以利用控制平面提供的抽象網(wǎng)絡視圖來促進SDN網(wǎng)絡的自動化，創(chuàng)新及管理，目前北向接口還沒有標準的定義，ONF正在致力于完善這一工作；東西向接口用于多個控制器之間進行通信，當將SDN控制器部署在大規(guī)模網(wǎng)絡中時，大量的數(shù)據(jù)流需要控制器處理，由于控制器有限的處理能力，此時大規(guī)模的網(wǎng)絡就會被分為幾個相對較小的網(wǎng)絡，每一個小型的網(wǎng)絡有一個自己的控制器，為了向上層應用提供全局的網(wǎng)絡視圖，各個控制器之間需要使用東西向接口交換信息，同北向接口一樣，東西向接口也沒有形成一個統(tǒng)一的標準。

（3）應用層平面

應用層平面位于SDN架構(gòu)的最頂層，由各種應用程序構(gòu)成，這些應用程序可以通過北向接口利用控制平面獲得所需的網(wǎng)絡狀態(tài)信息來提供資源管理以及優(yōu)化功能?；赟DN的應用程序可以實現(xiàn)流量工程，防范分布式拒絕服務攻擊、容錯管理以及服務質(zhì)量管理（Quality of Service，QoS）路由機制。

2.2 機器學習算法

機器學習是從人工智能領域一系列強大的技術發(fā)展而來，并廣泛應用于數(shù)據(jù)挖掘，使得系統(tǒng)能夠從訓練數(shù)據(jù)中學習到有用的機構(gòu)模式和模型。機器學習方法通常由兩個主要部分構(gòu)成：訓練階段以及決策階段，其具體模式如圖2所示。

圖2 機器學習過程

在訓練階段，應用機器學習方法來使用訓練數(shù)據(jù)集學習系統(tǒng)模型，在決策階段，系統(tǒng)可以通過使用訓練過的模型針對每一個新的輸入得到一個輸出。通常，機器學習算法可以劃分為四類：有監(jiān)督學習、無監(jiān)督學習、半監(jiān)督學習以及增強學習，接下來將分別介紹幾種機器學習類型。

（1）有監(jiān)督學習

有監(jiān)督學習是一種標簽學習技術，即將標記過的訓練數(shù)據(jù)集作為監(jiān)督學習算法的輸入和已知的輸出，當新的輸入用于該模型時能夠得到所期望的輸出。常用的有監(jiān)督機器學習算法包括：k臨近算法、決策樹、隨機森林、神經(jīng)網(wǎng)絡、支持向量機、貝葉斯算法、隱馬爾可夫模型。在k臨近算法[9]中，如果k個最近鄰居中的大多數(shù)樣本屬于某個類，則為分類的樣本也屬于該類，k值越大，噪聲對分類的影響越小。由于距離是k臨近算法的主要度量參數(shù)，因此可以用以下幾個函數(shù)來定義未標記樣本之間的距離，如切比雪夫函數(shù)、歐幾里得和歐幾里德平方。

（2）無監(jiān)督學習

與有監(jiān)督學習相反的是無監(jiān)督學習算法，無監(jiān)督學習算法是給定為標記的樣本數(shù)據(jù)，根據(jù)樣本之間的相似性將樣本數(shù)據(jù)聚類到不同的組中，無監(jiān)督學習算法常用于聚類和數(shù)據(jù)聚合，常用的無監(jiān)督學習算法包括K-means、自組織特征映射算法。

（3）半監(jiān)督學習

半監(jiān)督機器學習算法包括標記的樣本數(shù)據(jù)以及未標記的樣本數(shù)據(jù)，半監(jiān)督機器學習算法廣泛使用的原因有以下兩點：其一，在很多現(xiàn)實世界的應用中，獲取有標記的樣本數(shù)據(jù)成本較大，而獲得未標記的樣本數(shù)據(jù)相對容易；其二，在訓練過程中，有效使用為標記的樣本數(shù)據(jù)可以提高訓練模型的性能。為了充分利用未標記的樣本數(shù)據(jù)，在半監(jiān)督學習中有三個常用的基本假設，分別為平滑假設，聚類假設以及流行假設，對于不同的模型所依賴的假設也不同。

（4）增強學習

增強學習就是將情況映射為行為即最大化收益，學習者并不是被告知哪種行為要執(zhí)行，而是通過嘗試學習到最大增益的行為并付諸行動。增強學習不同于監(jiān)督學習，增強學習是試錯學習，由于沒有最直接的指導信息，智能體要以不斷與環(huán)境進行交互，通過試錯的方式來獲得最佳策略。增強學習包括代理Agent、狀態(tài)S，以及行動A。當將增強學習應用到SDN中時，控制器相當于代理Agent，控制器監(jiān)測網(wǎng)絡狀態(tài)并作出控制轉(zhuǎn)發(fā)行為的決策。

3 機器學習在SDN中的應用

在SDN架構(gòu)中控制器掌控著整個網(wǎng)絡視圖，這為管理網(wǎng)絡帶來了便利，通過數(shù)據(jù)分析，網(wǎng)絡優(yōu)化，網(wǎng)絡服務的自動化配置使得網(wǎng)絡管理更加智能化。機器學習算法可以使得控制器更加智能，通過使用訓練數(shù)據(jù)集得到的模型，根據(jù)不同的網(wǎng)絡狀態(tài)，控制器能夠做出最優(yōu)的決定。在本章節(jié)將分別從流量分類，路徑優(yōu)化以及服務質(zhì)量管理幾個方面分別進行闡述機器學習算法在SDN架構(gòu)中的應用。

3.1 流量分類

流量分類對于網(wǎng)絡運營商而言具有重要的作用，它提供了更細粒度的網(wǎng)絡管理，根據(jù)識別出不同的流量類型，網(wǎng)絡運營商就可以更有效地處理不同的服務以及分配網(wǎng)絡資源。廣泛使用的流量分類技術有基于端口的技術，深度報文檢測（Deep Packet Inspection，DPI）技術以及機器學習方法。基于端口號的分類技術在過去經(jīng)常被使用，例如熟知的80號端口號，現(xiàn)在大多數(shù)應用使用的是動態(tài)端口號，基于端口號的技術使用受到限制。深度報文檢測技術需要使用正則表達式定義流量模式，然后將流量的有效載荷與預定義模式進行匹配，識別流量所屬的應用程序，基于深度報文檢測的分類模式具有較高的準確度。但是，該模式也有一定的缺點，首先DPI模式只能識別模式可用的應用程序，但隨著移動互聯(lián)網(wǎng)浪潮的快速發(fā)展，應用程序的數(shù)量呈現(xiàn)出指數(shù)級的增長，這使得模式更新變得異常苦難；其次，由于需要核實所有的業(yè)務流，因此DPI技術方案會帶來較高的計算成本。最后，當互聯(lián)網(wǎng)上的數(shù)據(jù)流經(jīng)過加密后，DPI方案就難以適用?；跈C器學習的方法能夠正確識別加密流量，相比于DPI方法機器學習技術具有更低的計算成本。因此，機器學習方法受到了大家的廣泛研究。適用機器學習的方法進行流量分類工作，首先需要收集大量的數(shù)據(jù)集，然后應用機器學習方法在數(shù)據(jù)集中提取有用的特征，在SDN網(wǎng)絡架構(gòu)中，控制器具有全局網(wǎng)絡視圖，便于流量的收集和分析，因此基于機器學習的方法通常在控制器中實現(xiàn)。關于ML應用于流量分類，許多研究進行了相關工作，例如大象流感知的分類、應用感知以及QoS感知的分類研究。在文獻[10]中研究了在混合數(shù)據(jù)中心網(wǎng)絡中的數(shù)據(jù)流量調(diào)度問題，首先在邊緣網(wǎng)絡使用機器學習技術識別大象流，其次，控制器對識別到的大象流采用流量調(diào)度優(yōu)化算法。在文獻[11]中提出了一種檢測大象流的成本敏感型的學習方法。該方法由兩個階段構(gòu)成，在第一階段使用數(shù)據(jù)包頭部檢測技術識別出可以的大象流，在第二階段使用決策樹的方法分析可疑大象流是否為大象流[12]。由于大象流在數(shù)據(jù)中心消耗了80%的帶寬，因此識別大象流的研究具有重要的應用價值。文獻[13]中提出的方法使用SVM算法識別于基于UDP協(xié)議的應用程序，實驗結(jié)果顯示基于SVM的機器學習方法的精確度在90%以上。文獻[14]中設計了細粒度的移動應用流量分類系統(tǒng)，在該系統(tǒng)中使用了決策樹分類算法以及k-NN算法。在文獻[15]中使用了DPI以及半監(jiān)督學習方法進行QoS感知的流量分類，其中DPI用來標記部分已知的應用，然后使用標記過的訓練數(shù)據(jù)集當做半監(jiān)督機器學習算法的輸入，實驗結(jié)果顯示該方法具有高于90%的分類精確度。

3.2 路徑優(yōu)化

路由是整個網(wǎng)絡體系架構(gòu)中的重要組成部分，在SDN網(wǎng)絡架構(gòu)中，控制器通過修改流表項的方式來達到丟棄數(shù)據(jù)包或者使得數(shù)據(jù)流量通過某條特定的路徑，低效的路徑選擇策略會造成鏈路負載加重，增大端到端的鏈路時延，從而影響到整個網(wǎng)絡的性能。因此，研究如何優(yōu)化數(shù)據(jù)流量的路徑選擇具有重要的意義。最短路徑優(yōu)先（Shortest Path First，SPF）算法以及啟發(fā)式算法是兩類廣泛使用的路由算法。SPF算法是一種盡力而為的一種路由算法，但該算法并沒有考慮到充分利用網(wǎng)絡資源。啟發(fā)式算法是另一種解決路徑優(yōu)化問題的一種方法，但啟發(fā)式算法的劣勢是計算復雜，消耗大量的計算資源以及時間。在SDN網(wǎng)絡架構(gòu)中，控制器負責每條數(shù)據(jù)流制定相應的路徑策略，在這樣的情境下啟發(fā)式算法會增大控制器的計算負擔，因此許多學者開始研究將機器學習算法應用于路徑優(yōu)化問題的解決中，相比于啟發(fā)式算法，基于機器學習的路徑優(yōu)化算法有以下幾個優(yōu)勢：首先，當模型訓練完成后能夠快速的給出接近最優(yōu)的路徑，其次，機器學習算法不需要底層網(wǎng)絡的數(shù)學模型。路徑優(yōu)化為題可以轉(zhuǎn)化為決策問題，因此增強學習使用于解決路徑優(yōu)化問題，有監(jiān)督學習算法在SDN網(wǎng)絡架構(gòu)中的路徑優(yōu)化問題中也有應用。

（1）基于有監(jiān)督學習的路徑優(yōu)化方法

有標簽的數(shù)據(jù)集是有監(jiān)督學習算法的基礎，在應用有監(jiān)督機器學習算法時，通常將網(wǎng)絡狀態(tài)及流量狀態(tài)作為訓練數(shù)據(jù)集的輸入，路由策略作為該算法的輸出，通過訓練有監(jiān)督學習算法模型，能夠?qū)崟r獲得類似于啟發(fā)式算法的路由策略。文獻[16]提出了一個動態(tài)路由解決框架NeuRoute，在NeuRoute中LSTM被用來評估未來的網(wǎng)絡流量，網(wǎng)絡狀態(tài)以及評估的網(wǎng)絡流量作為輸入，由啟發(fā)式算法計算出的路由作為輸出，這些數(shù)據(jù)集被用來訓練神經(jīng)網(wǎng)絡，訓練得到的模型可以用來獲得實時的類似于啟發(fā)式的路由算法。

（2）基于增強學習的路徑優(yōu)化方法

增強學習算法一般用于解決制定決策問題，將增強學習應用于路由優(yōu)化問題時，控制器相當于代理，網(wǎng)絡相當于環(huán)境，網(wǎng)絡拓撲以及流量狀態(tài)相當于狀態(tài)空間，路由解決方案相當于動作。獎勵由基于優(yōu)化的度量標準例如時延來充當。文獻[17]中提出了使用增強學習辦法的分布式智能路由協(xié)議，該智能路由協(xié)議能夠根據(jù)網(wǎng)絡狀態(tài)選擇最優(yōu)的數(shù)據(jù)傳輸路徑。文獻[18]中使用神經(jīng)網(wǎng)絡以及增強學習實現(xiàn)數(shù)據(jù)中心之間的路徑優(yōu)化機制，實驗表明即使在混沌網(wǎng)絡環(huán)境中依舊能夠保證良好的性能。文獻[19]中使用DRL模型優(yōu)化路徑，DRL模型的目標為在流量矩陣中對于給定的源和目的對之間選擇網(wǎng)絡時延最小的路由。

3.3 服務質(zhì)量管理

QoS參數(shù)包括丟包率、時延、時延抖動以及吞吐量，這些網(wǎng)絡度量指標通常被網(wǎng)絡運營商用來評估網(wǎng)絡性能；隨著多媒體技術的普及，對于網(wǎng)絡運營商以及服務提供商而言，用戶感知以及滿意度變得越來越重要，這一衡量指標稱為QoE?；赒oS或者QoE預測，網(wǎng)絡運營商以及服務提供商可以為用戶提供更好的服務質(zhì)量，增加用戶的滿意程度。文獻[20]中提出了在SDN架構(gòu)中基于兩個階段的分析機制來提高QoS預測質(zhì)量，首先，使用決策樹發(fā)現(xiàn)關鍵績效指標（Key Performance Indicators，KPI）和QoS參數(shù)之間的相關性，然后應用線性回歸機器學習方法發(fā)現(xiàn)每個KPI的定量影響。由于QoE值高度依賴QoS參數(shù)，因此理解QoS參數(shù)如何影響QoE值是至關重要的，機器學習可以作為一種有效的方法來學習QoS參數(shù)與QoE值之間的關系。由于QoE值是離散的，因此可以把QoE預測當做分類任務，因此預測QoE的最好方法是使用有監(jiān)督學習。在文獻[21]中基于視頻質(zhì)量參數(shù)（SSIM和VQM）使用了四種機器學習方法來預測QoE值，并使用皮爾遜相關系數(shù)以及根均方誤差來評估算法的性能。

4 機器學習在SDN應用中的挑戰(zhàn)

盡管當前已有很多工作在SDN架構(gòu)中實現(xiàn)，但對于該領域所要求的魯棒性以及成熟度而言，在全面實施SDN架構(gòu)智能化之前，仍有許多工作要做，仍有很多挑戰(zhàn)需要面對和解決。首先，由于數(shù)據(jù)集是機器學習算法的重要基礎，因此需要高質(zhì)量的訓練數(shù)據(jù)集合。為了使得訓練得到的模型能夠更精確地實現(xiàn)評估與分類，必須需要足夠的數(shù)據(jù)集。那么什么是足夠的訓練數(shù)據(jù)集呢？針對該問題，需要研究訓練數(shù)據(jù)集大小，網(wǎng)絡特征以及機器學習模型性能之間的關系。另外，機器學習算法得到的模型也嚴重依賴于訓練數(shù)據(jù)集的質(zhì)量。然而，獲得高質(zhì)量、有標簽的樣本數(shù)據(jù)難度較大，為了解決這一問題，一個可行的辦法是使用公開數(shù)據(jù)集，在眾多機器學習方案中也是通用的做法。其二，分布式多控制器平臺。在SDN架構(gòu)中網(wǎng)絡的可擴展性是一個關鍵問題，當網(wǎng)絡規(guī)模較小時，一個單獨的控制器基本可以滿足需求，但隨著網(wǎng)絡規(guī)模的擴大，由于單個控制器的計算能力有限，控制器不能夠滿足需求。文獻[22]提到了分布式多控制器平臺解決網(wǎng)絡可擴展性問題。一般而言，分布式多控制器平臺是由一個根控制器以及幾個域內(nèi)控制器構(gòu)成，根控制器掌控著整個網(wǎng)絡的拓撲視圖，而域內(nèi)控制器掌控著單個域內(nèi)的網(wǎng)絡拓撲視圖。為了達到優(yōu)化域內(nèi)路由以及域間路由的目的，可以使用多層級的增強學習算法。第三，網(wǎng)絡中的安全性問題。數(shù)據(jù)轉(zhuǎn)發(fā)平面與控制平面的解耦使得網(wǎng)絡管理變得更加靈活多樣，但同樣也帶來了安全隱患，攻擊者可以使用DDoS攻擊的方式占用控制器的計算資源，使得控制器無法管理網(wǎng)絡資源，造成整個網(wǎng)絡癱瘓。針對網(wǎng)絡安全問題，文獻[23]提出了基于熵和神經(jīng)網(wǎng)絡的DDoS攻擊檢測方法，文獻[24]中提出了GAN方法來預測新的攻擊。

5 結(jié)語

本文分別介紹了SDN網(wǎng)絡架構(gòu)，機器學習算法以及機器學習算法在SDN架構(gòu)中的應用，包括流量分類、路徑優(yōu)化、QoS/QoE預測。此外本文還闡述了機器學習算法在SDN架構(gòu)應用中所面臨的挑戰(zhàn)，包括高質(zhì)量數(shù)據(jù)集，分布式控制其平臺以及網(wǎng)絡安全問題。本文旨在探索機器學習算法如何執(zhí)行以及如何將機器學習算法與SDN架構(gòu)相融合，希望為SDN廣泛部署以及實現(xiàn)更加智能化的網(wǎng)絡做出一份貢獻。