王桂芝 呂光宏 賈吾財(cái) 賈創(chuàng)輝 張建申

1(四川大學(xué)計(jì)算機(jī)學(xué)院 成都 610065) 2(7584部隊(duì) 廣西桂林 541001)

隨著網(wǎng)絡(luò)規(guī)模的增大和新型網(wǎng)絡(luò)應(yīng)用的不斷出現(xiàn)，網(wǎng)絡(luò)流量呈指數(shù)級(jí)增長(zhǎng)，給網(wǎng)絡(luò)帶來(lái)了負(fù)載不均衡、帶寬消耗嚴(yán)重等一系列問(wèn)題.單純的擴(kuò)容提速，不僅成本高，而且由于缺少系統(tǒng)性的流量管理機(jī)制，網(wǎng)絡(luò)資源利用率低.此外，許多應(yīng)用程序不僅需要帶寬，還需要保證服務(wù)質(zhì)量(quality of service, QoS),如端到端時(shí)延、抖動(dòng)、丟包率等.因此根據(jù)網(wǎng)絡(luò)的狀態(tài)和需求找到一種實(shí)時(shí)的自適應(yīng)的可定制路由是提高網(wǎng)絡(luò)資源和服務(wù)質(zhì)量的關(guān)鍵性因素.

在傳統(tǒng)網(wǎng)絡(luò)中，控制和轉(zhuǎn)發(fā)緊耦合的網(wǎng)絡(luò)架構(gòu)與“盡力而為”的服務(wù)模式，需要在每個(gè)節(jié)點(diǎn)上執(zhí)行特定的路由協(xié)議和算法以此來(lái)找到源到目的地的最佳路徑.正是因?yàn)檫@個(gè)分布式體系，使得每個(gè)節(jié)點(diǎn)只有部分視圖，導(dǎo)致很多全局性策略難以實(shí)施[1]，所以很難進(jìn)行智能路由.而軟件定義網(wǎng)絡(luò)作為一種新的網(wǎng)絡(luò)體系架構(gòu)，通過(guò)將控制平面與數(shù)據(jù)平面分離，提供了靈活高效的網(wǎng)絡(luò)控制，簡(jiǎn)化了網(wǎng)絡(luò)管理過(guò)程，使管理員可以通過(guò)網(wǎng)絡(luò)編程的方法定義和控制網(wǎng)絡(luò)，降低了為數(shù)據(jù)流提供路由優(yōu)化服務(wù)的難度[2].

近年來(lái)，隨著人工智能的迅速發(fā)展，機(jī)器學(xué)習(xí)在數(shù)據(jù)處理、分類(lèi)、智能決策等方面皆取得非常不錯(cuò)的進(jìn)展，受到了學(xué)術(shù)界的廣泛關(guān)注[3].許多研究者開(kāi)始嘗試通過(guò)使用機(jī)器學(xué)習(xí)算法來(lái)解決路由優(yōu)化問(wèn)題.一方面，機(jī)器學(xué)習(xí)可以通過(guò)訓(xùn)練快速地計(jì)算出接近最優(yōu)解的路由解決方案；另一方面，機(jī)器學(xué)習(xí)算法不需要精確的底層網(wǎng)絡(luò)數(shù)學(xué)模型[4].目前用于解決路由優(yōu)化問(wèn)題的機(jī)器學(xué)習(xí)算法主要分為2類(lèi)：監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí).

現(xiàn)如今，云計(jì)算大數(shù)據(jù)迅速發(fā)展，數(shù)據(jù)中心業(yè)務(wù)流量極速上升，具有規(guī)模大、種類(lèi)多、速度快和價(jià)值密度低等特征的大數(shù)據(jù)推動(dòng)了數(shù)據(jù)驅(qū)動(dòng)的發(fā)展，同時(shí)也給網(wǎng)絡(luò)帶來(lái)巨大的傳輸壓力[5].數(shù)據(jù)是廣泛可用的，它不僅是需要分析和處理的內(nèi)容，也是一種基礎(chǔ)資源.我們需要根據(jù)需求從數(shù)據(jù)中提取有用的知識(shí)，使網(wǎng)絡(luò)節(jié)點(diǎn)具有認(rèn)知能力，可以感知當(dāng)前環(huán)境，并對(duì)感知內(nèi)容進(jìn)行分析，自動(dòng)化作出路由決策，實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)認(rèn)知路由的功能.

就當(dāng)前高中生傳統(tǒng)文化素養(yǎng)現(xiàn)狀來(lái)說(shuō)，存在諸多問(wèn)題，這些問(wèn)題既包括教材、教學(xué)方面的客觀因素，也包括學(xué)生自身的很多主觀因素。

1 SDN相關(guān)介紹

軟件定義網(wǎng)絡(luò)(software defined networking, SDN)是由美國(guó)斯坦福大學(xué)Cleanslate研究組提出的一種新型網(wǎng)絡(luò)架構(gòu)[6]，其基本思想就是將報(bào)文轉(zhuǎn)發(fā)所涉及到的復(fù)雜邏輯控制從交換機(jī)/路由器等設(shè)備中分離出來(lái)，用軟件編程的方式實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)的控制管理，從而達(dá)到自由操控流量的目的.而OpenFlow技術(shù)實(shí)現(xiàn)了控制平面與轉(zhuǎn)發(fā)平面功能的解耦，由集中控制器向交換設(shè)備下發(fā)轉(zhuǎn)發(fā)規(guī)則，使得控制器與交換設(shè)備可以相互分離獨(dú)立發(fā)展[6].

典型的SDN架構(gòu)從上到下包含3層，分別是應(yīng)用層、控制層、基礎(chǔ)設(shè)施層，如圖1所示.應(yīng)用層包含流量工程、網(wǎng)絡(luò)監(jiān)測(cè)、故障恢復(fù)、網(wǎng)絡(luò)虛擬化等網(wǎng)絡(luò)應(yīng)用程序，用戶(hù)可以通過(guò)北向接口從控制平面獲取全局網(wǎng)絡(luò)視圖，然后根據(jù)該信息編寫(xiě)網(wǎng)絡(luò)策略對(duì)網(wǎng)絡(luò)事件進(jìn)行處理；控制層指邏輯集中的控制器，負(fù)責(zé)維護(hù)全網(wǎng)視圖，通過(guò)南向接口對(duì)數(shù)據(jù)平面的設(shè)備進(jìn)行集中控制，完成網(wǎng)絡(luò)流量的分配；基礎(chǔ)設(shè)施層由交換機(jī)等網(wǎng)絡(luò)設(shè)備組成，提供數(shù)據(jù)轉(zhuǎn)發(fā)的能力[7].

Fig. 1 SDN framework圖1 SDN架構(gòu)

SDN的架構(gòu)決定了SDN的三大特性:控制平面與數(shù)據(jù)平面分離、集中控制、可編程性.傳統(tǒng)的網(wǎng)絡(luò)體系結(jié)構(gòu)不夠靈活，無(wú)法獲得網(wǎng)絡(luò)拓?fù)湫畔ⅲ倚枰煌膮f(xié)議來(lái)滿(mǎn)足不同的場(chǎng)景需求.隨著網(wǎng)絡(luò)的發(fā)展，網(wǎng)絡(luò)中的協(xié)議也越來(lái)越多，配置管理也變得越來(lái)越復(fù)雜[8].而SDN通過(guò)控制器就可以獲取到網(wǎng)絡(luò)拓?fù)涞娜中畔?，?shí)現(xiàn)了對(duì)網(wǎng)絡(luò)的集中控制，降低了網(wǎng)絡(luò)節(jié)點(diǎn)獲取相鄰網(wǎng)絡(luò)節(jié)點(diǎn)信息的通信開(kāi)銷(xiāo)以及對(duì)網(wǎng)絡(luò)資源的占用率.同時(shí)SDN的可編程性，使得網(wǎng)絡(luò)通過(guò)軟件編程的方法，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)的靈活控制，確保資源的優(yōu)化分配.可以說(shuō)SDN的出現(xiàn)給傳統(tǒng)的網(wǎng)絡(luò)路由算法帶來(lái)了新的機(jī)遇和挑戰(zhàn).

多路徑路由是根據(jù)網(wǎng)絡(luò)流量分布和業(yè)務(wù)流量需求，選擇滿(mǎn)足約束條件的多條候選路徑，并在這些路徑中均衡通信流量，從而提高網(wǎng)絡(luò)的可靠性和吞吐量，降低網(wǎng)絡(luò)擁塞，減少傳輸時(shí)延[9,11].QoS技術(shù)的出現(xiàn)旨在解決網(wǎng)絡(luò)擁塞問(wèn)題，保證網(wǎng)絡(luò)可以根據(jù)業(yè)務(wù)的不同需求合理地分配和調(diào)度資源，為不同的數(shù)據(jù)流提供不同的服務(wù)質(zhì)量.文獻(xiàn)[12]提出了一種基于SDN的多路徑路由系統(tǒng)HiQoS.通過(guò)修改Dijkstra算法，控制器計(jì)算出滿(mǎn)足QoS約束的多條路徑，并使用Hash表來(lái)保存，然后定時(shí)更新這些路徑的鏈路狀態(tài).當(dāng)需要為業(yè)務(wù)流選擇路徑時(shí)，控制器根據(jù)帶寬使用情況和隊(duì)列狀態(tài)等為其選擇一條最優(yōu)路徑.孔祥彬等人[13]提出一種基于Dijkstra算法的QoS路由算法，為業(yè)務(wù)流選擇滿(mǎn)足帶寬約束的路由.這些研究大多是基于Dijkstra算法或?qū)ζ溥M(jìn)行改進(jìn)，目的是計(jì)算出從源節(jié)點(diǎn)到目的節(jié)點(diǎn)的最短路徑，計(jì)算效率低，不適合大型網(wǎng)絡(luò)環(huán)境.文獻(xiàn)[14]提出了一種基于SDN負(fù)載均衡的多路徑路由算法.控制器收集每一條鏈路的流量負(fù)載信息，當(dāng)新流到達(dá)時(shí)，控制器計(jì)算所有可以轉(zhuǎn)發(fā)該流的路徑，通過(guò)比較路徑的鏈路負(fù)載選出一條最小負(fù)載的路徑.該算法需要考慮該流的所有轉(zhuǎn)發(fā)路徑，在拓?fù)鋸?fù)雜的網(wǎng)絡(luò)中，計(jì)算量過(guò)于龐大.

2 SDN路由機(jī)制

傳統(tǒng)的路由技術(shù)可看作是一種P2P架構(gòu),通過(guò)建立一張路由表，在路由器與路由器之間運(yùn)行路由協(xié)議，相互交換路由信息從而達(dá)到路由共享.而在SDN中，只需要在控制器與交換機(jī)之間直接運(yùn)行南向協(xié)議，由控制器統(tǒng)一計(jì)算轉(zhuǎn)發(fā)規(guī)則再下發(fā)給交換機(jī).下發(fā)有主動(dòng)和被動(dòng)2種模式，主動(dòng)模式是指數(shù)據(jù)包到達(dá)交換機(jī)之前就進(jìn)行流表設(shè)置，而被動(dòng)模式指當(dāng)新流到達(dá)時(shí)，發(fā)現(xiàn)沒(méi)有與之匹配的流表項(xiàng)，便將其送至控制器處理，可看作是一種C/S模式.根據(jù)是否是多路徑路由將SDN路由機(jī)制分為2類(lèi)[9]：

（2）實(shí)驗(yàn)劑量設(shè)置：參考《中藥藥理研究方法學(xué)》中劑量換算方法“體表面積比”換算動(dòng)物臨床等效劑量，分別以復(fù)方α-酮酸片0.68 g/kg（臨床日用量為7.56 g）、培哚普利片6 mg/kg（參考《NKF- KDOQI慢性腎病診斷、分類(lèi)與分層指南》[15]）、尿毒清2.25 g/kg（臨床日用量為25 g）、JYP工藝A組藥粉1.93 g/kg、JYP工藝B組藥粉1.50 g/kg、JYP工藝C組藥粉1.70 g/kg，作為大鼠藥效學(xué)實(shí)驗(yàn)劑量。實(shí)驗(yàn)時(shí)以蒸餾水按劑量配制成所需濃度。

1) 最短路徑路由

同時(shí)，2015年7月起，專(zhuān)責(zé)小組開(kāi)始派遣一部分人員進(jìn)入門(mén)診一線(xiàn)，一對(duì)一駐點(diǎn)觀察記錄門(mén)診醫(yī)師的診療習(xí)慣、叫號(hào)規(guī)律、勞動(dòng)紀(jì)律行為、患者就診分布規(guī)律、患者看診需時(shí)等內(nèi)容。他們另外從醫(yī)院信息系統(tǒng)提取所有門(mén)診醫(yī)生接診患者的時(shí)間點(diǎn)數(shù)據(jù)，個(gè)性化分析每位醫(yī)生的看診行為。

目前主流的SDN控制器如POX,Ryu等皆提供了完整的數(shù)據(jù)轉(zhuǎn)發(fā)模塊，采用的基本都是最短路徑Dijkstra算法.Dijkstra算法每次都會(huì)找出一條源到目的節(jié)點(diǎn)的最短路徑，然而所有數(shù)據(jù)包的轉(zhuǎn)發(fā)如果只依賴(lài)于最短路徑，雖然方法簡(jiǎn)單，但是數(shù)據(jù)流很容易因?yàn)榫哂邢嗤康牡刂范x擇同一轉(zhuǎn)發(fā)路徑，這將會(huì)降低鏈路利用率，容易導(dǎo)致網(wǎng)絡(luò)擁塞，且不能很好地滿(mǎn)足帶寬、時(shí)延、抖動(dòng)和可靠性等方面的要求[10].

2) 多路徑路由

因而，中央企業(yè)的黨建工作也應(yīng)與央企履行社會(huì)責(zé)任的相關(guān)工作配套結(jié)合，促使央企更好地承擔(dān)社會(huì)責(zé)任，促進(jìn)企業(yè)與社會(huì)、環(huán)境的全面協(xié)調(diào)可持續(xù)發(fā)展。首先，加強(qiáng)企業(yè)內(nèi)各級(jí)黨組織對(duì)企業(yè)社會(huì)責(zé)任工作的領(lǐng)導(dǎo)，充分發(fā)揮出企業(yè)黨組織的政治核心作用。其次，央企黨建必須樹(shù)立并弘揚(yáng)企業(yè)社會(huì)責(zé)任意識(shí)，將履行社會(huì)責(zé)任作為企業(yè)黨務(wù)活動(dòng)的一個(gè)要點(diǎn)，創(chuàng)新企業(yè)價(jià)值觀念。最后，建立履行社會(huì)責(zé)任工作體系，黨組織與企業(yè)行政部門(mén)互相合作，完善企業(yè)社會(huì)責(zé)任的組織管理，推動(dòng)企業(yè)承擔(dān)社會(huì)公益責(zé)任。

如果將SDN路由視為一項(xiàng)決策任務(wù)，那么在網(wǎng)絡(luò)中找到最理想的控制策略是最關(guān)鍵的問(wèn)題.今天大多數(shù)采用白盒方法來(lái)解決這個(gè)問(wèn)題[15].隨著網(wǎng)絡(luò)規(guī)模的擴(kuò)大和網(wǎng)絡(luò)應(yīng)用數(shù)量的快速增長(zhǎng)，當(dāng)前的網(wǎng)絡(luò)已經(jīng)變得高度動(dòng)態(tài)、復(fù)雜、分散和定制化.在應(yīng)用這些傳統(tǒng)的白盒算法時(shí)，也面臨著一些挑戰(zhàn).具體來(lái)說(shuō)，白盒方法通常需要對(duì)底層網(wǎng)絡(luò)進(jìn)行假設(shè)和簡(jiǎn)化，然而，這種理想化的模型在處理真實(shí)復(fù)雜的網(wǎng)絡(luò)環(huán)境時(shí)往往會(huì)遇到困難.此外，白盒方法在不同的場(chǎng)景和應(yīng)用程序下具有較差的可伸縮性[16].

Fig. 2 KDN framework圖2 知識(shí)定義網(wǎng)絡(luò)架構(gòu)

低蛋白飲食通過(guò)減少飲食氮、酸、磷的攝入，減輕腎臟排泄代謝廢物的負(fù)荷，可以延緩CKD 3～ 5期患者的腎功能進(jìn)展、改善并發(fā)癥，但易發(fā)生蛋白質(zhì)營(yíng)養(yǎng)不良。醫(yī)用低蛋白主食是以普通米/面為生產(chǎn)原料，通過(guò)蛋白酶解技術(shù)析出蛋白質(zhì)，留下米/面的其他原有成分，可在不影響進(jìn)食體驗(yàn)的情況下，減少植物蛋白的攝入，同時(shí)保證CKD患者能量攝入和高生物效價(jià)蛋白的比例，既協(xié)助延緩腎功能進(jìn)展又能避免營(yíng)養(yǎng)不良的發(fā)生，在CKD 3～5期患者的治療中具有很好的應(yīng)用前景。

3 基于監(jiān)督學(xué)習(xí)的SDN路由優(yōu)化

監(jiān)督學(xué)習(xí)[20]是一種標(biāo)簽學(xué)習(xí)技術(shù)，通過(guò)給定數(shù)據(jù)及標(biāo)簽建立系統(tǒng)模型，找到輸入輸出的映射關(guān)系，訓(xùn)練完成后，當(dāng)輸入新的數(shù)據(jù)后，得到預(yù)期結(jié)果.監(jiān)督學(xué)習(xí)通常被用來(lái)做分類(lèi)和回歸任務(wù)，常見(jiàn)的算法有K-最近鄰算法、決策樹(shù)、隨機(jī)森林、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)(support vector machine, SVM)等.

監(jiān)督學(xué)習(xí)通過(guò)學(xué)習(xí)解決各種網(wǎng)絡(luò)應(yīng)用問(wèn)題，如資源分配、Web服務(wù)、路由選擇等.Valadarsky等人[21]提出了利用監(jiān)督學(xué)習(xí)模型預(yù)測(cè)未來(lái)的流量需求，然后為該需求計(jì)算最佳路由策略.此外，也有利用監(jiān)督學(xué)習(xí)模型直接學(xué)習(xí)路徑的研究[22].在文獻(xiàn)[22]中，作者提出了一種采用GPU驅(qū)動(dòng)的軟件定義路由器(SDRs)來(lái)執(zhí)行深度學(xué)習(xí)技術(shù),通過(guò)使用監(jiān)督的深度信念架構(gòu)(DBA)[23]，以邊緣路由器的流量模式作為輸入，網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)都會(huì)針對(duì)其發(fā)送流量的每個(gè)可能目的地訓(xùn)練不同的模型，以此來(lái)估計(jì)下一跳.研究表明：該架構(gòu)在網(wǎng)絡(luò)吞吐量和平均時(shí)延方面都優(yōu)于傳統(tǒng)的開(kāi)放式最短路徑優(yōu)先(open shortest path first, OSPF).

生姜蛋白酶（酶活力≥800 U/mg）和獼猴桃蛋白酶（酶活力≥500 U/mg），購(gòu)自上海鼓臣生物技術(shù)有限公司。

啟發(fā)式算法，包括蟻群優(yōu)化算法、模擬退火算法、遺傳算法等可以有效管理流量，是解決動(dòng)態(tài)路由優(yōu)化問(wèn)題的常用方法.這些算法可以有效減少端對(duì)端時(shí)延，減輕網(wǎng)絡(luò)負(fù)載以及防止數(shù)據(jù)的丟失，但這是要建立在犧牲帶寬為前提下且計(jì)算復(fù)雜度較高、計(jì)算時(shí)間開(kāi)銷(xiāo)大，導(dǎo)致其不能實(shí)時(shí)計(jì)算出最優(yōu)路徑[24].目前很多研究將監(jiān)督學(xué)習(xí)算法和啟發(fā)式算法相結(jié)合，以網(wǎng)絡(luò)狀態(tài)、流量矩陣作為輸入，通過(guò)啟發(fā)式算法計(jì)算出的相應(yīng)路由策略作為輸出進(jìn)行訓(xùn)練神經(jīng)網(wǎng)絡(luò)，得到一個(gè)訓(xùn)練模型.當(dāng)新流到達(dá)時(shí)，通過(guò)訓(xùn)練模型輸出合適的路由路徑.

強(qiáng)化學(xué)習(xí)(reinforcement learning, RL)[30]是目前人工智能最流行的一種學(xué)習(xí)方法.在一定環(huán)境狀態(tài)下，通過(guò)代理與環(huán)境的交互，采取行動(dòng)來(lái)獲得最大的累積獎(jiǎng)勵(lì)，從而不斷強(qiáng)化自己的決策能力.圖4展示了常見(jiàn)的強(qiáng)化學(xué)習(xí)機(jī)制.首先環(huán)境給代理一個(gè)觀測(cè)值及狀態(tài)state，代理接收到狀態(tài)后做出一個(gè)動(dòng)作action，環(huán)境接收到動(dòng)作后給予代理一定獎(jiǎng)勵(lì)并給出一個(gè)新的狀態(tài).其目的是從自己的經(jīng)驗(yàn)中學(xué)習(xí)以使自己的獎(jiǎng)勵(lì)最大化.典型的強(qiáng)化學(xué)習(xí)算法有Q-Learning[31]，它是通過(guò)對(duì)Q值的學(xué)習(xí)來(lái)更新存儲(chǔ)狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)的表.

Fig. 3 Dynamic routing framework based on machine learning圖3 基于機(jī)器學(xué)習(xí)的動(dòng)態(tài)路由框架

Azzouni等人提出[25]基于深度神經(jīng)網(wǎng)絡(luò)的軟件定義網(wǎng)絡(luò)的NeuRoute動(dòng)態(tài)路由框架同樣也運(yùn)用了啟發(fā)式算法.該框架主要由流量矩陣估計(jì)器(TME)、流量矩陣預(yù)測(cè)(TMP)、流量路由單元(TRU)組成.首先TME通過(guò)OpenMeasure框架[26]使用連續(xù)的在線(xiàn)學(xué)習(xí)技術(shù)自適應(yīng)推理和測(cè)量流量矩陣，然后TMP使用長(zhǎng)短期記憶遞歸神經(jīng)網(wǎng)絡(luò)(LSTM-RNN)對(duì)TME產(chǎn)生的流量矩陣進(jìn)行訓(xùn)練來(lái)預(yù)測(cè)未來(lái)網(wǎng)絡(luò)流量矩陣，最后TRU將預(yù)測(cè)的流量矩陣和當(dāng)前的網(wǎng)絡(luò)狀態(tài)作為輸入，通過(guò)啟發(fā)式計(jì)算出來(lái)的相應(yīng)路徑作為輸出，訓(xùn)練前饋神經(jīng)網(wǎng)絡(luò)模型.在新流到達(dá)前，該訓(xùn)練模型計(jì)算出最優(yōu)路由路徑，然后TRU將選擇的路徑發(fā)送給控制器，控制器安裝流表項(xiàng).當(dāng)新流到達(dá)時(shí)，轉(zhuǎn)發(fā)規(guī)則已安裝，交換機(jī)直接轉(zhuǎn)發(fā)數(shù)據(jù)包，大大減少了網(wǎng)絡(luò)時(shí)延.

研究表明：將啟發(fā)式算法和監(jiān)督學(xué)習(xí)算法結(jié)合對(duì)SDN路由優(yōu)化具有一定優(yōu)勢(shì)，其運(yùn)行時(shí)間遠(yuǎn)小于啟發(fā)式算法，而網(wǎng)絡(luò)時(shí)延、抖動(dòng)等性能與利用啟發(fā)式路由的結(jié)果相似.可見(jiàn)，利用監(jiān)督學(xué)習(xí)進(jìn)行路由優(yōu)化是一種有效的方案.但是啟發(fā)式算法被定義為NP問(wèn)題，在利用啟發(fā)式算法獲取標(biāo)簽的過(guò)程具有較高的復(fù)雜度，且在網(wǎng)絡(luò)管理過(guò)程中不能靈活地調(diào)整運(yùn)維策略.文獻(xiàn)[23]提出了一種基于監(jiān)督學(xué)習(xí)的路由框架，該框架允許使用深度學(xué)習(xí)模型替換啟發(fā)式方法，將流特征和當(dāng)前的網(wǎng)絡(luò)狀態(tài)作為深度神經(jīng)網(wǎng)絡(luò)的輸入，為每條鏈路輸出一個(gè)值，最后再將其轉(zhuǎn)換成路徑.實(shí)驗(yàn)證明該方法實(shí)現(xiàn)了最大鏈路利用率.

在表2中，我們對(duì)基于強(qiáng)化學(xué)習(xí)的SDN路由優(yōu)化方法進(jìn)行了小結(jié)，可以看出強(qiáng)化學(xué)習(xí)作為一門(mén)自學(xué)習(xí)技術(shù)，特別是深度強(qiáng)化學(xué)習(xí)，在SDN路由決策方面發(fā)揮著巨大的作用.但在強(qiáng)化學(xué)習(xí)智能體訓(xùn)練收斂之前，訓(xùn)練開(kāi)銷(xiāo)較大.隨著網(wǎng)絡(luò)規(guī)模的增大，網(wǎng)絡(luò)中的服務(wù)和應(yīng)用將變得越來(lái)越多，每當(dāng)出現(xiàn)新的服務(wù)時(shí)，需要重新訓(xùn)練收斂，這將限制了智能體優(yōu)化路由的靈活性和可擴(kuò)展性[44].

2.3 黨參總皂苷納米乳粒徑 粒徑測(cè)定結(jié)果見(jiàn)圖3，黨參總皂苷納米乳粒徑為60.67 nm，多分散指數(shù)PDI為0.347，粒徑介于10～100 nm，達(dá)到納米乳要求。

表1對(duì)基于監(jiān)督學(xué)習(xí)的SDN路由優(yōu)化方法進(jìn)行了總結(jié)，可以看出監(jiān)督學(xué)習(xí)作為一種標(biāo)簽學(xué)習(xí)技術(shù)，特別是神經(jīng)網(wǎng)絡(luò)，在SDN路由優(yōu)化方面發(fā)揮著巨大的作用.但它的缺點(diǎn)也是不容忽視的.無(wú)論是使用啟發(fā)式算法的輸入輸出作為訓(xùn)練集還是對(duì)流量進(jìn)行提前的感知預(yù)測(cè)分類(lèi)，在訓(xùn)練過(guò)程中都需要獲取大量的標(biāo)簽數(shù)據(jù)進(jìn)行訓(xùn)練，這將導(dǎo)致一個(gè)很高的計(jì)算復(fù)雜度.所以，我們的研究重心應(yīng)該是讓流量具有自我感知特性，盡量不使用標(biāo)簽，讓網(wǎng)絡(luò)通過(guò)對(duì)歷史數(shù)據(jù)的自主學(xué)習(xí)實(shí)現(xiàn)智能路由.

安長(zhǎng)英(1986-)，女，漢族，籍貫：山東臨沂，碩士研究生，注冊(cè)會(huì)計(jì)師、稅務(wù)師、會(huì)計(jì)師，主要從事國(guó)企財(cái)務(wù)工作等。

Table 1 SDN Routing Optimization Method Based on Supervised Learning表1 基于監(jiān)督學(xué)習(xí)的SDN路由優(yōu)化方法

4 基于強(qiáng)化學(xué)習(xí)的SDN路由優(yōu)化

Fig. 4 Reinforcement learning mechanism圖4 強(qiáng)化學(xué)習(xí)機(jī)制

文獻(xiàn)[24]將啟發(fā)式算法融入到監(jiān)督學(xué)習(xí)中，提出了一種基于監(jiān)督學(xué)習(xí)的動(dòng)態(tài)路由框架，目的是獲取滿(mǎn)足QoS要求的最優(yōu)路徑.該框架如圖3主要包含啟發(fā)式算法層和機(jī)器學(xué)習(xí)層，將啟發(fā)式算法層的輸入(全局網(wǎng)絡(luò)狀態(tài))和輸出(最優(yōu)路徑)作為機(jī)器學(xué)習(xí)的數(shù)據(jù)集，然后在動(dòng)態(tài)路由過(guò)程中，機(jī)器學(xué)習(xí)模型可以根據(jù)輸入的網(wǎng)絡(luò)狀態(tài)快速計(jì)算出最優(yōu)路徑.實(shí)驗(yàn)表明：該方法計(jì)算效率高，且具有更好的網(wǎng)絡(luò)性能.

將SDN路由優(yōu)化看成一個(gè)決策問(wèn)題，運(yùn)用強(qiáng)化學(xué)習(xí)方法進(jìn)行路由優(yōu)化.網(wǎng)絡(luò)即為學(xué)習(xí)環(huán)境，將網(wǎng)絡(luò)拓?fù)?、流量矩陣等視為狀態(tài)，改變鏈路權(quán)重視為動(dòng)作，運(yùn)維策略如QoS服務(wù)質(zhì)量等作為獎(jiǎng)勵(lì)，不斷訓(xùn)練，得到一個(gè)模型.當(dāng)新流到達(dá)時(shí)，可以快速計(jì)算出合適的路由路徑，使網(wǎng)絡(luò)性能最優(yōu).

教學(xué)從形態(tài)角度看，來(lái)自于人們的實(shí)踐活動(dòng)——交往。所謂教育，即交往的雙方通過(guò)傳遞經(jīng)驗(yàn)，影響人身心發(fā)展，形成教育。教學(xué)是教育的核心，傳道授業(yè)離不開(kāi)交往。教學(xué)中交往的主體離不開(kāi)師生，缺失其中的一方將導(dǎo)致教學(xué)目的的落空，但雙方在教學(xué)中的地位并不平等。后現(xiàn)代主義課程論者多爾認(rèn)為:“教師是內(nèi)在情境的領(lǐng)導(dǎo)者，而不是外在的專(zhuān)制者。”教師因在學(xué)科領(lǐng)域的知識(shí)積累，成為課程教學(xué)的主導(dǎo)者，學(xué)生則是主動(dòng)學(xué)習(xí)的參與者，教學(xué)即特殊的交往。

由于機(jī)器學(xué)習(xí)在機(jī)器人控制、自動(dòng)駕駛汽車(chē)等相關(guān)應(yīng)用的成功，Mestres等人[17]提出了一種基于機(jī)器學(xué)習(xí)(machine learning, ML)的網(wǎng)絡(luò)控制方法，這種新的范式被稱(chēng)為知識(shí)定義網(wǎng)絡(luò)(knowledge defined networking, KDN).該范式將SDN、網(wǎng)絡(luò)分析(network analytics, NA)和人工智能(artificial intelligence, AI)結(jié)合起來(lái)，促進(jìn)了人工智能在計(jì)算機(jī)網(wǎng)絡(luò)中的操作和管理[18].其框架如圖2所示，知識(shí)平面通過(guò)控制和管理平面收集豐富的網(wǎng)絡(luò)視圖，然后利用機(jī)器學(xué)習(xí)將其轉(zhuǎn)化成知識(shí)，并根據(jù)這些知識(shí)進(jìn)行自動(dòng)化決策.在路由優(yōu)化決策中，我們的目標(biāo)是利用這些知識(shí)賦予每個(gè)節(jié)點(diǎn)感知、詢(xún)問(wèn)、學(xué)習(xí)、推理和反饋等認(rèn)知行為，使他們可以實(shí)時(shí)、在線(xiàn)地做出自適應(yīng)路由決策，以達(dá)到最優(yōu)網(wǎng)絡(luò)性能[19].

Lin等人[32]在Kandoo[33]和Xbar[34]架構(gòu)基礎(chǔ)上，提出了一種符合OpenFlow協(xié)議的多層分布式控制架構(gòu).如圖5所示，該架構(gòu)主要由超控制器、主控制器、從控制器和OpenFlow交換機(jī)4個(gè)部分組成.交換機(jī)負(fù)責(zé)數(shù)據(jù)的收集和轉(zhuǎn)發(fā)，從控制器將交換機(jī)收集的網(wǎng)絡(luò)狀態(tài)發(fā)送給主控制器，主控制器負(fù)責(zé)對(duì)每個(gè)傳入的流進(jìn)行路徑計(jì)算，唯一的超控制器控制全局網(wǎng)絡(luò)狀態(tài).在此架構(gòu)基礎(chǔ)上提出了基于強(qiáng)化學(xué)習(xí)的QoS動(dòng)態(tài)路由算法(QoSaware adaptive routing, QAR)，該算法將softmax作為動(dòng)作選擇策略，狀態(tài)-行動(dòng)-回饋-狀態(tài)-行動(dòng)(state-action-reward-state-action, SARSA)作為Q值更新函數(shù)：

Qt+1(st,at)Qt(st,at)+
α[Rt+γQt(st+1,at+1)-Qt(st,at)],

其中,α∈[0,1]表示學(xué)習(xí)效率，決定有多少誤差需要被學(xué)習(xí)；γ∈[0,1]表示對(duì)未來(lái)獎(jiǎng)勵(lì)的衰減值；Rt表示在時(shí)刻t的QoS感知獎(jiǎng)勵(lì).根據(jù)采取行動(dòng)的成本、傳輸時(shí)延、排隊(duì)時(shí)延和可用帶寬計(jì)算出一種實(shí)時(shí)的自適應(yīng)QoS路由決策，實(shí)現(xiàn)了控制負(fù)載的共享，減少了信令時(shí)延.實(shí)驗(yàn)表明QAR相比于Q-Learning方法，性能更優(yōu)且具有較快的收斂性.

Fig. 5 Distributed hierarchy construction圖5 分布式層次結(jié)構(gòu)

因?yàn)镾DN網(wǎng)絡(luò)是一個(gè)復(fù)雜的連續(xù)時(shí)間系統(tǒng)，對(duì)數(shù)據(jù)流的細(xì)粒度進(jìn)行管控，所以維護(hù)網(wǎng)絡(luò)狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)信息的Q表會(huì)占用大量的存儲(chǔ)空間，并隨著Q表的不斷增大，查表問(wèn)題將是一個(gè)不容忽視的問(wèn)題.為了解決這個(gè)問(wèn)題，Sendra等人[35]提出了以神經(jīng)網(wǎng)絡(luò)代替Q表的學(xué)習(xí)過(guò)程，采用深度Q網(wǎng)絡(luò)(deep Q network, DQN)的方法來(lái)進(jìn)行智能路由，根據(jù)最佳網(wǎng)絡(luò)狀態(tài)和運(yùn)維管理策略選擇最佳數(shù)據(jù)傳輸路徑.該方法降低了損失率和時(shí)延，提供了一個(gè)更好的QoS.然而DQN不能實(shí)時(shí)收斂，因?yàn)閷?duì)SDN網(wǎng)絡(luò)的操控是一個(gè)連續(xù)控制的問(wèn)題，而DQN只適用于低維離散空間的控制和優(yōu)化[36].

B超引導(dǎo)下肝組織活檢術(shù)在臨床上越來(lái)越普遍開(kāi)展，該術(shù)創(chuàng)傷小。安全性高，并發(fā)癥少，為肝病患者及早明確診斷和合理治療提供了科學(xué)依據(jù)，值得大力宣傳普及和推廣。但該術(shù)還是一有創(chuàng)術(shù)，還存在一定風(fēng)險(xiǎn)性，必須根據(jù)循證護(hù)理方法，對(duì)患者施以正確的術(shù)前術(shù)后護(hù)理干預(yù)、教育評(píng)估和指導(dǎo)，以提高穿刺術(shù)的安全性。

傳統(tǒng)的強(qiáng)化學(xué)習(xí)基于表的方法記錄狀態(tài)、動(dòng)作的獎(jiǎng)勵(lì)，對(duì)最優(yōu)行為策略的收斂率低，且不能解決高維狀態(tài)和動(dòng)作空間的問(wèn)題.而深度強(qiáng)化學(xué)習(xí)(deep reinforcement learning, DRL)[37]將深度神經(jīng)網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)結(jié)合，利用深度神經(jīng)網(wǎng)絡(luò)逼近值函數(shù)，使用強(qiáng)化學(xué)習(xí)的方法進(jìn)行更新，自動(dòng)從高維數(shù)據(jù)中提取低維特征，有效地壓縮網(wǎng)絡(luò)狀態(tài)空間，從而使RL能夠解決以前在處理高維度狀態(tài)和運(yùn)動(dòng)空間時(shí)難以解決的大規(guī)模網(wǎng)絡(luò)決策問(wèn)題[16].

文獻(xiàn)[38]首次提出了用自動(dòng)化DRL代理提供路由配置.該研究可以自適應(yīng)網(wǎng)絡(luò)流量狀況，通過(guò)DRL代理在單個(gè)步驟中提出最優(yōu)的路由決策，實(shí)現(xiàn)了對(duì)網(wǎng)絡(luò)的實(shí)時(shí)控制，克服了優(yōu)化和啟發(fā)過(guò)程中迭代步驟的繁瑣.其中DRL代理是一種確定性策略梯度算法，通過(guò)狀態(tài)、動(dòng)作和獎(jiǎng)勵(lì)的更新與環(huán)境進(jìn)行交互，狀態(tài)即為流量矩陣，動(dòng)作為改變鏈路權(quán)重，獎(jiǎng)勵(lì)為網(wǎng)絡(luò)時(shí)延，其目的就是通過(guò)狀態(tài)S到動(dòng)作A的映射得到最優(yōu)行為策略，從而最大化獎(jiǎng)勵(lì)，即最小化時(shí)延.

我認(rèn)認(rèn)真真地分析了拋光市場(chǎng)的未來(lái)行情。一旦金融風(fēng)暴來(lái)了，必定有許多的小拋光廠湮沒(méi)或轉(zhuǎn)向，景花廠只要頑強(qiáng)地?fù)蜗氯?，撐到金融危機(jī)這片烏云過(guò)去了，拋光市場(chǎng)就會(huì)出現(xiàn)粥多僧少的現(xiàn)狀，那時(shí)，景花廠便如魚(yú)得水，如龍得云了，訂單如雪花似的飛來(lái)，景花廠必將繁花似錦，一片輝煌。

Fig. 6 DROM framework圖6 DROM框架

和文獻(xiàn)[38]類(lèi)似，Yu等人[39]提出了一種基于機(jī)器學(xué)習(xí)的SDN網(wǎng)絡(luò)框架，該框架主要用一種深度強(qiáng)化學(xué)習(xí)算法——深度確定性策略梯度(deep deterministic policy gradient, DDPG)[40]來(lái)優(yōu)化SDN網(wǎng)絡(luò)路由，在此基礎(chǔ)上提出了一種路由優(yōu)化機(jī)制DROM，其架構(gòu)如圖6所示.DROM通過(guò)SDN控制器對(duì)網(wǎng)絡(luò)進(jìn)行分析和測(cè)量來(lái)獲取全局網(wǎng)絡(luò)狀態(tài)，并確定一個(gè)最優(yōu)行為，即一組鏈路權(quán)重，通過(guò)最大化獎(jiǎng)勵(lì)，不斷更新鏈路權(quán)重集，SDN控制器也不斷生成新的規(guī)則來(lái)建立新的路徑.以此類(lèi)推，不斷迭代優(yōu)化，直到獲得最優(yōu)解.其中獎(jiǎng)勵(lì)可以是單個(gè)參數(shù)如時(shí)延、吞吐量，也可以是包含多個(gè)參數(shù)的綜合策略:

Ri→j=R(i→j|st,at)=
-h(at)+αdelayij+βBWij+γlossij+θTPij.

該式表示在狀態(tài)st、動(dòng)作at下的獎(jiǎng)勵(lì)，包含成本、時(shí)延、帶寬、損失率、吞吐量等性能，其中h表示執(zhí)行操作的成本,α,β,γ,θ∈[0,1]為可調(diào)參數(shù)，由運(yùn)維策略決定.實(shí)驗(yàn)表明：DROM實(shí)現(xiàn)了在連續(xù)時(shí)間內(nèi)對(duì)網(wǎng)絡(luò)進(jìn)行全局、實(shí)時(shí)、自定義的智能控制和管理，具有良好的收斂性和有效性.

由于流量具有周期性和相關(guān)性等特征，文獻(xiàn)[41]提出將循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)作為輸入神經(jīng)網(wǎng)絡(luò)，將之前所學(xué)狀態(tài)描述聯(lián)系起來(lái)一起學(xué)習(xí)，以得到一種更準(zhǔn)確的結(jié)論.在RNN的基礎(chǔ)上，結(jié)合DDPG，自動(dòng)生成用于流量工程的策略.與最短路徑相比，減少了網(wǎng)絡(luò)的平均傳輸時(shí)延，但強(qiáng)化學(xué)習(xí)代理無(wú)法達(dá)到穩(wěn)定，會(huì)引起流量的抖動(dòng)，且不能迅速收斂.

此外，當(dāng)前的研究大多使用模擬仿真的方法來(lái)評(píng)估網(wǎng)絡(luò)性能，并未部署到實(shí)際的SDN網(wǎng)絡(luò)中，未涉及如主機(jī)、交換機(jī)流表、SDN控制器等特定元素.近期，Witanto等研究者[42]從SDN本身的系統(tǒng)架構(gòu)及流處理過(guò)程出發(fā)，提出了利用DDPG實(shí)現(xiàn)流量監(jiān)控和路由的SDN應(yīng)用方案.該方案主要由流量監(jiān)控和路由2個(gè)模塊構(gòu)成，流量監(jiān)控模塊定期監(jiān)控流量，統(tǒng)計(jì)并保存每個(gè)端口接收和發(fā)送的字節(jié)信息，用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)生成流表項(xiàng)；路由模塊通過(guò)深度強(qiáng)化學(xué)習(xí)代理根據(jù)交換機(jī)的端口利用率，生成圖的邊緣區(qū)權(quán)值，最大化獎(jiǎng)勵(lì)以使丟包率達(dá)到最小.然后控制器通過(guò)計(jì)算交換機(jī)之間最短路徑，生成流表項(xiàng)發(fā)送給相關(guān)交換機(jī)，更新流表項(xiàng).該研究只提供了一個(gè)思路，目的是實(shí)現(xiàn)一個(gè)管理系統(tǒng)，既可以檢測(cè)設(shè)備之間的連接丟失情況，又可以路由網(wǎng)絡(luò)流量使數(shù)據(jù)包丟包數(shù)最少.

將深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)結(jié)合來(lái)解決SDN路由問(wèn)題，是目前一種比較普遍的方式，具有3方面優(yōu)勢(shì)：

1) DRL算法是一種黑盒方法.在設(shè)計(jì)動(dòng)作空間和獎(jiǎng)勵(lì)時(shí)，DRL代理只需要設(shè)置不同的網(wǎng)絡(luò)決策任務(wù)和優(yōu)化目標(biāo)，無(wú)需精確可解的數(shù)學(xué)模型.而傳統(tǒng)的白盒方法要求對(duì)基礎(chǔ)網(wǎng)絡(luò)進(jìn)行假設(shè)和簡(jiǎn)化來(lái)建立問(wèn)題的數(shù)學(xué)模型并針對(duì)優(yōu)化問(wèn)題進(jìn)行求解.

推薦理由:這是一套記錄家國(guó)變遷的紀(jì)實(shí)作品，本書(shū)透過(guò)400幅定格的經(jīng)典瞬間，全景式展現(xiàn)了改革開(kāi)放波瀾壯闊的輝煌歷程和中國(guó)人的生活百態(tài)和精神面貌。全書(shū)以十年為斷限，分為四卷，每卷100幅經(jīng)典照片，并配有精煉的解讀文字。重溫改革開(kāi)放走過(guò)的路，彷徨、迷惑、拼搏、創(chuàng)新，盡在這40年400個(gè)難忘的瞬間。

2) DRL可以處理復(fù)雜的狀態(tài)空間，如AlphaGo[43]，與傳統(tǒng)的強(qiáng)化學(xué)習(xí)相比具有一定優(yōu)勢(shì).

3) DRL可以實(shí)時(shí)處理高度動(dòng)態(tài)的時(shí)變環(huán)境.當(dāng)網(wǎng)絡(luò)狀態(tài)更改時(shí)，DRL代理不需要再次收斂.訓(xùn)練好DRL代理后，通過(guò)矩陣乘法一步就可以計(jì)算出近似最優(yōu)解；相反，啟發(fā)式算法需要采取許多步驟才能收斂得到新結(jié)果，這將導(dǎo)致較高的計(jì)算時(shí)間成本[44].

在SDN中，控制器對(duì)交換機(jī)進(jìn)行集中控制并下發(fā)決策.通常來(lái)說(shuō)，SDN也像傳統(tǒng)網(wǎng)絡(luò)一樣為一對(duì)源到目標(biāo)節(jié)點(diǎn)分配路徑.但如果讓網(wǎng)絡(luò)具有應(yīng)用感知和多路徑分組轉(zhuǎn)發(fā)，那么這2個(gè)特性可用于對(duì)不同輸入應(yīng)用程序進(jìn)行分類(lèi)并根據(jù)其類(lèi)別分配不同的路徑，這將增加用戶(hù)的體驗(yàn)質(zhì)量(quality of experi-ence, QoE).文獻(xiàn)[27]提出了一種融合機(jī)器學(xué)習(xí)和軟件定義網(wǎng)絡(luò)的基于應(yīng)用識(shí)別和路徑狀態(tài)感知的多路徑包轉(zhuǎn)發(fā)機(jī)制，該機(jī)制首先利用SVM算法[28]對(duì)控制器捕獲的流特征進(jìn)行優(yōu)先級(jí)劃分，不同的應(yīng)用流具有不同的優(yōu)先級(jí)；同時(shí)利用YKSP算法[29]找到源到目的地的k條路徑；最后控制器通過(guò)可用帶寬和延遲等參數(shù)評(píng)估每個(gè)可能的路徑特征，并根據(jù)它們所屬類(lèi)的優(yōu)先級(jí)為流分配路徑.這個(gè)方法為具有QoS需求的數(shù)據(jù)中心網(wǎng)絡(luò)、電信數(shù)據(jù)網(wǎng)、校園網(wǎng)等大規(guī)模網(wǎng)絡(luò)環(huán)境帶來(lái)了一定好處.

Table 2 SDN Routing Optimization Methods Based on Reinforcement Learning表2 基于強(qiáng)化學(xué)習(xí)的SDN路由優(yōu)化方法

5 總結(jié)與未來(lái)展望

5.1 總 結(jié)

本文通過(guò)從監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)2個(gè)方面論述了機(jī)器學(xué)習(xí)在路由優(yōu)化中的應(yīng)用研究進(jìn)展，并對(duì)其算法優(yōu)缺點(diǎn)進(jìn)行小結(jié)，如表3所示.由表3得出結(jié)論：通過(guò)對(duì)強(qiáng)化學(xué)習(xí)相關(guān)算法的不斷改進(jìn)，實(shí)時(shí)地、自適應(yīng)地進(jìn)行路由決策，在優(yōu)化網(wǎng)絡(luò)運(yùn)維管理過(guò)程中，強(qiáng)化學(xué)習(xí)是一種非常有效的方法.與傳統(tǒng)的算法相比，無(wú)論從SDN路由機(jī)制的有效性還是網(wǎng)絡(luò)運(yùn)行時(shí)延吞吐量等相關(guān)性能方面都有不可替代的優(yōu)勢(shì)；與監(jiān)督學(xué)習(xí)相比，強(qiáng)化學(xué)習(xí)不僅不需要標(biāo)簽訓(xùn)練數(shù)據(jù)，同時(shí)還可以根據(jù)網(wǎng)絡(luò)管理需求，靈活地調(diào)整優(yōu)化目標(biāo).后期我們應(yīng)該將研究重點(diǎn)放在強(qiáng)化學(xué)習(xí)在路由優(yōu)化方面的應(yīng)用上.

5.2 未來(lái)展望

目前，尋找一種自適應(yīng)的實(shí)時(shí)路由策略將成為互聯(lián)網(wǎng)的研究熱點(diǎn)之一，還有很多問(wèn)題需要我們深入研究，下面對(duì)其未來(lái)研究重點(diǎn)和發(fā)展趨勢(shì)進(jìn)行探討.

Table 3 Performance Analysis of ML Algorithm in SDN Routing Optimization表3 SDN路由優(yōu)化中的ML算法的性能分析

1) 數(shù)據(jù)驅(qū)動(dòng)認(rèn)知路由

數(shù)據(jù)驅(qū)動(dòng)網(wǎng)絡(luò)(data-driven networking, DDN)[45]集成了過(guò)去的知識(shí)，可以更快、更高效地計(jì)算網(wǎng)絡(luò)算法.它的主要作用是計(jì)算和處理大量可用的數(shù)據(jù).

從絕對(duì)數(shù)值來(lái)看，長(zhǎng)三角各地級(jí)市之間總體基本公共服務(wù)均等化水平較高。長(zhǎng)三角總體基本公共服務(wù)的基尼系數(shù)在0.2上下波動(dòng)，在2011年后接近于0.1。2011年后，各項(xiàng)基本公共服務(wù)的基尼系數(shù)逐漸下降，可見(jiàn)“十一五”期間長(zhǎng)三角的基本公共服務(wù)均等化進(jìn)程取得了成效。結(jié)合基本公共服務(wù)發(fā)展水平看，基本公共服務(wù)水平發(fā)展與均等化兩者間是并行不悖的，在基本公共服務(wù)投入水平上升的同時(shí)，城市間均等化水平也在提高（見(jiàn)圖1、圖8）。

在基于DDN的控制循環(huán)中，通過(guò)實(shí)時(shí)收集的數(shù)據(jù)自動(dòng)調(diào)整驅(qū)動(dòng)算法，進(jìn)行自動(dòng)化決策.數(shù)據(jù)驅(qū)動(dòng)的方法促進(jìn)了有趣且快速的啟發(fā)式，其性能可能優(yōu)于現(xiàn)有的優(yōu)化或近似算法.更重要的是，數(shù)據(jù)驅(qū)動(dòng)的方法適應(yīng)并優(yōu)化了網(wǎng)絡(luò)的實(shí)際狀態(tài)，以網(wǎng)絡(luò)觀察數(shù)據(jù)為主要特征，而不是針對(duì)某些假設(shè)的最壞情況的網(wǎng)絡(luò)狀態(tài)[45-46].

隨著互聯(lián)網(wǎng)的飛速發(fā)展，網(wǎng)絡(luò)業(yè)務(wù)需求不斷增加，網(wǎng)絡(luò)規(guī)模不斷擴(kuò)大，網(wǎng)絡(luò)結(jié)構(gòu)、網(wǎng)絡(luò)管理、調(diào)度診斷等問(wèn)題變得更加復(fù)雜，用戶(hù)對(duì)網(wǎng)絡(luò)的要求也越來(lái)越高，需要網(wǎng)絡(luò)具有自適應(yīng)、自管理、自學(xué)習(xí)和推理等功能，即具備認(rèn)知功能[47].文獻(xiàn)[48]在網(wǎng)絡(luò)中引入知識(shí)平面，使網(wǎng)絡(luò)可以通過(guò)認(rèn)知技術(shù)，在復(fù)雜、不一致、動(dòng)態(tài)和不斷發(fā)展的環(huán)境中有效執(zhí)行并評(píng)估和改進(jìn)自身的性能.與此同時(shí)，基于數(shù)據(jù)驅(qū)動(dòng)的人工智能近年來(lái)取得一定進(jìn)步，由于在網(wǎng)絡(luò)中積累了大量的數(shù)據(jù)，我們可以通過(guò)這些數(shù)據(jù)，再應(yīng)用機(jī)器學(xué)習(xí)進(jìn)行大量的訓(xùn)練，將數(shù)據(jù)轉(zhuǎn)換成知識(shí)，在復(fù)雜不確定的環(huán)境中做出路由決策和優(yōu)化.我們的目標(biāo)是建立新一代網(wǎng)絡(luò)，這個(gè)網(wǎng)絡(luò)可以驅(qū)動(dòng)自己的部署和配置，可以診斷自己的問(wèn)題，并就如何解決問(wèn)題做出合理的決定.如果成功，將大大簡(jiǎn)化日常網(wǎng)絡(luò)管理任務(wù).

2) 基于遷移學(xué)習(xí)的路由優(yōu)化

遷移學(xué)習(xí)[49]的任務(wù)是從一個(gè)環(huán)境中學(xué)習(xí)知識(shí)和經(jīng)驗(yàn)，并應(yīng)用到新的任務(wù)中.換言之，遷移學(xué)習(xí)的目的就是從一個(gè)或多個(gè)源任務(wù)中抽取知識(shí)、經(jīng)驗(yàn)，然后運(yùn)用到目標(biāo)領(lǐng)域中去.在大數(shù)據(jù)時(shí)代，每天都會(huì)產(chǎn)生大量的數(shù)據(jù)，如何合理地利用這些數(shù)據(jù)是遷移學(xué)習(xí)需要解決的問(wèn)題.在SDN路由優(yōu)化中，通過(guò)強(qiáng)化學(xué)習(xí)技術(shù)得到自適應(yīng)路由路徑，在訓(xùn)練收斂之前訓(xùn)練開(kāi)銷(xiāo)很大，且當(dāng)新的應(yīng)用服務(wù)出現(xiàn)時(shí)需要重新訓(xùn)練，這無(wú)疑對(duì)計(jì)算機(jī)網(wǎng)絡(luò)性能帶來(lái)一定弊端.如果將之前訓(xùn)練好的路由優(yōu)化策略模型遷移到新的網(wǎng)絡(luò)環(huán)境中，然后利用少量的數(shù)據(jù)進(jìn)行訓(xùn)練即可快速收斂，這樣當(dāng)出現(xiàn)新的服務(wù)時(shí)也不用重頭進(jìn)行訓(xùn)練收斂，減少了訓(xùn)練開(kāi)銷(xiāo).

3) QoE感知路由

目前，QoS是最廣泛使用的服務(wù)度量標(biāo)準(zhǔn)，其評(píng)價(jià)指標(biāo)主要包括丟包率、時(shí)延、抖動(dòng)和吞吐量等.這些指標(biāo)通常被網(wǎng)絡(luò)運(yùn)營(yíng)商用來(lái)評(píng)估網(wǎng)絡(luò)性能.根據(jù)1～4節(jié)對(duì)機(jī)器學(xué)習(xí)在SDN路由方面的研究調(diào)研，我們發(fā)現(xiàn)大多數(shù)研究都是以QoS為優(yōu)化目標(biāo)尋找一條合適的路由路徑，以達(dá)到最小時(shí)延、丟包率等性能.但是從整個(gè)生態(tài)平衡的角度來(lái)看，不管是運(yùn)營(yíng)商還是整個(gè)生產(chǎn)鏈，再到最后的互聯(lián)網(wǎng)公司都需要和用戶(hù)打交道，他們都有共同的目標(biāo)，就是為了更好的用戶(hù)體驗(yàn)以及用戶(hù)滿(mǎn)意度.QoE[50-51]是用戶(hù)對(duì)服務(wù)滿(mǎn)意度的主觀度量標(biāo)準(zhǔn).典型的QoE度量有平均意見(jiàn)得分(mean opinion score, MOS)，可以由真實(shí)用戶(hù)根據(jù)主觀評(píng)分確定，也可以根據(jù)對(duì)交付的商品(例如音頻、視頻或文件)的屬性進(jìn)行客觀測(cè)量來(lái)預(yù)測(cè).MOS將QoE的主觀感受分為優(yōu)、良、中、次、劣5個(gè)級(jí)別[52].由于QoE值一般以線(xiàn)性方式依賴(lài)于多個(gè)QoS指標(biāo)[53]，網(wǎng)絡(luò)指標(biāo)(如數(shù)據(jù)包丟失)會(huì)根據(jù)服務(wù)類(lèi)型的不同影響此類(lèi)服務(wù)的QoE，因此我們可以通過(guò)發(fā)現(xiàn)QoS參數(shù)和QoE值之間的相關(guān)定量性來(lái)實(shí)時(shí)獲取QoE值.

文獻(xiàn)[54]設(shè)計(jì)了一種基于蟻群優(yōu)化的啟發(fā)式算法，以QoE為中心路由，根據(jù)流量和網(wǎng)絡(luò)需求為不同的多媒體服務(wù)類(lèi)型及其流計(jì)算最佳可用路徑，以使用戶(hù)QoE最大化.受此啟發(fā)，我們可以根據(jù)歷史數(shù)據(jù)學(xué)習(xí)QoS參數(shù)和QoE值之間的關(guān)系，對(duì)QoE進(jìn)行預(yù)測(cè).利用機(jī)器學(xué)習(xí)對(duì)SDN路由進(jìn)行優(yōu)化，以QoE為目標(biāo)，對(duì)網(wǎng)絡(luò)進(jìn)行靈活的配置，實(shí)現(xiàn)QoE感知路由，最大化網(wǎng)絡(luò)性能和用戶(hù)滿(mǎn)意度.

6 結(jié)束語(yǔ)

對(duì)SDN路由功能的優(yōu)化是時(shí)代發(fā)展的必然產(chǎn)物，也是用戶(hù)對(duì)網(wǎng)絡(luò)性能穩(wěn)定性的一種要求.通過(guò)對(duì)網(wǎng)絡(luò)路由的不斷優(yōu)化，提高對(duì)網(wǎng)絡(luò)資源的利用率，保證網(wǎng)絡(luò)信息的服務(wù)質(zhì)量，不斷優(yōu)化計(jì)算機(jī)網(wǎng)絡(luò)性能，從而為更多的網(wǎng)絡(luò)用戶(hù)帶來(lái)更好的體驗(yàn).