楊建 袁林德 劉磊

摘要：由于傳統(tǒng)方法在IPv6校園網(wǎng)雙棧流量調(diào)度應(yīng)用中效果不佳，網(wǎng)絡(luò)吞吐率比較低，文章提出基于強(qiáng)化學(xué)習(xí)的IPv6校園網(wǎng)雙棧流量調(diào)度方法，利用無向圖建立IPv6校園網(wǎng)雙棧鏈路拓?fù)淠Ｐ?，描述雙棧鏈路負(fù)載均衡狀態(tài)，以負(fù)載均衡度最大化、雙棧鏈路路徑長度最小化為目標(biāo)建立目標(biāo)函數(shù)，利用強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型對目標(biāo)函數(shù)求解，將最優(yōu)調(diào)度策略反饋到模型中執(zhí)行，以此實現(xiàn)基于強(qiáng)化學(xué)習(xí)的IPv6校園網(wǎng)雙棧流量調(diào)度。實驗證明，在設(shè)計方法應(yīng)用下IPv6校園網(wǎng)吞吐量達(dá)到141.02 Gbps，在IPv6校園網(wǎng)雙棧流量調(diào)度具有良好的應(yīng)用前景。

關(guān)鍵詞：強(qiáng)化學(xué)習(xí)；IPv6校園網(wǎng)；雙棧流量；吞吐率；無向圖

中圖分類號：TP393.2? 文獻(xiàn)標(biāo)志碼：A

0 引言

隨著IPv6技術(shù)的不斷更新與完善，IPv6已經(jīng)被廣泛應(yīng)用到校園網(wǎng)絡(luò)系統(tǒng)建設(shè)中，IPv6校園網(wǎng)具有高安全性、高靈活性、高彈性等特征，并且能夠同時使用IPv6和IPv4兩個網(wǎng)絡(luò)協(xié)議。IPv6校園網(wǎng)雙棧流量復(fù)雜多樣，流量種類也越來越多，IPv6校園網(wǎng)絡(luò)帶寬資源有限，如果IPv6校園網(wǎng)雙棧流量沒有得到合理調(diào)度，將會直接影響到校園網(wǎng)絡(luò)的吞吐能力，因此如何有效分配和調(diào)度雙棧流量，成為IPv6校園網(wǎng)面臨的主要難題。目前，IPv6校園網(wǎng)用戶對網(wǎng)絡(luò)性能要求越來越高，不僅要保證雙棧流量成本最低，而且還要保證雙棧流量吞吐率達(dá)到最大化，提高網(wǎng)絡(luò)帶寬利用率。但是國內(nèi)關(guān)于網(wǎng)絡(luò)雙棧流量調(diào)度研究起步比較晚，相關(guān)技術(shù)與理論還不夠成熟與完善，技術(shù)水平還比較低，與發(fā)達(dá)國家相比存在較大的差距。雖然近幾年流量調(diào)度問題受到研究領(lǐng)域?qū)W者的重視與關(guān)注，相關(guān)學(xué)者與專家開展了一系列研究，提出了一些調(diào)度方法，但是現(xiàn)行的方法還存在一些缺陷，在實際應(yīng)用中無法達(dá)到預(yù)期的調(diào)度效果。IPv6校園網(wǎng)吞吐率比較低，傳統(tǒng)方法已經(jīng)無法滿足實際需求，為此，本文提出基于強(qiáng)化學(xué)習(xí)的IPv6校園網(wǎng)雙棧流量調(diào)度方法。

1 建立IPv6校園網(wǎng)雙棧鏈路模型

此次將IPv6校園網(wǎng)雙棧流量調(diào)度問題轉(zhuǎn)變?yōu)橐粋€線性規(guī)劃問題，即流量在IPv6校園網(wǎng)中從不同的源節(jié)點流向不同的終節(jié)點問題，流量調(diào)度問題的目標(biāo)是以最小損耗實現(xiàn)數(shù)據(jù)流在IPv6校園網(wǎng)中的流通，但是不能超過每個鏈路的承載能力［1］。利用無向圖建立IPv6校園網(wǎng)雙棧網(wǎng)絡(luò)拓?fù)淠Ｐ?，其用公式表示為?/p>

G=（V，E）（1）

式中：G表示IPv6校園網(wǎng)雙棧網(wǎng)絡(luò)拓?fù)淠Ｐ停籚表示整個IPv6校園網(wǎng)拓?fù)渲械碾p棧鏈路；E表示所有節(jié)點，其中包括源節(jié)點和非源節(jié)點［2］。IPv6校園網(wǎng)雙棧流量調(diào)度問題，實際就是對現(xiàn)有網(wǎng)絡(luò)資源分配問題，保證校園網(wǎng)雙棧流量業(yè)務(wù)在運行環(huán)境下能夠穩(wěn)定運行［3］。要對校園網(wǎng)雙棧流量調(diào)度，首先需要了解校園網(wǎng)絡(luò)雙棧資源的使用情況，其計算公式為：

U=∑Ni=1xikizi（2）

式中：U表示IPv6校園網(wǎng)雙棧流量業(yè)務(wù)的整個切片資源占有率，即雙棧鏈路的資源使用率；i表示雙棧流量業(yè)務(wù)數(shù)量；N表示所有流量路徑集合；xi表示流量業(yè)務(wù)在切片中與其他業(yè)務(wù)資源占比；ki表示校園網(wǎng)絡(luò)流量業(yè)務(wù)請求；zi表示IPv6校園網(wǎng)中每條雙棧鏈路中的總帶寬資源［4］。根據(jù)校園網(wǎng)絡(luò)雙棧資源使用情況，確定IPv6校園網(wǎng)雙棧鏈路負(fù)載均衡狀態(tài)，其用公式表示為：

ε=∑maxU-minUu（3）

式中：ε表示IPv6校園網(wǎng)雙棧鏈路負(fù)載均衡狀態(tài)；maxU表示雙棧鏈路資源使用率最大值；minU表示雙棧鏈路資源使用率最小值；u表示IPv6校園網(wǎng)所有業(yè)務(wù)資源的集合［5］。考慮到IPv6校園網(wǎng)雙棧流量是存在瞬時激增或者速減的，負(fù)載均衡狀態(tài)是不穩(wěn)定的，采用梯度更新的方式對IPv6校園網(wǎng)雙棧鏈路負(fù)載狀態(tài)進(jìn)行更新，更新后的ε值越大，表示網(wǎng)絡(luò)雙棧鏈路資源分配越均勻，ε值越小，表示網(wǎng)絡(luò)雙棧鏈路資源分配越不均勻，根據(jù)確定的網(wǎng)絡(luò)雙棧鏈路負(fù)載均衡狀態(tài)，驅(qū)動雙棧流量調(diào)度優(yōu)化。

2 建立雙棧流量調(diào)度目標(biāo)優(yōu)化函數(shù)

根據(jù)IPv6校園網(wǎng)流量資源調(diào)度需求，此次以IPv6校園網(wǎng)負(fù)載均衡度ε最大化、雙棧鏈路長度最小化為目標(biāo)，建立兩個子目標(biāo)函數(shù)，其用公式表示為：

maxε=∑i=1xi

minh=∑（d，j）∈V djμdj（4）

式中：minh表示IPv6校園網(wǎng)雙棧鏈路長度最小值；（d，j）表示節(jié)點d到節(jié)點j的雙棧鏈路；dj表示流量業(yè)務(wù)在雙棧鏈路（d，j）所占的流量比；μdj表示雙棧鏈路（d，j）的權(quán)重［6］。將以上兩個子目標(biāo)函數(shù)整合為一個，由此可以建立雙棧流量調(diào)度目標(biāo)優(yōu)化函數(shù)：

f（x）=maxε+minh（5）

式中：f（x）表示校園網(wǎng)雙棧流量調(diào)度目標(biāo)優(yōu)化函數(shù)。

3 基于強(qiáng)化學(xué)習(xí)的目標(biāo)函數(shù)求解

上文建立的目標(biāo)函數(shù)存在無數(shù)個解，需要從眾多解中找出最優(yōu)解，此次采用強(qiáng)化學(xué)習(xí)技術(shù)對目標(biāo)函數(shù)最優(yōu)解進(jìn)行求取。根據(jù)實際情況建立強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型，該模型由強(qiáng)化學(xué)習(xí)智能體、記憶池組成，將強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型接入IPv6校園網(wǎng)雙棧鏈路模型，對其進(jìn)行控制，具體流量調(diào)度過程如圖1所示。

如圖1所示，將雙棧鏈路模型描述得到的鏈路負(fù)載均衡狀態(tài)輸入強(qiáng)化學(xué)習(xí)智能體狀態(tài)空間，通過對目標(biāo)函數(shù)最優(yōu)解求解，得出一個與狀態(tài)相應(yīng)的動作［7］。強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型具有一定的學(xué)習(xí)能力，假設(shè)目標(biāo)函數(shù)解集為M，解集中含有m個解，將每個解對應(yīng)的狀態(tài)數(shù)據(jù)樣本作為訓(xùn)練樣本，輸入強(qiáng)化學(xué)習(xí)智能體，對智能體進(jìn)行訓(xùn)練，在仿真環(huán)境中模擬流量，每次模擬要給出獎勵，在記憶池中設(shè)置獎勵函數(shù)，如果智能體模擬的雙棧鏈路滿足帶寬需求，對其進(jìn)行獎勵，如果不符合帶寬需求，則不給予獎勵，其用公式表示為：

Reward=1-ρ，ifW=False

0，ifW=True（6）

式中：Reward表示獎勵函數(shù)；ρ表示獎勵系數(shù)；W表示本輪雙棧流量模擬是否結(jié)束；False表示結(jié)束；True表示繼續(xù)。根據(jù)實際情況，對智能體迭代次數(shù)設(shè)定，按照上述流程對智能體進(jìn)行迭代訓(xùn)練，對各個解進(jìn)行模擬，當(dāng)滿足迭代要求后，按照獎勵對目標(biāo)函數(shù)解進(jìn)行排序，輸出獎勵最多的解為最優(yōu)解，最能滿足IPv6校園網(wǎng)雙棧鏈路帶寬需求的流量調(diào)度策略，將其輸入上文建立的IPv6校園網(wǎng)雙棧鏈路模型，執(zhí)行調(diào)度策略，以此完成基于強(qiáng)化學(xué)習(xí)的IPv6校園網(wǎng)雙棧流量調(diào)度。

4 實驗論證

4.1 實驗準(zhǔn)備與設(shè)計

為了檢驗本次提出的基于強(qiáng)化學(xué)習(xí)的IPv6校園網(wǎng)雙棧流量調(diào)度方法的可行性與可靠性，選擇某IPv6校園網(wǎng)為實驗對象，該校園網(wǎng)由5臺主機(jī)、5臺路由器構(gòu)成，網(wǎng)絡(luò)支持IPv6協(xié)議棧，利用本文設(shè)計方法對該IPv6校園網(wǎng)雙棧流量調(diào)度，并選擇兩種傳統(tǒng)方法作為對比，兩種傳統(tǒng)方法分別為基于遺傳算法和基于螞蟻算法，以下用傳統(tǒng)方法1與傳統(tǒng)方法2表示。實驗令I(lǐng)Pv6校園網(wǎng)生成7條雙棧鏈路，由100名網(wǎng)絡(luò)用戶向網(wǎng)絡(luò)發(fā)送數(shù)據(jù)傳輸請求，請求發(fā)送頻率為1.26 Hz，數(shù)據(jù)傳輸總量為2 000 Byte，按照上文建立雙棧鏈路模型以及雙棧流量調(diào)度目標(biāo)函數(shù)，并利用強(qiáng)化學(xué)習(xí)對目標(biāo)函數(shù)求解，執(zhí)行最優(yōu)流量調(diào)度策略。在設(shè)計方法應(yīng)用下所有網(wǎng)絡(luò)請求都得到響應(yīng)，設(shè)計方法可以完成IPv6校園網(wǎng)雙棧流量調(diào)度任務(wù)，以下對具體調(diào)度效果進(jìn)行檢驗。

4.2 實驗結(jié)果討論

實驗以網(wǎng)絡(luò)吞吐率作為3種方法調(diào)度性能評價指標(biāo)，其中網(wǎng)絡(luò)吞吐率可以反映網(wǎng)絡(luò)請求處理能力，其計算公式為：

g=cv×100%（7）

式中：g表示IPv6校園網(wǎng)吞吐率；c表示網(wǎng)絡(luò)流量總請求數(shù)量；v表示流量請求處理總完成時間。根據(jù)實驗網(wǎng)絡(luò)配置情況，單個鏈路吞吐率不應(yīng)低于12.5 Gbps。實驗將其作為檢驗標(biāo)準(zhǔn)，使用上述公式計算出校園網(wǎng)各個雙棧鏈路流量吞吐率，使用電子表格對實驗數(shù)據(jù)記錄，具體數(shù)據(jù)如表1所示。

從上表中數(shù)據(jù)可以看出，在設(shè)計方法應(yīng)用下IPv6校園網(wǎng)流量吞吐率相對比較高，總吞吐率為141.02 Gbps，單個鏈路最大吞吐率為20.48 Gbps，遠(yuǎn)超出規(guī)定要求，說明設(shè)計方法流量調(diào)度效果良好，網(wǎng)絡(luò)的請求處理能力得到有效保證；而在兩種傳統(tǒng)方法應(yīng)用下IPv6校園網(wǎng)吞吐率相對比較低，傳統(tǒng)方法1與傳統(tǒng)方法2總吞吐率分別為74.56，76.51 Gbps，單個鏈路最高吞吐率分別為11.14，11.25 Gbps，不僅低于最小限值，而且還遠(yuǎn)遠(yuǎn)低于設(shè)計方法。因此本次實驗證明，設(shè)計方法流量調(diào)度效果優(yōu)于傳統(tǒng)方法，相比較傳統(tǒng)方法更適應(yīng)于IPv6校園網(wǎng)雙棧流量調(diào)度。

5 結(jié)語

針對現(xiàn)行方法存在的不足與缺陷，本文參考相關(guān)文獻(xiàn)，將強(qiáng)化學(xué)習(xí)技術(shù)應(yīng)用到IPv6校園網(wǎng)雙棧流量調(diào)度中，提出了一個全新的調(diào)度思路，有效提高了IPv6校園網(wǎng)吞吐率，實現(xiàn)了對傳統(tǒng)方法的優(yōu)化與創(chuàng)新，豐富了IPv6校園網(wǎng)雙棧流量調(diào)度理論。由于本文提出的方法尚未在實際中得到大量應(yīng)用與實踐，在某些方面可能存在一些不足之處，今后會在方法優(yōu)化設(shè)計方面展開探究，為IPv6校園網(wǎng)雙棧流量調(diào)度提供有力的理論支撐。

參考文獻(xiàn)

［1］王波，高文煒，徐丹妮，等.一種基于NeSTiNg的TSN強(qiáng)實時流量調(diào)度和自動配置方法［J］.微電子學(xué)與計算機(jī)，2022（11）：62-68.

［2］聶宏蕊，李紹勝，劉勇.時間敏感網(wǎng)絡(luò)中基于IEEE 802.1Qch標(biāo)準(zhǔn)的優(yōu)化調(diào)度機(jī)制［J］.通信學(xué)報，2022（9）：12-26.

［3］肖漫漫，劉驥琛，李艷麗，等.軟件定義廣域網(wǎng)中基于IPv6分段路由的雙棧流量調(diào)度算法［J］.重慶大學(xué)學(xué)報，2022（9）：115-125.

［4］沙宗軒，霍如，孫闖，等.基于深度強(qiáng)化學(xué)習(xí)的轉(zhuǎn)發(fā)效能感知流量調(diào)度算法［J］.通信學(xué)報，2022（8）：30-40.

［5］甘浩宇，陳立豐，郭娘容，等.基于強(qiáng)化學(xué)習(xí)的5GURLLC承載網(wǎng)切片流量調(diào)度優(yōu)化［J］.電腦知識與技術(shù)，2022（13）：9-13.

［6］馬樞清，唐宏，李藝，等.基于粒子群優(yōu)化算法的數(shù)據(jù)中心網(wǎng)絡(luò)流量調(diào)度策略［J］.電訊技術(shù)，2021（7）：865-871.

［7］李宏慧，李煒東，付學(xué)良.基于多層虛擬拓?fù)涔?jié)能的SDN數(shù)據(jù)中心網(wǎng)絡(luò)流量調(diào)度算法［J］.計算機(jī)應(yīng)用與軟件，2021（4）：124-131.

（編輯 王雪芬）

Dual-stack traffic scheduling method of IPv6 campus network based on reinforcement learning

Yang? Jian， Yuan? Linde， Liu? Lei

（Xian Conservatory of Music， Xian 710061， China）

Abstract：? Because the traditional method is not effective in dual-stack traffic scheduling application of IPv6 campus network and the network throughput is relatively low， a dual-stack traffic scheduling method of IPv6 campus network based on reinforcement learning is proposed. The dual-stack link topology model of IPv6 campus network was established by using undirected graph to describe the load balancing state of dual-stack link. The objective function was established by maximizing the load balancing degree and minimizing the path length of dual-stack link. The objective function was solved by using the reinforcement learning network model， and the optimal scheduling strategy was fed back into the model for execution. In this way， the dual stack traffic scheduling of IPv6 campus network based on reinforcement learning is realized. The experimental results show that the throughput of IPv6 campus network reaches 141.02 Gbps under the design method， which has a good application prospect in dual-stack traffic scheduling of IPv6 campus network.

Key words： reinforcement learning; IPv6 campus network; double stack flow; throughput rate; undirected graph