尚曉凱 翟慧鵬 韓龍龍

（國家計(jì)算機(jī)網(wǎng)絡(luò)與信息安全管理中心河南分中心 河南省鄭州市 450000）

1 引言

隨著互聯(lián)網(wǎng)用戶和流量的激增，數(shù)據(jù)中心和電信運(yùn)營商骨干網(wǎng)網(wǎng)絡(luò)承載面臨著前所未有的壓力，通過網(wǎng)絡(luò)設(shè)備擴(kuò)容來提升骨干網(wǎng)的運(yùn)載能力，不僅需要大量的物理設(shè)備購置、升級(jí)等建設(shè)成本，還需要考慮龐大的骨干網(wǎng)體系的生存性。彈性光網(wǎng)絡(luò)（EON）作為新一代全光技術(shù)成為重要研究方向，如何提高骨干網(wǎng)的資源使用效率、提升網(wǎng)絡(luò)可靠性、又靈活的處理各類業(yè)務(wù)服務(wù)效率已成為重要研究方向。

骨干網(wǎng)絡(luò)的互聯(lián)技術(shù)經(jīng)過了光電混合組網(wǎng)、波分復(fù)用（WDM）技術(shù)和EON 等發(fā)展階段。在光電混合組網(wǎng)骨干網(wǎng)互聯(lián)階段，電交換由于其能耗、交換容量等因素限制，逐步轉(zhuǎn)變?yōu)槿饨粨Q發(fā)展。WDM 技術(shù)原理是通過耦合器將多路波長耦合到一根光纖中進(jìn)行傳輸，極大地提升了傳輸容量，能夠滿足數(shù)據(jù)中心之間的大容量業(yè)務(wù)傳輸需求，WDM技術(shù)憑借其大容量的優(yōu)勢，已被廣泛應(yīng)用于骨干網(wǎng)和城域網(wǎng)中，WDM 光網(wǎng)絡(luò)在信道之間的最小間隔為50 GHz 或100GHz，當(dāng)前單個(gè)WDM 信道可實(shí)現(xiàn)10Gbps、100Gbps、甚至400Gbps 的傳輸效率。然而，隨著數(shù)據(jù)中心的大量部署和運(yùn)營商海量數(shù)據(jù)傳輸，這時(shí)采用固定信道寬度的WDM技術(shù)顯得力不從心，如圖1 所示，固定的柵格和信道間距較大，導(dǎo)致其網(wǎng)絡(luò)帶寬利用率低、靈活性差。

圖1： WDM 和EON 頻譜分配示意圖

EON 是將頻譜資源進(jìn)行更加細(xì)化的分割，與傳統(tǒng)的WDM 技術(shù)相比，它采用正交頻分復(fù)用技術(shù)，將傳輸?shù)母黜?xiàng)業(yè)務(wù)數(shù)據(jù)分配到幾個(gè)低數(shù)據(jù)速率的子載波上，相鄰子載波的頻譜又是正交的，所以可以相互重疊，從而極大地提高網(wǎng)絡(luò)的頻譜效率。EON 不僅具有更小粒度的頻譜隙，同時(shí)EON將多個(gè)低速率子載波靈活的分配給網(wǎng)絡(luò)請(qǐng)求，具有高靈活性的業(yè)務(wù)傳輸能力。

EON 最大優(yōu)勢在于可根據(jù)業(yè)務(wù)實(shí)際需求分配相匹配的網(wǎng)絡(luò)資源，盡可能地減少不必要的損耗，資源分配算法是EON 最核心的問題之一，合理有效的資源分配算法不僅可以大大提高頻譜資源的利用率，而且提升光網(wǎng)絡(luò)的傳輸效率。近年來，一些智能算法也被引入到EON 的資源分配問題上，常見的智能算法有：蟻群算法、遺傳算法、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等一系列智能算法。智能算法在較大網(wǎng)絡(luò)規(guī)模、較苛刻約束條件等問題上具有較強(qiáng)的適用性。

本文針對(duì)彈性光網(wǎng)絡(luò)的頻譜利用率和阻塞率等性能，提出了DQN 資源分配算法，通過構(gòu)建數(shù)學(xué)模型，對(duì)算法模型進(jìn)行多次訓(xùn)練，仿真實(shí)驗(yàn)表明，該算法具有較好地提高頻譜資源利用率，同時(shí)降低網(wǎng)絡(luò)中的業(yè)務(wù)阻塞率。

2 深度強(qiáng)化學(xué)習(xí)算法

強(qiáng)化學(xué)習(xí)是機(jī)器學(xué)習(xí)的重要分支之一，強(qiáng)化學(xué)習(xí)通過利用代理與環(huán)境進(jìn)行交互，在提供動(dòng)作的評(píng)價(jià)反饋的基礎(chǔ)上，為不斷優(yōu)化其狀態(tài)，以獲得最大的累積獎(jiǎng)勵(lì)，即通過把實(shí)際問題轉(zhuǎn)化為每次新狀態(tài)與舊狀態(tài)有關(guān)的迭代問題進(jìn)行數(shù)學(xué)形式的求解。所以，也可描述為馬爾可夫決策過程，其過程主要組成包括：狀態(tài)空間、動(dòng)作空間、回報(bào)函數(shù)以及狀態(tài)轉(zhuǎn)移概率等。深度強(qiáng)化學(xué)習(xí)（DQN）是在強(qiáng)化學(xué)習(xí)的基礎(chǔ)上引入深度學(xué)習(xí)，如圖2 所示為DQN 算法流程圖。

圖2： DQN 算法流程圖

2.1 建立網(wǎng)絡(luò)模型

首先，我們將彈性光網(wǎng)絡(luò)的拓?fù)涠x成G(V,E,F)，V、E 分別是網(wǎng)絡(luò)節(jié)點(diǎn)和鏈路的集合，F(xiàn) 是每條鏈路中的頻隙，當(dāng)頻隙狀態(tài)被占用時(shí)設(shè)置為1，空閑時(shí)為0。在狀態(tài)空間中添加了業(yè)務(wù)優(yōu)先級(jí)的標(biāo)志位，因此狀態(tài)向量可表示為：

其中，o、d、t 分別是業(yè)務(wù)請(qǐng)求的源、目的節(jié)點(diǎn)和業(yè)務(wù)持續(xù)時(shí)間，w表示業(yè)務(wù)請(qǐng)求頻譜寬度，p為業(yè)務(wù)的優(yōu)先級(jí)標(biāo)志，取值為1 或0。

在動(dòng)作空間中我們通過KSP 算法為業(yè)務(wù)找到K 條可用的候選鏈路，并對(duì)每條鏈路選取J 個(gè)可用的候選頻譜塊，若可用鏈路數(shù)是0 時(shí)，代表有業(yè)務(wù)阻塞，同理J 個(gè)頻譜塊也是如此，那么動(dòng)作空間大小是K×J。

2.2 深度強(qiáng)化學(xué)習(xí)算法框架

依據(jù)馬爾可夫決策過程的概念，強(qiáng)化學(xué)習(xí)的策略搜索轉(zhuǎn)化為數(shù)學(xué)問題，其中狀態(tài)價(jià)值函數(shù)V(s)在當(dāng)前狀態(tài)s時(shí)，通過策略π 的積累回報(bào)的期望值可表示為：

3 仿真結(jié)果與分析

3.1 性能指標(biāo)

3.1.1 頻譜資源利用率

在EON 的資源分配過程中，衡量一個(gè)分配方案的有異性指標(biāo)就是頻譜資源的損耗大小，即頻譜資源利用率（SU）。SU 公式如下：

3.2 實(shí)驗(yàn)與分析

我們以國內(nèi)典型的CERNET 網(wǎng)絡(luò)作為實(shí)驗(yàn)拓?fù)溥M(jìn)行仿真分析驗(yàn)證，其網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)有20 個(gè)，邊數(shù)有22 條，假設(shè)每條鏈路上的頻隙數(shù)設(shè)置為100 個(gè)。業(yè)務(wù)量的設(shè)置為業(yè)務(wù)到達(dá)率C 和業(yè)務(wù)持續(xù)時(shí)間t 的乘積，即A=C×t，A 代表業(yè)務(wù)量，單位為Erlang。

同時(shí)，假設(shè)業(yè)務(wù)請(qǐng)求達(dá)到設(shè)置滿足泊松分布，每項(xiàng)業(yè)務(wù)成功建立請(qǐng)求后的持續(xù)時(shí)間設(shè)置服從負(fù)指數(shù)分布，請(qǐng)求帶寬大小在1-5 范圍內(nèi)隨機(jī)取整數(shù)值，源節(jié)點(diǎn)和目的節(jié)點(diǎn)在實(shí)驗(yàn)的網(wǎng)絡(luò)拓?fù)涞乃泄?jié)點(diǎn)中隨機(jī)生成。

在深度強(qiáng)化學(xué)習(xí)模型中將對(duì)未來獎(jiǎng)勵(lì)的衰減值γ 設(shè)為0.9，為了能夠進(jìn)行算法性能的比較，我們與傳統(tǒng)的FF 算法[進(jìn)行對(duì)比分析，F(xiàn)F 算法是基于最短路徑在可用頻隙索引號(hào)最小的位置建立業(yè)務(wù)請(qǐng)求，是一種經(jīng)典的頻譜分配算法。在實(shí)驗(yàn)中，業(yè)務(wù)量設(shè)為200Erlang，候選路徑數(shù)K 和候選頻譜塊的數(shù)量J 設(shè)置為2，并以此判斷業(yè)務(wù)分配之前需提前訓(xùn)練的次數(shù)。經(jīng)實(shí)驗(yàn)，不同算法的分配訓(xùn)練次數(shù)與業(yè)務(wù)阻塞率的關(guān)系如圖3 所示。

圖3： DQN 算法業(yè)務(wù)分配訓(xùn)練次數(shù)

由圖3 可以看出： FF 算法在10000 次業(yè)務(wù)分配后業(yè)務(wù)的阻塞率逐漸穩(wěn)定在22.3%左右，DQN 算法在前5000 次業(yè)務(wù)分配時(shí)業(yè)務(wù)阻塞率呈指數(shù)型上升，后慢慢降低，最終在約50000 次業(yè)務(wù)分配后趨于平穩(wěn)。據(jù)此，后續(xù)實(shí)驗(yàn)將對(duì)QDN算法模型進(jìn)行50000 次的業(yè)務(wù)訓(xùn)練的基礎(chǔ)上，再對(duì)業(yè)務(wù)分配的性能指標(biāo)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析。

為了進(jìn)一步對(duì)比分析兩種算法的性能，我們對(duì)兩種算法的頻譜利用率和業(yè)務(wù)阻塞率方面進(jìn)行評(píng)估。其中，基礎(chǔ)參數(shù)選路徑數(shù)K=3，每條路徑上的候選頻譜隙數(shù)為J=1。當(dāng)業(yè)務(wù)量在50-600Erlang 之間變化時(shí)，兩種算法進(jìn)行業(yè)務(wù)分配時(shí)的頻譜利用率和業(yè)務(wù)阻塞率分別如圖4 和圖5 所示。

圖4： 頻譜利用率

圖5： 阻塞率

表1 和表2 統(tǒng)計(jì)了在業(yè)務(wù)量為100-600Erlang 時(shí)，兩種算法模型下實(shí)驗(yàn)的頻譜利用率和業(yè)務(wù)阻塞率詳細(xì)數(shù)據(jù)。從上述圖5 和表2 中可以明顯看出，在業(yè)務(wù)量小于100Erlang時(shí)，兩種算法的業(yè)務(wù)阻塞率相差較小，其主要是由于在業(yè)務(wù)分配初期，網(wǎng)絡(luò)中頻譜資源相對(duì)豐富，業(yè)務(wù)阻塞率也相對(duì)較低，但隨著業(yè)務(wù)量的增加，兩種不同的算法對(duì)頻譜利用率和業(yè)務(wù)的阻塞率就有較大的差距。也就是當(dāng)設(shè)置業(yè)務(wù)量從100Erlang 到600Erlang 時(shí)，DQN 算法的頻譜利用率相比于FF 算法分別提升了1.16%、2.46%、2.67%、6.43%、6.06%、8.95%，平均提升了4.62%；在阻塞率方面分別降低了2.53%、8.21%、11.32%、9.84%、9.79%、9.36%，平均約降低了8.51%。因此，DQN 算法的表現(xiàn)優(yōu)于FF 算法，能夠較好地提高頻譜資源利用率，降低業(yè)務(wù)阻塞率。

表1： 頻譜利用率

表2： 業(yè)務(wù)阻塞率

總體來看，本文提出的DQN 算法的光網(wǎng)絡(luò)資源分配方案始終表現(xiàn)出高頻譜利用率和低阻塞率，對(duì)其方案的綜合性能具有較大提升。這是因?yàn)槲覀兲岢龅姆桨缚梢杂行У仡A(yù)測業(yè)務(wù)請(qǐng)求，為未來任一時(shí)刻業(yè)務(wù)接入請(qǐng)求動(dòng)態(tài)保留資源。

4 總結(jié)

本文提出了一種基于DQN 的EON 資源分配方案，利用DQN 中強(qiáng)化學(xué)習(xí)的決策能力和神經(jīng)網(wǎng)絡(luò)對(duì)特征的感知能力，將頻譜分配過程構(gòu)建成為不同的狀態(tài)和動(dòng)作集合，通過不斷的訓(xùn)練迭代，將根據(jù)輸入的環(huán)境狀態(tài)得到最佳的頻譜分配模型。在仿真實(shí)驗(yàn)中，通過與傳統(tǒng)的FF算法進(jìn)行對(duì)比分析，在CERNET 網(wǎng)絡(luò)拓?fù)渲校珼QN 算法相比于FF 算法頻譜利用率平均提升4.62%，業(yè)務(wù)阻塞率平均降低了8.51%。實(shí)驗(yàn)結(jié)果表明，本文提出的DQN 算法在頻譜利用率和阻塞率方面均優(yōu)于傳統(tǒng)的FF 算法，能夠更好地應(yīng)用于彈性光網(wǎng)絡(luò)的資源分配。