王家馨

(南京郵電大學(xué) 電子與光學(xué)工程學(xué)院、柔性電子(未來技術(shù))學(xué)院，南京 210023)

0 引 言

近年來，機(jī)器學(xué)習(xí)(Machine Learning，ML)評(píng)估方法在光通信領(lǐng)域擁有廣泛的研究，遷移學(xué)習(xí)(Transfer Learning，TL)已被證明是一種有效的知識(shí)轉(zhuǎn)移方法，但只有少數(shù)研究提出使用TL來預(yù)測(cè)與傳輸質(zhì)量(Quality of Transmission，QoT)相關(guān)的各種指標(biāo)(例如，誤碼率(Bit Error Ratio,BER)和Q因子)[1]。在文獻(xiàn)[2]中，采用一種基于人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network，ANN)的TL框架來預(yù)測(cè)實(shí)時(shí)混合線路速率光學(xué)系統(tǒng)中的Q因子。結(jié)果表明，應(yīng)用知識(shí)遷移來準(zhǔn)確預(yù)測(cè)目標(biāo)領(lǐng)域的QoT，只需少量訓(xùn)練樣本來微調(diào)權(quán)重。文獻(xiàn)[3]提出基于卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network，CNN)深度TL的多損傷診斷技術(shù)，減少了95%以上的訓(xùn)練時(shí)間且具有99.88%的準(zhǔn)確率。文獻(xiàn)[4]提出深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network，DNN)與TL相結(jié)合，對(duì)多域光網(wǎng)絡(luò)進(jìn)行QoT預(yù)測(cè)。結(jié)果表明，該方法可以顯著降低估計(jì)精度新任務(wù)所需的訓(xùn)練數(shù)據(jù)量。

以上研究工作發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)是TL的研究熱點(diǎn)，但神經(jīng)網(wǎng)絡(luò)性能不易解釋，缺失利用傳統(tǒng)ML算法方面的研究；其次，TL在光纖鏈路QoT評(píng)估上的研究較少。因此，提出新的思路，使用直接TL與TL并微調(diào)參數(shù)兩種方法在相關(guān)光通信系統(tǒng)中進(jìn)行仿真分析并比較，驗(yàn)證TL并微調(diào)的基于ML的QoT多分類器在相關(guān)光纖通信系統(tǒng)的優(yōu)勢(shì)，其中ML算法使用傳統(tǒng)ML和神經(jīng)網(wǎng)絡(luò)。

1 模型構(gòu)建及多分類器介紹

系統(tǒng)A采用的光纖通信系統(tǒng)模型：在網(wǎng)絡(luò)線性拓?fù)渲?，假設(shè)使用9個(gè)信道、信道間隔為50 GHz的波分復(fù)用鏈路，碼元速率為32 GBaud，噪聲帶寬為32 GHz的偏振復(fù)用相干未補(bǔ)償系統(tǒng)[5]。拓?fù)洳捎蒙o(wú)補(bǔ)償?shù)臉?biāo)準(zhǔn)單模光纖(光纖損耗系數(shù)為0.22 dB/km，非線性系數(shù)為1.3 1/(W·km)，色散系數(shù)為21 ps2/km )，構(gòu)成等跨度的透明傳輸同質(zhì)鏈路，每個(gè)跨度的損耗全部由光纖損耗組成，摻鉺光纖放大器(Erbium-doped Fiber Amplifier，EDFA)以相同跨距均勻放在鏈路上。EDFA完全彌補(bǔ)上一個(gè)跨度的損耗，噪聲指數(shù)為5 dB，EDFA增益由光纖損耗系數(shù)決定。節(jié)點(diǎn)由具有波長(zhǎng)選擇開關(guān)(Wavelength Selection Switch，WSS)技術(shù)的可重構(gòu)光分插復(fù)用器構(gòu)成。光纖鏈路結(jié)構(gòu)如圖1所示。

圖1 光纖鏈路結(jié)構(gòu)圖Figure 1 The structure diagram of optical fiber link

系統(tǒng)模型B與A不同的部分是信道間隔，信道帶寬與碼元速率相同，為32 GHz(奈奎斯特-波分復(fù)用)；系統(tǒng)模型C與A不同的部分是信道帶寬為64 GHz，選擇大于系統(tǒng)A的帶寬值[6-7]。

1.1 鏈路系統(tǒng)參數(shù)設(shè)置

根據(jù)文獻(xiàn)[5]、[6]和[8]設(shè)置鏈路參數(shù)，如表1所示。為系統(tǒng)相關(guān)，實(shí)現(xiàn)TL，則3個(gè)系統(tǒng)鏈路參數(shù)的取值是相交的，有相同部分。

表1 A、B和C鏈路參數(shù)設(shè)置Table 1 A, B and C link parameter settings

1.2 獲取數(shù)據(jù)

根據(jù)文獻(xiàn)[4]，確定數(shù)據(jù)集的特征為鏈路長(zhǎng)度、跨度長(zhǎng)度、調(diào)制格式、數(shù)據(jù)速率和信道發(fā)射功率，QoT指標(biāo)為BER[9]，即數(shù)據(jù)集標(biāo)簽，并使用文獻(xiàn)[5]和[10]中的QoT評(píng)估公式，在Matlab2020a軟件平臺(tái)構(gòu)建QoT評(píng)估公式，獲得初始數(shù)據(jù)集A、B和C。

根據(jù)國(guó)際電信聯(lián)盟電信標(biāo)準(zhǔn)分局(International Telecommunication Union-Telecommunication Sector，ITU-T)G.975.1建議的前向糾錯(cuò)標(biāo)準(zhǔn)，BER閾值設(shè)置為4×10-3。對(duì)于多分類器而言，設(shè)置兩個(gè)閾值，分別為4×10-3和4×10-5。BER=4×10-3時(shí)QoT及格，符合基本鏈路QoT要求；BER=4×10-5時(shí)誤碼更少，QoT精度更高。將BER<4×10-5、4×10-54×10-3分別對(duì)應(yīng)QoT優(yōu)良、合格和不合格。數(shù)據(jù)集中根據(jù)BER值設(shè)置標(biāo)簽。3個(gè)數(shù)據(jù)集記錄如表2所示，數(shù)據(jù)集的特征空間相同而分布不同，數(shù)據(jù)集相關(guān)。

表2 數(shù)據(jù)集內(nèi)容Table 2 Dataset content

1.3 ML多分類器介紹

1.3.1 ML算法簡(jiǎn)介

(1) 傳統(tǒng)ML算法

支持向量機(jī)(Support Vector Machine，SVM)是監(jiān)督ML算法，通過一對(duì)多或一對(duì)一的策略實(shí)現(xiàn)多分類。SVM的優(yōu)點(diǎn)是泛化能力強(qiáng)，過擬合概率小，分類準(zhǔn)確率高，中小型數(shù)據(jù)集使用其頻率高[11-12]。

隨機(jī)森林是多個(gè)決策樹的集成，是使用bagging方法的代表之一，能夠執(zhí)行分類和回歸任務(wù)[13-14]。在隨機(jī)森林對(duì)陌生樣本進(jìn)行預(yù)測(cè)時(shí)，集成的所有決策樹對(duì)其進(jìn)行預(yù)測(cè)，會(huì)得到很多預(yù)測(cè)結(jié)果。分類時(shí)，對(duì)預(yù)測(cè)結(jié)果采用投票法，而回歸時(shí)采用平均法。

(2) 神經(jīng)網(wǎng)絡(luò)

ANN由一列相互關(guān)聯(lián)的人工神經(jīng)元以拓?fù)浣Y(jié)構(gòu)的形式連接組成一個(gè)數(shù)學(xué)或計(jì)算模型，這些神經(jīng)元有能力從經(jīng)驗(yàn)數(shù)據(jù)中進(jìn)行學(xué)習(xí)，以此模擬人類神經(jīng)網(wǎng)絡(luò)的功能和結(jié)構(gòu)[14-15]。

DNN與ANN不一樣的部分是隱藏層的數(shù)量，除了一層輸出層，還包含兩層以上的隱藏層，是一種典型的深度學(xué)習(xí)模型，能夠?qū)崿F(xiàn)逼近某個(gè)函數(shù)[15]。

1.3.2 多分類器介紹

多分類器結(jié)構(gòu)如圖2～3所示。TL選擇基于參數(shù)的遷移方式，即源域A系統(tǒng)和目標(biāo)域B和C系統(tǒng)共享模型參數(shù)。數(shù)據(jù)集A、B和C相關(guān)，則可進(jìn)行微調(diào)技術(shù)。

圖2 遷移+微調(diào)分類器結(jié)構(gòu)圖Figure 2 The structure diagram of migration and fine-tuning classifier

圖3 直接遷移分類器結(jié)構(gòu)圖Figure 3 The structure diagram of direct migration classifier

微調(diào)技術(shù)將訓(xùn)練集B和C輸入由訓(xùn)練集A訓(xùn)練好的ML多分類器中，在預(yù)先訓(xùn)練好的多分類器的模型參數(shù)基礎(chǔ)上，由于系統(tǒng)相關(guān)，更快獲得擬合系統(tǒng)B和C的模型參數(shù)。SVM模型對(duì)決策函數(shù)的權(quán)重和偏置進(jìn)行微調(diào)，隨機(jī)森林對(duì)節(jié)點(diǎn)特征和特征閾值進(jìn)行微調(diào)，神經(jīng)網(wǎng)絡(luò)對(duì)神經(jīng)元的權(quán)重和偏置進(jìn)行微調(diào)。直接TL將訓(xùn)練集A訓(xùn)練好的ML多分類器，直接用于系統(tǒng)B和C，輸入測(cè)試集B和C對(duì)模型進(jìn)行評(píng)估。

2 仿真結(jié)果分析

以A系統(tǒng)為源域，B和C系統(tǒng)為目標(biāo)域。算法進(jìn)行超參數(shù)調(diào)優(yōu)，使用系統(tǒng)A數(shù)據(jù)集以最優(yōu)超參數(shù)的算法訓(xùn)練得到多分類器，使用B和C系統(tǒng)的數(shù)據(jù)測(cè)試評(píng)估并比較直接TL和TL并微調(diào)兩種方式下的多分類器分類性能。

2.1 未微調(diào)的多分類器性能分析

多分類器在系統(tǒng)B中的多分類性能指標(biāo)分?jǐn)?shù)總結(jié)如表3所示，ANN和DNN均運(yùn)行30次取均值。Kappa為統(tǒng)計(jì)學(xué)中評(píng)估一致性的一種方法，可用于衡量分類精度；F1_macro為F1分?jǐn)?shù)的宏平均計(jì)算方式，取值范圍為0～1，是評(píng)估多分類性能的指標(biāo)[16]。

表3 系統(tǒng)B的多分類性能指標(biāo)分?jǐn)?shù)Table 3 Multi-classification performances of system B

表3記錄了系統(tǒng)B中的多分類性能指標(biāo)分?jǐn)?shù)，SVM、ANN和DNN準(zhǔn)確率在 0.92以上，Kappa和F1_macro關(guān)注樣本較少的類別，分?jǐn)?shù)在0.87以上。隨機(jī)森林三者分?jǐn)?shù)均最低，分別為0.896 4、0.812 6和0.824 4。海明距離，分?jǐn)?shù)越低性能越好，SVM、ANN和DNN值相近。隨機(jī)森林比前3種分類器分?jǐn)?shù)大一個(gè)精度。

綜上，4種性能指標(biāo)分?jǐn)?shù)，基于訓(xùn)練集A的ML多分類器整體對(duì)系統(tǒng)B的QoT分類精度較高，但4種分類器的準(zhǔn)確率都比F1_macro和Kappa高，所以沒有經(jīng)過微調(diào)的多分類器對(duì)數(shù)據(jù)集B中樣本數(shù)量較少的類別分類能力一般，其中SVM性能最好。

多分類器在系統(tǒng)C中的多分類性能指標(biāo)分?jǐn)?shù)總結(jié)如表4所示，ANN和DNN均運(yùn)行30次取均值。

表4 系統(tǒng)C的多分類性能指標(biāo)分?jǐn)?shù)Table 4 Multi-classification performances of system C

表4記錄了系統(tǒng)C中的多分類性能指標(biāo)分?jǐn)?shù)，SVM、ANN和DNN的準(zhǔn)確率均在0.88以上，F(xiàn)1_macro和Kappa系數(shù)的分?jǐn)?shù)皆在0.80以上，其中ANN和DNN分?jǐn)?shù)相近。隨機(jī)森林三者分?jǐn)?shù)均最低，分別為0.790 9、0.675 9和0.632 7。ANN和DNN的海明距離分?jǐn)?shù)差距為0.001 6。隨機(jī)森林和SVM比ANN和DNN分?jǐn)?shù)大一個(gè)精度。結(jié)合4個(gè)指標(biāo)來分析，ANN和DNN在系統(tǒng)C中的QoT分類能力與SVM相比較強(qiáng)，分類精度較高。SVM的分類精度中等，隨機(jī)森林對(duì)系統(tǒng)C的分類能力較差。

比較4種分類器的準(zhǔn)確率、F1_macro和Kappa系數(shù)，SVM、ANN和DNN的準(zhǔn)確率比F1_macro和Kappa系數(shù)高0.05～0.06，隨機(jī)森林的準(zhǔn)確率比F1_macro和Kappa系數(shù)高0.12～0.16。結(jié)果表明，沒有經(jīng)過微調(diào)的多分類器對(duì)數(shù)據(jù)集C中樣本數(shù)量較少的類別分類能力一般。

綜上，基于訓(xùn)練集A的ML分類器對(duì)系統(tǒng)C的分類能力總體尚優(yōu)，其中ANN和DNN總體性能好。隨機(jī)森林對(duì)系統(tǒng)C的分類能力較差，不適合用于系統(tǒng)C。與系統(tǒng)B性能相比，系統(tǒng)C的性能分?jǐn)?shù)均低。4種分類器對(duì)系統(tǒng)B的分類能力明顯好于系統(tǒng)C，這說明系統(tǒng)B與系統(tǒng)A的相關(guān)性更強(qiáng)。

2.2 微調(diào)的多分類器性能分析

多分類器在系統(tǒng)B中的多分類性能指標(biāo)分?jǐn)?shù)總結(jié)如表5所示，ANN和DNN均運(yùn)行30次取均值。

表5 系統(tǒng)B的多分類性能指標(biāo)分?jǐn)?shù)Table 5 Multi-classification performances of system B

表5記錄了系統(tǒng)B中的多分類性能指標(biāo)分?jǐn)?shù)，SVM、ANN和DNN的準(zhǔn)確率、F1_macro和Kappa系數(shù)三者分?jǐn)?shù)皆在0.95以上。隨機(jī)森林三者分?jǐn)?shù)均最低，分別為0.933 7、0.880 6和0.886 9，分?jǐn)?shù)也均在0.88以上。所有分類器的海明距離精度級(jí)別都在0.01。結(jié)合4個(gè)指標(biāo)分析，經(jīng)過微調(diào)后的ANN和DNN在系統(tǒng)B中的QoT分類能力較SVM強(qiáng)，分類精度很高。SVM的分類精度也很高，隨機(jī)森林對(duì)系統(tǒng)C的分類能力也高。

測(cè)試集的大小對(duì)性能影響可忽略不計(jì)，與表3數(shù)據(jù)相比，經(jīng)過微調(diào)的4種分類器分類質(zhì)量明顯提高，表3中，SVM、ANN和DNN的F1_macro和Kappa系數(shù)的數(shù)值都處于0.88左右，隨機(jī)森林在0.82左右。經(jīng)過微調(diào)，表4中SVM、ANN和DNN的F1_macro和Kappa系數(shù)數(shù)值都處于0.95以上，提升了0.07分，進(jìn)步顯著。隨機(jī)森林在0.88左右，提高了0.06分，提高了隨機(jī)森林對(duì)系統(tǒng)B的分類能力。

綜上，得到經(jīng)過微調(diào)的基于ML多分類器對(duì)系統(tǒng)B的分類能力提高甚多，分類精度高。DNN的性能最好，性能分?jǐn)?shù)最佳。

多分類器在系統(tǒng)C中的多分類性能指標(biāo)分?jǐn)?shù)總結(jié)如表6所示，ANN和DNN均運(yùn)行30次取均值。

表6 系統(tǒng)C的多分類性能指標(biāo)分?jǐn)?shù)Table 6 Multi-classification performances of system C

表6記錄了系統(tǒng)C中的多分類性能指標(biāo)分?jǐn)?shù)，SVM、ANN和DNN的準(zhǔn)確率、F1_macro和Kappa系數(shù)三者分?jǐn)?shù)皆在0.95以上。隨機(jī)森林分?jǐn)?shù)三者均最低，分別為0.951 6、0.917 4和0.916 2，分?jǐn)?shù)也均在0.91以上。ANN的分?jǐn)?shù)與DNN相近。ANN和SVM的海明距離分?jǐn)?shù)差距微小，為0.006左右，DNN最小，隨機(jī)森林分?jǐn)?shù)最大，所有分類器的海明距離都在0.01級(jí)別的精度。結(jié)合4個(gè)指標(biāo)來分析，經(jīng)過微調(diào)后4種分類器對(duì)系統(tǒng)C的QoT分類能力增強(qiáng)，分類精度顯著變高。

同樣，與表4相比，微調(diào)后的4種分類器性能指標(biāo)分?jǐn)?shù)大幅度提高。表4中，SVM、ANN和DNN的F1_macro和Kappa系數(shù)的數(shù)值都處于0.84左右，隨機(jī)森林分?jǐn)?shù)在0.66左右。經(jīng)過微調(diào)，表6中SVM、ANN和DNN的F1_macro和Kappa系數(shù)的數(shù)值都處于0.95以上，提升0.11分。隨機(jī)森林分?jǐn)?shù)在0.91左右，提高了0.25分，數(shù)量較少的樣本分類能力明顯提高。

綜上，得到微調(diào)后的分類器性能都比未微調(diào)的分類器性能提高很多，提升了系統(tǒng)C的分類精度，減少了樣本不均衡影響。隨機(jī)森林的變化非常大，這是由于隨機(jī)森林依賴數(shù)據(jù)以進(jìn)行特征和特征閾值的選擇，若是不進(jìn)行微調(diào)，則需要目標(biāo)域與源域的系統(tǒng)相關(guān)性強(qiáng)，生成的隨機(jī)森林相關(guān)性也強(qiáng)，否則直接遷移不能實(shí)現(xiàn)較好的分類, 微調(diào)后所有指標(biāo)分?jǐn)?shù)都得到改善。

2.3 比較結(jié)果

比較系統(tǒng)B和系統(tǒng)C在直接TL和TL并微調(diào)的兩種方式下得到的多分類性能分?jǐn)?shù)，得出結(jié)論，TL結(jié)合微調(diào)能夠極大改善分類器的性能，減少對(duì)系統(tǒng)間相關(guān)性的依賴。傳統(tǒng)ML分類器的分類質(zhì)量不遜于神經(jīng)網(wǎng)絡(luò)，且其算法復(fù)雜度較低，性能原因更容易解釋分析。因此，傳統(tǒng)ML對(duì)于TL是一個(gè)有效選擇。

3 結(jié)束語(yǔ)

本文提出直接TL和TL并微調(diào)兩種方法去解決ML光纖鏈路QoT評(píng)估器訓(xùn)練復(fù)雜的問題，構(gòu)造的4種ML鏈路QoT多分類器的直接遷移指標(biāo)分?jǐn)?shù)在0.63以上，TL并微調(diào)在0.88以上，與其他研究結(jié)果相比，從新的思路驗(yàn)證了TL輔助并進(jìn)行微調(diào)的多分類器實(shí)現(xiàn)少樣本高精度評(píng)估相關(guān)通信系統(tǒng)的鏈路QoT，傳統(tǒng)ML多分類性能優(yōu)秀且易解釋，對(duì)光纖鏈路QoT評(píng)估具有很好的實(shí)現(xiàn)意義。未來可以引入更多TL和ML相關(guān)的技術(shù)，進(jìn)一步提升評(píng)估光纖鏈路的效率。