任小強(qiáng)，羅志文，陳苗苗，王春佳（.西南交通大學(xué)希望學(xué)院，四川成都 60400；.中國移動通信集團(tuán)甘肅有限公司，甘肅 蘭州 730000）

0 引言

服務(wù)質(zhì)量（QoS）根據(jù)關(guān)鍵性能指標(biāo)（KPI）來定義，可反映網(wǎng)絡(luò)質(zhì)量，如丟包、延遲和抖動的情況。體驗質(zhì)量（QoE）則表示用戶主觀感知的質(zhì)量，用關(guān)鍵質(zhì)量指標(biāo)（KQI）表示，例如“非常好”“好”“差”。KPI不是面向應(yīng)用服務(wù)的，沒有考慮用戶業(yè)務(wù)感知，只能反映部分網(wǎng)絡(luò)性能。即使KPI 正常時，也存在用戶業(yè)務(wù)感知差的情況。5G 網(wǎng)絡(luò)采用網(wǎng)絡(luò)切片技術(shù)，旨在提供具有不同業(yè)務(wù)需求的端到端應(yīng)用。預(yù)計未來幾年，5G 網(wǎng)絡(luò)業(yè)務(wù)感知問題主要依靠KQI 指標(biāo)優(yōu)化定界。由于KQI指標(biāo)涉及網(wǎng)元多，數(shù)據(jù)流程長，端到端影響因素眾多等問題，運維人員主要靠專家經(jīng)驗數(shù)據(jù)判斷，準(zhǔn)確定位問題原因較難。隨著計算機(jī)處理性能的不斷提升，機(jī)器學(xué)習(xí)算法得到了較好發(fā)展，例如線性回歸（LR）、逐步線性回歸（SWLR）、支持向量回歸（SVR）、隨機(jī)森林回歸（RFR）和決策樹回歸（DTR）等機(jī)器學(xué)習(xí)算法在行業(yè)都得到了較好應(yīng)用［1-2］。為了改善用戶業(yè)務(wù)感知，提升網(wǎng)絡(luò)運行性能，本文提出基于機(jī)器學(xué)習(xí)算法的KQI 與KPI 指標(biāo)關(guān)系分析模型，重點評估5G 網(wǎng)絡(luò)中端到端視頻業(yè)務(wù)和文件下載業(yè)務(wù)的業(yè)務(wù)感知質(zhì)量模型，探索關(guān)鍵質(zhì)量指標(biāo)（KQI）與底層KPI指標(biāo)的關(guān)系。

1 算法總體框架

QoS 通過KPI 表示，QoE 通過KQI 表示，最終用戶所體驗的KQI 可以由KPI 通過復(fù)雜的映射關(guān)系來確定［3］。本文選擇機(jī)器學(xué)習(xí)算法完成KPI 到KQI 指標(biāo)的映射分析。總體建?？蚣苋鐖D1 所示，包含3 個階段：數(shù)據(jù)收集階段、訓(xùn)練階段和應(yīng)用階段。這種模型框架允許使用直接測量的KPI指標(biāo)（如DT測試、UE信令跟蹤）或基于OTT 收集的數(shù)據(jù)集來訓(xùn)練模型，運營商可以通過調(diào)整配置參數(shù)來優(yōu)化網(wǎng)絡(luò)，該模型甚至可以預(yù)測出未知的業(yè)務(wù)感知指標(biāo)。

圖1 算法總體框架

測量數(shù)據(jù)集作為模型的輸入，來源于無線側(cè)KPI參數(shù)、無線基站配置參數(shù)、DT 測試數(shù)據(jù)和采集的KQI指標(biāo)數(shù)據(jù)。此外，網(wǎng)絡(luò)和配置參數(shù)以及其他數(shù)據(jù)集，也包括用戶設(shè)備（UE）和應(yīng)用程序?qū)臃?wù)所在的服務(wù)器之間路徑上的中間網(wǎng)絡(luò)的信息，如核心網(wǎng)、傳輸網(wǎng)、Internet骨干網(wǎng)和應(yīng)用程序提供者的網(wǎng)絡(luò)。

訓(xùn)練階段將前面收集的數(shù)據(jù)集合作為模型的輸入，將KQI 與其他指標(biāo)關(guān)聯(lián)起來。這里選擇監(jiān)督回歸技術(shù)對KQI與KPI的關(guān)系進(jìn)行建模分析。為了防止過擬合問題，這里使用經(jīng)典的K-Fold 交叉驗證算法，它將原始數(shù)據(jù)分成K組（K-Fold），將每個子集數(shù)據(jù)分別做一次驗證集，其余的K-1組子集數(shù)據(jù)作為訓(xùn)練集，這樣會得到K個模型。這K個模型分別在驗證集中評估結(jié)果，最后對誤差MSE（Mean Squared Error）加權(quán)平均就得到交叉驗證誤差。為了評價模型質(zhì)量，引入決定系數(shù)R2來判斷回歸方程擬合的程度，該系數(shù)表示目標(biāo)變量的預(yù)測值和實際值之間的相關(guān)程度平方的百分比，是評價模型質(zhì)量的常用系數(shù)之一。R2為1 表示該模型可以完美的預(yù)測數(shù)據(jù)，R2為0 表示完全無法預(yù)測數(shù)據(jù)。同時采用RMSE（均方根誤差）衡量預(yù)測值與真實值之間的偏差，RMSE 對數(shù)據(jù)中的異常值較為敏感，如果得到的RMSE 較小，則可以用它建立預(yù)測模型，否則重新建模。

在應(yīng)用階段，模型將網(wǎng)絡(luò)的數(shù)據(jù)配置和性能作為輸入，并獲得這些條件下預(yù)測的業(yè)務(wù)感知KQI 指標(biāo)。在此階段，該模型還考慮了額外獲取數(shù)據(jù)集的可能性，以重新訓(xùn)練模型，處理之前無法獲得的數(shù)據(jù)。

2 算法模型設(shè)計

2.1 測試網(wǎng)絡(luò)環(huán)境

為了收集測試數(shù)據(jù)，利用中國移動某省的5G實驗網(wǎng)絡(luò)，包括10 個5G 宏站，5 個5G 室分站點，1 套包含AMF、SMF、UPF 和計費網(wǎng)元的網(wǎng)元結(jié)構(gòu)。所有參數(shù)設(shè)置可以通過iManager U2000客戶端進(jìn)行自助配置。數(shù)據(jù)收集部分包括1 個測試終端UE、pioneer 測試軟件、GPS和1個應(yīng)用服務(wù)器組成。

在數(shù)據(jù)收集階段，pioneer 測試軟件收集UE 在不同參數(shù)配置下的訓(xùn)練數(shù)據(jù)集，測試開始時，UE 收集網(wǎng)絡(luò)無線KPI指標(biāo)，啟動業(yè)務(wù)服務(wù)時，pioneer測試軟件收集業(yè)務(wù)感知指標(biāo)KQI。這里主要分析了文件下載業(yè)務(wù)和視頻業(yè)務(wù)。文件下載業(yè)務(wù)的KQI 為文件傳輸延遲（IFTD）、文件傳輸平均吞吐量（FATH）、總文件傳輸延遲（TFTD）［4］。視頻業(yè)務(wù)的KQI 指標(biāo)包括視頻流啟動延遲（VSSD），即終端對視頻流的初始請求到視頻可以開始播放的瞬間的延遲；視頻流吞吐量（VSTH），即視頻流數(shù)據(jù)在完整播放期間的平均下載速度；視頻流失幀頻率、失幀次數(shù)和失幀時間（VSS）。

在培訓(xùn)階段，使用Matlab 編寫ML 建模模塊，對結(jié)果進(jìn)行處理并建立模型。該模塊在遠(yuǎn)程客戶端執(zhí)行，通過SSH（Secure Shell）接口從終端接收特定無線網(wǎng)絡(luò)配置參數(shù)和該網(wǎng)絡(luò)配置下的KQI指標(biāo)。

2.2 KQI指標(biāo)建模

為了實現(xiàn)KQI 指標(biāo)評估，初始值參數(shù)為參考信號接收功率（RSRP），參考信號接收質(zhì)量（RSRQ），接收信號強(qiáng)度指示器（RSSI），可用BW 和網(wǎng)絡(luò)負(fù)載這些指標(biāo)當(dāng)做自變量。測試UE 捕獲的KQI 數(shù)據(jù)被認(rèn)為是要構(gòu)建模型的因變量。為了評估測試終端UE 在文件傳輸業(yè)務(wù)下的KQI，把每個文件的大小也作為自變量。使用9 000 個測試數(shù)據(jù)集，包含9 種文件大?。? KB、10 KB、100 KB、500 KB、1 MB、5 MB、10 MB、20 MB、100 MB）、4 種可用帶寬（5、10、15、20 MHz）、3 種網(wǎng)絡(luò)負(fù)載（空負(fù)載、低負(fù)載和滿負(fù)載），為這些參數(shù)的所有可能組合收集了KPI 和KQI。另外，在不同網(wǎng)絡(luò)條件下收集了2 400 個視頻業(yè)務(wù)樣本數(shù)據(jù)，每個視頻長度為60 min，形成360P、720P和1080P 3種不同分辨率的視頻。

評估FTP 業(yè)務(wù)的KQI與前面描述的KQI相同。而對于視頻業(yè)務(wù)，評估的KQI 為VSSD 和VSTH。由于在實驗過程中產(chǎn)生的失幀數(shù)量并不顯著，VSSD 指標(biāo)沒有被考慮。這里選擇緩存視頻流達(dá)到規(guī)定分辨率所需的最大時間（VTMaxQ）作為一個KQI指標(biāo)［5-6］。

在訓(xùn)練階段評估了5 種主要的機(jī)器學(xué)習(xí)算法：線性回歸（LR）、逐步線性回歸（SW-LR）、支持向量回歸（SVR）、隨機(jī)森林回歸（RFR）和決策樹回歸（DTR）。LR是最經(jīng)典的回歸技術(shù)，它定義了一個因變量和幾個自變量之間的線性關(guān)系。SW-LR 是LR 的改進(jìn)形式，它利用逐步回歸算法篩選并剔除引起多重共線性的變量，得到最優(yōu)變量集合。支持向量機(jī)是一種用于回歸的自適應(yīng)向量機(jī)。DTR 通過跟蹤決策樹結(jié)構(gòu)中從初始節(jié)點到包含預(yù)測的最終節(jié)點的分支來預(yù)測輸入數(shù)據(jù)。RFR是由多棵回歸樹加權(quán)組合成的預(yù)測模型。

3 算法結(jié)果分析

圖2是5種回歸技術(shù)按照K-Fold交叉驗證算法進(jìn)行分析的結(jié)果，對于文件傳輸業(yè)務(wù)，RFR 和DTR 回歸算法的相關(guān)性最好，TFTD和FATH的R2值接近1，可以根據(jù)TFTD 和FATH 指標(biāo)優(yōu)化客戶感知。對于IFTD，所有回歸技術(shù)的R2值都接近于零，這個指標(biāo)不能用于衡量用戶的業(yè)務(wù)感知，對于視頻業(yè)務(wù)，RFR、DTR、SVR分析的VSTH 和VTMaxQ 指標(biāo)相關(guān)性較高，相關(guān)性系數(shù)總體大于0.8，但是VSSD 的相關(guān)性系數(shù)小于0.6，不能作為無線網(wǎng)絡(luò)優(yōu)化重點參數(shù)。

圖2 算法分析結(jié)果

為了評估每種算法的處理時間，表1 比較了每個機(jī)器學(xué)習(xí)算法和經(jīng)過訓(xùn)練得到KQI指標(biāo)所需的執(zhí)行時間。

表1 訓(xùn)練得到KQI指標(biāo)所需的執(zhí)行時間

對于FTP服務(wù)，在回歸過程中，變量的重要性是決定哪個預(yù)測因子對結(jié)果有更大意義的關(guān)鍵因素。決策樹模型給出了量化每個變量重要性的簡單方法，圖3顯示了使用決策樹模型分析得到的KPI指標(biāo)權(quán)重。權(quán)重值越低，表示它的重要性就越低。結(jié)果表明，可用的BW、負(fù)載是決定TFTD 的關(guān)鍵指標(biāo)，而RSRP 和RSSI 對FATH 有顯著影響。對于IFTD，所有的KQI 指標(biāo)基本沒有相關(guān)性。

圖3 KQI與對應(yīng)KPI指標(biāo)權(quán)重

在視頻流業(yè)務(wù)中，SINR 反映了UE 和5G 基站之間信道內(nèi)的干擾和噪聲。SINR、RSRP參數(shù)與VSTH之間應(yīng)該有一個映射模型，可以通過重點優(yōu)化SINR、RSRP指標(biāo)來提升視頻業(yè)務(wù)的KQI 指標(biāo)。根據(jù)仿真數(shù)據(jù)，預(yù)測了FATH和SINR之間的映射模型如下：

其中PSNR 為視頻流FATH 指標(biāo)的峰值信噪比。令I(lǐng)（i，j）表示原始視頻流圖像幀的強(qiáng)度值，K（i，j）表示失真視頻流圖像幀的強(qiáng)度，然后均方誤差（MSE）定義如式（2）所示，其中m，n表示視頻圖像的行數(shù)和列數(shù)。

視頻幀的PSNR 指標(biāo)定義如式（3）所示，Max［（Ii，j）］為視頻幀的最大強(qiáng)度值；對于8 位圖像，通常Max［I（i，j）］=255。

采用曲線擬合的方法，得到FATHPSNR與SINR 的關(guān)系如圖4所示，在這種情況下，參數(shù)a和b分別為-15.39和79.52，可以看到擬合程度接近96%，說明此模型是可行的，預(yù)測和模擬結(jié)果之間的匹配驗證了本文的映射模型。

圖4 FATHPSNR與SINR關(guān)系

R2決定系數(shù)表示回歸方程的擬合程度，用于度量回歸算法模型的性能。結(jié)果表明，使用完整數(shù)據(jù)集訓(xùn)練的模型性能優(yōu)于使用部分?jǐn)?shù)據(jù)集訓(xùn)練的模型。對于完整的數(shù)據(jù)集，R2的值與圖4 中分析結(jié)果類似，差異不大，如圖5 所示。然而，對于DTR 和RFR 回歸算法來說，TFTD 中使用部分?jǐn)?shù)據(jù)集與完整數(shù)據(jù)集分析的差異較大，如圖6 所示，這是因為文件數(shù)量增加時，DTR 和RFR 算法的性能大大降低，從而對TFTD 指標(biāo)具有明顯的影響。

圖5 數(shù)據(jù)集對VSTH的影響分析

圖6 數(shù)據(jù)集對TFTD的影響分析

4 應(yīng)用效果分析

4.1 低速率基站優(yōu)化

真實場景的測試表明，造成文件下載業(yè)務(wù)感知差的主要因素有MR 覆蓋率（32%）、RRC 連接平均數(shù)高（25%）和MR 重疊覆蓋度高（21%）等。該模型關(guān)聯(lián)分析的定位準(zhǔn)確性為83.3%，能有效分析現(xiàn)網(wǎng)小區(qū)KQI劣化的主要原因，按本算法給出的優(yōu)化建議實施后，5日平均下載速率環(huán)比提升13%～20%。

4.2 視頻業(yè)務(wù)優(yōu)化

選取視頻業(yè)務(wù)質(zhì)差強(qiáng)相關(guān)的VSTH 指標(biāo)作為KQI，分析其與無線KPI 的關(guān)聯(lián)關(guān)系。應(yīng)用本模型對498 個基站進(jìn)行了關(guān)聯(lián)性分析。造成VSTH 指標(biāo)差的幾個主要因素有SINR＞20 dB 的采樣點占比（29%）、UE 高發(fā)射功率占比（24%）和平均TA 值（9%）等。算法自動定位VSTH 指標(biāo)差的主要原因是SINR＜-3 dB的采樣點占比過高，優(yōu)化后，5 日平均下行丟包率從優(yōu)化前3.39%下降到3.06%。

5 結(jié)束語

本文針對5G的視頻流業(yè)務(wù)和文件下載，通過機(jī)器學(xué)習(xí)算法構(gòu)建2 種業(yè)務(wù)的KQI 指標(biāo)評估模型，分析KQI 指標(biāo)評估模型與KPI 指標(biāo)的關(guān)系。網(wǎng)絡(luò)運營商可以使用該模型來預(yù)測最終用戶的QoE 水平，提高運維效率。