王運(yùn)博，馮剛強(qiáng)，張?jiān)娪?，韓一石

(廣東工業(yè)大學(xué)信息工程學(xué)院，廣東 廣州510080)

1 引言

隨著互聯(lián)網(wǎng)技術(shù)迅猛發(fā)展，各式各樣網(wǎng)絡(luò)視頻業(yè)務(wù)接連不斷的涌現(xiàn)，視頻流量在互聯(lián)網(wǎng)流量中的比重不斷提高?！禫isual Network Index》預(yù)測(cè)，2020年全球互聯(lián)網(wǎng)網(wǎng)絡(luò)總流量中視頻流量占比有望提高到82%，其中移動(dòng)視頻數(shù)據(jù)流量將占總網(wǎng)絡(luò)流量的50%[1]。同時(shí)，視頻用戶對(duì)視頻觀看質(zhì)量也提出了更高層次的要求。據(jù)某移動(dòng)運(yùn)營(yíng)商調(diào)研統(tǒng)計(jì)數(shù)據(jù)顯示，視頻加載時(shí)長(zhǎng)超過(guò)2秒用戶會(huì)選擇關(guān)閉視頻，加載或卡頓時(shí)長(zhǎng)每超過(guò)1秒，選擇關(guān)閉視頻的用戶將增加6%[2]。根據(jù)某著名咨詢公司的調(diào)查，因?yàn)閷?duì)產(chǎn)品或服務(wù)不滿意，82%的用戶選擇終止該業(yè)務(wù)，并且這會(huì)引起更嚴(yán)重的連鎖反應(yīng)，平均將有另外13個(gè)人受到這種對(duì)服務(wù)不滿評(píng)價(jià)的影響[3]。因此，研究如何準(zhǔn)確評(píng)估用戶主觀感受、定位網(wǎng)絡(luò)故障和優(yōu)化網(wǎng)絡(luò)質(zhì)量的需求日益增長(zhǎng)[4]。過(guò)去許多研究主要集中在提高移動(dòng)網(wǎng)絡(luò)視頻流的服務(wù)質(zhì)量QoS(Quanlity of Service)上。

但是上述QoS無(wú)法有效表征用戶的感知體驗(yàn)。典型的QoS包括吞吐量，帶寬，延遲，抖動(dòng)和損耗[5-7]等參數(shù)，工作原理是提供服務(wù)保證以增強(qiáng)應(yīng)用程序性能。研究發(fā)現(xiàn)，僅提供服務(wù)保證不足以提高用戶感知質(zhì)量，基于QoS的質(zhì)量評(píng)估方案在預(yù)測(cè)用戶體驗(yàn)方面不適用于評(píng)估視頻質(zhì)量[8-9]。與QoS相比，用戶體驗(yàn)質(zhì)量QoE(Quality of Experience)更偏向于用戶對(duì)視頻本身的主觀感受[10]，國(guó)際電信聯(lián)盟遠(yuǎn)程通信標(biāo)準(zhǔn)化組織將QoE定義為終端用戶對(duì)應(yīng)用服務(wù)的主觀可接受程度，該指標(biāo)直接反映了用戶對(duì)服務(wù)的認(rèn)可程度。目前，視頻平均意見(jiàn)得分U-vMOS(User，Unified，Ubiquitous-Mean Opinion Score for Video)作為標(biāo)準(zhǔn)化網(wǎng)絡(luò)視頻流QoE的最新提議之一已引起廣泛關(guān)注[12][21]。U-vMOS是華為公司針對(duì)視頻用戶體驗(yàn)衡量的統(tǒng)一框架，覆蓋場(chǎng)景從傳統(tǒng)娛樂(lè)類視頻業(yè)務(wù)(點(diǎn)播和直播)，到視頻監(jiān)控和視頻通話等業(yè)務(wù)，從移動(dòng)終端到 PC 和 TV，其得分基本上是根據(jù)國(guó)際電信聯(lián)盟(ITU)標(biāo)準(zhǔn)化的平均意見(jiàn)分?jǐn)?shù)(MOS)來(lái)確定的[11]，得分1到5分別表示差，較差，一般，良好和優(yōu)秀五個(gè)等級(jí)。

針對(duì)上述U-vMOS標(biāo)準(zhǔn)，已經(jīng)有了一些視頻QoE評(píng)估方案。文獻(xiàn)[12]將U-vMOS用作評(píng)估DJEZZY消費(fèi)者的視頻體驗(yàn)的工具，并將其與基于一組專家的主觀測(cè)試進(jìn)行了比較，但其僅使用基于統(tǒng)計(jì)分析的數(shù)學(xué)公式預(yù)測(cè)用戶QoE。文獻(xiàn)[13-14]提出基于華為U-vMOS標(biāo)準(zhǔn)的YouTube視頻流比特率機(jī)器學(xué)習(xí)估計(jì)方案，但該文獻(xiàn)僅研究比特率估算準(zhǔn)確性對(duì)其HTTPS YouTube視頻流服務(wù)KPI的影響。文獻(xiàn)[15]提出基于移動(dòng)網(wǎng)絡(luò)視頻流QoE數(shù)據(jù)的數(shù)據(jù)分析框架，研究U-vMOS與服務(wù)質(zhì)量(QoS)參數(shù)的聯(lián)系，使用K-means聚類和邏輯回歸的組合算法預(yù)測(cè)用戶QoE，但該文獻(xiàn)僅將用戶QoE分為好壞兩類，并未提出預(yù)測(cè)用戶U-vMOS的方案。上述工作并未考慮數(shù)據(jù)集非均衡問(wèn)題，且沒(méi)有研究基于機(jī)器學(xué)習(xí)的移動(dòng)視頻流U-vMOS評(píng)估方案。

為了解決上述問(wèn)題，本文提出結(jié)合代價(jià)敏感思想改進(jìn)AdaBoost算法用來(lái)評(píng)估用戶U-vMOS。由于用戶體驗(yàn)質(zhì)量差的情況僅占極少數(shù)，U-vMOS值分布不平衡，然而大多數(shù)的機(jī)器學(xué)習(xí)算法均不適用于非均衡的數(shù)據(jù)集。目前，解決不平衡數(shù)據(jù)問(wèn)題的研究主要集中在抽樣方法上[16]。與抽樣方法相比，結(jié)合代價(jià)敏感思想的改進(jìn)AdaBoost算法保留所有樣本，只改變賦予樣本的權(quán)重，可以提高分類器對(duì)小類的關(guān)注，使U-vMOS分類器獲得優(yōu)秀的性能，采用完善和統(tǒng)一的U-vMOS標(biāo)準(zhǔn)評(píng)估視頻業(yè)務(wù)體驗(yàn)?zāi)軌驗(yàn)檫\(yùn)營(yíng)商和視頻產(chǎn)業(yè)鏈提升用戶體驗(yàn)給出切實(shí)的指導(dǎo)建議。

2 數(shù)據(jù)說(shuō)明

本文數(shù)據(jù)集來(lái)自華為建立的SpeedVideo全球運(yùn)營(yíng)平臺(tái)(SVGOP)，SVGOP是U-vMOS在全球移動(dòng)網(wǎng)絡(luò)中的特定應(yīng)用。數(shù)據(jù)集總共包含89266個(gè)樣本。首先對(duì)數(shù)據(jù)集進(jìn)行初步的統(tǒng)計(jì)分析，圖1從1到5顯示了U-vMOS得分直方圖，其中主豎直軸代表U-vMOS得分，次豎直軸代表U-vMOS得分的占比，水平軸代表U-vMOS區(qū)間。由圖1可得，96%U-vMOS值集中在3到5的范圍內(nèi)，這表明數(shù)據(jù)集非均衡，極少數(shù)的U-vMOS值非常接近“差”。

圖1 數(shù)據(jù)集U-vMOS得分

3 數(shù)據(jù)處理

數(shù)據(jù)集包含大量特征信息，直接處理比較耗費(fèi)時(shí)間并且會(huì)降低算法性能[17]。特征工程可以選出最能代表SVGOP數(shù)據(jù)集特性的特征子集，去除數(shù)據(jù)集中的冗余特征，減少算法時(shí)間復(fù)雜度，提高U-vMOS預(yù)測(cè)模型性能。本節(jié)采用皮爾遜相關(guān)系數(shù)法計(jì)算數(shù)據(jù)特征和U-vMOS的相關(guān)系數(shù)，選取用于構(gòu)建U-vMOS預(yù)測(cè)模型的特征，其具體公式如下

(1)

表1 皮爾遜相關(guān)系數(shù)法計(jì)算結(jié)果

4 改進(jìn)AdaBoost算法

AdaBoost算法是最重要的集成學(xué)習(xí)算法之一，具有嚴(yán)謹(jǐn)?shù)睦碚摶A(chǔ)和較高的預(yù)測(cè)精度，目前具有廣泛的成功應(yīng)用[18]。該算法在每一輪迭代中提高對(duì)于上一輪分類錯(cuò)誤樣本的識(shí)別能力，但多次迭代后基本分類器對(duì)多數(shù)類樣本敏感，對(duì)少數(shù)類樣本分類能力降低，導(dǎo)致最終分類器在不平衡數(shù)據(jù)集中無(wú)法有效預(yù)測(cè)用戶U-vMOS。最新研究表明代價(jià)敏感方法(Cost-sensitive Method)可以有效應(yīng)用于非均衡數(shù)據(jù)集[19-20]。本文基于代價(jià)敏感思想優(yōu)化傳統(tǒng) AdaBoost 算法，接下來(lái)將介紹改進(jìn)AdaBoost算法步驟。

圖2 改進(jìn)AdaBoost算法流程圖

改進(jìn)AdaBoost算法步驟如下：

1)初始化所有訓(xùn)練樣本權(quán)重分布：

D1=(w11，w12，…，w1i，…，w1N)，

(2)

其中D1表示數(shù)據(jù)集初始權(quán)重分布，w1i表示樣本i的初始權(quán)重，N表示樣本數(shù)量。樣本權(quán)重相同即表示每個(gè)樣本在基本U-vMOS分類器G1的學(xué)習(xí)中作用相同；

2)開始迭代。使用權(quán)值分布為Dm的訓(xùn)練數(shù)據(jù)集學(xué)習(xí)得到基本U-vMOS分類器Gm。計(jì)算分類器Gm的分類誤差em；

(3)

分類誤差em最小化是集成學(xué)習(xí)的最終目標(biāo)，也是每次迭代中學(xué)習(xí)得到基本U-vMOS分類器的準(zhǔn)則。其中xi表示樣本i的真實(shí)U-vMOS得分，yi表示樣本i的分類器預(yù)測(cè)U-vMOS值，wmi表示第m輪迭代中第i個(gè)樣本的權(quán)重，基本U-vMOS分類器Gm的分類誤差em表示為Gm錯(cuò)誤分類樣本的權(quán)重之和，由此可以推斷訓(xùn)練集權(quán)重分布Dm與基本U-vMOS分類器Gm的分類性能有直接聯(lián)系;

3)計(jì)算Gm的權(quán)值系數(shù)αm，αm表示Gm(x)在最終分類器中的重要程度：

(4)

由式(3)可以推斷當(dāng)em≤0.5時(shí)，αm≥0，且基本U-vMOS分類器Gm的αm隨著em的減小而增大，表明分類誤差em越小的基本U-vMOS分類器在最終U-vMOS分類器中作用越大;

4)分類誤差em小于閾值或是達(dá)到最大迭代次數(shù)時(shí)結(jié)束迭代;

5)更新訓(xùn)練數(shù)據(jù)集的權(quán)值分布，返回步驟2;

Dm+1=(wm+1，1，…wm+1，i，…，wm+1，N)

(5)

AdaBoost算法在式(4)環(huán)節(jié)以相同的比例增加錯(cuò)誤分類樣本權(quán)重，更新得到數(shù)據(jù)集的權(quán)值分布Dm+1。以代價(jià)敏感的思想改進(jìn)算法，引入代價(jià)敏感因子，修改樣本權(quán)重更新公式，具體公式如下：

Gm(xi)=a;yi!=a，a=1…Y

(6)

(7)

其中Zm是規(guī)范化因子，使得Dm+1成為一個(gè)概率分布。wmi是第m次迭代樣本i的權(quán)重，wm+1，i是第m+1次迭代樣本i的權(quán)重，Ca是引入的代價(jià)敏感因子，Y表示樣本U-vMOS得分。由式(5)可知，改進(jìn)AdaBoost算法在每次迭代中更新樣本權(quán)重時(shí)，在區(qū)分樣本分類正確和樣本分類錯(cuò)誤兩種情況的基礎(chǔ)上，進(jìn)一步分析樣本U-vMOS得分，根據(jù)錯(cuò)誤分類樣本的真實(shí)U-vMOS得分xi乘以代價(jià)敏感因子Ca，使不同錯(cuò)誤分類樣本以不同比例增加權(quán)重，隨著迭代次數(shù)增加，學(xué)習(xí)得到的基本分類器Gm對(duì)多數(shù)類和少數(shù)類的識(shí)別能力都有所提高，最終分類器預(yù)測(cè)U-vMOS的性能得到提升。改進(jìn)算法的時(shí)間復(fù)雜度顯然與弱分類器的構(gòu)造方法有關(guān)，并且其時(shí)間復(fù)雜度和空間復(fù)雜度與已有的AdaBoost 算法一樣。改進(jìn)算法基于樣本單屬性構(gòu)造基本分類器，其時(shí)間復(fù)雜度為O(mdT)，其中，m 為訓(xùn)練樣本數(shù)，d 為樣本屬性個(gè)數(shù)，T 為弱分類器個(gè)數(shù)。因此改進(jìn)算法是一個(gè)比較快的算法。

代價(jià)敏感因子Ca直接影響最終U-vMOS分類器性能，遍歷其可能取值需要大量計(jì)算，因此粒子群算法PSO(Particle Swarm Optimization)被用于調(diào)整代價(jià)敏感因子Ca參數(shù)。PSO算法結(jié)構(gòu)簡(jiǎn)單控制容易，是一種啟發(fā)式全局優(yōu)化算法，通過(guò)設(shè)定適應(yīng)度函數(shù)，利用群體與粒子自身的適應(yīng)度來(lái)共同引導(dǎo)粒子向最優(yōu)解進(jìn)化，保證了算法的快速收斂性，個(gè)別異常不影響整體的優(yōu)化粒子群算法，具有良好的魯棒性[22-23]。具體公式如下所示

Vi(t+1)=Vi(t)+c1(pbesti-Xi)+c2(gbesti-Xi)

(8)

Xi(t+1)=Xi(t)+Vi(t+1)

(9)

式(8)(9)中t代表迭代次數(shù)，i=1，2，…，M，i表示第i個(gè)粒子。Vi作為粒子速度決定粒子運(yùn)動(dòng)方向和距離，Xi代表粒子位置，c1和c2是兩個(gè)正常數(shù)，pbesti是本輪迭代全局最優(yōu)值，gbesti是歷史全局最優(yōu)值。粒子群算法首先隨機(jī)產(chǎn)生一群代價(jià)敏感因子，然后在每輪迭代中，通過(guò)跟蹤個(gè)體極值pbest和全局極值gbest兩個(gè)極值，每個(gè)粒子根據(jù)式(1)、(2)更新位置和速度，動(dòng)態(tài)調(diào)節(jié)自身的搜索方向，尋找最優(yōu)代價(jià)敏感因子。

5 性能比較

從SpeedVideo獲取了三個(gè)數(shù)據(jù)集，總共包含89266個(gè)樣本。其中數(shù)據(jù)集1被用來(lái)訓(xùn)練和驗(yàn)證模型，數(shù)據(jù)集2和數(shù)據(jù)集3被用來(lái)測(cè)試評(píng)估模型的F-measure。F-Measure是準(zhǔn)確率和召回率的加權(quán)調(diào)和平均，同時(shí)考慮到了少數(shù)類的準(zhǔn)確率和召回率，因此能衡量不平衡數(shù)據(jù)集下分類器的表現(xiàn)。基于上述描述，選擇F-Measure作為分類器的性能指標(biāo)。

粒子群優(yōu)化算法被用于調(diào)整改進(jìn)AdaBoost算法中的代價(jià)敏感因子Ca。圖3顯示了PSO算法在數(shù)據(jù)集1上的調(diào)參曲線。

圖3 PSO調(diào)參曲線

圖3橫軸為迭代次數(shù)，縱軸為最終分類器的F-Measure值。本文實(shí)驗(yàn)采用十折交叉驗(yàn)證法進(jìn)行實(shí)驗(yàn)，將數(shù)據(jù)集分成十份，每次輪流取其中一份為測(cè)試集，其余九份為訓(xùn)練集。實(shí)驗(yàn)取十次實(shí)驗(yàn)的平均值為最終結(jié)果。粒子群初始參數(shù)設(shè)置每輪生成30組隨機(jī)解，最大迭代次數(shù)為50，圖中顯示，經(jīng)過(guò)25次迭代，算法F-Measure快速上升，隨著迭代次數(shù)的增加，F(xiàn)-Measure值最終趨于平緩，說(shuō)明使用PSO算法調(diào)整代價(jià)敏感因子Ca可以有效提升最終分類器性能。

為了評(píng)估改進(jìn)AdaBoost算法性能，設(shè)置改進(jìn)AdaBoost算法和其它經(jīng)典分類算法的對(duì)比實(shí)驗(yàn)，分別使用決策樹，樸素貝葉斯和KNN等分類算法在不平衡數(shù)據(jù)集上建立模型，使用F-Measure評(píng)估模型性能，具體評(píng)估結(jié)果如圖7所示。為了評(píng)估基于代價(jià)敏感思想的改進(jìn)方案，設(shè)置改進(jìn)算法和常用不平衡解決方法的對(duì)比實(shí)驗(yàn)，分別采用欠采樣和過(guò)采樣方法結(jié)合AdaBoost算法在不平衡數(shù)據(jù)集上建立模型，使用F-Measure評(píng)估模型性能，具體評(píng)估結(jié)果如圖8所示。此外，考慮算法迭代次數(shù)，在圖9中對(duì)比迭代次數(shù)對(duì)改進(jìn)AdaBoost算法和AdaBoost算法F-Measure的影響。

圖4顯示了改進(jìn)AdaBoost算法和其它經(jīng)典分類算法的F-Measure。改進(jìn)AdaBoost算法的F-Measure在三個(gè)數(shù)據(jù)集中都在95%左右，而其它分類算法的F-Measure在三個(gè)數(shù)據(jù)集中都在80%左右。顯然，改進(jìn)AdaBoost算法的F-Measure高于其它算法。結(jié)果說(shuō)明，基于代價(jià)敏感思想的改進(jìn)方案可使AdaBoost算法F-Measure提升20%左右，可以有效解決U-vMOS分布不平衡問(wèn)題，該方案使得分類器對(duì)于少數(shù)類樣本有更高的關(guān)注，對(duì)于移動(dòng)網(wǎng)絡(luò)視頻流U-vMOS的預(yù)測(cè)能力得到有效提升。

圖4 不同算法F-Measure對(duì)比

圖5顯示了基于代價(jià)敏感方法和其它常用數(shù)據(jù)不平衡解決方法的F-Measure。測(cè)試集1中代價(jià)敏感方法，欠采樣方法和過(guò)采樣方法F-Measure都在90%以上，測(cè)試集2和測(cè)試集3中代價(jià)敏感方法F-Measure和數(shù)據(jù)集1中基本相同，都在95%左右，然而欠采樣和過(guò)采樣方法F-Measure都有明顯下降，僅有80%左右。結(jié)果說(shuō)明，基于代價(jià)敏感思想的改進(jìn)方案具有良好的魯棒性，欠采樣方法抽取U-vMOS得分高的樣本，丟失與多數(shù)類有關(guān)的重要概念，過(guò)采樣方法克隆U-vMOS得分低的樣本，導(dǎo)致過(guò)擬合，而基于代價(jià)敏感思想的改進(jìn)方案僅僅改變賦予樣本的權(quán)重，可以完整保留數(shù)據(jù)集樣本信息，提高分類器對(duì)小類的關(guān)注，使U-vMOS分類器獲得優(yōu)秀的性能。

圖5 三種非均衡解決方法F-Measure對(duì)比

圖6中，經(jīng)過(guò)5次迭代，AdaBoost算法F-Measure已經(jīng)接近穩(wěn)定值，在接下來(lái)的20次迭代中緩慢增加，然后基本保持穩(wěn)定。而改進(jìn)AdaBoost算法在25次迭代中F-Measure快速增加，最后基本保持穩(wěn)定。原因在于AdaBoost算法在前五次迭代中可以快速提高對(duì)于上一輪分類錯(cuò)誤樣本的識(shí)別能力，但5次迭代后，多類樣本的權(quán)重造成分類器對(duì)多類樣本敏感，接下來(lái)的20次迭代中少數(shù)類樣本分類能力提高緩慢，最終導(dǎo)致AdaBoost算法在不平衡數(shù)據(jù)集中無(wú)法有效預(yù)測(cè)用戶U-vMOS。而改進(jìn)AdaBoost算法在每輪迭代中，基于樣本分類正確和樣本分類錯(cuò)誤兩種情況，進(jìn)一步識(shí)別分類錯(cuò)誤樣本類別，對(duì)不同類別分類錯(cuò)誤樣本采取不同的加權(quán)策略，提高基本分類器對(duì)于小類樣本的關(guān)注，使U-vMOS最終分類器獲得優(yōu)秀的查準(zhǔn)率和查全率。但是改進(jìn)AdaBoost算法的F-Measure曲線波動(dòng)明顯大于AdaBoost算法，可能原因是迭代中不同類別樣本權(quán)重相差較大。

圖6 F-Measure隨迭代次數(shù)變化曲線

6 結(jié)束語(yǔ)

在本文中，討論了不平衡數(shù)據(jù)集中移動(dòng)網(wǎng)絡(luò)視頻流的U-vMOS評(píng)估模型。首先實(shí)驗(yàn)結(jié)果表明，在數(shù)據(jù)非均衡條件下，基于代價(jià)敏感思想的改進(jìn)方案可使AdaBoost算法F-Measure提升20%左右，分類用戶U-vMOS性能明顯優(yōu)于其它算法，且具有良好的穩(wěn)健性。其次，U-vMOS評(píng)估方案具有廣泛的應(yīng)用范圍，例如 它可以用于視頻服務(wù)提供商如bilibili和AcFun，以視頻為中心的移動(dòng)應(yīng)用程序如抖音和快手，視頻游戲直播服務(wù)如虎牙，斗魚和企鵝，能夠在一個(gè)完善和統(tǒng)一的評(píng)估標(biāo)準(zhǔn)下，為提升視頻業(yè)務(wù)用戶體驗(yàn)給出切實(shí)的指導(dǎo)建議。最后，為了繼續(xù)優(yōu)化網(wǎng)絡(luò)視頻流U-vMOS分類器性能，需要進(jìn)一步研究樣本權(quán)重關(guān)系，降低算法迭代次數(shù)，節(jié)省時(shí)間成本。