中國移動(dòng)通信集團(tuán)廣東有限公司東莞分公司 523000

摘要：隨著移動(dòng)通信步入LTE（4G）時(shí)代和互聯(lián)網(wǎng)的發(fā)展，客戶對互聯(lián)網(wǎng)的渴望使移動(dòng)業(yè)務(wù)從語音向數(shù)據(jù)轉(zhuǎn)移。就目前而言，評(píng)價(jià)手機(jī)上網(wǎng)感知的指標(biāo)較少，且用戶上網(wǎng)是主觀的感受，如何建立網(wǎng)絡(luò)運(yùn)維中的指標(biāo)與用戶感知合理的映射尤為重要。本課題旨在建立LTE手機(jī)上網(wǎng)感知QoE量化指標(biāo)體系，能夠從無線側(cè)、核心側(cè)、業(yè)務(wù)側(cè)更好更全面的反應(yīng)用戶的上網(wǎng)感知情況。

關(guān)鍵詞：LTE手機(jī)上網(wǎng)；感知；QoE；體系

QoE（Quality of Experience）是通信領(lǐng)域的概念。它可以理解為用戶體驗(yàn)或者用戶感知，即終端用戶對移動(dòng)網(wǎng)絡(luò)提供的業(yè)務(wù)性能的主觀感受。QoE的評(píng)價(jià)主體是終端用戶，評(píng)價(jià)對象是業(yè)務(wù)和支撐業(yè)務(wù)的網(wǎng)絡(luò)（主要包括核心網(wǎng)絡(luò)、無線網(wǎng)絡(luò)和業(yè)務(wù)平臺(tái)）。為了更好的更加直觀的找出網(wǎng)絡(luò)各環(huán)節(jié)對客戶感知的影響，建立良好地客戶感知和網(wǎng)絡(luò)關(guān)鍵KPI的映射關(guān)系，我們搭建了LTE手機(jī)上網(wǎng)感知QoE量化指標(biāo)體系。

一、建立QoE量化指標(biāo)體系的基本思路

貫徹以客戶為中心的服務(wù)理念，參考ETSI標(biāo)準(zhǔn)和TMF GB923標(biāo)準(zhǔn)，綜合考慮無線網(wǎng)、核心網(wǎng)的關(guān)鍵性能指標(biāo)，以及SP側(cè)的相關(guān)指標(biāo)，圍繞客戶感知梳理和構(gòu)建涵蓋主要業(yè)務(wù)關(guān)鍵環(huán)節(jié)的關(guān)鍵指標(biāo)體系，探索和建立LTE手機(jī)上網(wǎng)感知QoE量化指標(biāo)體系。

首先，當(dāng)前LTE手機(jī)用戶的上網(wǎng)投訴類可以大致劃分為“沒信號(hào)或有信號(hào)上不了網(wǎng)”、“上網(wǎng)速度慢”、“上網(wǎng)掉線”三大類。我們將手機(jī)上網(wǎng)投訴的點(diǎn)擊類別與QoE量化指標(biāo)體系關(guān)聯(lián)，以接入性、完整性、保持性作為QoE指標(biāo)量化體系的三大類別。

其次，對每一類別的QoE指標(biāo)分別從無線側(cè)、核心側(cè)、SP側(cè)進(jìn)行關(guān)鍵性能指標(biāo)的合理映射和分析，共選取了18個(gè)關(guān)鍵的網(wǎng)絡(luò)KPI來表征QoE指標(biāo)體系。

第三，由于網(wǎng)絡(luò)KPI的取值范圍不同，通過分析各指標(biāo)長期的波動(dòng)范圍和趨勢，制定基于客戶感知的各KPI合理門限，并根據(jù)門限值科學(xué)的制定QoE評(píng)分機(jī)制。

第四，通過手機(jī)上網(wǎng)廣義投訴各類原因占比劃分QoE三大類別的權(quán)重占比。再通過分析評(píng)估各KPI對客戶感知的影響，對三大類別的KPI集中的各指標(biāo)分別進(jìn)行權(quán)重分析（九分制），根據(jù)各權(quán)重值加和得出感知三大類別分別得分，然后通過三大類別的權(quán)重占比得出QoE體系評(píng)分。得分越高則客戶感知越好，權(quán)重值的大小量化反應(yīng)了各指標(biāo)對用戶感知的影響程度。

最后，根據(jù)得分情況得出客戶感知的五級(jí)標(biāo)準(zhǔn)，可以直觀評(píng)價(jià)用戶感知情況。QoE體系五級(jí)評(píng)價(jià)如下：

二、客戶感知評(píng)估優(yōu)化體系的建立

根據(jù)現(xiàn)網(wǎng)常用的日常KPI，與客戶感知關(guān)系密切的下載速率和下載時(shí)延進(jìn)行關(guān)聯(lián)分析，梳理QoE指標(biāo)量化體系中的關(guān)鍵指標(biāo)，力求選出的指標(biāo)能更加好的反應(yīng)客戶的感知，形成基于無線側(cè)、核心側(cè)、SP側(cè)的客戶感知評(píng)估體系的具體指標(biāo)集，如下圖所示：

三、QoE指標(biāo)體系中各指標(biāo)的獲取路徑

QoE指標(biāo)體系中的各指標(biāo)涉及到無線指標(biāo)、核心側(cè)和SP側(cè)的相關(guān)指標(biāo)，取數(shù)路徑主要集中在四個(gè)平臺(tái)，各指標(biāo)具體平臺(tái)分布如下：

四、QoE量化指標(biāo)體系的具體評(píng)估方法（各指標(biāo)的權(quán)重占比、評(píng)分原則）

4.1 QoE體系三大類別的權(quán)重占比劃分

確定指標(biāo)體系中各類別的權(quán)重系數(shù)以及評(píng)分原則為體系建立準(zhǔn)確性的關(guān)鍵。對于QoE體系三大類別的權(quán)重占比，計(jì)算方法為通過對手機(jī)上網(wǎng)廣義投訴10月的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，共有來自3900個(gè)客戶的廣義投訴，按接入性、完整性、保持性分類，各類投訴分別占比為61.85%、25.74%、12.41%。

為了對權(quán)重系數(shù)化整，我們認(rèn)為QoE體系三大類別指標(biāo)的權(quán)重占比如下：

4.2 QoE體系中網(wǎng)絡(luò)關(guān)鍵KPI權(quán)重占比劃分

各指標(biāo)權(quán)重系數(shù)的劃分在評(píng)分當(dāng)中尤為重要，可以直接體現(xiàn)QoE體系的可靠性。在劃分各網(wǎng)絡(luò)關(guān)鍵KPI時(shí)，對接入性、完整性、保持性各指標(biāo)采用了通過申請次數(shù)的數(shù)量、時(shí)延的大小、掉線或切換的次數(shù)的占比分配各指標(biāo)的權(quán)重系數(shù)。

（1）接入性：根據(jù)無線側(cè)、核心側(cè)、SP側(cè)共有8個(gè)關(guān)鍵指標(biāo)，統(tǒng)計(jì)全網(wǎng)8個(gè)指標(biāo)全天發(fā)生的請求次數(shù)，每個(gè)指標(biāo)請求次數(shù)占比8個(gè)指標(biāo)總的請求次數(shù)為該指標(biāo)的權(quán)重系數(shù)。如RRC建立成功率，全天發(fā)生的請求次數(shù)占比8個(gè)指標(biāo)全天發(fā)生的請求次數(shù)，即210581181/ 900759602=23.38%≈23%。同理其余7個(gè)指標(biāo)分別計(jì)算權(quán)重系數(shù)。

（2）完整性：主要分為下載類與時(shí)延類，各占比權(quán)重50%。下載類主要2類大包和小包下載，各占比權(quán)重25%。時(shí)延類主要包括附著時(shí)延、TCP建立時(shí)延、DNS建立時(shí)延、GET首包時(shí)延4類，每個(gè)指標(biāo)總時(shí)延占比這4個(gè)指標(biāo)的總時(shí)延為該指標(biāo)的權(quán)重系數(shù)。如附著時(shí)延全天總時(shí)延占比這4個(gè)指標(biāo)全天總時(shí)延，即557.31/5834.11=4.78%≈5%，同理其余3個(gè)指標(biāo)分別計(jì)算權(quán)重系數(shù)。

（3）保持性：根據(jù)無線側(cè)、核心側(cè)共有4個(gè)關(guān)鍵指標(biāo)，根據(jù)這4個(gè)關(guān)鍵指標(biāo)全天的失敗次數(shù)，每個(gè)指標(biāo)失敗次數(shù)占比4個(gè)指標(biāo)總的失敗次數(shù)為該指標(biāo)的權(quán)重系數(shù)。如無線掉線全天掉線次數(shù)占比4個(gè)指標(biāo)全天掉線次數(shù)，即271677/ 1313225=20.67%≈21%，同理其余3個(gè)指標(biāo)分別計(jì)算權(quán)重系數(shù)。

4.3 QoE體系中網(wǎng)絡(luò)關(guān)鍵KPI評(píng)分標(biāo)準(zhǔn)

QoE指標(biāo)量化體系的評(píng)分采用九分制，每個(gè)網(wǎng)絡(luò)關(guān)鍵KPI指標(biāo)在達(dá)到評(píng)分上限時(shí)得滿9分，指標(biāo)在評(píng)分下限時(shí)得分為0分，指標(biāo)在上下限之間時(shí)線性得分。

（1）接入性：8個(gè)指標(biāo)成功率的上下限設(shè)定主要參考了網(wǎng)調(diào)中心對該指標(biāo)的監(jiān)控門限。

（2）完整性：主要分為下載類與時(shí)延類的指標(biāo)。大包下載類速率按照全網(wǎng)TOP80%的小區(qū)下載速率為上限，全網(wǎng)最差TOP10%的為下限；小包下載類時(shí)延、附著時(shí)延參照258原則定義上下門限值；TCP建立時(shí)延、DNS建立時(shí)延、GET首包時(shí)延三個(gè)指標(biāo)為一個(gè)總體，根據(jù)在258原則，總的時(shí)延2秒為上限，8秒為下限。“每一項(xiàng)的平均時(shí)延”在“三個(gè)指標(biāo)平均時(shí)延總和”占比乘以2s為上限，“每一項(xiàng)的平均時(shí)延”在“三個(gè)指標(biāo)平均時(shí)延總和”占比乘以8為下限。如TCP建立的平均時(shí)延是44.82ms，DNS建設(shè)平均時(shí)延是23.33ms，GET首包響應(yīng)平均時(shí)延146.32ms。

則TCP建立時(shí)延上限是：44.82/（44.82+23.33+146.32）*2000=416ms=0.42s

TCP建立時(shí)延上限是：44.82/（44.82+23.33+146.32）*8000=1671ms=1.67s.同理DNS建立時(shí)延，GET首包時(shí)延計(jì)算出上下限。

（3）保持性：無線側(cè)3個(gè)指標(biāo)全網(wǎng)小區(qū)每GB流量掉線次數(shù)。取每GB流量掉線次數(shù)最優(yōu)T0P20%為上限，最差TOP10%為下限。如：無線掉線次數(shù)全網(wǎng)小區(qū)每GB流量掉線次數(shù)最優(yōu)TOP20%在4.53次內(nèi)，最差TOP10%小區(qū)大于58.3次。故上下限分別設(shè)置為4.53次和58.3次。核心側(cè)的TAU失敗次數(shù)，根據(jù)10月全網(wǎng)每天每GB流量掉線次數(shù)最優(yōu)TOP20%為上限，最差TOP10%為下限。

用上述方法計(jì)算出每一項(xiàng)的得分情況，通過得分乘以權(quán)重系數(shù)算出QoE評(píng)分結(jié)果，計(jì)算公式如下：

五、QoE體系評(píng)估結(jié)果驗(yàn)證

5. 1 QoE體系全網(wǎng)級(jí)評(píng)分結(jié)果評(píng)估

為了驗(yàn)證QoE體系對全網(wǎng)以及小區(qū)級(jí)的評(píng)分準(zhǔn)確性，10月10日至10月19日全網(wǎng)指標(biāo)進(jìn)行評(píng)估，具體得分及評(píng)估結(jié)果如下：

從全網(wǎng)評(píng)分結(jié)果來看，全網(wǎng)的客戶感知整體情況良好。10月15日QoE體系得分最低，接近一般，由于保持性得分的權(quán)重占比較低，則最終評(píng)分主要受到接入性得分影響。核查原因主要受到TCP成功率和激活影響，具體原因如下：

1、10月15日凌晨GGSN201割入愛立信綜合網(wǎng)關(guān)后，早上LAN1＼LAN2 TCP成功率下滑觸發(fā)一級(jí)告警，省公司懷疑是業(yè)務(wù)量高導(dǎo)致的，經(jīng)過割走一個(gè)GGSN恢復(fù)。

5. 2 QoE體系評(píng)分與投訴關(guān)聯(lián)結(jié)果

取10月10日-10月19日LTE手機(jī)上網(wǎng)本地考核項(xiàng)投訴量情況觀察，

對10月10日-10月19日的全網(wǎng)級(jí)QoE體系評(píng)分結(jié)果與LTE手機(jī)上網(wǎng)本地考核投訴量（數(shù)據(jù)來自客服提供給網(wǎng)調(diào)中心的數(shù)據(jù)）進(jìn)行關(guān)聯(lián)分析，得出相關(guān)系數(shù)為-0.82，兩者呈較強(qiáng)負(fù)相關(guān)。

5. 3 QoE體系小區(qū)級(jí)評(píng)分結(jié)果

選取三天對LTE網(wǎng)小區(qū)（Gb平臺(tái)中10月10、15、19日的小區(qū)）進(jìn)行小區(qū)級(jí)評(píng)分，評(píng)分結(jié)果中發(fā)現(xiàn)，10月10日全網(wǎng)得分最高，而對應(yīng)的感知好小區(qū)占比最大，達(dá)到了96.17%，感知差小區(qū)較少，占比為0.4%。而10月15日全網(wǎng)評(píng)分最低，相應(yīng)的感知好小區(qū)占比只有15.32%，感知差小區(qū)卻達(dá)到了38.04%。10月19日全網(wǎng)感知在10日與15日之間，感知好差的占比也在兩者之間。小區(qū)級(jí)的評(píng)分結(jié)果與全網(wǎng)級(jí)結(jié)果一致，故初步認(rèn)為所建立的QoE量化指標(biāo)體系能夠較為準(zhǔn)確的反應(yīng)客戶感知的情況。（備注：小區(qū)數(shù)量多，等級(jí)評(píng)定為0.5分為一個(gè)區(qū)間）

六、QoE體系權(quán)重系數(shù)自適應(yīng)調(diào)整的思考與探討

隨著手機(jī)應(yīng)用種類的增多，用戶的使用行為與習(xí)慣不斷發(fā)生改變，映射到網(wǎng)絡(luò)側(cè)即為業(yè)務(wù)類型會(huì)不斷發(fā)生變化。為不斷的完善LTE手機(jī)上網(wǎng)QoE量化指標(biāo)體系，我們提出了基于LTE手機(jī)上網(wǎng)投訴和業(yè)務(wù)類型的QoE體系權(quán)重系數(shù)自適應(yīng)調(diào)整的模型，即各指標(biāo)系數(shù)的動(dòng)態(tài)調(diào)整過程。思路如下：

第一，KPI體系中的關(guān)鍵指標(biāo)根據(jù)業(yè)務(wù)模型不斷學(xué)習(xí)更新，尋找影響感知的關(guān)鍵指標(biāo)，實(shí)現(xiàn)自適應(yīng)的指標(biāo)體系更新。

第二，針對體系中三大類別的權(quán)重占比可以根據(jù)每個(gè)月第一周的投訴情況進(jìn)行匯總，重新分配各權(quán)重系數(shù)，作為接下來該月的QoE體系三大類權(quán)重系數(shù)。

第三，針對接入性KPI的權(quán)重，可以根據(jù)接入業(yè)務(wù)量模型實(shí)現(xiàn)指標(biāo)權(quán)重的自適應(yīng)系數(shù)，甚至實(shí)現(xiàn)不同網(wǎng)元級(jí)別的權(quán)重自適應(yīng)調(diào)整。

第四，對完整性權(quán)重占比較高的大包業(yè)務(wù)下載速率和小包業(yè)務(wù)下載時(shí)延可以根據(jù)LTE網(wǎng)大包業(yè)務(wù)和小包業(yè)務(wù)的流量占比進(jìn)行自適應(yīng)調(diào)整權(quán)重系數(shù)。其他時(shí)延根據(jù)現(xiàn)網(wǎng)統(tǒng)計(jì)的業(yè)務(wù)平均時(shí)延經(jīng)驗(yàn)實(shí)現(xiàn)自適應(yīng)調(diào)整。

第五，針對保持性KPI權(quán)重，可以根據(jù)業(yè)務(wù)量模型，實(shí)現(xiàn)不同網(wǎng)元級(jí)別的權(quán)重自適應(yīng)調(diào)整。

七、結(jié)論

第一，該體系的應(yīng)用有效監(jiān)控了網(wǎng)絡(luò)質(zhì)量的變動(dòng)，準(zhǔn)確定位出影響用戶感知的目標(biāo)網(wǎng)元及小區(qū)，降低投訴風(fēng)險(xiǎn)，提升客戶滿意度：

● 通過QoE體系對全網(wǎng)的評(píng)分結(jié)果，判斷無線側(cè)、核心側(cè)、業(yè)務(wù)側(cè)各指標(biāo)對QoE體系評(píng)分的影響。更加準(zhǔn)確的定位及解決對客戶感知影響較大的網(wǎng)絡(luò)環(huán)節(jié)。

● 通過對各網(wǎng)元/小區(qū)進(jìn)行QoE體系評(píng)分，有效監(jiān)控各級(jí)別網(wǎng)元的客戶感知情況，聚焦關(guān)鍵質(zhì)差網(wǎng)元/小區(qū)，通過關(guān)聯(lián)派單實(shí)現(xiàn)優(yōu)化工作具體落地，進(jìn)而降低投訴，提升客戶滿意度。

● 該體系是全省首創(chuàng)，省公司評(píng)定該體系可以直觀有效的用于用戶感知評(píng)估，因此已經(jīng)納入全省推廣，并與我們一起搭建LTE感知評(píng)估系統(tǒng)，實(shí)現(xiàn)系統(tǒng)化自動(dòng)化。

第二，該體系是基于LTE手機(jī)上網(wǎng)投訴和業(yè)務(wù)類型的QoE體系權(quán)重系數(shù)自適應(yīng)調(diào)整的模型，各指標(biāo)系數(shù)隨著用戶投訴模型動(dòng)態(tài)調(diào)整，有效保證了系統(tǒng)的準(zhǔn)確性。

參考文獻(xiàn)：

[1]《廣東移動(dòng)2015年網(wǎng)絡(luò)一體化指標(biāo)集》