李治國

（中國聯(lián)合網(wǎng)絡(luò)通信有限公司河南省分公司，河南 鄭州 450008）

KPI與業(yè)務(wù)體驗(yàn)相結(jié)合的移動寬帶客戶感知評價(jià)體系研究

李治國

（中國聯(lián)合網(wǎng)絡(luò)通信有限公司河南省分公司，河南 鄭州 450008）

從寬帶移動互聯(lián)網(wǎng)時(shí)代承載的業(yè)務(wù)、用戶體驗(yàn)入手，分別對基于語音的網(wǎng)絡(luò)質(zhì)量評價(jià)體系、基于用戶業(yè)務(wù)體驗(yàn)的評價(jià)體系進(jìn)行分析。結(jié)合運(yùn)營商快速定位網(wǎng)絡(luò)問題，確保用戶良好體驗(yàn)的實(shí)際需要，論證了在分析和定位問題時(shí)，網(wǎng)絡(luò)質(zhì)量指標(biāo)和業(yè)務(wù)體驗(yàn)指標(biāo)均不可或缺的觀點(diǎn)。提出了構(gòu)建基于KPI和業(yè)務(wù)體驗(yàn)相結(jié)合的移動寬帶客戶感知綜合評價(jià)體系的建議并在實(shí)踐中進(jìn)行應(yīng)用。

移動寬帶 性能關(guān)鍵指標(biāo) 關(guān)鍵質(zhì)量指標(biāo) 用戶體驗(yàn)指標(biāo)

1 引言

隨著寬帶無線接入技術(shù)和移動終端技術(shù)的飛速發(fā)展，手機(jī)上網(wǎng)已成為人們?nèi)粘Ｉ畈豢苫蛉钡囊徊糠?。根?jù)中國互聯(lián)網(wǎng)信息中心（CNNIC）第35次中國互聯(lián)網(wǎng)發(fā)展統(tǒng)計(jì)報(bào)告顯示：截止2014年年底，全國互聯(lián)網(wǎng)用戶達(dá)6.49億，其中手機(jī)網(wǎng)民用戶達(dá)到5.57億，占比高達(dá)85.8%，即時(shí)通信、旅游預(yù)訂、網(wǎng)購、支付等應(yīng)用穩(wěn)步提升，由此對運(yùn)營商帶來了巨大的網(wǎng)絡(luò)壓力。

然而，移動互聯(lián)網(wǎng)用戶時(shí)常會出現(xiàn)在網(wǎng)絡(luò)信號滿格、數(shù)據(jù)業(yè)務(wù)鏈接顯示正常的情況下無法打開網(wǎng)頁、流媒體業(yè)務(wù)卡頓、下載文件停滯等現(xiàn)象，從而產(chǎn)生對網(wǎng)絡(luò)的抱怨和投訴。而運(yùn)營商接到類似投訴后，從現(xiàn)有的網(wǎng)絡(luò)側(cè)指標(biāo)和設(shè)備告警方面又未發(fā)現(xiàn)異常，從而對該類問題的處理或提前發(fā)現(xiàn)顯得束手無策。

所以，構(gòu)建移動寬帶客戶感知的分析手段和評價(jià)體系對于運(yùn)營商而言就顯得尤為重要和迫切了。

2 移動寬帶和用戶感知的定位

2.1 移動寬帶的概念

移動寬帶就是指寬帶移動互聯(lián)網(wǎng)，由于2G網(wǎng)絡(luò)PS業(yè)務(wù)的受限，移動寬帶僅指3G和4G的移動網(wǎng)絡(luò)，而用戶的體驗(yàn)也主要針對3G/4G手機(jī)用戶在使用互聯(lián)網(wǎng)過程中的感受。

語音、網(wǎng)頁瀏覽、流媒體業(yè)務(wù)、郵件、文件訪問等五大類典型業(yè)務(wù)是業(yè)內(nèi)普遍認(rèn)為的移動寬帶業(yè)務(wù)。

2.2 移動網(wǎng)客戶感知的概念

用戶感知是用戶的實(shí)際體驗(yàn)，通俗來講就是人們使用移動業(yè)務(wù)過程中的心理感受。常用的用于量化用戶體驗(yàn)的指標(biāo)有以下幾個(gè)：

（1）KQI（Key Quality Indicators）：移動網(wǎng)絡(luò)的關(guān)鍵質(zhì)量指標(biāo)。業(yè)內(nèi)提出QoS（服務(wù)質(zhì)量）的概念是對約定業(yè)務(wù)或應(yīng)用服務(wù)的表征描述，如時(shí)延、帶寬、連續(xù)性、抖動等。而最為常見的就是針對使用業(yè)務(wù)或應(yīng)用的業(yè)務(wù)質(zhì)量作為評價(jià)體驗(yàn)的一種和網(wǎng)絡(luò)指標(biāo)對應(yīng)的指標(biāo)體系。KQI其實(shí)是一組可以被測量和監(jiān)控的QoS參數(shù)，是一種通過網(wǎng)絡(luò)側(cè)進(jìn)行量化的“KPI”。

（2）QoE（Quality of Experience）：指用戶對設(shè)備、網(wǎng)絡(luò)和系統(tǒng)、應(yīng)用或業(yè)務(wù)的質(zhì)量和性能（包括有效性和可用性等方面）的綜合主觀感受，是通過業(yè)務(wù)應(yīng)用的舒適度進(jìn)行定義的。QoE是用戶對QoS的主觀度量，是用戶對某種業(yè)務(wù)/應(yīng)用的主觀感覺，如語音圖像的清晰度和連續(xù)性、收發(fā)文件的快慢等。

（3）CEI（Customer Experience Indicators）：實(shí)時(shí)測量用戶體驗(yàn)以及定義用戶體驗(yàn)的指標(biāo)，是反映QoE級別的關(guān)鍵指標(biāo)，著眼點(diǎn)是用戶，與用戶行為相關(guān)。KQI僅僅是業(yè)務(wù)層面的關(guān)鍵指標(biāo)，是不同業(yè)務(wù)/應(yīng)用的質(zhì)量參數(shù)，針對CEI的分析是提升移動寬帶客戶實(shí)際感知和優(yōu)質(zhì)體驗(yàn)的關(guān)鍵因素。

3 建立基于語音的網(wǎng)絡(luò)質(zhì)量綜合評價(jià)體系

提升網(wǎng)絡(luò)質(zhì)量是基于網(wǎng)絡(luò)側(cè)的運(yùn)行質(zhì)量指標(biāo)進(jìn)行分析，對異常問題進(jìn)行判定和處理，從而達(dá)到提升網(wǎng)絡(luò)性能的目的。通常圍繞KPI、用戶投訴、DT、CQT等開展。

（1）KPI（Key Performance Indicators）即網(wǎng)絡(luò)性能關(guān)鍵指標(biāo)，是運(yùn)營商最關(guān)心的指標(biāo)之一。運(yùn)營商將關(guān)鍵指標(biāo)當(dāng)作評估標(biāo)準(zhǔn)，以是否達(dá)到標(biāo)準(zhǔn)作為評價(jià)工作質(zhì)量的重要條件。運(yùn)營商均制定了全網(wǎng)及小區(qū)級的KPI體系，對網(wǎng)絡(luò)指標(biāo)反映的問題進(jìn)行處理，確保了網(wǎng)絡(luò)的良好運(yùn)行。

（2）用戶投訴：用戶投訴信息一直是運(yùn)營商認(rèn)為最貼近用戶實(shí)際感受的數(shù)據(jù)來源。建立基于用戶投訴的分析系統(tǒng)，對用戶網(wǎng)絡(luò)質(zhì)量類的投訴進(jìn)行地理化顯示和分析定位，根據(jù)問題類型區(qū)分為建設(shè)、維護(hù)、優(yōu)化等類型，建立閉環(huán)管理流程。

（3）DT&CQT分析：通過路測設(shè)備、用戶感知系統(tǒng)等開展海量測試，模擬用戶的行為，發(fā)現(xiàn)現(xiàn)網(wǎng)中存在的問題并進(jìn)行處理。

網(wǎng)絡(luò)質(zhì)量綜合評價(jià)體系示意圖如圖1所示：

圖1 網(wǎng)絡(luò)質(zhì)量綜合評價(jià)體系

運(yùn)營商在語音時(shí)代已經(jīng)建立了以KPI、DT、CQT及用戶投訴4個(gè)方面的綜合質(zhì)量分析體系，實(shí)現(xiàn)網(wǎng)絡(luò)性能的提升。以上4個(gè)方面的指標(biāo)都可以用KPI來體現(xiàn)，網(wǎng)絡(luò)質(zhì)量評價(jià)體系是運(yùn)營商長期積累的重要內(nèi)容。對于網(wǎng)絡(luò)側(cè)的性能提升起到了十分重要的作用，可以說是評價(jià)網(wǎng)絡(luò)質(zhì)量好壞的關(guān)鍵性標(biāo)準(zhǔn)。

隨著移動互聯(lián)網(wǎng)的到來，用戶在傳統(tǒng)語音需求的基礎(chǔ)之上，對于網(wǎng)頁瀏覽、流媒體業(yè)務(wù)、郵件、QQ、微信等業(yè)務(wù)性能的關(guān)注愈來愈多。目前運(yùn)營商針對業(yè)務(wù)實(shí)際接入類體驗(yàn)、流暢體驗(yàn)缺少評價(jià)手段，雖然近年來引入了MR數(shù)據(jù)分析，但基于業(yè)務(wù)的分析能力依然受限。具體表現(xiàn)就是在狠抓KPI的情況下，對于用戶實(shí)際體驗(yàn)方面獲取的信息十分有限，從而產(chǎn)生了運(yùn)營商的網(wǎng)絡(luò)KPI指標(biāo)十分好看，而用戶對于業(yè)務(wù)體驗(yàn)方面的抱怨很多的非對稱現(xiàn)象。

4 構(gòu)建基于移動網(wǎng)用戶業(yè)務(wù)體驗(yàn)的評價(jià)體系

4.1 建立用戶體驗(yàn)與KQI的對應(yīng)關(guān)系

圍繞各種業(yè)務(wù)類型，建立用戶體驗(yàn)與KQI的對應(yīng)關(guān)系，針對不同的業(yè)務(wù)，用戶所關(guān)心的體驗(yàn)內(nèi)容是不同的，具體如表1所示：

表1 不同業(yè)務(wù)類型對應(yīng)的KQI指標(biāo)

4.2 構(gòu)建移動網(wǎng)用戶業(yè)務(wù)體驗(yàn)的評價(jià)體系

CEI是多個(gè)KQI指標(biāo)組共同反映用戶感知的綜合評價(jià)指標(biāo)。在眾多KQI指標(biāo)中，經(jīng)過研究和分析可知，時(shí)延、成功率和業(yè)務(wù)速率是用戶業(yè)務(wù)感知體驗(yàn)的三大要素。

把除語音業(yè)務(wù)外的其他4種類型業(yè)務(wù)的時(shí)延、成功率、業(yè)務(wù)速率按照主觀感知設(shè)置為好、較好、一般、較差和差5個(gè)等級，分別賦予5～1分進(jìn)行評判，同時(shí)設(shè)置各等級的KQI門限指標(biāo)，對各業(yè)務(wù)進(jìn)行評價(jià)。

端到端各維度評價(jià)標(biāo)準(zhǔn)如表2所示：

表2 端到端各維度評價(jià)標(biāo)準(zhǔn)

根據(jù)分析和抽樣，時(shí)延維度的權(quán)重A為35%、成功率維度的權(quán)重B為35%、業(yè)務(wù)速率維度的權(quán)重C為30%。根據(jù)不同時(shí)期各維度的重要性，可以微調(diào)各部分權(quán)重。

移動寬帶業(yè)務(wù)用戶體驗(yàn)CEI得分=多用戶多業(yè)務(wù)的用戶體驗(yàn)CEI得分均值=Ave∑（時(shí)延+成功率+業(yè)務(wù)速率） （2）

最高得5分，最差得1分，以4分作為評價(jià)良好體驗(yàn)的閥值。

以流媒體業(yè)務(wù)為例，多用戶流媒體業(yè)務(wù)緩沖平均時(shí)延為3s，流媒體打開成功率為98%，視頻下載速率為1.5Mbps，那么針對流媒體業(yè)務(wù)的用戶體驗(yàn)CEI得分如式（3）所示：

流媒體業(yè)務(wù)的用戶體驗(yàn)CEI得分=4×35%+5×35%+ 4×30%=4.35分 （3）

由式（3）可知，整體該業(yè)務(wù)的體驗(yàn)得分為4.35分，屬于較好水平。

通過CEI的評估可以單個(gè)評價(jià)某種典型業(yè)務(wù)的實(shí)際體驗(yàn)，也可以實(shí)現(xiàn)對多業(yè)務(wù)的綜合評價(jià)，既可以對全網(wǎng)用戶進(jìn)行評價(jià)，也可對重點(diǎn)客戶進(jìn)行評價(jià)。

5 建立以網(wǎng)絡(luò)質(zhì)量評價(jià)為基礎(chǔ)的用戶感知綜合評價(jià)體系

單純通過網(wǎng)絡(luò)質(zhì)量評價(jià)體系不能體現(xiàn)用戶的實(shí)際感知，但完全基于用戶業(yè)務(wù)體驗(yàn)評價(jià)體系是否就能解決所有的問題呢？

筆者認(rèn)為，不能單純地從業(yè)務(wù)體驗(yàn)指標(biāo)入手，那樣會掩蓋網(wǎng)絡(luò)側(cè)的部分問題，一旦網(wǎng)絡(luò)質(zhì)量性能指標(biāo)惡化到一定程度，業(yè)務(wù)質(zhì)量將無從談起。網(wǎng)絡(luò)質(zhì)量是所有運(yùn)營的基礎(chǔ)，無論移動網(wǎng)絡(luò)發(fā)展到何種地步，基于KPI的網(wǎng)絡(luò)質(zhì)量都是不能忽視的。

所以，移動網(wǎng)用戶感知綜合評價(jià)體系必須建立在網(wǎng)絡(luò)質(zhì)量評價(jià)和綜合業(yè)務(wù)評價(jià)的基礎(chǔ)之上。用戶感知綜合評價(jià)體系如圖2所示：

圖2 用戶感知綜合評價(jià)體系

5.1 選取粒度

重點(diǎn)客戶C：選取高ARPU用戶（最多到全網(wǎng)）。

重要場景S：選取業(yè)務(wù)量高的重要場景（最多到全網(wǎng)）。

重要時(shí)段T：選取各業(yè)務(wù)實(shí)際忙時(shí)（最多到全時(shí)段）。

5.2 KPI評價(jià)內(nèi)容

圍繞網(wǎng)絡(luò)性能選取重要的指標(biāo)作為評價(jià)內(nèi)容，例如覆蓋率、質(zhì)量分布、質(zhì)差小區(qū)等，不同階段可以進(jìn)行調(diào)整。KPI評價(jià)內(nèi)容如表3所示。

5.3 客戶投訴評價(jià)內(nèi)容

結(jié)合投訴，將投訴率、投訴數(shù)量或者用戶滿意度等納入評價(jià)內(nèi)容，不同階段也可進(jìn)行調(diào)整。客戶投訴評價(jià)內(nèi)容如表4所示。

5.4 網(wǎng)絡(luò)綜合評價(jià)得分=30%×KPI+50%×KQI+ 20%用戶投訴

通過綜合評價(jià)網(wǎng)絡(luò)中的重要場景或?qū)θW(wǎng)進(jìn)行綜合評估，同樣可以按5分計(jì)算，設(shè)置成1～5級的網(wǎng)絡(luò)評價(jià)等級，用于衡量移動網(wǎng)絡(luò)在用戶體驗(yàn)方面的優(yōu)劣程度。

按照網(wǎng)絡(luò)綜合評價(jià)得分情況可以針對一個(gè)本地網(wǎng)或者一個(gè)網(wǎng)格進(jìn)行評價(jià)排隊(duì)，對低于4分的網(wǎng)絡(luò)需進(jìn)行重點(diǎn)關(guān)注和分析。

表3 KPI評價(jià)內(nèi)容

表4 客戶投訴評價(jià)內(nèi)容

6 用戶感知綜合評價(jià)體系的應(yīng)用

建立基于用戶感知的綜合評價(jià)體系，不僅可以評價(jià)基于業(yè)務(wù)的用戶感知等級，更重要的是可以及時(shí)發(fā)現(xiàn)網(wǎng)絡(luò)的短板并進(jìn)行處理。通過各維度的得分情況，開展針對性的分析，從而實(shí)現(xiàn)對移動網(wǎng)絡(luò)問題的精準(zhǔn)定位。

用戶感知綜合評價(jià)體系應(yīng)用的好壞，需要不斷地對評價(jià)內(nèi)容的權(quán)重和門限進(jìn)行優(yōu)化調(diào)整，同時(shí)需要構(gòu)建閉環(huán)的問題處理流程，強(qiáng)化問題的實(shí)際落地，提升響應(yīng)能力。只有這樣才能真正地站在用戶感知的角度，不斷提升用戶的滿意度。

案例：在進(jìn)行用戶感知綜合評價(jià)時(shí)發(fā)現(xiàn)某一區(qū)域綜合得分為3.9分。通過分析發(fā)現(xiàn)其他維度得分正常，而針對網(wǎng)頁的下載速率CEI得分為3.2分，從而導(dǎo)致該區(qū)域綜合得分低于4分。網(wǎng)優(yōu)工程師將該區(qū)域的多用戶頁面下載速率進(jìn)行匯總分析，發(fā)現(xiàn)該區(qū)域下的某基站5個(gè)扇區(qū)的下載速率較差，具體如圖3所示：

圖3 優(yōu)化前異常指標(biāo)示意圖

對該基站忙時(shí)段176個(gè)用戶1 217次低速率異常話單進(jìn)行分析發(fā)現(xiàn)，RAN側(cè)原因的占比超過60%。針對該RAN進(jìn)行統(tǒng)計(jì)，平均下載速率僅為286kbps。通過排查，“HSDPA IUB帶寬受限”導(dǎo)致的關(guān)聯(lián)次數(shù)能夠占到85%以上。最終將該基站IUB傳輸擴(kuò)容，新增30M FE，解決IUB擁塞問題。該站點(diǎn)的5個(gè)小區(qū)的大頁面下載平均速率提升了45%，問題得到解決。實(shí)際效果如圖4所示：

圖4 優(yōu)化前后對比示意圖

7 結(jié)束語

KPI是基礎(chǔ)，用戶投訴是對網(wǎng)絡(luò)滿意度的體現(xiàn)，KQI是用戶感知的表現(xiàn)。通過基于移動寬帶客戶感知的分析與研究，建立了移動寬帶客戶感知綜合評價(jià)模型，梳理了影響用戶實(shí)際體驗(yàn)的CEI體系。結(jié)合基于網(wǎng)絡(luò)性能的評價(jià)體系，建立并完善了問題處理流程和考核評價(jià)體系，為持續(xù)提升客戶感知奠定了堅(jiān)實(shí)的基礎(chǔ)。

下一步將利用海量的網(wǎng)絡(luò)及業(yè)務(wù)數(shù)據(jù)，通過大數(shù)據(jù)分析，支撐客戶維系、客戶流失分析等精細(xì)化運(yùn)營，持續(xù)深化和鉆取用戶體驗(yàn)的數(shù)據(jù)支撐能力，為市場發(fā)展和后向業(yè)務(wù)經(jīng)營方面的探索提供手段。

[1] 中國互聯(lián)網(wǎng)信息中心（CNNIC）. 第35次中國互聯(lián)網(wǎng)發(fā)展統(tǒng)計(jì)報(bào)告[R]. 2015.

[2] ITU-T G.1011(G.RQAM). Reference guide to QoE assessment methodologies[S]. 2009.

[3] 華為技術(shù)有限公司. 中國聯(lián)通精品網(wǎng)方案匯報(bào)[R]. 2014.

[4] 中國聯(lián)合網(wǎng)絡(luò)通信集團(tuán)有限公司. 中國聯(lián)通2013年移動網(wǎng)絡(luò)優(yōu)化重點(diǎn)工作要求[R]. 2013.

[5] 中國聯(lián)合網(wǎng)絡(luò)通信集團(tuán)有限公司. 中國聯(lián)通DC-HSDPA網(wǎng)絡(luò)優(yōu)化指導(dǎo)意見[Z]. 2014.

[6] 中國聯(lián)通上海市分公司. 基于業(yè)務(wù)質(zhì)量和大數(shù)據(jù)挖掘支撐存量經(jīng)營[Z]. 2014.

[7] 中國聯(lián)合網(wǎng)絡(luò)通信集團(tuán)有限公司. 2014年運(yùn)維專業(yè)線考核指導(dǎo)意見[Z]. 2014.

[8] 華為技術(shù)有限公司. 河南聯(lián)通業(yè)務(wù)質(zhì)量KQI體系建立及應(yīng)用[R]. 2014.

[9] 中興通訊股份有限公司. 基于用戶感知的指標(biāo)體系及建模評估[R]. 2014.

[10] 3GPP2 S.R0079-0. Support for End-to-End QoS[S]. 2004.★

Research on Perception Evaluation System of Mobile Broadband Customer Based on KPI and Business Experience

LI Zhi-guo
(China Unicom Network Communications Co., Ltd., Henan Branch, Zhengzhou 450008, China)

According to carried business and customer experience in mobile Internet era, both the network quality evaluation system based on voice and the evaluation system based on customer’s business experience were analyzed, respectively. Combined with quick network localization for operators to guarantee good customer experience, it was demonstrated that both network quality and business experience indicators are indispensable in analysis and localization. A comprehensive perception evaluation system of mobile broadband customers based on both KPI and business experience was put forward which was applied in practice.

mobile broadband key performance indicator key quality indicator customer experience indicator

10.3969/j.issn.1006-1010.2015.12.019

TN929.53

A

1006-1010(2015)12-0092-05

李治國. KPI與業(yè)務(wù)體驗(yàn)相結(jié)合的移動寬帶客戶感知評價(jià)體系研究[J]. 移動通信, 2015,39(12): 92-96.

2015-04-03

責(zé)任編輯：劉妙 liumiao@mbcom.cn

李治國：工程師，碩士畢業(yè)于北京郵電大學(xué)，現(xiàn)任中國聯(lián)合網(wǎng)絡(luò)通信有限公司河南省分公司網(wǎng)絡(luò)優(yōu)化中心副總經(jīng)理，長期從事移動網(wǎng)絡(luò)優(yōu)化規(guī)劃與性能研究工作。