黃建華 中國(guó)移動(dòng)通信集團(tuán)上海有限公司網(wǎng)絡(luò)部工程師

邵四清 北京中創(chuàng)信測(cè)信息技術(shù)有限公司監(jiān)測(cè)系統(tǒng)產(chǎn)品部工程師

中創(chuàng)信測(cè)技術(shù)專欄

上海移動(dòng)用戶滿意度評(píng)分與網(wǎng)絡(luò)質(zhì)量相關(guān)性分析系統(tǒng)介紹

黃建華 中國(guó)移動(dòng)通信集團(tuán)上海有限公司網(wǎng)絡(luò)部工程師

邵四清 北京中創(chuàng)信測(cè)信息技術(shù)有限公司監(jiān)測(cè)系統(tǒng)產(chǎn)品部工程師

編者按：為了促進(jìn)我國(guó)手機(jī)市場(chǎng)更好更快地發(fā)展，移動(dòng)集團(tuán)和第三方評(píng)估機(jī)構(gòu)有必要定期進(jìn)行手機(jī)用戶滿意度抽樣評(píng)分。由中國(guó)移動(dòng)通信集團(tuán)上海有限公司黃建華和北京中創(chuàng)信測(cè)信息技術(shù)有限公司邵四清所撰《上海移動(dòng)用戶滿意度評(píng)分與網(wǎng)絡(luò)質(zhì)量相關(guān)性分析系統(tǒng)介紹》一文通過(guò)中創(chuàng)信測(cè)信令監(jiān)測(cè)系統(tǒng)對(duì)上海用戶的滿意度評(píng)分進(jìn)行了跟蹤分析和評(píng)估，了解了上海具體用戶的真實(shí)網(wǎng)絡(luò)業(yè)務(wù)質(zhì)量指標(biāo)，可供相關(guān)網(wǎng)絡(luò)維護(hù)人員參考、借鑒。

移動(dòng)集團(tuán)和第三方評(píng)估機(jī)構(gòu)需定期進(jìn)行手機(jī)用戶滿意度抽樣評(píng)分，內(nèi)容包含網(wǎng)絡(luò)整體質(zhì)量、語(yǔ)音呼叫質(zhì)量、信息收發(fā)質(zhì)量、上網(wǎng)業(yè)務(wù)質(zhì)量等。本文基于上海移動(dòng)用戶滿意度調(diào)查抽樣用戶的評(píng)分，通過(guò)中創(chuàng)信測(cè)信令監(jiān)測(cè)系統(tǒng)對(duì)本地用戶的滿意度評(píng)分進(jìn)行跟蹤分析和評(píng)估，以了解本地具體用戶的真實(shí)網(wǎng)絡(luò)業(yè)務(wù)質(zhì)量指標(biāo)，實(shí)現(xiàn)針對(duì)指定抽樣用戶號(hào)碼進(jìn)行業(yè)務(wù)記錄詳盡質(zhì)量評(píng)估分析和對(duì)網(wǎng)絡(luò)質(zhì)量的問題定位分析。作為信令監(jiān)測(cè)系統(tǒng)數(shù)據(jù)記錄的增值應(yīng)用，本文值得維護(hù)人員學(xué)習(xí)參考。

用戶滿意度評(píng)分 信令監(jiān)測(cè)系統(tǒng) 網(wǎng)絡(luò)業(yè)務(wù)質(zhì)量 指標(biāo)相關(guān)度分析

1 用戶滿意度分析需求描述

移動(dòng)集團(tuán)和第三方評(píng)估機(jī)構(gòu)需定期進(jìn)行手機(jī)用戶滿意度抽樣評(píng)分，內(nèi)容包含網(wǎng)絡(luò)整體質(zhì)量、語(yǔ)音呼叫質(zhì)量、信息收發(fā)質(zhì)量、上網(wǎng)業(yè)務(wù)質(zhì)量等項(xiàng)?；谏虾Ｒ苿?dòng)用戶滿意度調(diào)查抽樣用戶的評(píng)分，上海移動(dòng)希望通過(guò)信令監(jiān)測(cè)系統(tǒng)對(duì)本地用戶的滿意度評(píng)分進(jìn)行跟蹤分析和評(píng)估，以了解本地具體用戶的真實(shí)網(wǎng)絡(luò)業(yè)務(wù)質(zhì)量指標(biāo)，實(shí)現(xiàn)針對(duì)指定抽樣用戶號(hào)碼進(jìn)行業(yè)務(wù)記錄詳盡質(zhì)量評(píng)估分析和對(duì)網(wǎng)絡(luò)質(zhì)量的問題定位分析。具體需求如下：

（1）根據(jù)提供的用戶滿意度調(diào)查表，對(duì)調(diào)查的分類項(xiàng)目及評(píng)分進(jìn)行跟蹤評(píng)估。調(diào)查表用戶號(hào)碼必須保密，不能對(duì)外透露任何信息，否則要承擔(dān)相應(yīng)責(zé)任。

（2）針對(duì)調(diào)查表的相關(guān)號(hào)碼提取信令監(jiān)測(cè)系統(tǒng)最近一個(gè)月涉及網(wǎng)絡(luò)覆蓋和語(yǔ)音質(zhì)量、短信/彩信、上網(wǎng)質(zhì)量的記錄，進(jìn)行用戶本地移動(dòng)軌跡和用戶業(yè)務(wù)質(zhì)量評(píng)估分析。

（3）針對(duì)用戶業(yè)務(wù)記錄進(jìn)行用戶業(yè)務(wù)質(zhì)量的時(shí)間、小區(qū)（區(qū)分住宅、辦公、地鐵、商務(wù)等）、終端類型、操作系統(tǒng)、業(yè)務(wù)類型等多維度分析，定位用戶質(zhì)量問題是終端故障、網(wǎng)絡(luò)覆蓋問題、網(wǎng)絡(luò)運(yùn)營(yíng)故障等。

2 針對(duì)用戶滿意度專項(xiàng)分析需求的專用系統(tǒng)

（1）中創(chuàng)信測(cè)在一臺(tái)服務(wù)器中安裝相應(yīng)軟件和數(shù)據(jù)庫(kù)，并完成用戶網(wǎng)絡(luò)業(yè)務(wù)質(zhì)量指標(biāo)綜合統(tǒng)計(jì)功能開發(fā)：

●用戶滿意度CS域客戶感知指標(biāo)統(tǒng)計(jì)，可以進(jìn)行多天統(tǒng)計(jì)分析，具體參見圖1；針對(duì)用戶滿意度調(diào)查評(píng)分表增加中高端標(biāo)志等維度關(guān)聯(lián)統(tǒng)計(jì)，如圖2所示。

●用戶滿意度PS域客戶感知指標(biāo)統(tǒng)計(jì)，可以進(jìn)行多天、小區(qū)、終端類型等統(tǒng)計(jì)分析，具體參見圖3；針對(duì)用戶滿意度調(diào)查評(píng)分表增加手機(jī)上網(wǎng)整體質(zhì)量評(píng)分等維度關(guān)聯(lián)統(tǒng)計(jì)，具體指標(biāo)如圖4所示。

●CSFB業(yè)務(wù)專項(xiàng)統(tǒng)計(jì)分析模塊如圖5所示。

（2）由于上海移動(dòng)用戶數(shù)據(jù)涉及2G/3G/4G業(yè)務(wù)，因此涉及的數(shù)據(jù)庫(kù)表特別多，按滿意度跟蹤用戶表過(guò)濾提取一天的用戶數(shù)據(jù)，在系統(tǒng)負(fù)荷較低的情況下，至少需要4h。針對(duì)滿意度分析用戶的數(shù)據(jù)倒表程序，在夜間定時(shí)啟動(dòng)。

圖1 用戶滿意度CS域客戶感知指標(biāo)統(tǒng)計(jì)功能

3 系統(tǒng)分析指標(biāo)改進(jìn)完善

3.1 用戶滿意度網(wǎng)絡(luò)質(zhì)量分析指標(biāo)說(shuō)明

在系統(tǒng)中增加了“主叫時(shí)被叫號(hào)碼重復(fù)次數(shù)”和“被叫時(shí)主叫號(hào)碼重復(fù)次數(shù)”等指標(biāo)，以便輔助分析用戶撥打和接聽電話的感受?？傮w分析指標(biāo)參見表1（含相關(guān)算法的說(shuō)明）。

對(duì)于已經(jīng)收集的數(shù)據(jù)再次重新分析生成每個(gè)用戶的按天統(tǒng)計(jì)表。

KPI指標(biāo)算法說(shuō)明如下：

位置更新成功率=（位置成功次數(shù)/位置更新總次數(shù)）%

位置更新失敗率=（位置失敗次數(shù)/位置更新總次數(shù)）%

總掉話次數(shù)=主叫掉話次數(shù)+被叫掉話次數(shù)

總掉話率=總掉話次數(shù)/（主叫應(yīng)答次數(shù)+被叫尋呼次數(shù)-尋呼失敗次數(shù)）

尋呼成功率=（用戶被叫尋呼總次數(shù)-尋呼失敗次數(shù)）/用戶被叫尋呼總次數(shù)

SMS總失敗次數(shù)=MOSM次數(shù)-MOSM成功次數(shù)+（MTSM次數(shù)-MTSM成功次數(shù)）

圖2 用戶滿意度CS域客戶感知指標(biāo)

SMS總失敗率=（總失敗次數(shù)/（MTSM次數(shù)+ MOSM次數(shù)））%

后續(xù)對(duì)相關(guān)指標(biāo)與用戶滿意度評(píng)分進(jìn)行相關(guān)性分析。

圖3 用戶滿意度PS域客戶感知指標(biāo)統(tǒng)計(jì)功能

圖4 用戶滿意度PS域客戶感知指標(biāo)

3.2 分析周期及樣本量說(shuō)明

在2014年12月10日，現(xiàn)場(chǎng)分析、統(tǒng)計(jì)2014年11月24日—12月7日CS和PS域兩周數(shù)據(jù)，按用戶的IMSI號(hào)碼合并統(tǒng)計(jì)項(xiàng)。對(duì)于評(píng)分為空的用戶，進(jìn)行去除處理。因此，獲得的有效樣本數(shù)據(jù)量為：CS域790用戶；PS域上網(wǎng)分析用戶612個(gè)。

對(duì)于每個(gè)IMSI再區(qū)分中高端標(biāo)志、KPI指標(biāo)與網(wǎng)絡(luò)整體質(zhì)量評(píng)分進(jìn)行相關(guān)性分析。經(jīng)過(guò)單項(xiàng)指標(biāo)分析后，再?zèng)Q定增加平均值相關(guān)性分析，因?yàn)橛脩魡雾?xiàng)指標(biāo)與評(píng)分相關(guān)性弱。下面是詳細(xì)的指標(biāo)和用戶評(píng)分相關(guān)性分析圖表說(shuō)明。

圖5 用戶滿意度CSDB業(yè)務(wù)專項(xiàng)指標(biāo)

表1 用戶滿意度網(wǎng)絡(luò)質(zhì)量分析維度和指標(biāo)

4 用戶滿意度CS域業(yè)務(wù)記錄相關(guān)性分析

4.1 按指標(biāo)均值相關(guān)性分析

針對(duì)不同評(píng)分值，計(jì)算獲取相關(guān)用戶的多項(xiàng)指標(biāo)平均值（見表2）。

（1）從圖6可以看出，用戶評(píng)分與尋呼成功率、位置更新成功率、SMS失敗率指標(biāo)之間沒有強(qiáng)相關(guān)性指示。

表2 滿意度用戶質(zhì)量CS域業(yè)務(wù)質(zhì)量指標(biāo)平均值

圖6 網(wǎng)絡(luò)整體質(zhì)量與業(yè)務(wù)指標(biāo)的相關(guān)性分析

（2）從圖7、8可以看出，用戶評(píng)分與平均掉話次數(shù)、掉話率之間有一定的相關(guān)性指示。即評(píng)分高的用戶平均掉話次數(shù)低，與掉話率也有弱相關(guān)性。

（3）從圖9可以看出，用戶評(píng)分與尋呼失敗次數(shù)、位置更新失敗次數(shù)、SMS失敗次數(shù)、重復(fù)呼叫次數(shù)等指標(biāo)之間沒有強(qiáng)相關(guān)性指示。

4.2 按單項(xiàng)指標(biāo)相關(guān)性分析

針對(duì)所有有效評(píng)分用戶的單項(xiàng)指標(biāo)與其所給的評(píng)分值進(jìn)行全部排序及關(guān)聯(lián)分析，可見下面各個(gè)指標(biāo)的相關(guān)性分析圖示：

（1）用戶評(píng)分與位置更新失敗次數(shù)沒有明顯的相關(guān)性。即使評(píng)分高的用戶也存在較高的失敗次數(shù)，而且非中高端用戶即使失敗次數(shù)高，也有評(píng)分高的用戶存在。位置更新成功率和失敗率也類似，具體參見圖10、11所示，以區(qū)分中高端用戶和非中高端用戶。

（2）用戶評(píng)分與總掉話次數(shù)沒有強(qiáng)的相關(guān)性。即使評(píng)分高的用戶也都存在較高的掉話次數(shù)，也有掉話次數(shù)目前是0的用戶，而且非中高端用戶即使掉話次數(shù)高，也有評(píng)分高的用戶存在，只是比例有所不同，具體可參見平均值分析說(shuō)明，掉話率也類似。

圖7 網(wǎng)路整體質(zhì)量與總掉話次數(shù)指標(biāo)的相關(guān)性分析

圖8 網(wǎng)路整體質(zhì)量與總掉話率指標(biāo)的相關(guān)性分析

圖9 網(wǎng)路整體質(zhì)量與業(yè)務(wù)次數(shù)指標(biāo)的相關(guān)性分析

圖10 中高端用戶網(wǎng)路整體質(zhì)量與位置更新失敗次數(shù)指標(biāo)的相關(guān)性分析

（3）用戶評(píng)分與尋呼成功率和尋呼成功次數(shù)沒有強(qiáng)的相關(guān)性。即使評(píng)分低的用戶也都存在較高的成功率和成功次數(shù)，指示評(píng)分高的用戶尋呼成功率較高，即所占比例較高。另外，8～10高分用戶的100%尋呼成功率占比高或人數(shù)多。

（4）用戶評(píng)分與主叫次數(shù)沒有強(qiáng)的相關(guān)性。用戶評(píng)分高8～10且主叫次數(shù)高的所占比例明顯高，也即高話務(wù)用戶對(duì)于網(wǎng)絡(luò)質(zhì)量的整體評(píng)分都是高的。

（5）用戶評(píng)分與短信發(fā)送和接收失敗次數(shù)、總失敗率沒有強(qiáng)的相關(guān)性，但對(duì)于低評(píng)分用戶確實(shí)存在高失敗次數(shù)，無(wú)論是中高端還是非中高端。

5 用戶滿意度PS域上網(wǎng)業(yè)務(wù)記錄相關(guān)性分析

5.1 按PS業(yè)務(wù)指標(biāo)均值相關(guān)性分析

針對(duì)PS域相關(guān)全部用戶，按照網(wǎng)絡(luò)整體質(zhì)量評(píng)分取平均值，然后進(jìn)行各項(xiàng)指標(biāo)的相關(guān)性分析（見表3）。

用戶網(wǎng)絡(luò)質(zhì)量整體評(píng)分與相關(guān)成功率、響應(yīng)時(shí)延、下載速率等指標(biāo)沒有相關(guān)性；與HTTP下載平均流量有弱相關(guān)性，即流量高的用戶對(duì)于網(wǎng)絡(luò)質(zhì)量評(píng)分高。

圖11 非中高端用戶網(wǎng)路整體質(zhì)量與位置更新失敗次數(shù)指標(biāo)的相關(guān)性分析

5.2 按PS域單項(xiàng)指標(biāo)用戶相關(guān)性分析

通過(guò)對(duì)PS域每個(gè)用戶的上網(wǎng)業(yè)務(wù)質(zhì)量指標(biāo)進(jìn)行排序，然后按照網(wǎng)絡(luò)整體質(zhì)量評(píng)分進(jìn)行有效用戶的相關(guān)分析，初步分析與各項(xiàng)指標(biāo)的相關(guān)性較弱。

6 用戶滿意度評(píng)分與網(wǎng)絡(luò)質(zhì)量相關(guān)性分析初步結(jié)論

（1）經(jīng)過(guò)多個(gè)指標(biāo)相關(guān)性分析，用戶整體網(wǎng)絡(luò)質(zhì)量評(píng)分與網(wǎng)絡(luò)業(yè)務(wù)質(zhì)量多項(xiàng)指標(biāo)相關(guān)性程度較低。

（2）用戶整體網(wǎng)絡(luò)質(zhì)量評(píng)分與用戶的平均掉話次數(shù)有弱相關(guān)性。可針對(duì)掉話小區(qū)類型居住區(qū)、地鐵、商務(wù)區(qū)等進(jìn)行用戶歸類跟蹤分析。

（3）用戶整體網(wǎng)絡(luò)質(zhì)量評(píng)分與用戶的總話務(wù)量趨勢(shì)基本一致，即高話務(wù)量用戶的評(píng)分相對(duì)較高，無(wú)論中高端還是非中高端。另外，PS業(yè)務(wù)平均流量高的用戶滿意度評(píng)分相對(duì)較高。

（4）網(wǎng)絡(luò)質(zhì)量滿意度評(píng)分是用戶對(duì)網(wǎng)絡(luò)質(zhì)量一個(gè)相對(duì)比較主觀的評(píng)價(jià)，切入點(diǎn)除從網(wǎng)絡(luò)質(zhì)量入手外，還可從用戶心理、外部因素（例如運(yùn)營(yíng)商資費(fèi)、服務(wù)）等多方面維度進(jìn)行進(jìn)一步深入研究。

表3 滿意度用戶質(zhì)量PS域上網(wǎng)業(yè)務(wù)質(zhì)量指標(biāo)平均值