黃毅華 孫柳益 盧洪濤 魏垚

【摘 要】移動(dòng)通信服務(wù)的競爭日益激烈，用戶體驗(yàn)的提升是留住用戶的重要手段，為了能夠有效地評價(jià)用戶實(shí)際感受，通過對無線參數(shù)及核心網(wǎng)信令數(shù)據(jù)進(jìn)行研究，提出了可實(shí)施的評價(jià)算法，通過該算法對用戶體驗(yàn)進(jìn)行量化評分，客觀地表達(dá)了用戶的真實(shí)感受。

【關(guān)鍵詞】用戶感知；感知體系；用戶體驗(yàn)質(zhì)量

1 引言

隨著4G的普及，用戶對無線通信網(wǎng)絡(luò)的依賴程度不斷加深。因此，用戶的網(wǎng)絡(luò)體驗(yàn)直接影響用戶對運(yùn)營商網(wǎng)絡(luò)的選擇。

以用戶體驗(yàn)提升為目標(biāo)來優(yōu)化網(wǎng)絡(luò)，逐漸替代現(xiàn)有的通過路測進(jìn)行網(wǎng)絡(luò)優(yōu)化，從而達(dá)到運(yùn)營商品牌忠誠度提高的目的，推動(dòng)用戶流量使用量的提升。

2 用戶感知體系現(xiàn)狀

運(yùn)營商曾經(jīng)在3G時(shí)代使用端到端優(yōu)化來改善用戶體驗(yàn)，已經(jīng)設(shè)計(jì)出一套完整的用戶感知打分體系，該體系主要是通過監(jiān)控網(wǎng)絡(luò)質(zhì)量，通過綜合打分，來判斷用戶對無線網(wǎng)絡(luò)的感知情況。各廠家各制式的感知體系在細(xì)節(jié)上有些不同，但是總體的思路基本相同。大多都是采用4層模型分解（如圖1所示），提出QoE（Quality of Experience，用戶體驗(yàn)）目標(biāo)，分解到KQI（Key Quality Indication，關(guān)鍵質(zhì)量指標(biāo)）及KPI（Key Performance Indication，關(guān)鍵業(yè)績指標(biāo)），再到具體的指標(biāo)，然后指定各指標(biāo)權(quán)重，最后對網(wǎng)絡(luò)整體的用戶感知狀況進(jìn)行打分。

但是，隨著網(wǎng)絡(luò)從3G升級到4G，用戶使用手機(jī)的需求和習(xí)慣產(chǎn)生了很大的變化，影響網(wǎng)絡(luò)的因素也有很大的變化，不同的App、不同的手機(jī)、不同的網(wǎng)站都可能對用戶體驗(yàn)產(chǎn)生重大影響。而用戶對網(wǎng)頁打開時(shí)延的忍受力，聊天應(yīng)用的順利與否，視頻的卡頓等也都成為用戶感知的主要內(nèi)容。原有的感知體系也需要跟著用戶的需求變化而發(fā)生變化。因此，需要重新制定一份滿足現(xiàn)狀的評分體系來評估LTE的用戶感知。

3 用戶感知體系搭建

3.1 客戶體驗(yàn)管理體系概念

用戶投訴往往是用戶對網(wǎng)絡(luò)不能忍受的情況下才提出來的，如果能夠在投訴前就發(fā)現(xiàn)用戶問題，及時(shí)地跟進(jìn)解決，那就會(huì)在很大程度上提升用戶體驗(yàn)。CEM（Customer Experience Management，客戶體驗(yàn)管理）就是針對這一體驗(yàn)管理而提出的。CEM體系通過分析用戶對各種業(yè)務(wù)的使用頻度、網(wǎng)絡(luò)和服務(wù)質(zhì)量、對KQIs進(jìn)行加權(quán)匯總，建立起盡可能貼近用戶感受的CEM指標(biāo)體系，進(jìn)行測量、計(jì)算、監(jiān)控和分析利用，及時(shí)發(fā)現(xiàn)和定位影響用戶感知的問題，并通過各種保障措施確保用戶感知。同時(shí)通過分析相關(guān)數(shù)據(jù)，對用戶感知進(jìn)行營銷，使用戶感知保障成為可持續(xù)的經(jīng)營活動(dòng)。

針對CEM的度量，給出了一個(gè)CEI（Customer Experience Indicators，客戶管理指標(biāo)）指標(biāo)。CEI指標(biāo)的定義原則如下所示：

（1）QoE指標(biāo)分為子項(xiàng)感知度和整體感知度。

（2）子項(xiàng)感知度的定義與用戶對業(yè)務(wù)某一方面的應(yīng)用感受相一致，用戶對該業(yè)務(wù)的應(yīng)用感受有幾個(gè)方面，則定義幾個(gè)相應(yīng)的子項(xiàng)感知度指標(biāo)。

（3）每個(gè)子項(xiàng)感知度指標(biāo)都有與之相對應(yīng)的一個(gè)或一組KQI指標(biāo)。這個(gè)或這組KQI指標(biāo)描述的是某一業(yè)務(wù)應(yīng)用在某一方面的性能，而對應(yīng)的子項(xiàng)感知度則是用戶對這一方面性能的主觀感受。

（4）整體感知度是用戶對某一業(yè)務(wù)應(yīng)用的綜合體驗(yàn)質(zhì)量，是該業(yè)務(wù)對應(yīng)的所有子項(xiàng)感知度的綜合反映，為單獨(dú)的一個(gè)指標(biāo)，包括用戶行為和終端分析。

（5）CEI的指標(biāo)從網(wǎng)絡(luò)側(cè)多個(gè)接口獲取數(shù)據(jù)，從端到端的角度來分析用戶感知。因此，其度量的指標(biāo)能夠較為準(zhǔn)確地反映用戶的實(shí)際情況，如圖2所示。

CEI是基于用戶感知的總體評價(jià)，分為三層，第一層是CEI度量的分值，第二層是KQI指標(biāo)參數(shù)，第三層是KPI指標(biāo)參數(shù)，如圖3所示。而KQI又可以由分布在不同網(wǎng)絡(luò)側(cè)的KPI參數(shù)來監(jiān)控得到。雖然最后都是分解到KPI指標(biāo)，但是此KPI和傳統(tǒng)的KPI還是有很大區(qū)別。其具體區(qū)別如下：

（1）物理鏈路

傳統(tǒng)KPI關(guān)注運(yùn)營商的網(wǎng)絡(luò)/網(wǎng)元；KQI關(guān)注業(yè)務(wù)應(yīng)用的端到端網(wǎng)絡(luò)性能。

（2）業(yè)務(wù)類別

傳統(tǒng)KPI無法區(qū)分業(yè)務(wù)應(yīng)用類別；KQI體系重點(diǎn)考察具體業(yè)務(wù)應(yīng)用性能。

（3）協(xié)議層

底層協(xié)議層性能無法完整反映上層協(xié)議層性能。

3.2 用戶感知指標(biāo)體系指標(biāo)的選取

為了能夠量化用戶感知，需要給出一定的量化指標(biāo)。因此要從客觀的角度去找到一些影響用戶感知的因素，并對其進(jìn)行量化，方便客觀地評價(jià)感知情況。

影響感知的因素有很多，包括：

（1）網(wǎng)絡(luò)因素：由于網(wǎng)絡(luò)通信問題，例如通信質(zhì)量差、速率慢等因素導(dǎo)致用戶體驗(yàn)差。

（2）手機(jī)因素：由于手機(jī)本身問題，例如出現(xiàn)卡死，手機(jī)本身CPU處理較慢等因素導(dǎo)致用戶體驗(yàn)差。

（3）應(yīng)用因素：手機(jī)App也是影響用戶體驗(yàn)的一個(gè)重要因素，App本身的界面，操作等因素是否合理對用戶體驗(yàn)的影響也很大。

（4）其他因素：例如品牌、價(jià)格、客服等其他因素的影響。

通過用戶感知發(fā)現(xiàn)網(wǎng)絡(luò)所存在的問題，通過提升網(wǎng)絡(luò)質(zhì)量來提升用戶感知。

通過大量的用戶投訴意見分析，發(fā)現(xiàn)無線網(wǎng)絡(luò)覆蓋是用戶的基礎(chǔ)需求，網(wǎng)絡(luò)接入性和保持性是保障網(wǎng)絡(luò)的基本條件，用戶感知的最主要部分是用戶對業(yè)務(wù)的體驗(yàn)。而且對于業(yè)務(wù)體驗(yàn)，可以通過網(wǎng)絡(luò)側(cè)的一些監(jiān)控參數(shù)來實(shí)現(xiàn)。通過專家法給出了三個(gè)方面的權(quán)重，無線覆蓋質(zhì)量30%，網(wǎng)絡(luò)接入性和保持性10%，業(yè)務(wù)體驗(yàn)60%。

（1）無線質(zhì)量覆蓋：用戶可以在手機(jī)界面上直接看到信號強(qiáng)度，因此，一旦信號強(qiáng)度顯示較差，就會(huì)影響運(yùn)營商品牌在用戶心中的得分。因此，選取RSRP直接反應(yīng)了用戶對網(wǎng)絡(luò)的主觀感受。如果手機(jī)信號回落到3G或2G，數(shù)據(jù)業(yè)務(wù)在用戶心中的體驗(yàn)就會(huì)明顯降低。因此，專家討論后給了一半的權(quán)重。

（2）網(wǎng)絡(luò)接入性和保持性：通過隨機(jī)對200位用戶的調(diào)研發(fā)現(xiàn)：電話網(wǎng)絡(luò)是否能接通，需要多久接通，是否經(jīng)常掉話，這三個(gè)方面在用戶主觀感受中排在前三位。根據(jù)這個(gè)調(diào)研結(jié)果，建議選取RRC連接成功率、RRC連接時(shí)延、掉話率三個(gè)指標(biāo)作為感知指標(biāo)。通過專家法給出了三個(gè)指標(biāo)的權(quán)重，RRC連接成功率30%，RRC連接時(shí)延40%，掉話率30%。

（3）業(yè)務(wù)體驗(yàn)：通過用戶調(diào)研排名，選取了占用戶時(shí)間較多的即時(shí)通訊、視頻、應(yīng)用下載、其他下載。由于不同的用戶偏好不同，因此，采用了根據(jù)時(shí)間來確定動(dòng)態(tài)權(quán)重的方式來設(shè)定各個(gè)應(yīng)用的權(quán)重?；诟鱾€(gè)應(yīng)用體驗(yàn)，也通過專家法選取了KPI指標(biāo)，并確定其權(quán)重，具體如圖4所示。

3.3 得分計(jì)算方法

對用戶的打分，分為單用戶得分、單小區(qū)感知得分、區(qū)域總體感知得分。滿分為100分，根據(jù)失敗情況，進(jìn)行單項(xiàng)扣分，扣完后加權(quán)計(jì)算得到感知的最后得分。

用戶打分可以根據(jù)公式（1）來確定最后的得分。根據(jù)異常次數(shù)來扣分，每次扣分步長是根據(jù)預(yù)定的期望分?jǐn)?shù)和異常事件次數(shù)代入公式（1）來進(jìn)行計(jì)算的。單用戶評分是要把用戶數(shù)量改成一個(gè)，設(shè)定合適的期望分?jǐn)?shù)和一定時(shí)間的異?？倲?shù)。期望分?jǐn)?shù)值和期望每日異常次數(shù)為人工經(jīng)驗(yàn)值?？鄯植介L計(jì)算規(guī)則如表1所示：

表1 扣分步長計(jì)算規(guī)則

指標(biāo) 評分規(guī)則

成功類 滿分100分，失敗一次扣一個(gè)步長STEP，扣完為止

時(shí)延類 滿分100分，超過門限一次扣一個(gè)步長STEP，扣完為止

速率類 滿分100分，低于門限一次扣一個(gè)步長STEP，扣完為止

（1）

其中，STEP表示步長，SubscriberNo表示用戶數(shù)，Exceptation表示用戶評分期望值，Abnormal表示異常話單次數(shù)。

（1）單用戶打分計(jì)算說明

1）一般用戶得分

單指標(biāo)得分計(jì)算（扣分方式）=100-每日實(shí)際異常次數(shù)×扣分步長；扣分步長=（100-期望分?jǐn)?shù)值）/單用戶期望每日異常次數(shù) （2）

其中，期望分?jǐn)?shù)值和期望每日異常次數(shù)為經(jīng)驗(yàn)值。

2）異常用戶得分

針對一些特定用戶，異常次數(shù)較少，但是成功率特別低。例如，掉話三次，但是一共發(fā)生4次電話。針對這樣的用戶引入了按成功率計(jì)算得分的方式。其計(jì)算公式如下：

單指標(biāo)得分計(jì)算（成功率）=100×（總次數(shù)-異常次數(shù)）/總次數(shù) （3）

單指標(biāo)實(shí)際最后得分：Min[扣分方式得分，成功率得分] （4）

3）最后總分

根據(jù)單指標(biāo)加權(quán)匯總得分。

（2）小區(qū)用戶感知打分計(jì)算說明

將小區(qū)當(dāng)做一個(gè)用戶，打分方式參考單用戶打分。

（3）區(qū)域感知打分計(jì)算

區(qū)域感知打分是將區(qū)域內(nèi)的各小區(qū)的感知打分進(jìn)行平均處理。

3.4 實(shí)際打分案例

從廣東電信某地區(qū)獲取某一用戶得分案例。內(nèi)容說明如下。

（1）項(xiàng)目：根據(jù)指標(biāo)體系獲取可直接打分項(xiàng)目。

（2）得分：100-（問題次數(shù)×扣分步長）。

（3）問題次數(shù)：問題發(fā)生次數(shù)是該用戶實(shí)際的用戶問題發(fā)生次數(shù)。得到上述數(shù)據(jù)后，得到如表2所示的計(jì)算表格。

（4）扣分步長：根據(jù)“扣分步長=（100-期望分?jǐn)?shù)值）/單用戶期望每日異常次數(shù)”計(jì)算方法得出扣分步長。

（5）期望每日異常次數(shù)：該地區(qū)期望每日異常次數(shù)得分由該地區(qū)的日常統(tǒng)計(jì)得出。根據(jù)經(jīng)驗(yàn)值給定80分時(shí)對應(yīng)的每日異常次數(shù)。

得到每項(xiàng)的得分后，計(jì)算加權(quán)分?jǐn)?shù)。其中業(yè)務(wù)體驗(yàn)的二級權(quán)重根據(jù)用戶使用時(shí)間來確定比例。通過加權(quán)計(jì)算得到最后的總分為86.7分，如表3所示。

4 應(yīng)用效果分析

4.1 用戶得分情況分析

用戶感知體系設(shè)計(jì)完成之后，在某地市進(jìn)行應(yīng)用。該地市電信用戶總數(shù)543 956人，期望值取80分。期望異常數(shù)根據(jù)各指標(biāo)不同按照人工經(jīng)驗(yàn)值給出。

圖5是2017年2月某地市的得分情況，從數(shù)據(jù)上看，80分以上人數(shù)占總數(shù)的68%，大部分用戶感知符合此次評估的預(yù)期。但是仍存在很多感知較差的用戶。例如低于20分的，可以認(rèn)為這部分用戶感知極差，可能會(huì)產(chǎn)生投訴或離網(wǎng)，需要進(jìn)行主動(dòng)關(guān)懷。

4.2 小區(qū)得分情況分析

通過查看小區(qū)的打分，發(fā)現(xiàn)問題小區(qū)。選取某一感知較差小區(qū)，該小區(qū)得分為67分。

查看其第一級子項(xiàng)得分，發(fā)現(xiàn)覆蓋和業(yè)務(wù)得分較低，體驗(yàn)較差，初步判斷是由于覆蓋問題導(dǎo)致的業(yè)務(wù)體驗(yàn)差。詳細(xì)得分如表4所示：

一級子項(xiàng)雷達(dá)圖如圖6所示：

進(jìn)一步查看無線覆蓋質(zhì)量下的二級子項(xiàng)得分，RSRP得分只有52分，4G覆蓋較差，且3G連接也不是非常好，可能會(huì)因流量速率較差，導(dǎo)致用戶體驗(yàn)差。二級子項(xiàng)得分情況（天線覆蓋）如表5所示：

查看業(yè)務(wù)體驗(yàn)二級子項(xiàng)，發(fā)現(xiàn)視頻、應(yīng)用下載和其他下載得分明顯偏低，說明在需要高速下載相關(guān)的應(yīng)用都存在較差體驗(yàn)，這個(gè)符合我們之前的判斷。二級子項(xiàng)得分情況（業(yè)務(wù)體驗(yàn)）如表6所示。

二級子項(xiàng)（業(yè)務(wù)體驗(yàn)）雷達(dá)圖如圖7所示。

通過此套體系評估體系，可以認(rèn)識(shí)到該小區(qū)覆蓋的用戶感知情況，初步判斷小區(qū)存在問題的原因。通過該打分體系對所有小區(qū)打分后，可以針對感知得分較差的小區(qū)進(jìn)行專項(xiàng)優(yōu)化，以提升用戶感知。

4.3 與實(shí)際投訴用戶得分進(jìn)行對比分析

選取一些實(shí)際投訴用戶，通過查看他們的得分情況以評判投訴用戶的情況?？傮w來看投訴用戶的部分時(shí)間得分較低。下面選取了5種投訴用戶的情況：

（1）有信號無法上網(wǎng)投訴。當(dāng)月最差日得分：22.5分。

（2）語音投訴。當(dāng)月最差日得分：72.7分。

（3）無信號投訴。當(dāng)月最差日得分：37分。

（4）頻繁掉線投訴。當(dāng)月最差日得分：52分。

（5）網(wǎng)速慢投訴。當(dāng)月最差日得分：54分。

從上述得分來看，除了語音投訴用戶得分較高外，其他用戶得分都相對較低。由于系統(tǒng)中不對2G、3G的參數(shù)進(jìn)行感知評分，因此語音問題沒能夠反應(yīng)在感知得分中，符合系統(tǒng)預(yù)期的設(shè)計(jì)。

5 結(jié)束語

用戶感知評估系統(tǒng)能夠從一個(gè)簡單的得分就看出用戶感知的好壞，將復(fù)雜的網(wǎng)絡(luò)優(yōu)化簡單化，通過對用戶大數(shù)據(jù)的分析，將更精準(zhǔn)地把脈網(wǎng)絡(luò)。

隨著感知系統(tǒng)的逐漸成熟，用大數(shù)據(jù)進(jìn)行問題分析的能力也要進(jìn)一步加入。

（1）問題點(diǎn)細(xì)化。感知評分需要根據(jù)不同場景進(jìn)行細(xì)化，比如忙時(shí)場景，會(huì)展場景，校園場景等多個(gè)維度場景來區(qū)分評分，以便更有效地發(fā)現(xiàn)問題。

（2）自動(dòng)發(fā)現(xiàn)問題。通過信令分析，對得分低的小區(qū)問題自動(dòng)定界定位。自動(dòng)給出問題的經(jīng)驗(yàn)方案供網(wǎng)優(yōu)人員參考。

（3）人工智能網(wǎng)優(yōu)。再到后期通過大數(shù)據(jù)自動(dòng)學(xué)習(xí)，可以讓系統(tǒng)自動(dòng)跟蹤用戶習(xí)慣，調(diào)整系統(tǒng)評估參數(shù)，發(fā)現(xiàn)異常用戶，實(shí)現(xiàn)網(wǎng)優(yōu)的人工智能化。

參考文獻(xiàn)：

[1] 3GPP TS 36.300 V 9.9.0. Evolved Universal Terrestrial Radio Access （E-UTRA） and Evolved Universal Terrestrial Radio Access Network （E-UTRAN）； Overall description （Release 9） [S]. 2011.

[2] 3GPP TS R0079-0 V 1.0. Support for end-to-end QoS[S]. 2004.

[3] 趙訓(xùn)威，林輝，張明，等. 3GPP長期演進(jìn)（LTE）系統(tǒng)架構(gòu)與技術(shù)規(guī)范[M]. 北京： 人民郵電出版社， 2010.

[4] 楊燕. 移動(dòng)業(yè)務(wù)QoE量化指標(biāo)體系的構(gòu)建與應(yīng)用[J]. 電訊技術(shù)， 2010，50（12）： 101-106.

[5] 金渝，李校林，李雪松. 用戶體驗(yàn)質(zhì)量評估模型及KQI權(quán)重計(jì)算方法[J]. 計(jì)算機(jī)工程， 2013（2）： 311-316.

[6] 羅仕鑒，朱上上. 用戶體驗(yàn)與產(chǎn)品創(chuàng)新設(shè)計(jì)[M]. 北京： 機(jī)械工業(yè)出版社， 2010.

[7] Mike Kuniavsky. 用戶體驗(yàn)面面觀――方法、工具與實(shí)踐[M]. 北京： 清華大學(xué)出版社， 2010.

[8] Jeff Johnson. 認(rèn)知與設(shè)計(jì)——理解UI設(shè)計(jì)準(zhǔn)則[M]. 北京： 人民郵電出版社， 2011.

[9] 壽元泉. LTE輕松進(jìn)階[M]. 北京： 電子工業(yè)出版社， 2012.

[10] 盛璟，劉洋，許國平. LTE無線網(wǎng)絡(luò)優(yōu)化的考量[J]. 郵電設(shè)計(jì)技術(shù)， 2014（12）： 1-5.