趙立君，種璟，董鵬，嚴(yán)國嬌

（中國移動通信有限公司研究院，北京 100053）

基于用戶體驗(yàn)的4G端到端業(yè)務(wù)與網(wǎng)絡(luò)質(zhì)量測試工具＊

趙立君，種璟，董鵬，嚴(yán)國嬌

（中國移動通信有限公司研究院，北京 100053）

中國移動自主研發(fā)了基于用戶體驗(yàn)的端到端業(yè)務(wù)與網(wǎng)絡(luò)質(zhì)量評測工具，實(shí)現(xiàn)端到端業(yè)務(wù)質(zhì)量和性能評測，實(shí)現(xiàn)現(xiàn)網(wǎng)真實(shí)“用戶感知”的可測、可量、可知?；谟脩趔w驗(yàn)的4G端到端業(yè)務(wù)與網(wǎng)絡(luò)質(zhì)量測試工具是面向業(yè)務(wù)質(zhì)量和移動互聯(lián)網(wǎng)網(wǎng)絡(luò)測試的專業(yè)工具，支持Android、iOS操作系統(tǒng)，貼近用戶的真實(shí)使用場景，實(shí)現(xiàn)真正以“用戶”為中心的端到端業(yè)務(wù)質(zhì)量評測，具備基礎(chǔ)通信、網(wǎng)絡(luò)性能、用戶體驗(yàn)、終端性能等測試能力，能夠從用戶的角度反映實(shí)際業(yè)務(wù)和網(wǎng)絡(luò)的運(yùn)行情況、性能質(zhì)量。該工具多個版本全面支撐了中國移動全網(wǎng)4G試商用城市驗(yàn)收測試、4G全網(wǎng)常態(tài)化端到端服務(wù)監(jiān)測，填補(bǔ)了業(yè)內(nèi)自有用戶體驗(yàn)評測工具的空白，受到多方好評。

移動4G；端到端；用戶體驗(yàn)；業(yè)務(wù)質(zhì)量；網(wǎng)絡(luò)質(zhì)量

在移動通信領(lǐng)域中，運(yùn)營商通常以網(wǎng)絡(luò)為中心，向終端用戶側(cè)看定義典型業(yè)務(wù)場景，向內(nèi)容側(cè)看定義互聯(lián)網(wǎng)應(yīng)用，并沒有真正意義上思考過真實(shí)的用戶體驗(yàn)。究其原因，是因?yàn)橐苿油ㄐ艠I(yè)務(wù)用戶體驗(yàn)定義是業(yè)內(nèi)公認(rèn)的難題，沒有標(biāo)準(zhǔn)，因人而異、因時而異、因地而異，更難于做到對現(xiàn)網(wǎng)真實(shí)“用戶感知”的可測、可量、可知。

隨著4G用戶的快速發(fā)展，基于用戶體驗(yàn)的業(yè)務(wù)與網(wǎng)絡(luò)質(zhì)量評測工作成為運(yùn)營商的重要工作，運(yùn)營商成立品質(zhì)部并將用戶體驗(yàn)評測納入常態(tài)化工作。傳統(tǒng)測試方法成本高、樣本覆蓋率低，無法定位響應(yīng)慢、速率低、業(yè)務(wù)中斷、脫網(wǎng)等一系列端到端的用戶感知問題，不能滿足移動互聯(lián)網(wǎng)用戶體驗(yàn)評測需求。端到端用戶體驗(yàn)評測方法及工具的缺失，導(dǎo)致運(yùn)營商對用戶體驗(yàn)評測認(rèn)識有偏差，亟需開展用戶體驗(yàn)評測方案研究、用戶體驗(yàn)的評測工具研發(fā)，先于用戶發(fā)現(xiàn)并解決問題。

聚焦用戶體驗(yàn)，貼近用戶的真實(shí)使用場景，實(shí)現(xiàn)真正以“用戶”為中心的端到端業(yè)務(wù)質(zhì)量評測，從用戶的角度反映實(shí)際業(yè)務(wù)網(wǎng)絡(luò)的運(yùn)行情況和性能質(zhì)量評測工具應(yīng)運(yùn)而生。本文提出的工具是從端到端的用戶體驗(yàn)入手，發(fā)現(xiàn)和分析影響業(yè)務(wù)質(zhì)量的問題，并進(jìn)行針對性的改進(jìn)，是提升運(yùn)營商4G用戶滿意度和市場競爭力的有效手段。

1 4G無線網(wǎng)絡(luò)質(zhì)量評測現(xiàn)狀

1.1 無線網(wǎng)絡(luò)測試指標(biāo)優(yōu)異，用戶端到端體驗(yàn)差

無線網(wǎng)絡(luò)測試側(cè)重于無線網(wǎng)絡(luò)覆蓋、干擾、空口性能（速率、時延）等測試，無線網(wǎng)絡(luò)指標(biāo)較建網(wǎng)初期已有顯著提升。但4G用戶經(jīng)常出現(xiàn)網(wǎng)頁打開慢、視頻多次卡頓或無法播放等用戶體驗(yàn)差的問題。無線網(wǎng)絡(luò)測試與真實(shí)用戶體驗(yàn)存在明顯差異，無法客觀、真實(shí)、準(zhǔn)確的反映現(xiàn)網(wǎng)用戶的端到端體驗(yàn)。

1.2 端到端用戶體驗(yàn)影響因素多，涉及部門廣

用戶體驗(yàn)是包括業(yè)務(wù)、網(wǎng)絡(luò)、服務(wù)的可用性、性能和滿意度在內(nèi)的各種因素的綜合體驗(yàn)，具體到4G網(wǎng)絡(luò)用戶體驗(yàn)是端到端的訪問體驗(yàn)，主要受到終端、無線網(wǎng)絡(luò)、核心網(wǎng)、互聯(lián)網(wǎng)出口網(wǎng)絡(luò)質(zhì)量、互聯(lián)網(wǎng)資源服務(wù)等多重因素影響，需要運(yùn)營商的網(wǎng)優(yōu)、網(wǎng)管、品質(zhì)等多部門協(xié)同優(yōu)化。

1.3 端到端用戶體驗(yàn)測試方法及工具缺失

傳統(tǒng)路測軟件、掃頻儀、信令監(jiān)測儀表等省公司常規(guī)配備工具主要用于無線網(wǎng)和核心網(wǎng)監(jiān)測分析，無法滿足端到端用戶體驗(yàn)評測需求。端到端用戶體驗(yàn)評測方法缺失，導(dǎo)致運(yùn)營商對用戶體驗(yàn)評測認(rèn)識有偏差。亟需開展用戶體驗(yàn)評測方案研究，先于用戶發(fā)現(xiàn)并解決問題。

2 基于用戶感知的4G端到端業(yè)務(wù)與網(wǎng)絡(luò)質(zhì)量測試工具

基于用戶感知的4G端到端業(yè)務(wù)與網(wǎng)絡(luò)質(zhì)量測試工具是面向業(yè)務(wù)質(zhì)量和移動互聯(lián)網(wǎng)網(wǎng)絡(luò)測試的專業(yè)工具，支持Android、iOS操作系統(tǒng)， 貼近用戶的真實(shí)使用場景，實(shí)現(xiàn)真正以“用戶”為中心的端到端業(yè)務(wù)質(zhì)量評測，具備基礎(chǔ)通信、網(wǎng)絡(luò)性能、用戶體驗(yàn)、終端性能等測試能力，能夠從用戶的角度反應(yīng)實(shí)際業(yè)務(wù)和網(wǎng)絡(luò)的運(yùn)行情況、性能質(zhì)量。

本工具具備多項(xiàng)業(yè)務(wù)與網(wǎng)絡(luò)質(zhì)量測試能力，包括基礎(chǔ)通信業(yè)務(wù)測試、數(shù)據(jù)業(yè)務(wù)測試、實(shí)時監(jiān)測、輔助定位測試等能力，支持一鍵測試、眾測自動化、遠(yuǎn)程推送等自動化測試，可應(yīng)用于4G用戶體驗(yàn)評測、終端綜合性能評估、網(wǎng)絡(luò)接入質(zhì)量、載波聚合網(wǎng)絡(luò)覆蓋評估、網(wǎng)絡(luò)加速效果評估等場景。本工具包括專業(yè)版、眾測版、增強(qiáng)版等多版本工具，并提供輕量級SDK開發(fā)包，測試終端無需root或越獄，可模擬用戶真實(shí)操作，評測4G網(wǎng)絡(luò)真實(shí)用戶體驗(yàn)，用測試數(shù)據(jù)量化用戶體驗(yàn)品質(zhì)，如圖1所示。

適用于互聯(lián)網(wǎng)“端-管-云-臺”質(zhì)量監(jiān)測/撥測SDK開發(fā)包是為互聯(lián)網(wǎng)應(yīng)用開發(fā)商提供的輕量級SDK開發(fā)包，它能夠在用戶無感知狀態(tài)下實(shí)現(xiàn)業(yè)務(wù)質(zhì)量及用戶行為等多維度的信息采集。集成方式方便快捷，支持Android、iOS操作系統(tǒng)?；ヂ?lián)應(yīng)用可通過集成SDK開發(fā)包實(shí)現(xiàn)在基礎(chǔ)信息、應(yīng)用性能、業(yè)務(wù)體驗(yàn)、用戶行為等方面的信息采集，可滿足互聯(lián)網(wǎng)應(yīng)用業(yè)務(wù)質(zhì)量評測、互聯(lián)網(wǎng)平臺的健康度、現(xiàn)網(wǎng)服務(wù)接入質(zhì)量、日常運(yùn)營數(shù)據(jù)采集等監(jiān)測需求，能夠更準(zhǔn)確評估互聯(lián)網(wǎng)應(yīng)用的業(yè)務(wù)真實(shí)用戶體驗(yàn)，量化評估互聯(lián)網(wǎng)應(yīng)用及業(yè)務(wù)平臺質(zhì)量。

圖1 4G業(yè)務(wù)質(zhì)量端到端評測流程示意圖

2.1 工具評測能力

基于商用終端的4G端到端業(yè)務(wù)與網(wǎng)絡(luò)質(zhì)量測試工具已具備基礎(chǔ)通信業(yè)務(wù)測試、數(shù)據(jù)業(yè)務(wù)、自動化測試、監(jiān)測等多項(xiàng)測試能力，如圖2所示。

基礎(chǔ)通信業(yè)務(wù)測試能力包括語音撥打、語音自動接聽、短信收發(fā)、彩信收發(fā)等測試能力。

數(shù)據(jù)業(yè)務(wù)測試能力包括網(wǎng)速帶寬、互聯(lián)網(wǎng)文件上傳/下載、網(wǎng)頁瀏覽、視頻等測試能力。

監(jiān)測能力包括無線網(wǎng)絡(luò)/Wi-Fi信號強(qiáng)度、信噪比、網(wǎng)絡(luò)制式、小區(qū)信息、切換分析等網(wǎng)絡(luò)監(jiān)測功能，PING、DNS、TRACEROUTE等輔助定位測試能力，設(shè)備信息、資源消耗等終端監(jiān)測能力。

自動化測試能力包含一鍵測試、眾測自動化、遠(yuǎn)程推送3種自動化測試方式。其中，一鍵測試指客戶端自動從云端同步下載測試用例腳本，一鍵自動執(zhí)行的自動化測試能力，生成的測試報告自動上報云端。遠(yuǎn)程推送指云端向工具推送測試任務(wù)，工具端自動接收用例并執(zhí)行，生成的測試報告自動上報云端，全程無需人工干預(yù)。

2.2 多維度關(guān)聯(lián)分析

4G端到端業(yè)務(wù)與網(wǎng)絡(luò)質(zhì)量測試工具輸出3類9項(xiàng)用戶體驗(yàn)指標(biāo)、6類17項(xiàng)輔助分析指標(biāo)。用戶體驗(yàn)指標(biāo)包括文件下載體驗(yàn)指標(biāo)、網(wǎng)頁瀏覽體驗(yàn)指標(biāo)和H5視頻點(diǎn)播體驗(yàn)指標(biāo)。輔助分析指標(biāo)包括空口測速、域名解析、路由跟蹤、連通性、下載輔助指標(biāo)、網(wǎng)絡(luò)信息監(jiān)測。可將體驗(yàn)指標(biāo)與輔助分析指標(biāo)進(jìn)行多維度關(guān)聯(lián)分析（空口質(zhì)量分析、內(nèi)容源可達(dá)質(zhì)量分析、內(nèi)容源引入調(diào)度分析內(nèi)），可分段分層定位問題，便于網(wǎng)優(yōu)、網(wǎng)管、品質(zhì)等多部門協(xié)同優(yōu)化，如表1所示。

表1 多維度關(guān)聯(lián)分析指標(biāo)

通過對以上用戶體驗(yàn)指標(biāo)、輔助指標(biāo)、內(nèi)容等方面關(guān)聯(lián)分析，發(fā)現(xiàn)和定位共性問題。如在對內(nèi)容源進(jìn)行分析時，從可達(dá)質(zhì)量和引入及調(diào)度3方面進(jìn)行關(guān)聯(lián)分析。在可達(dá)質(zhì)量分析方面，到內(nèi)容源時延、路由跳數(shù)兩維度反映內(nèi)容源可達(dá)質(zhì)量，分析到內(nèi)容源的可達(dá)質(zhì)量問題對用戶體驗(yàn)影響；在引入分析方面，針對重點(diǎn)內(nèi)容，分析內(nèi)容源引入情況；在調(diào)度分析方面，對實(shí)際調(diào)度的結(jié)果進(jìn)行分析，如已引入的內(nèi)容，在實(shí)際訪問時是否調(diào)度到異網(wǎng)。

圖2 工具評測能力

2.3 數(shù)據(jù)回傳及分析

基于用戶感知的4G端到端業(yè)務(wù)與網(wǎng)絡(luò)質(zhì)量測試工具將測試數(shù)據(jù)自動回傳至云平臺，云測試平臺對工具和用例進(jìn)行管理，從而支持測試任務(wù)的靈活定制，并完成對測試數(shù)據(jù)的過濾清洗，提供定制化數(shù)據(jù)分析報告、簡易報表、數(shù)據(jù)可視化呈現(xiàn)、原始數(shù)據(jù)提取等數(shù)據(jù)分析手段。

圖3 可視化業(yè)務(wù)質(zhì)量熱力圖呈現(xiàn)

2.4 基于智能熱力圖技術(shù)的用戶體驗(yàn)感知可視化系統(tǒng)

對全網(wǎng)各類包含地理位置信息的海量數(shù)據(jù)進(jìn)行深入分析挖掘和可視化，以熱力地圖的形式直觀呈現(xiàn)用戶行為及服務(wù)質(zhì)量分布狀況，充分揭示現(xiàn)網(wǎng)終端、網(wǎng)絡(luò)和業(yè)務(wù)特征，為網(wǎng)絡(luò)優(yōu)化、市場營銷等提供決策支撐。在終端型號、業(yè)務(wù)類型、網(wǎng)絡(luò)制式、時間趨勢等方面開展的多維數(shù)據(jù)挖掘，多圖層數(shù)據(jù)聚合，用戶行為及服務(wù)質(zhì)量動態(tài)趨勢跟蹤和對比分析，定制化質(zhì)量差點(diǎn)區(qū)域自動識別?？梢暬瘶I(yè)務(wù)質(zhì)量熱力圖呈現(xiàn)如圖3所示。

本工具運(yùn)行4年來累積采集超過3億份測試報告，以中國移動全網(wǎng)4G互聯(lián)網(wǎng)訪問時延為例，通過基于智能熱力圖技術(shù)的用戶體驗(yàn)感知可視化系統(tǒng)，從全國、省、市、區(qū)、街道等14個層級呈現(xiàn)4G網(wǎng)絡(luò)互聯(lián)網(wǎng)訪問時延情況。所有用戶業(yè)務(wù)與網(wǎng)絡(luò)測試指標(biāo)都可用熱力地圖形式直觀呈現(xiàn)，可逐級放大，顯示全國、省、市、區(qū)、街道直至建筑周圍的測試情況，并用不同顏色標(biāo)識出測試指標(biāo)好中差情況。

3 主要技術(shù)與創(chuàng)新點(diǎn)

本方案在業(yè)內(nèi)提出了新的4G核心業(yè)務(wù)評測技術(shù)體系，支持主流商用智能手機(jī)終端，提供全面業(yè)務(wù)和網(wǎng)絡(luò)性能評測能力，解決品質(zhì)大數(shù)據(jù)可視化難題需要一體化解決方案，基于大樣本數(shù)據(jù)的業(yè)務(wù)品質(zhì)分析，適用于面向全生命周期的“用戶體驗(yàn)”提升策略，如圖4所示。

（1）創(chuàng)新點(diǎn)1：嶄新的4G核心業(yè)務(wù)評測技術(shù)體系，包含業(yè)務(wù)模型、指標(biāo)定義、評價方法，測試內(nèi)容等4部分，主要特點(diǎn)是從端到端客戶體驗(yàn)出發(fā)，面向市場，實(shí)現(xiàn)對標(biāo)參照，突出重點(diǎn)，繁簡適中，做到可監(jiān)測、可量化。

（2）創(chuàng)新點(diǎn)2：支持主流商用智能手機(jī)終端，提供全面業(yè)務(wù)和網(wǎng)絡(luò)性能評測能力，已形成專業(yè)版、眾測版、增強(qiáng)版等多版本工具，支持安卓和iOS系統(tǒng)， 無需root/越獄，可模擬用戶真實(shí)操作，評測4G網(wǎng)絡(luò)真實(shí)用戶體驗(yàn)，用測試數(shù)據(jù)量化用戶體驗(yàn)質(zhì)量。

（3）創(chuàng)新點(diǎn)3：解決品質(zhì)大數(shù)據(jù)可視化難題需要一體化解決方案，傳統(tǒng)可視化方法無法有效直觀反映測試大樣本數(shù)據(jù)的多維信息，通過業(yè)務(wù)質(zhì)量測試大數(shù)據(jù)清洗、建模挖掘和分析，建立了真正貼近用戶體驗(yàn)的業(yè)務(wù)質(zhì)量可視化系統(tǒng)，形成整體覆蓋質(zhì)量、重點(diǎn)區(qū)域分析、準(zhǔn)確地點(diǎn)診斷的一體化解決方案。

（4）創(chuàng)新點(diǎn)4：基于大樣本數(shù)據(jù)的業(yè)務(wù)品質(zhì)分析，實(shí)現(xiàn)了從傳統(tǒng)樣本數(shù)據(jù)采集分析到離散大樣本數(shù)據(jù)采集分析的轉(zhuǎn)變。離散大樣本數(shù)據(jù)采集分析以真實(shí)場景、準(zhǔn)確位置為基礎(chǔ)，注重每一個樣本的價值，以及大樣本數(shù)據(jù)的挖掘。重用戶實(shí)際體驗(yàn)與樣本數(shù)據(jù)的擬合度、重基于位置的離散數(shù)據(jù)聚合計算、輕平均值、排序，具備較好的呈現(xiàn)方式。

（5） 創(chuàng)新點(diǎn)5：適用于面向全生命周期的“用戶體驗(yàn)”提升策略。通過用戶端到端評測，度量業(yè)務(wù)/網(wǎng)絡(luò)質(zhì)量、發(fā)現(xiàn)網(wǎng)絡(luò)問題，明確網(wǎng)絡(luò)端到端優(yōu)化方向，調(diào)整優(yōu)化網(wǎng)絡(luò)，提升用戶體驗(yàn)，并通過用戶端到端評測來驗(yàn)證優(yōu)化結(jié)果。

圖4 面向全生命周期的“用戶體驗(yàn)”提升策略

本工具所涉及技術(shù)方案、軟件均為中國移動通信有限公司研究院自主創(chuàng)新研發(fā)，先后申請國家發(fā)明專利7項(xiàng)，申請國家軟件著作權(quán)2項(xiàng)，中國移動通信有限公司研究院具有該成果全部自主知識產(chǎn)權(quán)。

4 結(jié)論及未來工作

本工具已廣泛應(yīng)用于中國移動全網(wǎng)4G網(wǎng)絡(luò)品質(zhì)眾測、4G網(wǎng)絡(luò)端到端服務(wù)監(jiān)測、4G網(wǎng)絡(luò)品質(zhì)常規(guī)監(jiān)測，覆蓋在全國31個省，352個地市，用戶數(shù)超過510萬，已成為業(yè)內(nèi)4G網(wǎng)絡(luò)質(zhì)量評測的重要手段。2017年本工具繼續(xù)支撐4G網(wǎng)絡(luò)質(zhì)量全國眾測、專項(xiàng)撥測和常態(tài)化撥測。

隨著全網(wǎng)4G覆蓋率持續(xù)增加，基于用戶體驗(yàn)的業(yè)務(wù)與網(wǎng)絡(luò)質(zhì)量評測工作越來越受到運(yùn)營商的重視，本工具將不斷擴(kuò)大測試范圍和能力，繼續(xù)研發(fā)更多貼近真實(shí)用戶體驗(yàn)的測試場景和測試能力，為4G網(wǎng)絡(luò)質(zhì)量提升和5G網(wǎng)絡(luò)架設(shè)保駕護(hù)航。

[1] 玉玲玲. 4G網(wǎng)絡(luò)發(fā)展的關(guān)鍵技術(shù)與發(fā)展趨向分析[J]. 科技創(chuàng)新與應(yīng)用, 2017,(18):89.

[2] 魯義軒. 從關(guān)注網(wǎng)絡(luò)轉(zhuǎn)向關(guān)注用戶體驗(yàn)4G加速下一代運(yùn)維變革[J]. 通信世界, 2014(26).

[3] 范琳琳. 4G通信時代的LTE技術(shù)發(fā)展情況探討[J]. 中國新通信, 2015(14).

[4] 王麗英. 4G時代,如何應(yīng)對測試挑戰(zhàn)[J]. 今日電子, 2014(6).

[5] 劉越.“4G”引領(lǐng)移動互聯(lián)網(wǎng)創(chuàng)新趨勢[J]. 世界電信, 2014(9).

AbstractChina Mobile researches and develops the end-to-end service and network quality evaluation tools based on user experience independently, achieving to the end-to-end service quality and performance evaluation testing. It can be tested, measured and sensed for real user experience of the commercial network. Based on user experience the 4G end-to-end service and network quality testing tools are the professional tools for service quality and mobile Internet network testing, supporting Android and iOS operating systems.The tools are close to the real use scenarios of mobile users, achieving the "user centric" end-to-end service quality evaluation testing. With the testing capabilities of basic communications, network performance,user experience, terminal performance, the tools reflect the actual service and network operation and performance quality from the view of mobile users. The multiple versions of the end-to-end service and network quality evaluation tools fully supported the acceptance test of 4G trial-commercial city, the endto-end normalization service monitoring of 4G commercial network. The tools filled in the blank of the operator’s own user experience evaluation testing tools, and received much praise.

Keywordsmobile 4G; end-to-end; user experience; service quality; network quality

The end-to-end service and network quality evaluation tools based on user experience

ZHAO Li-jun, CHONG Jing, DONG Peng, YAN Guo-jiao
(China Mobile Research Institute, Beijing 100053, China)

TN929.5

A

1008-5599（2017）10-0021-05

2017-09-18

* 中國移動集團(tuán)級一類科技創(chuàng)新成果，原成果名稱為《基于用戶體驗(yàn)的4G端到端業(yè)務(wù)與網(wǎng)絡(luò)質(zhì)量測試工具》。