蔡娟

摘要：伴隨著大數(shù)據(jù)時代的到來，數(shù)據(jù)已然成為企業(yè)乃至國家的戰(zhàn)略性資產(chǎn)。針對大數(shù)據(jù)技術(shù)開展研究，既順應(yīng)了時代的潮流，也是各大運營商的社會責任。大數(shù)據(jù)在現(xiàn)實生活中的運用，是運營商在發(fā)展業(yè)務(wù)、推廣市場的基礎(chǔ)，更能體現(xiàn)企業(yè)的綜合實力。如何將海量的數(shù)據(jù)進行快速且有效的處理，是當前運營商面臨的關(guān)鍵問題。文章主要介紹了大數(shù)據(jù)技術(shù)的現(xiàn)狀，通過對大數(shù)據(jù)技術(shù)優(yōu)勢與不足的分析，為運營商在大數(shù)據(jù)技術(shù)方面的應(yīng)用提供參考建議。

關(guān)鍵詞：運營商；大數(shù)據(jù)技術(shù)；數(shù)據(jù)處理；網(wǎng)絡(luò)優(yōu)化

中圖分類號：TP311.13? 文獻標志碼：A

0 引言

隨著互聯(lián)網(wǎng)的快速發(fā)展，大數(shù)據(jù)已經(jīng)成為運營商發(fā)展新業(yè)務(wù)的一大挑戰(zhàn)。越來越多的行業(yè)逐漸被大數(shù)據(jù)滲透，如醫(yī)療行業(yè)的線上問診、教育行業(yè)的線上課堂、旅游行業(yè)的云服務(wù)等，運營商可以利用大數(shù)據(jù)開展研究分析。一般來說，在傳統(tǒng)的數(shù)據(jù)軟件中，數(shù)據(jù)大小、復(fù)雜性往往無法計算，運營商用合理的成本，在可接受的時間內(nèi)處理數(shù)據(jù)集。伴隨著網(wǎng)絡(luò)快速發(fā)展，大數(shù)據(jù)技術(shù)在互聯(lián)網(wǎng)中應(yīng)運而生。

1 大數(shù)據(jù)技術(shù)的優(yōu)勢與不足

1.1 大數(shù)據(jù)技術(shù)的優(yōu)勢特征

大數(shù)據(jù)技術(shù)在互聯(lián)網(wǎng)領(lǐng)域的廣泛使用，大大提高了企業(yè)的效率。移動運營商在大數(shù)據(jù)技術(shù)應(yīng)用上的優(yōu)勢更加明顯，具體表現(xiàn)在以下方面：

（1）龐大的用戶數(shù)量。隨著通信技術(shù)的發(fā)展，消費群體的需求也越來越大。截至目前，三大運營商的用戶使用網(wǎng)絡(luò)業(yè)務(wù)的數(shù)量已達13億戶。（2）大數(shù)據(jù)技術(shù)的時效性比傳統(tǒng)技術(shù)更易突顯。隨著5G時代的到來，人們的日常生活與移動互聯(lián)網(wǎng)結(jié)合起來。運營商最先擁有用戶的行為數(shù)據(jù)，實時數(shù)據(jù)的更新保證了時效性。（3）大數(shù)據(jù)技術(shù)是運營商轉(zhuǎn)型的新機遇。為了應(yīng)對OTT競爭，運營商需要向數(shù)字化服務(wù)提供商轉(zhuǎn)型。（4）提高了生產(chǎn)力。Syncsort在一項調(diào)查中發(fā)現(xiàn)，超過半數(shù)的受訪者在進行數(shù)據(jù)分析工作的時候，往往會選擇運用Hadoop或Spark等工具，以此來提高生產(chǎn)效率。分析師使用最新的大數(shù)據(jù)分析工具去分析數(shù)據(jù)，往往使得數(shù)據(jù)處理更加有效，從而提高個人的生產(chǎn)力。此外，這些分析所獲得的見解，往往會使組織能夠提高公司內(nèi)部的整體生產(chǎn)力，并最終提高公司的效率［1］。

1.2 運營商在大數(shù)據(jù)技術(shù)應(yīng)用方面所面臨的挑戰(zhàn)

（1）由于數(shù)據(jù)的來源廣而雜，聚集數(shù)據(jù)較為煩瑣。數(shù)據(jù)的形式多種多樣，但是系統(tǒng)只能支持單一的處理方式，不能處理各種類型的數(shù)據(jù)，因此不能滿足互聯(lián)網(wǎng)的多樣化。（2）商業(yè)模式尚未成熟，用戶的基數(shù)過大，對這些數(shù)據(jù)的處理還存在一些難度。（3）投入與產(chǎn)出不相匹配。對大數(shù)據(jù)的熱烈吹捧，使大數(shù)據(jù)超過了它本身的商業(yè)價值。運營商在時間方面往往存在一定的形式主義，一些專題為了追求創(chuàng)新，往往忽視了投入產(chǎn)出之比的分析，結(jié)果耗費大量人力物力的大數(shù)據(jù)項目的收入非常低。此外，由于對大數(shù)據(jù)技術(shù)的應(yīng)用和理解仍處于初級階段，運營商要將豐富的原始數(shù)據(jù)轉(zhuǎn)化為生產(chǎn)力還有很大的困難，在數(shù)據(jù)獲取和標準化方面將面臨巨大的工作量。（4）運營仍存在一些風(fēng)險。用戶的隱私問題關(guān)系到他們自身利益，預(yù)言家梅爾分析了6種常見的解決方案，如數(shù)據(jù)適度和增強的隱私保護，但由于各種原因，對于大數(shù)據(jù)概念的沖突等，尚未有令人滿意的方案。由此可見，運營商處理大數(shù)據(jù)的安全策略是非常重要的問題［2］。

2 大數(shù)據(jù)處理技術(shù)

2.1 Hadoop技術(shù)

Hadoop技術(shù)是一種分布式系統(tǒng)基礎(chǔ)設(shè)施，主要處理大量數(shù)據(jù)的存儲和分析計算。Hadoop技術(shù)具有以下優(yōu)勢特征。（1）可靠性高：可維護多份數(shù)據(jù)。當計算的元素或存儲出現(xiàn)錯誤的時候，它不會把數(shù)據(jù)丟失。（2）高擴展性：Hadoop技術(shù)在進行數(shù)據(jù)處理的時候，會在集群間分發(fā)數(shù)據(jù)，它能夠?qū)?shù)據(jù)輕松地擴展到數(shù)千個節(jié)點。（3）效率：它會采用并行工作，當采用并行工作的時候，數(shù)據(jù)任務(wù)的處理速度會有所增長。（4）高容錯性：當任務(wù)失敗的時候，Hadoop可以將任務(wù)進行重新分配。伴隨著技術(shù)的成熟，基于Hadoop技術(shù)，及時查詢數(shù)據(jù)處理技術(shù)也逐漸開始發(fā)展。Hadoop主要適用于大規(guī)模的網(wǎng)絡(luò)數(shù)據(jù)采集、處理、存儲以及交換，支持PB級存儲容量。

2.2 MPP技術(shù)

MPP技術(shù)是指將任務(wù)并行的數(shù)據(jù)，進行分散，將數(shù)據(jù)分別分散到多個服務(wù)器和節(jié)點上，在節(jié)點上進行計算之后，將各個節(jié)點上的結(jié)果全部匯總到一起，最后得到一個最終結(jié)果。MPP技術(shù)適用于大數(shù)據(jù)處理，以及多維度數(shù)據(jù)的自助分析等。MPP技術(shù)適合結(jié)構(gòu)化數(shù)據(jù)深度的分析、數(shù)據(jù)的復(fù)雜查詢，它不需要進行定制以及專門開發(fā)。但是相比較Hadoop而言，MPP技術(shù)可以降低成本。MPP比較適用于海量數(shù)據(jù)的分析和存儲。通過數(shù)據(jù)壓縮等技術(shù)，最小化大數(shù)據(jù)場景的磁盤，以提高數(shù)據(jù)的查詢效率［3］。

2.3 流計算技術(shù)

對流數(shù)據(jù)進行的實時計算，應(yīng)用于各種場景。淘寶等大型網(wǎng)站會實時產(chǎn)生大量的流媒體數(shù)據(jù)，包括搜索內(nèi)容、瀏覽記錄等數(shù)據(jù)。利用流計算技術(shù)進行實時分析，可以比較容易了解網(wǎng)站的流量變化，甚至通過分析瀏覽軌跡，向用戶推薦個性化內(nèi)容。然而，流計算僅適用于處理一些連續(xù)到達的流數(shù)據(jù)，對數(shù)據(jù)處理的實時性要求很高。

綜上，當前主要使用的大數(shù)據(jù)技術(shù)結(jié)構(gòu)如表1所示。

3 基于大數(shù)據(jù)技術(shù)運營商的應(yīng)用實踐

用戶在進行網(wǎng)絡(luò)業(yè)務(wù)時，感知到的體驗信息和運營商的實時運營信息都屬于大數(shù)據(jù)。運營商應(yīng)當拿起大數(shù)據(jù)這個有力武器，讓企業(yè)的發(fā)展決策、市場拓展、技術(shù)提升、網(wǎng)絡(luò)建設(shè)都更加科學(xué)化，實現(xiàn)大數(shù)據(jù)對于自身發(fā)展的全面支撐。

3.1 移動互聯(lián)網(wǎng)業(yè)務(wù)的感知評估方法

移動互聯(lián)網(wǎng)服務(wù)是典型的“20/80效應(yīng)”，覆蓋了大多數(shù)用戶。研究表明，多數(shù)的流量是用戶在使用應(yīng)用程序的時候產(chǎn)生的，比如網(wǎng)絡(luò)瀏覽、視頻以及通信等。然而，雖然業(yè)務(wù)的類型不同，但是它們都出現(xiàn)了較為明顯的拖尾效應(yīng)，前面多種方法可以覆蓋大多數(shù)情況。在此基礎(chǔ)上，運營商主要通過分析用戶在網(wǎng)絡(luò)瀏覽、視頻和通信過程中感知到的影響因素來分析移動互聯(lián)網(wǎng)服務(wù)的整體情況。

3.1.1 網(wǎng)頁瀏覽類

DNS（Domain Name System）延時：不易于被用戶感知到。

TCP（Transmission Control Protocol）延時：用戶往往不易感知到。

頁面訪問的成功率：用戶在進行頁面訪問時，往往能夠比較容易感覺到，但是，用戶愿意等待頁面打開的時間是有限的，當網(wǎng)頁訪問的等待時間太長的時候，即便頁面能夠訪問，在有效的時間以外的時候，用戶可能會提前將頁面進行關(guān)閉。

首包延時：用戶可以在網(wǎng)頁的頁面上看到響應(yīng)，用戶很容易感知。

頁面打開延時：從訪問頁面開始，一直到頁面打開這段等待的時間，用戶往往最容易感知到。

3.1.2 視頻類

播放延遲：用戶可以很容易地感覺到播放延遲，因為播放的延遲往往會與下載的速率和播放的軟件的緩沖區(qū)大小有關(guān)。而處于終端的客戶端在使用的過程中往往更容易檢測出來，這與下載的速率有很大的關(guān)系。

視頻卡頓：視頻卡頓與視頻下載的速率、播放視頻的軟件的緩沖大小以及節(jié)目源流速率有關(guān)。

下載速度：往往較為容易監(jiān)測，下載的速率在很大程度上能夠反映視頻播放的感知情況。

3.1.3 即時通信類

消息發(fā)送和接收延遲：用戶很容易感知，但即時消息應(yīng)用程序的準時性決定了用戶對消息發(fā)送和接受延遲不敏感。

消息上傳、下載速率：用戶不易感知到消息的上傳、下載速率。原因是屬于即時通信類的應(yīng)用在使用過程中主要以小流量應(yīng)用為主，而在這種情況下，對于消息的上傳、下載速率不是非常敏感。

消息的發(fā)送、接收成功率：消息是否能夠成功發(fā)送或者接收，用戶會在第一時間內(nèi)感知到，這體現(xiàn)了用戶的核心訴求［4］。

3.2 移動互聯(lián)網(wǎng)業(yè)務(wù)感知指標采集以及建模分析

為了獲取網(wǎng)頁瀏覽類、視頻類以及即時通信類的關(guān)鍵質(zhì)量指標，在SGW側(cè)部署的深度包檢測與監(jiān)控系統(tǒng)中，捕捉用戶在使用互聯(lián)網(wǎng)業(yè)務(wù)時，所產(chǎn)生的數(shù)據(jù)的關(guān)鍵質(zhì)量指標，及時地掌握用戶體驗，建立用戶業(yè)務(wù)感知到的評估模型。同時，進行數(shù)據(jù)的收集，獲取到用戶端到端的關(guān)鍵質(zhì)量指標，通過對用戶的端到端關(guān)鍵質(zhì)量指標進行回歸分析，驗證用戶業(yè)務(wù)感知的綜合評價模型，從而能夠獲得較為穩(wěn)定客觀的感知評價模型。

App測量點一般部署在用戶終端上，可以收集用戶真正感知到的關(guān)鍵質(zhì)量指標，但由于數(shù)量有限，往往屬于樣本數(shù)量較少；網(wǎng)絡(luò)側(cè)經(jīng)常部署深度包檢測和監(jiān)控點，它們可以收集用戶使用所有服務(wù)時的關(guān)鍵質(zhì)量指標，并將兩者結(jié)合起來構(gòu)建用戶業(yè)務(wù)感知的綜合評價模型。

3.3 移動互聯(lián)網(wǎng)業(yè)務(wù)感知評估實施以及效果的有效性評估

根據(jù)全網(wǎng)服務(wù)感知到的綜合評價模型，可以隨時隨地地進行計算和分析，掌握全網(wǎng)用戶的感知情況。針對部分用戶感知較差的區(qū)域和時段，運用技術(shù)進行端到端關(guān)聯(lián)和逐層分析，找出導(dǎo)致用戶在使用移動互聯(lián)網(wǎng)業(yè)務(wù)時所感知不良的原因，從而有針對性地開展移動互聯(lián)網(wǎng)業(yè)務(wù)的整改工作。

根據(jù)移動互聯(lián)網(wǎng)業(yè)務(wù)的網(wǎng)絡(luò)拓撲結(jié)構(gòu)和業(yè)務(wù)流程，對用戶使用移動互聯(lián)網(wǎng)業(yè)務(wù)時的關(guān)鍵質(zhì)量指標進行映射，分步分解運行于網(wǎng)絡(luò)設(shè)備指標、無線網(wǎng)絡(luò)關(guān)鍵性能指標、信令監(jiān)測計算，生成關(guān)鍵質(zhì)量指標/關(guān)鍵性能指標（KPI）和關(guān)鍵性能指標（KPI）承載網(wǎng)絡(luò)，核心網(wǎng)絡(luò)管理關(guān)鍵性能指標（KPI）和深度包檢查系統(tǒng)生成的計算/關(guān)鍵性能指的是關(guān)鍵質(zhì)量指標標準［5］。

將用戶數(shù)據(jù)的關(guān)鍵質(zhì)量指標映射到網(wǎng)絡(luò)運營指標的關(guān)鍵性能指標中去，以達到監(jiān)測和優(yōu)化移動網(wǎng)絡(luò)業(yè)務(wù)的網(wǎng)絡(luò)運營指標，從而提高互聯(lián)網(wǎng)服務(wù)意識。移動互聯(lián)網(wǎng)商業(yè)的感知指標在進行應(yīng)用評估的時候，通常是從用戶感知到的指標采樣、提取、建模到關(guān)鍵質(zhì)量指標再到關(guān)鍵性能指標的分析，利用大數(shù)據(jù)平臺中的數(shù)據(jù)，基于大數(shù)據(jù)平臺的大量數(shù)據(jù)進行存儲和分析，從而證明大數(shù)據(jù)技術(shù)平臺對各種數(shù)據(jù)應(yīng)用的支撐能力。

4 結(jié)語

大數(shù)據(jù)技術(shù)進行商業(yè)化是運營商開發(fā)額外收入的新舉措，對運營商的戰(zhàn)略轉(zhuǎn)型起到了舉足輕重的作用。在大數(shù)據(jù)時代，運營商需要加快數(shù)據(jù)服務(wù)轉(zhuǎn)型，在遵守我國的法律法規(guī)的前提下，尋求商業(yè)模式創(chuàng)新和業(yè)務(wù)創(chuàng)新，提升客戶感知，推動互聯(lián)網(wǎng)不斷向前發(fā)展。傳統(tǒng)的數(shù)據(jù)規(guī)劃以及服務(wù)優(yōu)化往往得不到解決，大數(shù)據(jù)技術(shù)的應(yīng)用為運營商提供了新的方式，通過信息服務(wù)的輸出來降低成本，能夠為運營商帶來利益。然而目前大數(shù)據(jù)技術(shù)還未達到成熟的水平，大數(shù)據(jù)技術(shù)的可靠性和規(guī)范性仍有待加強，以大數(shù)據(jù)為基礎(chǔ)進行商業(yè)模式的發(fā)展還有待進一步進行探索。運營商利用大數(shù)據(jù)優(yōu)勢整合整個行業(yè)的移動互聯(lián)網(wǎng)數(shù)據(jù)或者提供特供性質(zhì)的數(shù)據(jù)服務(wù)都是有待探究的新方向。

參考文獻

［1］廖鋒，成靜靜.大數(shù)據(jù)技術(shù)及在電信運營商IT支撐系統(tǒng)的應(yīng)用研究［J］.數(shù)據(jù)通信，2016（2）：32-35，42.

［2］劉力銘，孟昉.大數(shù)據(jù)背景下的移動運營商內(nèi)容精細化推送技術(shù)應(yīng)用研究［J］.納稅，2017（35）：131-132，134.

［3］宋安平.運營商大數(shù)據(jù)分析應(yīng)用及技術(shù)展望［J］.通訊世界，2017（17）：82.

［4］覃文.運營商大數(shù)據(jù)對外跨業(yè)合作技術(shù)研究及應(yīng)用［J］.廣西通信技術(shù)，2015（3）：17-21.

［5］宮云平，向勇，嚴宇.運營商網(wǎng)絡(luò)運營大數(shù)據(jù)應(yīng)用實踐研究［J］.移動通信，2016（4）：87-91.

（編輯 李春燕）

Research on application of big data technology for operators

Cai? Juan

（Guangzhou Vocational and Technical University of Science and Technology， Guangzhou 510005， China）

Abstract：? With the advent of the era of big data， data has become a strategic asset of enterprises and even countries. Research on big data technology is not only in line with the trend of the times， but also the social responsibility of major operators. The application of big data in real life is the basis for operators to promote the market when developing their business， and it can better reflect the comprehensive strength of the enterprise. How to process massive data quickly and efficiently is a key issue facing operators today. This paper mainly introduces the status quo of big data technology， and provides new reference and suggestions for operators in the application of big data technology by analyzing the advantages and disadvantages of big data technology.

Key words： operator; big data technology; data processing; network optimization