賈利娟，王 偉

（陜西廣播電視大學 陜西 西安 710119）

基于運營商大數(shù)據(jù)的終端產(chǎn)品運營系統(tǒng)設(shè)計

賈利娟，王 偉

（陜西廣播電視大學 陜西 西安 710119）

為了充分利用運營商大數(shù)據(jù)來支撐終端產(chǎn)品運營，設(shè)計了一種基于運營商大數(shù)據(jù)的終端產(chǎn)品運營系統(tǒng)，主要包括終端監(jiān)控子系統(tǒng)、終端推薦子系統(tǒng)、應(yīng)用推薦子系統(tǒng)。該系統(tǒng)通過建立監(jiān)控指標、終端推薦模型、應(yīng)用推薦模型充分利用了運營商積累的通信行為數(shù)據(jù)、位置數(shù)據(jù)、上網(wǎng)行為數(shù)據(jù)、終端數(shù)據(jù)等大數(shù)據(jù)資源，提升了終端產(chǎn)品運營的效率以及終端推薦和應(yīng)用推薦的效果。

大數(shù)據(jù)；終端運營；推薦模型；數(shù)據(jù)挖掘

據(jù)IDC預(yù)測，未來5年全球數(shù)據(jù)量將達到35ZB，電信運營商是這些數(shù)據(jù)的傳送者，處于數(shù)據(jù)交換的中心，具有天然的優(yōu)勢[1]。電信市場的競爭越來越激烈，三大傳統(tǒng)運營商面臨管道化和邊緣化的危機，數(shù)據(jù)經(jīng)營是在當今大數(shù)據(jù)時代下最好的選擇[2]。國外運營商已實現(xiàn)了大數(shù)據(jù)的多領(lǐng)域應(yīng)用，Orange借助大數(shù)據(jù)，根據(jù)用戶消費情況，完善網(wǎng)絡(luò)布局；Verizon將用戶數(shù)據(jù)進行整合，向合作伙伴提供廣告投放服務(wù)[3]。運營商大數(shù)據(jù)服務(wù)平臺是有效利用大數(shù)據(jù)的重要基礎(chǔ)[4]。大數(shù)據(jù)平臺連接了運營商的BSS域、OSS域、MSS域的各類業(yè)務(wù)數(shù)據(jù)[5]。利用大數(shù)據(jù)技術(shù)，充分將業(yè)務(wù)支撐系統(tǒng)、經(jīng)營分析系統(tǒng)的各項基礎(chǔ)數(shù)據(jù)[6]，例如移動互聯(lián)網(wǎng)的上網(wǎng)行為、以及位置、網(wǎng)管、信令、應(yīng)用等多種非結(jié)構(gòu)化的數(shù)據(jù)形式進行有效整合[7]。運營商大數(shù)據(jù)具有很多的價值，是運營商業(yè)的新的增長點，很多文獻對運營商大數(shù)據(jù)政策與應(yīng)用價值進行了研究，運營商開展大數(shù)據(jù)業(yè)務(wù)在政策上可行并具有很高的商業(yè)價值[8-13]。

隨著移動通信市場發(fā)展，運營商面臨語音業(yè)務(wù)市場飽和的挑戰(zhàn)，通信運營商的市場的著力點放在了流量經(jīng)營與終端經(jīng)營之上。在終端運營方面運營商具有天然的數(shù)據(jù)優(yōu)勢，一方面運營商積累了用戶的基本信息、通信行為數(shù)據(jù)、位置數(shù)據(jù)、上網(wǎng)行為數(shù)據(jù)，這些數(shù)據(jù)來源于通信網(wǎng)絡(luò)系統(tǒng)以及傳統(tǒng)的運營支撐系統(tǒng)，電信運營商的系統(tǒng)本質(zhì)是為用戶與用戶、設(shè)備與設(shè)備、用戶與設(shè)備之間提供通信信道，每天承載著海量信息，是互聯(lián)網(wǎng)大數(shù)據(jù)的源頭。另一方面運營商具有每個用戶使用終端的品牌、型號、使用時長、功能特性等與終端直接相關(guān)的大數(shù)據(jù)資源。如何利用好這些數(shù)據(jù)資源為終端運營提供服務(wù)是運營商需要解決的問題?；谶\營商大數(shù)據(jù)的終端運營系統(tǒng)通過對運營第二商大數(shù)據(jù)資源進行解析與挖掘利用從而支撐終端運營。終端運營系統(tǒng)主要解決的問題有3個，首先對終端銷售情況、市場占有情況進行監(jiān)控分析，這是終端監(jiān)控子系統(tǒng)要解決的問題。第二，通過現(xiàn)有大數(shù)據(jù)數(shù)據(jù)每款終端匹配目標用戶群，這就是終端推薦模型要解決的問題。第三，用戶購買手機以后，為用戶推薦合適的APP應(yīng)用，這是應(yīng)用推薦模型要解決的問題。

1 整體系統(tǒng)架構(gòu)設(shè)計

終端運營系統(tǒng)主要包括終端監(jiān)控子系統(tǒng)、終端推薦子系統(tǒng)、換機應(yīng)用推薦子系統(tǒng)。終端監(jiān)控子系統(tǒng)主要實現(xiàn)對現(xiàn)有用戶終端各項指標的監(jiān)控。終端推薦子系統(tǒng)主要通過基于大數(shù)據(jù)的數(shù)據(jù)挖掘模型在合適的時機為用戶推薦合適的終端產(chǎn)品，并引導用戶在線下單或者通過對用戶位置數(shù)據(jù)的分析引導用戶到最近的營業(yè)廳購買終端產(chǎn)品。換機應(yīng)用推薦子系統(tǒng)通過對Gn口數(shù)據(jù)進行DPI解析并在終端維度對用戶偏好進行分析，在用戶更換終端設(shè)備時進行實時個性化應(yīng)用推薦。

與終端運營系統(tǒng)鏈接的外圍系統(tǒng)包括：CRM、BOSS、BI、終端電商平臺、門戶網(wǎng)站、掌上營業(yè)廳、CRM前臺、短信網(wǎng)關(guān)。

CRM、BOSS、BI為數(shù)據(jù)來源系統(tǒng)，為運營系統(tǒng)提供用戶基本信息、通信行為數(shù)據(jù)、位置數(shù)據(jù)、上網(wǎng)行為、終端等數(shù)據(jù)。電商平臺為在線終端購買系統(tǒng)實現(xiàn)用戶的在線下單，并為運營系統(tǒng)提供終端數(shù)據(jù)信息庫。門戶網(wǎng)站、掌上營業(yè)廳、CRM前臺為用戶的接觸渠道，為用戶推送終端推薦信息。

終端監(jiān)控子系統(tǒng)監(jiān)控的指標主要包括各型號終端的用戶數(shù)總量、用戶增量、ARPU、流量、增值業(yè)務(wù)訂購數(shù)等。

圖1 終端運營系統(tǒng)周邊交互圖

終端推薦子系統(tǒng)包括數(shù)據(jù)接入模塊、數(shù)據(jù)挖掘模塊、機型推薦模塊、規(guī)則管理模塊、規(guī)則識別模塊、渠道管理模塊、終端信息管理模塊、電商平臺調(diào)用模塊、效果監(jiān)控模塊。接入模塊接入終端推薦模型相關(guān)的基礎(chǔ)數(shù)據(jù)，并做預(yù)處理。數(shù)據(jù)挖掘模塊計算換機目標用戶人群。機型推薦模塊為目標用戶人群中的用戶匹配合適的機型。規(guī)則管理模塊負責管理數(shù)據(jù)挖掘的結(jié)果，也就是換機目標用戶人群篩選規(guī)則。渠道管理模塊管理用戶接觸渠道，以及推送相關(guān)的素材。電商平臺調(diào)用模塊調(diào)用終端銷售平臺上的終端銷售頁面以及同步終端庫信息。效果監(jiān)控模塊監(jiān)控推薦效果，然后把效果反饋到數(shù)據(jù)挖掘模塊以決定是否啟動數(shù)據(jù)挖掘流程。

換機應(yīng)用推薦子系統(tǒng)的功能是在用戶更換手機終端時給用戶推送手機個性化應(yīng)用信息。由Gn口數(shù)據(jù)同步模塊、個性化推薦模塊、IMEI比對模塊、觸達模塊等模塊組成。

Gn口數(shù)據(jù)同步模塊從DPI解析平臺同步Gn口數(shù)據(jù)。個性化推薦模塊基于DPI解析數(shù)據(jù)計算用戶偏好，并給用戶推薦適合偏好的應(yīng)用。IMEI比對模塊對比終端IMEI信息以發(fā)現(xiàn)用戶換機行為。觸達模塊調(diào)用觸達接口將推薦信息發(fā)送給用戶。

一個大數(shù)據(jù)系統(tǒng)要面臨3個問題：大數(shù)據(jù)存儲、大數(shù)據(jù)分析、大數(shù)據(jù)管理。Hdoop分布式云計算框架是大數(shù)據(jù)最有力的搭檔，主要由分布式文件系統(tǒng)和HDFS和MapRduce編程模型組成[14]。本系統(tǒng)的核心在數(shù)據(jù)分析處理區(qū)，在預(yù)處理階段與數(shù)據(jù)挖掘階段都需要對海量大數(shù)據(jù)進行存儲和計算，HADOOP技術(shù)是為處理大數(shù)據(jù)而生的技術(shù)，通過MapReduce模型把任務(wù)分配到分布式的計算機集群中，既降低了成本又提供了可伸縮性。計算模型的下面是基于Hadoop分布式文件系統(tǒng) （HDFS）的分布式文件系統(tǒng)，這個文件系統(tǒng)是“可拔插的”。不過現(xiàn)有的數(shù)據(jù)基礎(chǔ)架構(gòu)是基于傳統(tǒng)關(guān)系型數(shù)據(jù)庫和結(jié)構(gòu)化查詢語句的，面對此挑戰(zhàn)可以采用HIVE的解決方案。HIVE不支持聯(lián)機事務(wù)處理（OLTP），更接近聯(lián)機分析技術(shù)（OLAP）。HIVE不是一個完成數(shù)據(jù)庫，最大的限制是不支持記錄級別的更新、插入或者刪除操作。同時由于HIVE是一個面向批處理的系統(tǒng)，MapReduce任務(wù)的啟動需要一段時間，所以HIVE的查詢延時比較嚴重。由于Hadoop本身的時間開銷很大，而且所處理的數(shù)據(jù)量很大，所以查詢返回時間會很長。HIVE是最適合數(shù)據(jù)倉庫應(yīng)用程序的，可以對海量數(shù)據(jù)進行維護并進行數(shù)據(jù)挖掘。

在挖掘周期和規(guī)則識別周期都比較長的情況下，對于產(chǎn)品推薦、內(nèi)容個性化規(guī)則挖掘的過程來說無需快速的查詢時間，Hadoop架構(gòu)是能夠勝任的。如何挖掘周期和規(guī)則識別周期都比較短，可以考慮采用SPARK技術(shù)。SPARK同樣能夠?qū)崿F(xiàn)Hadoop的基于MapReduce的并行計算，任務(wù)運行的中間結(jié)果保存在內(nèi)存中，而不需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機器學習等需要迭代的MapReduce的算法。

2 終端監(jiān)控子系統(tǒng)

終端監(jiān)控子系統(tǒng)監(jiān)控現(xiàn)網(wǎng)用戶的終端使用情況，數(shù)據(jù)的來源為BI與CRM，支撐以終端維度為中心的個性指標的報表。這些報表是以終端品牌型號為維度對用戶群進行劃分，使用同樣品牌和型號的用戶作為一個群體，對群體的各項指標做統(tǒng)計分析，可以對各項指標統(tǒng)計分布情況，也可以對各個終端之間的指標平均數(shù)做對比分析。

可選擇的查詢維度包括：時間、終端品牌、終端型號，展現(xiàn)指標包括用戶數(shù)總量、用戶增量、ARPU值、流量，如表1所示，報表在時間上以月為單位提供報表。每個月初計算上個月的報表。用戶數(shù)總量就是截止月底時間用戶數(shù)總量，用戶增量為本月新增的用戶數(shù)，ARPU值為用戶消費的平均值，流量為本月用戶使用流量平均值。

表1 指標基礎(chǔ)表

3 終端推薦子系統(tǒng)

終端推薦子系統(tǒng)實現(xiàn)的功能是通過推薦模型的計算得到換機人群集合并為用戶推薦合適的終端。終端推薦子系統(tǒng)的核心是終端推薦模型，終端推薦模型由換機人群數(shù)據(jù)挖掘模型和機型推薦模型兩個模型組成。聚類和分類算法都可以應(yīng)用于客戶細分[15]，其中決策樹方法是解決分類問題的最有效方法。為了實現(xiàn)快速響應(yīng)算法需要運行于Spark框架下[16]。首先需要根據(jù)模換機人群數(shù)據(jù)挖掘模型計算出換機人群，這里采用C4.5數(shù)據(jù)挖掘算法計算出換機人群特征規(guī)則的決策樹，然后篩選出符合決策樹規(guī)則的用戶群體就是換機目標用戶群。

定位了目標用戶人群以后，要通過機型推薦模型推薦合適的終端產(chǎn)品。決策樹分類算法也成貪心算法，采用自頂向下的方式構(gòu)造。

終端推薦子系統(tǒng)由數(shù)據(jù)預(yù)處理模塊、數(shù)據(jù)挖掘模塊、規(guī)則管理模塊、機型推薦模塊、終端庫模塊、素材管理模塊、展示平臺接口模塊組成。

目標用戶人群數(shù)據(jù)挖掘模型的流程如下所示：

第一步：取得換機用戶與非換機用戶集合作為訓練數(shù)據(jù)。

第二步：提取用戶的屬性維度特征。

第三步：運行分類算法C4.5，得到?jīng)Q策樹。

第四步：根據(jù)決策樹得到預(yù)測規(guī)則。

第五步：固化規(guī)則，效果監(jiān)控與持續(xù)優(yōu)化。

圖2 推薦人群規(guī)則數(shù)據(jù)挖掘模型流程

在決策樹中一個一條從根節(jié)點到葉子節(jié)點的路徑為一條目標人群識別規(guī)則，對應(yīng)每一條規(guī)則覆蓋的歷史數(shù)據(jù)人群按照機型分類建立狀態(tài)轉(zhuǎn)移矩陣，如公式（1）所示。統(tǒng)計出每個機型轉(zhuǎn)移后的狀態(tài)概率，把概率最大的機型作為推薦機型，如公式（2）所示。

監(jiān)測大數(shù)據(jù)模型的效果，與無大數(shù)據(jù)模型的情況下進行對比分析，選取的指標為響應(yīng)率，用用戶購買點擊行為作為響應(yīng)率的衡量口徑?？梢钥吹剑诖髷?shù)據(jù)的終端推薦模型響應(yīng)率較高。

圖3 終端推薦效果對比

4 換機個性化應(yīng)用推薦模型

換機個性化推薦模型基于用戶偏好為用戶推薦應(yīng)用。用戶偏好通過Gn口用戶訪問上網(wǎng)記錄計算。這里最重要的是換機時機的捕捉。在通信網(wǎng)絡(luò)中讀出用戶的 IMEI信息，IMEI與終端一一對應(yīng)，當IEMI信息發(fā)生變化的時候就是用戶發(fā)生了更換終端的行為。

DPI（Deep Packet Inspection，深度報文檢測）是相對于傳統(tǒng)報文檢測技術(shù)而提出的一種報文檢測技術(shù)[8]。DPI應(yīng)用場景有：用戶洞察、精準營銷、流量控制、增值業(yè)務(wù)[17]。精細化運營室運營商發(fā)展的必然趨勢，DPI是實現(xiàn)精細化運營的基礎(chǔ)之一。通信網(wǎng)絡(luò)是移動通信用戶上網(wǎng)的通路，通信網(wǎng)元中的Gn口中可以提取每個用戶的上網(wǎng)行為，包括APP使用行為或者網(wǎng)站訪問行為。Gn口用戶上網(wǎng)行為的獲取是通過DPI解析技術(shù)來實現(xiàn)的。深度包解析DPI中的 “深度”是和普通的報文分析層次比較而言的，普通報文檢測僅分析IP包4層以下的內(nèi)容，包括源地址、目的地址、源端口、目的端口以及協(xié)議類型，而DPI除了這些層次，還增加了應(yīng)用層分析，能夠識別各種應(yīng)用及其內(nèi)容。

通過對Gn口數(shù)據(jù)進行DPI解析，記錄每一類應(yīng)用或者網(wǎng)頁的訪問次數(shù)、訪問流量、月訪問天數(shù)。對每個用戶的每一個偏好分類計算分值，偏好分類的分值綜合訪問次數(shù)、訪問流量、月訪問天數(shù)3個方面。訪問次數(shù)的分值為用戶對每個分類的訪問次數(shù)與對各分類訪問次數(shù)最大值之比，如公式（3）所示。訪問流量、月訪問天數(shù)的得分如公式（4）、公式（5）所示，某個用戶的某個偏好分類的偏好分值如公式（6）所示，輸出的偏好表結(jié)果如表（2）所示。設(shè)定一個閾值，如果用戶對某類偏好大于這個閾值那么就給用戶推薦此類內(nèi)容。

表2 用戶偏好分數(shù)表

以上計算的是用戶的總偏好，通過DPI解析可以獲知用戶在換機前安裝了哪些應(yīng)用。按照偏好的計算方法，同樣可以計算出具體應(yīng)用的偏好，如表3所示。

表3 應(yīng)用偏好分數(shù)表

最終給用戶推薦的應(yīng)用組成一個推薦列表。推薦列表由兩部分組成，一部分是根據(jù)表3中的應(yīng)用偏好得到的直接推薦部分，另一部分是根據(jù)表2中的總偏好匹配得到的間接推薦部分。直接推薦列表選取應(yīng)用偏好值大于與閾值N的應(yīng)用。間接推薦部分是根據(jù)閾值大于M的偏好去 “偏好與應(yīng)用映射庫”中去匹配相應(yīng)的應(yīng)用從而得到間接推薦列表。偏好與應(yīng)用映射庫就是把待推薦的應(yīng)用打上一一對應(yīng)的偏好標簽，從而通過偏好可以查詢到符合相應(yīng)偏好的應(yīng)用。通過5周的數(shù)據(jù)監(jiān)測得到基于大數(shù)據(jù)與無大數(shù)據(jù)模型兩種情況下的對比如圖4所示?；诖髷?shù)據(jù)的換機場景下的應(yīng)用推薦模型對響應(yīng)率有明顯的提升。

圖4 應(yīng)用推薦效果對比

5 結(jié)束語

基于運營商大數(shù)據(jù)的終端運營系統(tǒng)利用運營商的大數(shù)據(jù)資源為終端運營提供支撐。不僅包括終端指標監(jiān)控模塊，還包括終端推薦模型、終端更換場景下的應(yīng)用個性化推薦模型。通過這些模塊模型提高了終端運營的效率和效果。終端運營系統(tǒng)可以進行產(chǎn)品化，向外提供終端相關(guān)大數(shù)據(jù)產(chǎn)品能力。

[1]陳科帆，周洪成.電信運營商大數(shù)據(jù)資源變現(xiàn)模式及策略研究[J].移動通信，2016，40（1）:63-67.

[2]鄭雪非.國外電信運營商大數(shù)據(jù)應(yīng)用及啟示[J].移動通信，2015，39（13）:29-33.

[3]高寅欣.運營商大數(shù)據(jù)發(fā)展與應(yīng)用[J].通信企業(yè)管理，2015（10）:76-77.

[4]沙甲戊.運營商大數(shù)據(jù)服務(wù)平臺與典型應(yīng)用模式研究[J].移動通信，2016，40（4）:92-96.

[5]李玲.大數(shù)據(jù)時代下運營商如何驅(qū)動數(shù)據(jù)的 “智慧運營”[J].通信世界，2015（23）:32-33.

[6]胡建英，彭軍.淺談運營商大數(shù)據(jù)分析及應(yīng)用系統(tǒng)設(shè)計[J].信息通信，2015（9）:299-300.

[7]丁虹.大數(shù)據(jù)時代運營商轉(zhuǎn)型的思考[J].中國電信業(yè)，2015（10）:58-59.

[8]姚若輝.電信運營商大數(shù)據(jù)發(fā)展策略[J].電子技術(shù)與軟件工程， 2015（4）:196.

[9]王欽敏.經(jīng)濟社會發(fā)展中的大數(shù)據(jù)應(yīng)用 [J].地理學報， 2015，70（5）:691-695.

[10]黃小剛.電信行業(yè)大數(shù)據(jù)應(yīng)用的四個方向[J].信息通信技術(shù)， 2013（6）:26-28.

[11]黃勇軍，馮明，丁圣勇.電信運營商大數(shù)據(jù)發(fā)展策略探討[J].電信科學， 2013（3）:6-11.

[12]曉鏡.Sprint：運營商僅靠大數(shù)據(jù)就能生存[N].中國郵電報， 2012-11-21（5）.

[13]龐淑娟.大數(shù)據(jù)在銀行信用風險管理中的應(yīng)用[J].征信， 2015（3）:12-15.

[14]何廣才，周根寶.基于MapReduce的改進蟻群算法在TSP中的應(yīng)用[J].內(nèi)蒙古農(nóng)業(yè)大學學報，2015，36（5）:125-132.

[15]楊倩倩，生佳根，趙海田.K-means聚類算法在民航客戶細分中的應(yīng)用[J].電子設(shè)計工程，2015（12）:25-27.

[16]胡俊，胡賢德，程家興.基于Spark的大數(shù)據(jù)混合計算模型[J].計算機系統(tǒng)應(yīng)用，2015（4）:216-220.

[17]谷紅勛，張霖.DPI：運營商大數(shù)據(jù)安全運營的基石[J].網(wǎng)絡(luò)空間安全，2016（7）:23-26.

The design of terminal product operation system based on big data of operators

JIA Li-juan，WANG Wei
（Shaanxi Radio and Television University， Xi’an 710119，China）

In order to make full use of big data of operators to support terminal operation，the paper designed a terminal operating s stem based on big data of operators，mainly including terminal monitoring subsystem，terminal recommended subsystem，and applied recommended subsystem.The system established monitoring index， terminal recommended model， and applied recommended model to make full use of big data resources such as communication behavior data， location data， and online behavior data that operators accumulated，and improve the efficiency of terminal operation and the effects of terminal recommendation and recommended application.

big data； terminal operation； recommended model； data mining

TN87

A

1674－6236（2017）12-0119-04

2016-09-06稿件編號：201609047

陜西省2014年重大科技創(chuàng)新項目（2014ZKC（-）03-18）；陜西省2014年信息化重點建設(shè)項目（陜工信發(fā)[2014]199號）

賈利娟（1981—），女，陜西寶雞人，碩士，講師。研究方向：大數(shù)據(jù)、數(shù)據(jù)挖掘、網(wǎng)絡(luò)仿真。