趙恒 中國移動江蘇有限公司網(wǎng)絡部

中創(chuàng)信測技術專欄

基于大數(shù)據(jù)的M運營商運營管理信息系統(tǒng)應用（一）

趙恒 中國移動江蘇有限公司網(wǎng)絡部

編者按：針對某省運營管理系統(tǒng)存在的數(shù)據(jù)問題和現(xiàn)狀，中國移動江蘇有限公司網(wǎng)絡部趙恒特撰寫《基于大數(shù)據(jù)的M運營商運營管理信息系統(tǒng)應用》一文，該文有針對性地提出了Hadoop處理框架和數(shù)據(jù)集市云化的架構應用，描述了基于大數(shù)據(jù)平臺的某運營商運管管理信息系統(tǒng)，其內部優(yōu)化了KPI管理、產(chǎn)品管理、決策管理、生產(chǎn)服務、客戶服務、投訴管理、市場營銷等管理流程，在項目實施過程中形成了統(tǒng)一大數(shù)據(jù)中心管理模式，打破了部門壁壘和信息鴻溝，效果良好，獲得運營商集團公司科技與業(yè)務創(chuàng)新一等獎?？晒┫嚓P技術人員學習、參考。

針對某省運營管理系統(tǒng)存在的基礎數(shù)據(jù)問題和現(xiàn)狀，有針對性提出了Hadoop處理框架和數(shù)據(jù)集市云化的架構應用。本文描述了基于大數(shù)據(jù)平臺的某省運營商運管管理信息系統(tǒng)，在內部優(yōu)化了包括KPI管理、產(chǎn)品管理、決策管理、生產(chǎn)服務、客戶服務、投訴管理、市場營銷等在內的管理流程，在項目實施過程中形成統(tǒng)一大數(shù)據(jù)中心管理模式，打破部門壁壘和信息鴻溝，產(chǎn)生了良好的效果，獲得運營商集團公司的科技與業(yè)務創(chuàng)新一等獎。

大數(shù)據(jù)；運營商；運營管理；管理信息系統(tǒng)

1 大數(shù)據(jù)運營管理信息系統(tǒng)的實現(xiàn)

大數(shù)據(jù)運營管理信息系統(tǒng)采用新技術，運營商采用業(yè)界先進且成熟的技術，考慮技術產(chǎn)品升級時的平滑度，保證所選的軟硬件具有較長的生命周期，滿足需求，立足應用，構建大數(shù)據(jù)生態(tài)體系。先進成熟技術包括Hadoop處理框架、實時流式數(shù)據(jù)處理框架等（見圖1）。

（1）Hadoop處理框架（見圖2）

一個分布式系統(tǒng)架構，充分利用集群的威力高速運算和存儲，提供高傳輸率來訪問、計算已存儲的海量數(shù)據(jù)；是大數(shù)據(jù)處理架構的事實標準。

部署x86Hadoop平臺，在聚合層存儲海量源數(shù)據(jù)，并針對海量、非結構化/半結構化數(shù)據(jù)提供大規(guī)模處理的計算能力，在數(shù)據(jù)資產(chǎn)層存儲離線數(shù)據(jù)資產(chǎn)，提供高效查詢的資產(chǎn)存儲管理能力。

（2）流數(shù)據(jù)處理框架（見圖3）

一種分布式、容錯的實時計算系統(tǒng)，實時處理消息并根據(jù)處理結果提供相應的處理機制。

部署x86流數(shù)據(jù)處理平臺，在聚合層對接源系統(tǒng)

實時數(shù)據(jù)接口，實時采集源信息并進行處理與分析；結合數(shù)據(jù)資產(chǎn)層的數(shù)據(jù)應用模型、數(shù)據(jù)應用層的規(guī)則引擎及時做出業(yè)務目標的響應（實時BI、實時事件觸發(fā)式營銷等）。

圖1 大數(shù)據(jù)運營管理信息系統(tǒng)技術構成圖

圖2 Hadoop處理框架圖

圖3 流數(shù)據(jù)處理框架圖

（3）業(yè)務規(guī)則引擎（見圖4）

規(guī)則引擎將業(yè)務決策從應用程序代碼中分離出

來，并使用預定義的語義模塊編寫、解釋業(yè)務規(guī)則，并根據(jù)業(yè)務規(guī)則做出業(yè)務決策。

圖4 業(yè)務規(guī)則引擎結構圖

將數(shù)據(jù)按照一定的業(yè)務規(guī)則分類，匹配業(yè)務系統(tǒng)的數(shù)據(jù)需求場景；定義事件與流程，面向其他業(yè)務平臺將數(shù)據(jù)中心的能力按照規(guī)則主動式提供。

（4）數(shù)據(jù)服務樞紐（見圖5）

按照數(shù)據(jù)開放公共語義模型，將數(shù)據(jù)資產(chǎn)封裝成共享業(yè)務數(shù)據(jù)模型，形成上層服務；屏蔽系統(tǒng)接口的技術差異，使用ESB統(tǒng)一協(xié)調服務運營。

實現(xiàn)企業(yè)數(shù)據(jù)中心的數(shù)據(jù)與應用分離，提高數(shù)據(jù)安全性與復用性。通過ESB服務樞紐對其他業(yè)務系統(tǒng)開放標準化的服務接口，形成系統(tǒng)間的有效互動。

（5）數(shù)據(jù)集市云化架構（見圖6）

圖5 數(shù)據(jù)服務樞紐結構圖

圖6 數(shù)據(jù)集市云化架構圖

構建云計算x86資源池，提供按需伸縮的基礎設

施架構；承載分布式MPP數(shù)據(jù)庫系統(tǒng)，提供平滑擴展的強大并行計算能力。

利用x86資源池的低成本，提供數(shù)據(jù)集市的所需要的易擴展、分布式、高并發(fā)的數(shù)據(jù)計算能力；面向應用存儲在線高熱度訪問、海量實時計算的數(shù)據(jù)。

2 大數(shù)據(jù)運營管理信息系統(tǒng)解決的問題

大數(shù)據(jù)運營管理信息系統(tǒng)平臺的應用，解決了M運營商原有平臺的相關問題，豐富了大數(shù)據(jù)的基礎數(shù)據(jù)源，加強了數(shù)據(jù)分析能力，通過統(tǒng)一存儲和管理，打破了數(shù)據(jù)鴻溝，提高了系統(tǒng)效率。

2.1 增加網(wǎng)絡數(shù)據(jù)采集，豐富大數(shù)據(jù)的基礎數(shù)據(jù)源

運營商產(chǎn)品包括傳統(tǒng)通信、上網(wǎng)、內容和應用。傳統(tǒng)通信有通話、短彩信、開關機和停復機。用戶上網(wǎng)途徑有3種：2G、3G、4G的手機上網(wǎng)方式；WLAN無線寬帶上網(wǎng)方式；有線寬帶上網(wǎng)方式。內容和應用有手機郵箱、手機游戲、手機視頻、手機音樂、手機電商和應用商店等。通過在相應的網(wǎng)絡上增加網(wǎng)絡信息采集器，實現(xiàn)數(shù)據(jù)采集。

比如：針對通話，可以采集到的信息有主叫號碼、被叫號碼、主叫開始時間、被叫開始振鈴時間、被叫接通時間、主被叫掛機時間、主叫發(fā)起呼叫位置、被叫振鈴位置、被叫掛機位置、主叫掛機位置、呼叫轉移號碼、主叫手機類型、被叫手機類型和通話質量。

M運營商增加了上述的各種產(chǎn)品的數(shù)據(jù)采集，每天采集數(shù)據(jù)量約30TB。這些數(shù)據(jù)的價值體現(xiàn)在可以用來指導網(wǎng)絡的維護和優(yōu)化，可以用來提高服務質量，可以通過針對性的營銷提升效果，可以與第三方合作增加數(shù)據(jù)的挖掘價值。

2.2 加強基礎數(shù)據(jù)分析，生成大數(shù)據(jù)次級數(shù)據(jù)字典

通過基礎數(shù)據(jù)分析，加工生成二級數(shù)據(jù)豐富數(shù)據(jù)字典，分析匯總指標體系包含指標3000多個，針對公司各部門各分公司和各業(yè)務產(chǎn)品訂制報表500多張。

繼續(xù)以通話為例，為了指導和考核網(wǎng)絡維護與優(yōu)化工作，通過對全網(wǎng)所有通話行為的分析，提煉出如下指標：呼叫接續(xù)時長=被叫開始振鈴時間-主叫開始時間，加上主叫所在位置聯(lián)合分析，可以對所有網(wǎng)絡小區(qū)的平均呼叫接續(xù)時長進行統(tǒng)計分析，得出需要優(yōu)化的小區(qū)、派發(fā)優(yōu)化任務給維護部門、并可以跟蹤優(yōu)化效果；同樣呼叫接續(xù)時長、主叫位置、主叫手機類型聯(lián)合分析，可以得出手機和網(wǎng)絡配合情況，指導問題手機生產(chǎn)商進行手機的質量改進。

繼續(xù)以通話為例，為了指導和考核營銷部門的優(yōu)惠購機入網(wǎng)套餐銷售質量，通過對一定時間區(qū)間內各個渠道銷售的優(yōu)惠手機通話分析，提煉出如下指標：渠道銷售終端次月活躍度=Count（主叫號碼&主叫手機類型in渠道a終端銷售庫）/sum（渠道a終端銷售庫）。這樣分析可以對渠道銷售質量進行指導和考核，并能有效發(fā)現(xiàn)渠道通過假銷售套取銷售傭金的欺詐行為。

2.3 統(tǒng)一存儲和管理，打破數(shù)據(jù)鴻溝提高系統(tǒng)效率

M運營商的大數(shù)據(jù)系統(tǒng)當前存儲數(shù)據(jù)量超過30PB。在統(tǒng)一存儲和數(shù)據(jù)管理的基礎上，通過聯(lián)合關聯(lián)，把以前分散在各個信息系統(tǒng)中的數(shù)據(jù)匯聚拼接出用戶真正的全貌。通過泛在挖掘，把握單個用戶的真正需求，挖掘潛在用戶群的行為特征。系統(tǒng)能力增強的實時應用，能及時地反應到用戶服務上。（待續(xù)）