摘要：結(jié)合全球多個(gè)實(shí)際案例，提出了一個(gè)電信大數(shù)據(jù)的精簡(jiǎn)方案架構(gòu)。方案結(jié)合運(yùn)營(yíng)商的實(shí)際應(yīng)用場(chǎng)景，挑選合適的組件進(jìn)行組合，摒棄了通用化的大平臺(tái)。大數(shù)據(jù)的發(fā)展，一要通過(guò)大數(shù)據(jù)應(yīng)用提升運(yùn)營(yíng)效率，二要通過(guò)數(shù)據(jù)即服務(wù)（DAAS）拓展新的服務(wù)內(nèi)容，提供對(duì)外服務(wù)。在業(yè)務(wù)實(shí)施設(shè)過(guò)程中，抓取、管理和挖掘電信運(yùn)營(yíng)商的核心數(shù)據(jù)是基礎(chǔ)，運(yùn)營(yíng)商大數(shù)據(jù)的快速部署和應(yīng)用是最終目標(biāo)，兩者需要在效率、成本和時(shí)間上取得平衡。

關(guān)鍵詞： 大數(shù)據(jù)；電信網(wǎng)絡(luò)；精簡(jiǎn)架構(gòu)；數(shù)據(jù)即服務(wù)

Abstract： In this paper， we discuss a number of domestic and international big-data telecommunications architectures and propose our own lean big-data architecture. This new architecture combines the practical application scenarios of operators， and the universal large platform is abandoned. There are two directions in big-data development： improving business efficiency and providing data as a service （DaaS）. Capturing， managing， and mining core data of a telecom operator is the basis for service implementation. Rapid deployment and application of big data is the final target. A balance also needs to be struck between in efficiency， cost and time when deploying a big-data architecture.

Key words： big data； telecommunications network； lean architecture； data as a service

中圖分類號(hào)：TN915.03； TP393.03 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1009-6868 （2013） 04-0039-003

1 電信運(yùn)營(yíng)商建設(shè)大數(shù)據(jù)

思路及關(guān)鍵技術(shù)

運(yùn)營(yíng)商的網(wǎng)絡(luò)和用戶是運(yùn)營(yíng)商的核心資產(chǎn)，而其中流動(dòng)的數(shù)據(jù)（包括用戶配置基礎(chǔ)數(shù)據(jù)、網(wǎng)絡(luò)信令數(shù)據(jù)、網(wǎng)管/日志數(shù)據(jù)、用戶位置數(shù)據(jù)、終端信息）是運(yùn)營(yíng)商的核心數(shù)據(jù)資產(chǎn)。對(duì)于運(yùn)營(yíng)商來(lái)說(shuō)，最有價(jià)值的數(shù)據(jù)來(lái)自基礎(chǔ)電信網(wǎng)絡(luò)本身，對(duì)于基礎(chǔ)管道數(shù)據(jù)的挖掘和分析是運(yùn)營(yíng)商大數(shù)據(jù)挖掘的最重要方向。抓取、管理和挖掘這些數(shù)據(jù)是運(yùn)營(yíng)商的當(dāng)務(wù)之急[1-2]。運(yùn)營(yíng)商基于核心數(shù)據(jù)的大數(shù)據(jù)應(yīng)用可從兩個(gè)方面入手：

（1）通過(guò)大數(shù)據(jù)應(yīng)用提升自身運(yùn)營(yíng)效率。比較典型的應(yīng)用包括：信令多維分析、網(wǎng)絡(luò)綜合管理及分析、業(yè)務(wù)和運(yùn)營(yíng)支撐系統(tǒng)（BOSS）經(jīng)營(yíng)綜合分析、精準(zhǔn)營(yíng)銷等。

（2）通過(guò)數(shù)據(jù)即服務(wù)（DAAS）拓展新的服務(wù)內(nèi)容，提供對(duì)外服務(wù)。包括個(gè)體及群體的位置信息以及用戶行為分析等，對(duì)于第三方公司（比如零售業(yè)或者咨詢公司、政府等）都是非常有價(jià)值的信息。運(yùn)營(yíng)商可以基于這些數(shù)據(jù)提供對(duì)外DAAS服務(wù)，拓展市場(chǎng)空間。

為了構(gòu)建電信運(yùn)營(yíng)的大數(shù)據(jù)應(yīng)用，從技術(shù)能力的角度可以分為數(shù)據(jù)收集與存儲(chǔ)、信息檢索匯聚、知識(shí)發(fā)現(xiàn)以及智慧4個(gè)層面。電信大數(shù)據(jù)技術(shù)層面如圖1所示。自下而上數(shù)據(jù)挖掘深度增加，難度加大，對(duì)于系統(tǒng)的智能需求提升。其中關(guān)鍵的技術(shù)包括抽取轉(zhuǎn)換裝載（ETL）、并行計(jì)算框架、分布式數(shù)據(jù)庫(kù)、分布式文件系統(tǒng)和數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等。

面對(duì)海量的大數(shù)據(jù)，如何有效進(jìn)行數(shù)據(jù)處理是需要解決的迫切問(wèn)題，分布式并行處理是有效手段。傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)多采用共享磁盤（Sharing-disk）架構(gòu)，當(dāng)數(shù)據(jù)量達(dá)到一定程度，將面臨處理的“瓶頸”以及擴(kuò)展的困難，同時(shí)成本也偏高。當(dāng)前有效的做法是采用分布式文件系統(tǒng)/分布式數(shù)據(jù)庫(kù)結(jié)合做分布并行處理。目前基于開(kāi)源的Hadoop平臺(tái)是業(yè)界采用較廣泛的一個(gè)實(shí)現(xiàn)方案。Hadoop[3]的核心思想是基于Hadoop分布式文件系統(tǒng)（HDFS）存儲(chǔ)文件或者基于HBase數(shù)據(jù)庫(kù)（也是基于HDFS），使用分布式并行計(jì)算框架MapReduce來(lái)并行執(zhí)行分發(fā)Map操作以及Reduce歸約操作。在Hadoop的計(jì)算模型中，計(jì)算節(jié)點(diǎn)與存儲(chǔ)節(jié)點(diǎn)合一。存儲(chǔ)數(shù)據(jù)的普通PC服務(wù)器可以執(zhí)行MapReduce的任務(wù)。而在Sharing-disk模型中，存儲(chǔ)節(jié)點(diǎn)與計(jì)算節(jié)點(diǎn)是分離的，存儲(chǔ)的數(shù)據(jù)需要傳送到計(jì)算節(jié)點(diǎn)做計(jì)算。Hadoop計(jì)算模型適合離線批處理的場(chǎng)景，比如Log日志分析、文檔統(tǒng)計(jì)分析等。它是關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)（RDBMS）的有益補(bǔ)充。

在私有技術(shù)上實(shí)現(xiàn)分布式存儲(chǔ)和并行處理，在調(diào)用接口上與Hadoop兼容，這是一個(gè)可行的技術(shù)方案。這種方案可以避免上述Hadoop的缺點(diǎn)，同時(shí)在性能上做更多的優(yōu)化。有效的手段包括增加數(shù)據(jù)本地性（Data Locality）特性，在多次迭代的計(jì)算過(guò)程減少數(shù)據(jù)在不同節(jié)點(diǎn)之間的傳送；使用索引和緩存加快數(shù)據(jù)的處理速度。結(jié)合存儲(chǔ)和計(jì)算硬件進(jìn)行調(diào)優(yōu)也是有效的手段，可以使用數(shù)據(jù)的分層存儲(chǔ)，將數(shù)據(jù)分布在內(nèi)存、固態(tài)硬盤（SSD）、硬盤等不同介質(zhì)上[4]，使得與計(jì)算資源達(dá)到很好的平衡。

面對(duì)海量數(shù)據(jù)實(shí)時(shí)性的要求，比較有效的方式是采用復(fù)雜事件處理（CEP）[5]。實(shí)時(shí)流處理采用事件觸發(fā)機(jī)制，對(duì)于輸入的事件在內(nèi)存中及時(shí)處理。同時(shí)對(duì)于多個(gè)事件能合成一個(gè)事件[6]。實(shí)時(shí)流處理需要支持規(guī)則以滿足靈活的事件處理要求。實(shí)時(shí)流處理可以使用分布式內(nèi)存數(shù)據(jù)庫(kù)、消息總線等機(jī)制來(lái)實(shí)現(xiàn)快速實(shí)時(shí)響應(yīng)。目前商用的CEP產(chǎn)品有不少，但是在功能、性能以及適用范圍上有較大差異，選擇成熟度高以及合適的產(chǎn)品是關(guān)鍵。

針對(duì)大數(shù)據(jù)中大量的半結(jié)構(gòu)化或者非結(jié)構(gòu)數(shù)據(jù)，NoSQL數(shù)據(jù)庫(kù)應(yīng)運(yùn)而生。NoSQL數(shù)據(jù)庫(kù)放棄關(guān)系模型，弱化事務(wù)，支持海量存儲(chǔ)、高可擴(kuò)展性、高可用及高并發(fā)需求。NoSQL數(shù)據(jù)庫(kù)在特定應(yīng)用場(chǎng)景下有很高的優(yōu)勢(shì)，是傳統(tǒng)數(shù)據(jù)庫(kù)的有效補(bǔ)充。按照數(shù)據(jù)模型，NoSQL主要有四大類：鍵-值（Key-Value）型、列存儲(chǔ)型、文檔型、圖型，它們對(duì)應(yīng)不同的應(yīng)用場(chǎng)景。比如Key-Value型適合簡(jiǎn)單鍵-值對(duì)的高效查詢，而圖型適合社交關(guān)系的存儲(chǔ)和高效查詢。

針對(duì)大數(shù)據(jù)挖掘分析、搜索以及機(jī)器自適應(yīng)學(xué)習(xí)等技術(shù)在企業(yè)系統(tǒng)中逐步應(yīng)用。相關(guān)的算法種類很多，當(dāng)前需求較多的是分布式挖掘和分布式搜索。

由于數(shù)據(jù)類型以及數(shù)據(jù)處理方式的改變，傳統(tǒng)ETL已經(jīng)不適用。運(yùn)營(yíng)商需要根據(jù)應(yīng)用場(chǎng)景做不同的規(guī)劃。目前來(lái)說(shuō)，由于運(yùn)營(yíng)商應(yīng)用系統(tǒng)差別較大，尚未有一種統(tǒng)一的處理模式。比較可行的一種方法是依據(jù)數(shù)據(jù)的功用以及特性做分層處理，比如大量的數(shù)據(jù)源首先做初篩，初篩完之后有部分?jǐn)?shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)或者RDBMS或者其他應(yīng)用。初篩可以使用Hadoop或者CEP或者定制的方式來(lái)完成。

針對(duì)運(yùn)營(yíng)商的不同應(yīng)用場(chǎng)景，需要采用不同的技術(shù)或者技術(shù)組合。比如用戶實(shí)時(shí)詳單查詢，數(shù)據(jù)量巨大，但是它的數(shù)據(jù)類型簡(jiǎn)單，數(shù)據(jù)以讀為主，不需要復(fù)雜的Join操作，數(shù)據(jù)的分布性好。相比傳統(tǒng)的RDBMS，使用Hadoop可以大大提升查詢性能，降低處理成本。更多的應(yīng)用可能需要多種技術(shù)的組合。比如信令采集及多維分析，信令數(shù)據(jù)特別是分組域（PS）信令數(shù)據(jù)量大且實(shí)時(shí)性要求高，有效解決海量數(shù)據(jù)處理與實(shí)時(shí)性要求是它的關(guān)鍵，需要CEP與Hadoop的組合。在當(dāng)前階段，不同的技術(shù)成熟度不一，由于業(yè)界大數(shù)據(jù)應(yīng)用進(jìn)展較快，我們認(rèn)為當(dāng)前針對(duì)不同應(yīng)用的精簡(jiǎn)方案是最合適的，也就是依據(jù)應(yīng)用場(chǎng)景，挑選最合適的組件做組合，摒棄通用化的大平臺(tái)。

2 中興通訊大數(shù)據(jù)實(shí)踐

中興通訊依托在云計(jì)算等領(lǐng)域的長(zhǎng)期積累，針對(duì)大數(shù)據(jù)形成了一套完整的技術(shù)體系架構(gòu)。ZTE大數(shù)據(jù)技術(shù)體系架構(gòu)如圖2所示。架構(gòu)依據(jù)運(yùn)營(yíng)商的不同的應(yīng)用需求，注重采用組件搭建的方式，形成端到端的精簡(jiǎn)方案。下面以兩個(gè)具體的案例進(jìn)行說(shuō)明。

（1）用戶實(shí)時(shí)位置信息服務(wù)系統(tǒng)

該系統(tǒng)實(shí)時(shí)采集蜂窩網(wǎng)絡(luò)用戶的動(dòng)態(tài)位置信息，并通過(guò)規(guī)范接口提供DAAS服務(wù)。實(shí)際工程中，當(dāng)期接入的用戶數(shù)達(dá)兩千多萬(wàn)，每天用戶位置更新數(shù)據(jù)可達(dá)40多億條，高峰期更新達(dá)到每秒幾十萬(wàn)次。除了采集的位置，還可以結(jié)合其他數(shù)據(jù)源比如用戶年齡等屬性做分析，以應(yīng)用編程接口（API）開(kāi)放給上層應(yīng)用。此外該系統(tǒng)需要有良好的可擴(kuò)展性，后續(xù)可以接入其他區(qū)域的數(shù)據(jù)源。另外這套系統(tǒng)需要有良好的性價(jià)比，成本可控，時(shí)間可控。依據(jù)這些需求，我們?cè)诔墒斓慕M件K-V NoSQL 數(shù)據(jù)庫(kù)的基礎(chǔ)上搭建了系統(tǒng)。用戶實(shí)時(shí)位置信息服務(wù)系統(tǒng)如圖3所示。

用戶實(shí)時(shí)位置信息服務(wù)系統(tǒng)是一個(gè)典型的精簡(jiǎn)方案，它基于分布式Key-Value NoSQL數(shù)據(jù)庫(kù)的分布式緩存（DCache），組裝了對(duì)位置流事件實(shí)時(shí)處理的系統(tǒng)。DCache既是消息總線，也是內(nèi)存數(shù)據(jù)庫(kù)，能很好地滿足實(shí)時(shí)性的要求。同時(shí)DCache基于x86刀片服務(wù)器，采用分布式架構(gòu)，系統(tǒng)的擴(kuò)展性很好，成本較低。該系統(tǒng)性能優(yōu)越，穩(wěn)定可靠，取得良好的效果。

（2）信令監(jiān)測(cè)多維分析系統(tǒng)

隨著運(yùn)營(yíng)商數(shù)據(jù)業(yè)務(wù)快速增長(zhǎng)，運(yùn)營(yíng)商對(duì)于網(wǎng)絡(luò)質(zhì)量提升、網(wǎng)絡(luò)運(yùn)營(yíng)效率有著更大的壓力。通過(guò)采集網(wǎng)絡(luò)Gn接口、Mc接口信令并加以處理分析，可以獲得網(wǎng)絡(luò)運(yùn)行的完整視圖，基于信令的相關(guān)專題分析，比如網(wǎng)絡(luò)質(zhì)量分析、流量效率分析、多網(wǎng)協(xié)同分析、客戶投訴及服務(wù)分析等對(duì)于運(yùn)營(yíng)商網(wǎng)絡(luò)運(yùn)營(yíng)有極大的價(jià)值。

信令監(jiān)測(cè)多維分析的難點(diǎn)在于信令流量大且數(shù)據(jù)量大，比如某運(yùn)營(yíng)商省公司Gn接口峰值流量可以達(dá)到4 Gb/s，每天信令數(shù)據(jù)可達(dá)1 TB。需要采集信令并做多種分析以服務(wù)于不同的部門。

信令監(jiān)測(cè)多維分析系統(tǒng)采用分層的架構(gòu)，便于數(shù)據(jù)共享及和應(yīng)用的擴(kuò)展。信令監(jiān)測(cè)多維分析系統(tǒng)如圖4所示。使用實(shí)時(shí)流處理滿足實(shí)時(shí)性高的數(shù)據(jù)分析要求，對(duì)于會(huì)話或事務(wù)詳單（XDR）初步處理完的數(shù)據(jù)采用傳統(tǒng)RDBMS存儲(chǔ)供后續(xù)分析查詢使用。對(duì)于數(shù)據(jù)量龐大的XDR采用Hadoop HBase存儲(chǔ)并查詢，原始信令采用分布式文件系統(tǒng)存放在本地。

在這個(gè)方案中，數(shù)據(jù)根據(jù)它的使用特性采用不同的方式存儲(chǔ)和處理，突破RDBMS處理“瓶頸”和擴(kuò)展性的“瓶頸”，達(dá)到了很好的效果。在測(cè)試中，4節(jié)點(diǎn)PC服務(wù)器可以全部承擔(dān)某運(yùn)營(yíng)商省公司PS域XDR的存儲(chǔ)，入庫(kù)性能可達(dá)50 Mb/s，針對(duì)上百億條記錄查詢，可以在10 s內(nèi)返回。取得了很好的實(shí)踐效果。

3 結(jié)束語(yǔ)

電信運(yùn)營(yíng)商面臨大數(shù)據(jù)發(fā)展的機(jī)遇，都在積極推動(dòng)大數(shù)據(jù)的試點(diǎn)和商用。在當(dāng)前大數(shù)據(jù)技術(shù)快速發(fā)展的形勢(shì)下，根據(jù)需求和應(yīng)用場(chǎng)景搭建精簡(jiǎn)方案，可以幫助運(yùn)營(yíng)商在當(dāng)前激烈競(jìng)爭(zhēng)環(huán)境中快速獲得競(jìng)爭(zhēng)優(yōu)勢(shì)，在效率、成本和時(shí)間上取得最佳平衡。

參考文獻(xiàn)

[1] Cisco Systems. Cisco visual networking index global mobile data traffic forecast update， 2011 - 2016 [EB/OL]. [2013-03-25]. http：//www.cisco.com.

[2] MANYIKA J， CHUI M， BROWN B， et al. Big data： The next frontier for innovation， competition， and productivity [R]. McKinsey Global Institute， 2011.

[3] WHITE T. Hadoop權(quán)威指南 [M]. 2版. 周敏奇， 王曉玲， 金澈清， 譯. 北京：清華大學(xué)出版社， 2011.

[4] SNIA. 2012 SNIA Sprint Tutorials-NextGen Infrastructure for Big Data [EB/OL]. [2013-02-15]. http：//www.snia.org

[5] NEUMEYER L， ROBBINS B， NAIR A， et al. S4： Distributed stream computing platform [C]//Proceedings of the IEEE International Conference on Data Mining Workshops （ICDMW’10）， Dec 14-17，2010， Sydney， Australia .Los Alamitos， CA， USA： IEEE Computer Society， 2010：170-177.

[6] SHARON G， ETZION O. Event-processing network model and implementation [J]. IBM Systems Journal， 2008，47（2）：321-334.

作者簡(jiǎn)介

李秋靜，中科院計(jì)算所工學(xué)博士畢業(yè)；現(xiàn)工作于中興通訊股份有限公司運(yùn)營(yíng)商部；主要研究領(lǐng)域?yàn)榇髷?shù)據(jù)、物聯(lián)網(wǎng)、云計(jì)算等；已發(fā)表學(xué)術(shù)論文8篇。

葉云，中興通訊股份有限公司運(yùn)營(yíng)商部方案總工、高級(jí)工程師；長(zhǎng)期從事業(yè)務(wù)軟件產(chǎn)品的技術(shù)預(yù)研、產(chǎn)品方案規(guī)劃及標(biāo)準(zhǔn)化工作，先后主持和參加了中興通訊IMS、云計(jì)算、物聯(lián)網(wǎng)、智能管道、大數(shù)據(jù)等多個(gè)重點(diǎn)綜合方案的設(shè)計(jì)；已發(fā)表學(xué)術(shù)論文50余篇。