劉 春，鄒海鋒，向 勇

（1.中國(guó)電信股份有限公司廣東研究院 廣州510630；2.深圳市遠(yuǎn)行科技有限公司 深圳518000）

1 引言

隨著企業(yè)信息化建設(shè)的不斷深化、社會(huì)化網(wǎng)絡(luò)的興起以及移動(dòng)互聯(lián)網(wǎng)等新一代信息技術(shù)的廣泛應(yīng)用，全球數(shù)據(jù)規(guī)模及其存儲(chǔ)容量正在迅速增長(zhǎng)，數(shù)據(jù)的類型也變得復(fù)雜多樣。海量多樣化的數(shù)據(jù)對(duì)信息的有效存儲(chǔ)、快速讀取、檢索提出了挑戰(zhàn)，且其中所蘊(yùn)藏的巨大商業(yè)價(jià)值也引發(fā)了對(duì)數(shù)據(jù)處理、分析的巨大需求。因此，大數(shù)據(jù)的概念應(yīng)運(yùn)而生，引用維基百科的定義，“大數(shù)據(jù)是指無(wú)法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合”。

當(dāng)前，大數(shù)據(jù)已逐漸滲透到各個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，以利用數(shù)據(jù)價(jià)值為核心的商業(yè)服務(wù)正在不斷涌現(xiàn)，如數(shù)據(jù)資源服務(wù)、數(shù)據(jù)分析服務(wù)、數(shù)據(jù)開(kāi)放平臺(tái)服務(wù)等，大數(shù)據(jù)將成為重要的生產(chǎn)因素，它的演進(jìn)將與生產(chǎn)力的提升有直接關(guān)系。

對(duì)電信運(yùn)營(yíng)商而言，其業(yè)務(wù)特性使它具備了較強(qiáng)的大數(shù)據(jù)特征。然而，運(yùn)營(yíng)商業(yè)務(wù)數(shù)據(jù)在快速積聚的同時(shí)，并沒(méi)有從傳送的大量上層應(yīng)用內(nèi)容中獲得更多收益，卻面臨收入增速放緩的困境。要真正扭轉(zhuǎn)這一局面，運(yùn)營(yíng)商必須轉(zhuǎn)變過(guò)去簡(jiǎn)單粗放的網(wǎng)絡(luò)運(yùn)營(yíng)方式，順應(yīng)移動(dòng)互聯(lián)網(wǎng)“開(kāi)放、共享、合作、高效”等特征，逐步向綜合服務(wù)提供商轉(zhuǎn)變，向集約化運(yùn)營(yíng)模式轉(zhuǎn)變。在大數(shù)據(jù)時(shí)代，數(shù)據(jù)服務(wù)能力開(kāi)放是這一轉(zhuǎn)變的有力推手。

業(yè)務(wù)數(shù)據(jù)是運(yùn)營(yíng)商的核心資源，結(jié)合大數(shù)據(jù)技術(shù)，電信運(yùn)營(yíng)商開(kāi)放自身的數(shù)據(jù)服務(wù)能力，為外部合作伙伴提供精確的用戶行為收集與分析、提供精準(zhǔn)廣告投放推薦能力等數(shù)據(jù)分析服務(wù)，是強(qiáng)化流量經(jīng)營(yíng)、開(kāi)展規(guī)?；畔⒎?wù)運(yùn)營(yíng)的有效手段。這將有助于實(shí)現(xiàn)向綜合服務(wù)提供商、集約化運(yùn)營(yíng)的有效轉(zhuǎn)變，增加管道的價(jià)值和收入，進(jìn)一步抓住未來(lái)廣闊的信息化市場(chǎng)，擺脫被邊緣化和底層化的危機(jī)，獲取更大的商業(yè)價(jià)值。

2 業(yè)務(wù)需求

2.1 業(yè)務(wù)應(yīng)用場(chǎng)景

在電信行業(yè)，利用數(shù)據(jù)的核心價(jià)值，實(shí)現(xiàn)數(shù)據(jù)服務(wù)能力開(kāi)放，可以滿足以下多種業(yè)務(wù)應(yīng)用場(chǎng)景要求。

·實(shí)時(shí)營(yíng)銷：實(shí)時(shí)捕捉用戶通信行為，通過(guò)用戶實(shí)時(shí)信令信息與營(yíng)銷目標(biāo)用戶場(chǎng)景，分別設(shè)置匹配信息向用戶推送營(yíng)銷內(nèi)容，達(dá)到在適當(dāng)時(shí)間，以適當(dāng)方式，向適當(dāng)用戶推廣適當(dāng)業(yè)務(wù)的目的。

·手機(jī)定向廣告推薦：通過(guò)與后向商家合作，向用戶行為符合后向商家要求（如用戶到達(dá)指定地點(diǎn)）的用戶推送相關(guān)合作商家的廣告信息，以賺取后向商家的廣告費(fèi)，豐富電信運(yùn)營(yíng)商的收入模式。

·用戶點(diǎn)擊流分析：對(duì)用戶的上網(wǎng)行為進(jìn)行采集與存儲(chǔ)，使用戶上網(wǎng)行為信息變得可查詢、可統(tǒng)計(jì)，統(tǒng)計(jì)分析的結(jié)果可以指導(dǎo)相關(guān)網(wǎng)頁(yè)的頁(yè)面布局、產(chǎn)品開(kāi)發(fā)等。

·信息推送：用戶行為、興趣特征、位置等綜合分析，為合作伙伴提供有針對(duì)性的信息推送服務(wù)，合作伙伴可以基于這些信息，開(kāi)發(fā)第三方應(yīng)用或進(jìn)一步的數(shù)據(jù)深加工服務(wù)（如店址選擇）。

·市場(chǎng)調(diào)研：通過(guò)用戶行為了解市場(chǎng)動(dòng)態(tài)，分析市場(chǎng)結(jié)構(gòu)，為合作伙伴提供市場(chǎng)結(jié)構(gòu)、用戶多維特征、競(jìng)爭(zhēng)情況等分析。

可見(jiàn)，如何在有效保護(hù)用戶信息隱私的前提下，高效、及時(shí)、便捷地向自營(yíng)單位、合作伙伴等外部對(duì)象提供所需的數(shù)據(jù)是以上業(yè)務(wù)應(yīng)用的關(guān)鍵。大數(shù)據(jù)環(huán)境下的數(shù)據(jù)服務(wù)能力開(kāi)放，即運(yùn)營(yíng)商通過(guò)定期或?qū)崟r(shí)采集海量的運(yùn)營(yíng)數(shù)據(jù)，在異構(gòu)多樣的數(shù)據(jù)中進(jìn)行處理和分析，以分析結(jié)果的形式呈現(xiàn)，以集約化的能力開(kāi)放平臺(tái)向外部提供各種數(shù)據(jù)服務(wù)。

2.2 存在的問(wèn)題

運(yùn)營(yíng)商在實(shí)現(xiàn)集約化的數(shù)據(jù)服務(wù)能力開(kāi)放時(shí)，將會(huì)存在較多的挑戰(zhàn)和困難，有如下幾個(gè)方面。

·技術(shù)要求高：移動(dòng)互聯(lián)網(wǎng)帶來(lái)的海量數(shù)據(jù)對(duì)處理技術(shù)提出更高的要求。

·整體分析難：業(yè)務(wù)平臺(tái)割裂，數(shù)據(jù)散落地分布在各系統(tǒng)，難以支持整體分析，也不利于形成統(tǒng)一的客戶行為視圖。

·能力分散：用戶獲取相關(guān)數(shù)據(jù)服務(wù)可能需要通過(guò)多個(gè)渠道或平臺(tái)申請(qǐng)相關(guān)的數(shù)據(jù)服務(wù)能力，沒(méi)有統(tǒng)一的服務(wù)能力開(kāi)放平臺(tái)，造成服務(wù)能力分散。

·資源浪費(fèi)：分散的服務(wù)能力，自然需要分散的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源，重復(fù)的服務(wù)能力開(kāi)放必然造成資源的多倍使用。

電信運(yùn)營(yíng)商需要分析內(nèi)外部數(shù)據(jù)集約化運(yùn)營(yíng)的共享需求和業(yè)務(wù)應(yīng)用，以便于提供高度共享和集約化的數(shù)據(jù)服務(wù)能力。

2.3 總體需求

開(kāi)放能力、創(chuàng)新模式并建立良好的合作機(jī)制，是電信運(yùn)營(yíng)商形成具有產(chǎn)業(yè)影響力的互聯(lián)網(wǎng)生態(tài)系統(tǒng)的必經(jīng)之路。數(shù)據(jù)服務(wù)能力開(kāi)放平臺(tái)的定位為提升運(yùn)營(yíng)商管道價(jià)值和提供綜合信息服務(wù)的主體設(shè)施，是深化互聯(lián)網(wǎng)流量經(jīng)營(yíng)的主體工具，是實(shí)現(xiàn)數(shù)據(jù)服務(wù)能力開(kāi)放的主體平臺(tái)。

·建立基于橫向業(yè)務(wù)網(wǎng)絡(luò)體系架構(gòu)的信息匯聚平臺(tái)，通過(guò)對(duì)網(wǎng)絡(luò)、應(yīng)用客戶端、業(yè)務(wù)平臺(tái)和IT系統(tǒng)數(shù)據(jù)的采集，獲取業(yè)務(wù)行為信息，采用大數(shù)據(jù)技術(shù)構(gòu)建統(tǒng)一的用戶行為信息數(shù)據(jù)庫(kù)；采用建模技術(shù)實(shí)現(xiàn)數(shù)據(jù)挖掘和行為分析，為運(yùn)營(yíng)商的自營(yíng)單位（如基地業(yè)務(wù)平臺(tái)）或合作伙伴提供個(gè)性化數(shù)據(jù)分析能力，為精準(zhǔn)營(yíng)銷和精準(zhǔn)廣告投放服務(wù)提供數(shù)據(jù)支持。

·實(shí)現(xiàn)數(shù)據(jù)分析應(yīng)用不同層次和權(quán)限的開(kāi)放，如數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市、分析模型、分析應(yīng)用等；提供面向自營(yíng)業(yè)務(wù)、第三方應(yīng)用和合作伙伴等不同權(quán)限的能力開(kāi)放；此外，考慮用戶數(shù)據(jù)在傳輸、存儲(chǔ)等方面的安全保障，并避免用戶隱私保護(hù)在法律、技術(shù)上出現(xiàn)重大問(wèn)題。

·提供簡(jiǎn)單易用的開(kāi)放接口，封裝成標(biāo)準(zhǔn)統(tǒng)一的能力開(kāi)放API供第三方調(diào)用，提供簡(jiǎn)單易用的文檔說(shuō)明，降低第三方開(kāi)發(fā)者開(kāi)發(fā)門檻；滿足“一站式”開(kāi)發(fā)、測(cè)試、運(yùn)營(yíng)的服務(wù)需求。

·集約化的平臺(tái)運(yùn)營(yíng)，按照一體化運(yùn)營(yíng)模式進(jìn)行平臺(tái)建設(shè)和流程優(yōu)化，著重加強(qiáng)通信服務(wù)、電子渠道、用戶行為分析等領(lǐng)域的全網(wǎng)集約化運(yùn)營(yíng)能力。

3 數(shù)據(jù)服務(wù)內(nèi)容

數(shù)據(jù)服務(wù)能力以API形式提供給外部，首先要明確數(shù)據(jù)服務(wù)的形態(tài)，即通過(guò)數(shù)據(jù)服務(wù)開(kāi)放平臺(tái)可以提供的數(shù)據(jù)類別、形式等。本節(jié)通過(guò)分析業(yè)界數(shù)據(jù)開(kāi)放的案例，結(jié)合電信行業(yè)特征，明確數(shù)據(jù)服務(wù)的內(nèi)容。

3.1 業(yè)界數(shù)據(jù)服務(wù)開(kāi)放

數(shù)據(jù)服務(wù)開(kāi)放已經(jīng)開(kāi)始覆蓋互聯(lián)網(wǎng)企業(yè)、政府行業(yè)，其中較為主流的兩個(gè)案例為美國(guó)的政府服務(wù)數(shù)據(jù)開(kāi)放以及國(guó)內(nèi)淘寶網(wǎng)在電商行業(yè)中的數(shù)據(jù)開(kāi)放。

（1）美國(guó)政府“一站式”數(shù)據(jù)下載

美國(guó)政府為了解決公眾對(duì)政府服務(wù)信息查找困難、不便的問(wèn)題，于2009年5月宣布實(shí)施“開(kāi)放政府計(jì)劃”，提出利用開(kāi)放的網(wǎng)絡(luò)平臺(tái)公開(kāi)政府信息、工作程序和決策過(guò)程，開(kāi)通了“一站式”政府?dāng)?shù)據(jù)下載網(wǎng)站——Data.gov[1]，要點(diǎn)如下。

·以各種標(biāo)準(zhǔn)數(shù)據(jù)接口提供易于發(fā)現(xiàn)、訪問(wèn)和理解的數(shù)據(jù)，方便用戶下載，改善聯(lián)邦數(shù)據(jù)利用率。

·整合現(xiàn)有1 100多個(gè)數(shù)據(jù)中心，削減到100～200個(gè)，實(shí)現(xiàn)數(shù)據(jù)集中和節(jié)能減耗，并制定完備的法律體系保障信息的公開(kāi)與獲取。

·采集與發(fā)布的政府?dāng)?shù)據(jù)主要有兩類：原始數(shù)據(jù)集，涵蓋美國(guó)的人口特征統(tǒng)計(jì)數(shù)據(jù)、GIS信息、環(huán)保、教育、能源、地域、法令等相關(guān)主題的政府信息；綜合數(shù)據(jù)集，通過(guò)原始數(shù)據(jù)與地理信息的疊加，生成地理空間信息服務(wù)和綜合地理數(shù)據(jù)。

·提供標(biāo)準(zhǔn)的API，方便第三方機(jī)構(gòu)開(kāi)發(fā)特色應(yīng)用，如福布斯雜志利用人口流動(dòng)數(shù)據(jù)開(kāi)發(fā)人口遷移的應(yīng)用，方便查看地點(diǎn)間的人口遷出和遷入情況，為企業(yè)提供決策參考。

（2）淘寶數(shù)據(jù)開(kāi)放

淘寶網(wǎng)“大淘寶”戰(zhàn)略中，生態(tài)商業(yè)系統(tǒng)的核心競(jìng)爭(zhēng)能力是利用互聯(lián)網(wǎng)信息技術(shù)累計(jì)的數(shù)據(jù)提高自身開(kāi)展電子商務(wù)業(yè)務(wù)的能力，即解讀互聯(lián)網(wǎng)數(shù)據(jù)能力和對(duì)快速市場(chǎng)的應(yīng)急能力，通過(guò)數(shù)據(jù)開(kāi)放提高其在電子商務(wù)業(yè)務(wù)中的核心競(jìng)爭(zhēng)能力，從以下3個(gè)層面進(jìn)行開(kāi)放：

·涉及電子商務(wù)行業(yè)的宏觀數(shù)據(jù)以及讓消費(fèi)者了解最新消費(fèi)風(fēng)向標(biāo)的數(shù)據(jù)，淘寶實(shí)行免費(fèi)開(kāi)放策略；

·涉及各個(gè)行業(yè)市場(chǎng)情況、消費(fèi)者行為研究等的商業(yè)數(shù)據(jù)，淘寶通過(guò)商業(yè)方式開(kāi)放；

·涉及消費(fèi)者個(gè)人隱私、企業(yè)商業(yè)隱私的數(shù)據(jù)，淘寶絕對(duì)保護(hù)，防止任何泄漏。

淘寶數(shù)據(jù)的開(kāi)放，將推進(jìn)企業(yè)提高開(kāi)展電子商務(wù)活動(dòng)的核心競(jìng)爭(zhēng)能力，有助于促進(jìn)整個(gè)電子商務(wù)生態(tài)鏈中各個(gè)物種的成長(zhǎng)。

3.2 電信運(yùn)營(yíng)商數(shù)據(jù)服務(wù)內(nèi)容

3.2.1 數(shù)據(jù)服務(wù)開(kāi)放考慮因素

總結(jié)以上兩個(gè)案例，電信運(yùn)營(yíng)商實(shí)現(xiàn)數(shù)據(jù)服務(wù)能力開(kāi)放，需要考慮表1中的4種因素。

表1 數(shù)據(jù)服務(wù)開(kāi)發(fā)的考慮因素

3.2.2 數(shù)據(jù)來(lái)源

在明確數(shù)據(jù)服務(wù)內(nèi)容之前，首先總結(jié)一下運(yùn)營(yíng)商的大數(shù)據(jù)來(lái)源，主要分為以下3個(gè)方面。

（1）用戶提供的信息

包括用戶的許可和偏好所得到的數(shù)據(jù)、用戶與運(yùn)營(yíng)商的合同數(shù)據(jù)、用戶社會(huì)網(wǎng)絡(luò)數(shù)據(jù)、合同或用戶注冊(cè)中的直接內(nèi)容、對(duì)用戶的調(diào)研數(shù)據(jù)和用戶使用的電信產(chǎn)品。

（2）直接獲取的數(shù)據(jù)

通過(guò)用戶行為分析（使用的各類介質(zhì)或傳感器）可直接獲得的數(shù)據(jù)，包括所使用的物理終端連接狀態(tài)、終端類型、位置信息、用戶網(wǎng)絡(luò)流量數(shù)據(jù)、用戶點(diǎn)擊廣告和推薦的數(shù)據(jù)、用戶購(gòu)買/下載的習(xí)慣、用戶網(wǎng)站瀏覽行為、電視觀看習(xí)慣以及CDR（call detail record，由電話交換機(jī)產(chǎn)生的計(jì)算機(jī)記錄，包含經(jīng)過(guò)的每個(gè)電話呼叫的詳細(xì)信息）。

（3）推理分析挖掘數(shù)據(jù)

除了上述主動(dòng)獲取的數(shù)據(jù)之外，還需通過(guò)推理分析挖掘?qū)\(yùn)營(yíng)商有用的數(shù)據(jù)，包括對(duì)用戶離網(wǎng)的風(fēng)險(xiǎn)進(jìn)行分析、對(duì)用戶社交圈數(shù)據(jù)進(jìn)行分析和挖掘等。

3.2.3 數(shù)據(jù)服務(wù)內(nèi)容

通過(guò)對(duì)業(yè)界數(shù)據(jù)服務(wù)的分析，結(jié)合電信運(yùn)營(yíng)商的業(yè)務(wù)需求和數(shù)據(jù)來(lái)源，總結(jié)出以下數(shù)據(jù)服務(wù)內(nèi)容。

（1）基礎(chǔ)數(shù)據(jù)查詢能力服務(wù)

提供對(duì)電信業(yè)務(wù)數(shù)據(jù)的高性能查詢服務(wù)，實(shí)現(xiàn)對(duì)客戶基礎(chǔ)信息、位置信息、訂購(gòu)信息、終端信息、用戶行為等數(shù)據(jù)的提供。

（2）數(shù)據(jù)分析服務(wù)能力服務(wù)

提供對(duì)外數(shù)據(jù)分析能力服務(wù)，為外部提供數(shù)據(jù)分析結(jié)果，如用戶的應(yīng)用偏好（微博、游戲、閱讀等）、消費(fèi)習(xí)慣（歷史消費(fèi)情況、位置出現(xiàn)規(guī)律、付費(fèi)習(xí)慣等）、行為偏好（如軍事、旅游等）以及個(gè)性化信息推送（利用電信業(yè)務(wù)的綜合行為分析結(jié)果，提供個(gè)性化推薦結(jié)果）。

（3）數(shù)據(jù)運(yùn)算能力服務(wù)

隨著業(yè)務(wù)需求的不斷多樣化以及技術(shù)架構(gòu)的進(jìn)步，探索對(duì)外提供大數(shù)據(jù)運(yùn)算服務(wù)，分為以下兩方面。

·數(shù)據(jù)分析挖掘能力：通過(guò)數(shù)據(jù)隔離、沙盒管控等措施，為合作伙伴提供快速的分析挖掘能力。

·實(shí)時(shí)數(shù)據(jù)探索服務(wù)開(kāi)放：利用電信的大數(shù)據(jù)綜合分析結(jié)果，為合作伙伴提供實(shí)時(shí)數(shù)據(jù)探索分析服務(wù)。

4 能力開(kāi)放平臺(tái)架構(gòu)研究

實(shí)現(xiàn)面向大數(shù)據(jù)的數(shù)據(jù)服務(wù)能力開(kāi)放，需要建立基于橫向業(yè)務(wù)網(wǎng)絡(luò)體系架構(gòu)的信息匯聚平臺(tái)，以下對(duì)平臺(tái)架構(gòu)進(jìn)行研究。

4.1 平臺(tái)建設(shè)思路

平臺(tái)建設(shè)思路介紹如下。

·綜合數(shù)據(jù)平臺(tái)的提供者，拓展電信運(yùn)營(yíng)商的業(yè)務(wù)范圍：綜合企業(yè)內(nèi)外部數(shù)據(jù)資源，對(duì)外開(kāi)放數(shù)據(jù)服務(wù)，幫助合作伙伴提升精確營(yíng)銷能力；為行業(yè)客戶提供大數(shù)據(jù)的解決方案和數(shù)據(jù)分析服務(wù)。

·支撐商業(yè)模式創(chuàng)新，通過(guò)對(duì)外的數(shù)據(jù)服務(wù)支撐，更好地聚集價(jià)值鏈中的優(yōu)秀合作伙伴；面向后向客戶收費(fèi)，進(jìn)行收入分成或內(nèi)容收費(fèi)。

·標(biāo)準(zhǔn)化操作，構(gòu)建“表達(dá)標(biāo)準(zhǔn)化、實(shí)現(xiàn)模塊化”的能力封裝與開(kāi)放體系。

4.2 平臺(tái)架構(gòu)

能力開(kāi)放是對(duì)底層復(fù)雜的業(yè)務(wù)、技術(shù)、流程實(shí)現(xiàn)進(jìn)行抽象和封裝，對(duì)外提供開(kāi)發(fā)運(yùn)營(yíng)環(huán)境[2]。結(jié)合電信運(yùn)營(yíng)商的業(yè)務(wù)需求以及IT建設(shè)現(xiàn)狀，提出數(shù)據(jù)能力開(kāi)放平臺(tái)架構(gòu)，如圖1所示。

圖1 數(shù)據(jù)服務(wù)能力開(kāi)放平臺(tái)架構(gòu)

（1）數(shù)據(jù)源

數(shù)據(jù)源主要包括IT應(yīng)用系統(tǒng)的業(yè)務(wù)數(shù)據(jù)（如CRM系統(tǒng)、計(jì)費(fèi)系統(tǒng)、網(wǎng)管系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)等）、電信移動(dòng)終端數(shù)據(jù)（如連接狀態(tài)、終端類型、位置信息等）、網(wǎng)絡(luò)通信協(xié)議和數(shù)據(jù)（如DPI、NetFlow、網(wǎng)絡(luò)及拓?fù)浣Y(jié)構(gòu)、移動(dòng)網(wǎng)CDR等）、業(yè)務(wù)平臺(tái)數(shù)據(jù)（如業(yè)務(wù)訂購(gòu)信息、瀏覽點(diǎn)擊行為等）。

（2）數(shù)據(jù)采集

數(shù)據(jù)采集層需要支持關(guān)系數(shù)據(jù)庫(kù)、日志數(shù)據(jù)、文件數(shù)據(jù)、XML文檔數(shù)據(jù)等數(shù)據(jù)源的采集，滿足聯(lián)機(jī)/脫機(jī)、實(shí)時(shí)/定時(shí)/周期性等采集方式要求；采用任務(wù)驅(qū)動(dòng)的采集機(jī)制，根據(jù)采集任務(wù)的觸發(fā)條件和優(yōu)先級(jí)等，加載、激活和協(xié)調(diào)采集任務(wù)的運(yùn)行，要求所采用的方式對(duì)現(xiàn)有系統(tǒng)的影響最小。

（3）數(shù)據(jù)存儲(chǔ)

從所采集的數(shù)據(jù)特征可知，其數(shù)據(jù)結(jié)構(gòu)復(fù)雜多樣且體量巨大，需要改變目前以結(jié)構(gòu)化為主的單一存儲(chǔ)方案；要求滿足不同的存儲(chǔ)要求，支持SMP、MPP、RDBMS等多種架構(gòu)的數(shù)據(jù)庫(kù)以及內(nèi)存數(shù)據(jù)庫(kù)、分布式緩存等技術(shù)能力。采用如下策略實(shí)現(xiàn)：對(duì)非結(jié)構(gòu)化數(shù)據(jù)，采用分布式文件系統(tǒng)進(jìn)行存儲(chǔ)；對(duì)結(jié)構(gòu)松散、無(wú)模式的半結(jié)構(gòu)化數(shù)據(jù)，采用面向文檔的分布式key/value存儲(chǔ)引擎進(jìn)行存儲(chǔ)；對(duì)海量的結(jié)構(gòu)化數(shù)據(jù)，采用shared-nothing分布式并行數(shù)據(jù)庫(kù)系統(tǒng)進(jìn)行存儲(chǔ)；支持行、列混合存儲(chǔ)；支持存儲(chǔ)的在線、線性擴(kuò)展；構(gòu)建各存儲(chǔ)引擎之間的連接器，使得非結(jié)構(gòu)化數(shù)據(jù)在處理成結(jié)構(gòu)化信息后，能方便地和分布式數(shù)據(jù)庫(kù)中的關(guān)系型數(shù)據(jù)快速融通，保證大數(shù)據(jù)分析的敏捷性。

（4）數(shù)據(jù)處理

為了滿足海量數(shù)據(jù)處理以及響應(yīng)時(shí)效高的要求，需要具備分布式批處理和實(shí)時(shí)流處理的計(jì)算能力。

在分布式批處理層面，需要支持海量數(shù)據(jù)的并行化處理；自動(dòng)處理節(jié)點(diǎn)/任務(wù)的故障檢測(cè)和恢復(fù)；處理節(jié)點(diǎn)可以靈活加入和退出，自動(dòng)感知節(jié)點(diǎn)狀態(tài)并進(jìn)行處理；計(jì)算任務(wù)靈活調(diào)度，從而提升執(zhí)行性能。

在實(shí)時(shí)流處理方面，支持?jǐn)?shù)據(jù)的連續(xù)注入、連續(xù)分析，實(shí)時(shí)對(duì)流數(shù)據(jù)進(jìn)行分布式并行分析計(jì)算（達(dá)到毫秒/秒級(jí)）；以極高性能分析處理結(jié)構(gòu)化和非結(jié)構(gòu)化動(dòng)態(tài)數(shù)據(jù)流（如關(guān)系、文本、圖片、視頻等）；支持事件驅(qū)動(dòng)，捕獲實(shí)時(shí)事件，觸發(fā)相應(yīng)的處理流程；具備高速數(shù)據(jù)傳輸、時(shí)延極低、速率極高等特性。

（5）數(shù)據(jù)分析

數(shù)據(jù)分析層主要對(duì)經(jīng)過(guò)存儲(chǔ)和處理的數(shù)據(jù)進(jìn)行OLAP分析、搜索引擎、專題分析、數(shù)據(jù)挖掘、標(biāo)簽分析等操作。海量數(shù)據(jù)使得計(jì)算速度難以保證，數(shù)據(jù)結(jié)構(gòu)變化導(dǎo)致計(jì)算模式變化。在實(shí)現(xiàn)以上數(shù)據(jù)分析時(shí)，需要融合MapReduce、流計(jì)算等先進(jìn)技術(shù)思路，要求支持非結(jié)構(gòu)化數(shù)據(jù)分析（如文本分析和挖掘技術(shù)、視頻分析技術(shù)、網(wǎng)絡(luò)爬蟲(chóng)關(guān)鍵字分析技術(shù)、客戶標(biāo)簽化處理等）；支持非結(jié)構(gòu)化數(shù)據(jù)向結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換；實(shí)現(xiàn)基于結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)混合環(huán)境下的數(shù)據(jù)分析處理；具備分布式并發(fā)的大規(guī)模計(jì)算能力；提供數(shù)據(jù)分析模型管理和分析應(yīng)用創(chuàng)建能力。

（6）數(shù)據(jù)服務(wù)

數(shù)據(jù)服務(wù)層將屏蔽底層針對(duì)各類數(shù)據(jù)服務(wù)需求的數(shù)據(jù)處理過(guò)程，將加工后的數(shù)據(jù)、應(yīng)用等通過(guò)集中的數(shù)據(jù)/服務(wù)提供功能，為外部合作伙伴提供數(shù)據(jù)服務(wù)能力，簡(jiǎn)化數(shù)據(jù)共享邏輯，集約化數(shù)據(jù)分析能力。

數(shù)據(jù)服務(wù)能力的對(duì)外提供需要滿足敏捷、安全可靠、能力復(fù)用的總體目標(biāo)。功能層面上，要求滿足共享需求的數(shù)據(jù)資源以服務(wù)的方式暴露到平臺(tái)上，通過(guò)數(shù)據(jù)服務(wù)定義、數(shù)據(jù)服務(wù)目錄、服務(wù)路由、傳輸加密、在線聯(lián)調(diào)測(cè)試、流量控制等功能[3],為接入的外部平臺(tái)提供數(shù)據(jù)服務(wù)，同時(shí)也實(shí)現(xiàn)對(duì)服務(wù)從需求提出→開(kāi)發(fā)→發(fā)布→部署上線→維護(hù)更新→下線全過(guò)程的服務(wù)生命周期的管理；技術(shù)層面上，滿足異步、消息實(shí)時(shí)響應(yīng)、發(fā)布訂閱、并行處理、松耦合等核心技術(shù)需求。

（7）數(shù)據(jù)門戶

數(shù)據(jù)門戶是開(kāi)放平臺(tái)的數(shù)據(jù)應(yīng)用統(tǒng)一入口，面向不同角色的使用者，可以實(shí)現(xiàn)數(shù)據(jù)服務(wù)內(nèi)容的搜索和推薦，能夠通過(guò)短信、郵件等方式把關(guān)鍵業(yè)務(wù)指標(biāo)、系統(tǒng)分析應(yīng)用推送給目標(biāo)用戶。

（8）基礎(chǔ)管理

基礎(chǔ)管理主要包含安全管理、元數(shù)據(jù)管理和系統(tǒng)管理等功能。元數(shù)據(jù)管理貫穿于大數(shù)據(jù)分析子平臺(tái)的構(gòu)建、運(yùn)行和維護(hù)整個(gè)生命周期；安全管理是數(shù)據(jù)管理工作的重要組成部分，包括傳輸安全、存儲(chǔ)安全和訪問(wèn)控制；系統(tǒng)管理提供對(duì)認(rèn)證、權(quán)限、用戶等基礎(chǔ)信息的管理。

4.3 能力開(kāi)放機(jī)制

從數(shù)據(jù)服務(wù)能力開(kāi)放的業(yè)務(wù)特性看，數(shù)據(jù)服務(wù)主要提供一對(duì)多的服務(wù)共享方式，要滿足高性能、高實(shí)時(shí)性的服務(wù)并行處理要求，且要與外部平臺(tái)實(shí)現(xiàn)充分的解耦。業(yè)界能力開(kāi)放平臺(tái)在提供服務(wù)時(shí)，主要采用傳統(tǒng)的SOA思路進(jìn)行構(gòu)建，此種方式存在以下幾個(gè)方面的問(wèn)題。

·實(shí)時(shí)性：主要基于消息的同步模式機(jī)制，其流程處理方式為順序、線性，即只有前面步驟處理完成才能發(fā)起后續(xù)步驟和服務(wù)調(diào)用，這影響到服務(wù)調(diào)用的性能和時(shí)效。

·服務(wù)效率：針對(duì)一對(duì)多的服務(wù)共享場(chǎng)景，會(huì)開(kāi)發(fā)多個(gè)服務(wù)且增加路由服務(wù)，服務(wù)提供方必須要知道所有消費(fèi)方，并對(duì)所有消費(fèi)方進(jìn)行服務(wù)調(diào)用和數(shù)據(jù)分發(fā)，這無(wú)疑給平臺(tái)增加了性能壓力。

·耦合度：企業(yè)服務(wù)總線能起到松耦合的作用，但其建設(shè)過(guò)程是漸進(jìn)的。當(dāng)前的消息機(jī)制多采用同步模式，當(dāng)服務(wù)消費(fèi)/提供者兩方中的任何一方存在系統(tǒng)異常時(shí)，都將直接導(dǎo)致另一方的功能系統(tǒng)和服務(wù)調(diào)用失敗，業(yè)務(wù)系統(tǒng)間沒(méi)有徹底實(shí)現(xiàn)解耦。

SOA能把線性、可預(yù)測(cè)內(nèi)容的服務(wù)連接起來(lái)，但缺乏對(duì)動(dòng)態(tài)實(shí)時(shí)業(yè)務(wù)做出應(yīng)答的能力。數(shù)據(jù)服務(wù)提供需要滿足異步、消息實(shí)時(shí)響應(yīng)、發(fā)布訂閱、并行處理、松耦合等核心技術(shù)需求，而通過(guò)事件驅(qū)動(dòng)架構(gòu)（event driven architecture，EDA）模式建立的系統(tǒng)可對(duì)動(dòng)態(tài)實(shí)時(shí)業(yè)務(wù)做出有效的處理，允許復(fù)式、不可預(yù)測(cè)、異步的事件并行地發(fā)生和在單一的活動(dòng)中被觸發(fā)，并且由于服務(wù)可以像事件一樣被觸發(fā)，因此EDA實(shí)際上是SOA的一種有效補(bǔ)充[4]。

經(jīng)過(guò)以上分析，本文所述平臺(tái)的數(shù)據(jù)服務(wù)能力采用EDA服務(wù)共享機(jī)制，具備以下特性。

·異步：支持異步活動(dòng)，服務(wù)發(fā)布后不必再關(guān)心消費(fèi)方是否能收到響應(yīng)，也不必在源和目的端之間維持一條活動(dòng)的鏈路。

·發(fā)布/訂閱：支持一對(duì)多或多對(duì)多的服務(wù)交互，在平臺(tái)中發(fā)布一個(gè)關(guān)于事件的信息到網(wǎng)絡(luò)，許多其他已經(jīng)訂閱和授權(quán)的系統(tǒng)可以收到消息并做出相應(yīng)的動(dòng)作。

·解耦：實(shí)現(xiàn)與外部系統(tǒng)的充分解耦，服務(wù)在兩個(gè)系統(tǒng)間交互時(shí)不需要知道對(duì)方的詳細(xì)信息。

在實(shí)現(xiàn)以上服務(wù)機(jī)制時(shí)，主要滿足以下功能要求。

·異步消息支撐：平臺(tái)架構(gòu)需要保證當(dāng)外部服務(wù)請(qǐng)求事件發(fā)生時(shí)，能傳送異步消息。采用JMS實(shí)現(xiàn)消息的創(chuàng)建、發(fā)送、接收和讀取，通過(guò)JMS接口，消息生產(chǎn)者和消費(fèi)者能夠以點(diǎn)對(duì)點(diǎn)或發(fā)布/訂閱模型發(fā)送和接收消息。

·事件管理：將服務(wù)提供方/消費(fèi)方所發(fā)生的工作定

義為事件，平臺(tái)的體系結(jié)構(gòu)必須保證有相應(yīng)的功能可以識(shí)別、定義和聚合事件，以便于統(tǒng)一管理，這包括在事件發(fā)生時(shí)和發(fā)生后都可以訪問(wèn)，并且可以在特定的業(yè)務(wù)場(chǎng)景中識(shí)別和訪問(wèn)一系列事件。

5 結(jié)束語(yǔ)

本文分析了在大數(shù)據(jù)環(huán)境下，電信運(yùn)營(yíng)商數(shù)據(jù)服務(wù)能力開(kāi)放的業(yè)務(wù)需求、數(shù)據(jù)服務(wù)內(nèi)容，重點(diǎn)研究了數(shù)據(jù)服務(wù)能力開(kāi)放平臺(tái)的建設(shè)思路、體系架構(gòu)，針對(duì)數(shù)據(jù)服務(wù)提供的業(yè)務(wù)特點(diǎn)，研究了集約化運(yùn)營(yíng)環(huán)境下運(yùn)營(yíng)商數(shù)據(jù)服務(wù)共享的機(jī)制。本文的研究成果對(duì)電信運(yùn)營(yíng)商能力開(kāi)放平臺(tái)的建設(shè)具有較好的指導(dǎo)意義，為運(yùn)營(yíng)商向集約化運(yùn)營(yíng)、綜合服務(wù)提供的戰(zhàn)略方向轉(zhuǎn)型提供了技術(shù)參考。而在本文的研究領(lǐng)域中，對(duì)于數(shù)據(jù)安全性問(wèn)題，特別是涉及個(gè)人數(shù)據(jù)隱私的內(nèi)容，后續(xù)將做更進(jìn)一步的研究。

1 劉增明,賈一葦.美國(guó)政府Data.gov和Apps.gov的經(jīng)驗(yàn)與啟示.電子政務(wù),2011(4)

2 吳鋼.移動(dòng)互聯(lián)網(wǎng)時(shí)代電信運(yùn)營(yíng)商的商業(yè)模式——能力開(kāi)放.信息通信技術(shù),2011(1)

3 劉斌,王桂榮,華竹軒.移動(dòng)互聯(lián)網(wǎng)環(huán)境下電信IT能力開(kāi)放研究.廣東通信技術(shù),2011(12)

4 季云峰.基于SOA的EDA的研究和實(shí)現(xiàn).軟件,2012,33(7)

5 劉秋生,李紅貴.基于事件驅(qū)動(dòng)SOA架構(gòu)的企業(yè)應(yīng)用集成模式研究.中國(guó)管理信息化,2009,12(4)

6 趙鈞.構(gòu)建電信物聯(lián)網(wǎng)開(kāi)放數(shù)據(jù)服務(wù)體系的思考.電信科學(xué),

2012 ,28(2)