辛笛

【摘要】 隨著大數(shù)據(jù)應(yīng)用在互聯(lián)網(wǎng)行業(yè)的蓬勃發(fā)展，大數(shù)據(jù)逐步成為國內(nèi)外運(yùn)營商關(guān)注的焦點(diǎn)。首先對大數(shù)據(jù)的關(guān)鍵技術(shù)進(jìn)行了介紹，分析了數(shù)據(jù)在大數(shù)據(jù)處理系統(tǒng)中經(jīng)過的各個(gè)環(huán)節(jié)，并對業(yè)界普遍使用的Hadoop技術(shù)做了簡要介紹；然后，結(jié)合某運(yùn)營商實(shí)際需求，提出了一種大數(shù)據(jù)平臺建設(shè)方案，該方案的提出對其他運(yùn)營商進(jìn)行大數(shù)據(jù)平臺的規(guī)劃、設(shè)計(jì)以及建設(shè)具有很好的借鑒意義。

【關(guān)鍵詞】 大數(shù)據(jù) Hadoop 運(yùn)營商

進(jìn)入2012年以來，大數(shù)據(jù)（Big Data）一詞越來越多地被提及與使用，人們用它來描述和定義信息爆炸時(shí)代產(chǎn)生的海量數(shù)據(jù)。各行各業(yè)對于數(shù)據(jù)的分析由來已久。大數(shù)據(jù)的不同，不僅僅在于數(shù)據(jù)量的劇增，更重要的是互聯(lián)網(wǎng)的高速發(fā)展，帶來的數(shù)據(jù)技術(shù)、數(shù)據(jù)應(yīng)用、數(shù)據(jù)價(jià)值的變革。

谷歌公司依托搜索引擎創(chuàng)新了數(shù)據(jù)處理等一系列技術(shù)，一是分布式并行計(jì)算和處理技術(shù)，提高了海量數(shù)據(jù)的計(jì)算能力，降低了計(jì)算成本，解決了摩爾定律周期內(nèi)的瓶頸，為大數(shù)據(jù)分析提供了動(dòng)力引擎；二是數(shù)據(jù)分析技術(shù)更加智能，人工干預(yù)更少，并且由于數(shù)據(jù)量更大，更多可能的相關(guān)關(guān)系被分析挖掘出來。進(jìn)而智能推薦、價(jià)格預(yù)測等建立在海量數(shù)據(jù)分析之上的互聯(lián)網(wǎng)應(yīng)用取得了巨大成功，聚集了海量社會各方面信息的互聯(lián)網(wǎng)上的價(jià)值，獲得其他各行業(yè)的關(guān)注，數(shù)據(jù)分析不再局限于企業(yè)內(nèi)部數(shù)據(jù)，而是移動(dòng)終端、互聯(lián)網(wǎng)等外部數(shù)據(jù)源，互聯(lián)網(wǎng)數(shù)據(jù)應(yīng)用的思想擴(kuò)展到其他行業(yè)，如互聯(lián)網(wǎng)金融、社會趨勢預(yù)測、無人駕駛汽車等大數(shù)據(jù)應(yīng)用模式。數(shù)據(jù)的價(jià)值也被重新審視，作為一種資源，數(shù)據(jù)逐漸具有商品化屬性。

大數(shù)據(jù)作為云計(jì)算的一種實(shí)際應(yīng)用，在電信運(yùn)營商的運(yùn)營支撐中有著舉足輕重的作用。對于電信運(yùn)營商而言，大數(shù)據(jù)主要是大量客戶的行為數(shù)據(jù)。

運(yùn)營商可以利用大數(shù)據(jù)提升管道智能化水平，更加精準(zhǔn)地發(fā)現(xiàn)客戶需求，提升行業(yè)信息化服務(wù)的能力，改變企業(yè)管理者以往的決策方式，管理抉擇更依賴“用數(shù)據(jù)說話”，抉擇更科學(xué)、理性，更具定量化和可評估性，以及準(zhǔn)確性和延續(xù)性。

一、相關(guān)技術(shù)研究

大數(shù)據(jù)來源于互聯(lián)網(wǎng)、企業(yè)系統(tǒng)和物聯(lián)網(wǎng)等信息系統(tǒng)，經(jīng)過大數(shù)據(jù)處理系統(tǒng)的分析挖掘，產(chǎn)生新的知識用以支撐決策或業(yè)務(wù)的自動(dòng)智能化運(yùn)轉(zhuǎn)。

從數(shù)據(jù)在信息系統(tǒng)中的生命周期看，大數(shù)據(jù)從數(shù)據(jù)源經(jīng)過分析挖掘到最終獲得價(jià)值一般需要經(jīng)過5個(gè)主要環(huán)節(jié)，包括數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)存儲與管理、計(jì)算處理、數(shù)據(jù)分析和知識展現(xiàn).

總的來看，大數(shù)據(jù)對數(shù)據(jù)準(zhǔn)備環(huán)節(jié)和知識展現(xiàn)環(huán)節(jié)來說只是量的變化，并不需要根本性的變革。但大數(shù)據(jù)對數(shù)據(jù)分析、計(jì)算和存儲三個(gè)環(huán)節(jié)影響較大，需要對技術(shù)架構(gòu)和算法進(jìn)行重構(gòu)，是當(dāng)前和未來一段時(shí)間大數(shù)據(jù)技術(shù)創(chuàng)新的焦點(diǎn)。

二、大數(shù)據(jù)平臺建設(shè)方案

目前某電信運(yùn)營商EDA域主要是傳統(tǒng)的ODS-EDW數(shù)據(jù)架構(gòu)，通過獲取BSS域、OSS域等傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)，基本可以滿足該運(yùn)營商的基礎(chǔ)經(jīng)營分析和營銷支撐；大數(shù)據(jù)平臺建成后，與現(xiàn)有ODS-EDW的Oracle處理形成的混搭配合，ODS-EDW處理后的結(jié)果數(shù)據(jù)提供給大數(shù)據(jù)平臺，形成數(shù)據(jù)寬表模型，統(tǒng)一對外共享，支撐各類應(yīng)用。

該運(yùn)營商大數(shù)據(jù)平臺的搭建可分三個(gè)階段進(jìn)行。

第一階段；構(gòu)建大數(shù)據(jù)基礎(chǔ)平臺（集群主機(jī)數(shù)量為15臺左右），具備移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)（DPI）接入能力；實(shí)現(xiàn)Oracle處理方式與大數(shù)據(jù)平臺處理方式的混搭配合，形成初步的基礎(chǔ)標(biāo)簽體系；滿足該運(yùn)營商基于基礎(chǔ)大數(shù)據(jù)標(biāo)簽?zāi)芰Φ姆治龊蜖I銷支撐。

第二階段：擴(kuò)大大數(shù)據(jù)平臺規(guī)模（主機(jī)20—30臺），提升批處理能力；接入運(yùn)維側(cè)信令等數(shù)據(jù)，將EDA域中詳單類、工單類數(shù)據(jù)的數(shù)據(jù)處理分析過程，遷移到大數(shù)據(jù)平臺；完善大數(shù)據(jù)平臺集群監(jiān)控和管理能力?；局螤I銷分析，挖掘分析。

第三階段：擴(kuò)大大數(shù)據(jù)平臺規(guī)模（集群主機(jī)數(shù)量為50臺以上），完全實(shí)現(xiàn)EDA域大數(shù)據(jù)平臺化，全新的數(shù)據(jù)架構(gòu)（不區(qū)分ODS-EDW）；引入該運(yùn)營商其它域的數(shù)據(jù)，實(shí)現(xiàn)跨域數(shù)據(jù)的應(yīng)用，探索數(shù)據(jù)變現(xiàn)；實(shí)現(xiàn)大數(shù)據(jù)平臺對外服務(wù)能力。

三、結(jié)論

大數(shù)據(jù)正在以不可阻擋的趨勢走進(jìn)各行各業(yè)，電信運(yùn)營商擁有龐大的用戶數(shù)據(jù)和網(wǎng)絡(luò)數(shù)據(jù)等數(shù)據(jù)資源，在大數(shù)據(jù)時(shí)代具備天然的優(yōu)勢。建設(shè)適合運(yùn)營商自身的大數(shù)據(jù)平臺是發(fā)揮數(shù)據(jù)資源優(yōu)勢，挖掘運(yùn)營商大數(shù)據(jù)價(jià)值的必由之路。本文闡述了大數(shù)據(jù)平臺建設(shè)的關(guān)鍵技術(shù)，分析了數(shù)據(jù)在大數(shù)據(jù)處理系統(tǒng)中經(jīng)過的各個(gè)環(huán)節(jié)，并對業(yè)界普遍使用的Hadoop技術(shù)做了簡要介紹；針對某運(yùn)營商的實(shí)際需求，提出了一種大數(shù)據(jù)平臺建設(shè)方案，該方案的提出對其他運(yùn)營商進(jìn)行大數(shù)據(jù)平臺的規(guī)劃、設(shè)計(jì)以及建設(shè)具有很好的借鑒意義。

參 考 文 獻(xiàn)

[1]陳淑梅.移動(dòng)運(yùn)營商的大數(shù)據(jù)發(fā)展策略研究[J].信息通信，2014（6）.

[2]高洪，楊慶平，黃震江. 基于Hadoop平臺的大數(shù)據(jù)分析關(guān)鍵技術(shù)標(biāo)準(zhǔn)化探討[J].信息技術(shù)與標(biāo)準(zhǔn)化.2013（5）.

[3]黃勇軍，馮明，丁圣勇，樊勇兵.電信運(yùn)營商大數(shù)據(jù)發(fā)展策略探討.電信科學(xué).2012，29（3）.