劉彥廷 程大勇 陜西黃河集團(tuán)有限公司

隨著大數(shù)據(jù)時(shí)代的到來及移動(dòng)互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，電信運(yùn)營(yíng)商必須充分利用自身的優(yōu)勢(shì)，積極面對(duì)大數(shù)據(jù)時(shí)代的到來給自身發(fā)展和業(yè)務(wù)創(chuàng)業(yè)帶來的挑戰(zhàn)，同時(shí)抓住發(fā)展機(jī)遇，加強(qiáng)建設(shè)企業(yè)級(jí)數(shù)據(jù)中心，從而實(shí)現(xiàn)企業(yè)自身的順利轉(zhuǎn)型，不斷的提高自身的競(jìng)爭(zhēng)力。

1 大數(shù)據(jù)使現(xiàn)有的數(shù)據(jù)處理方法面臨新問題

1.1 傳統(tǒng)數(shù)據(jù)倉(cāng)庫無法有效存儲(chǔ)日益增長(zhǎng)的業(yè)務(wù)數(shù)據(jù)存儲(chǔ)需求

隨著移動(dòng)互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展和普及，電信運(yùn)營(yíng)商業(yè)務(wù)發(fā)展的數(shù)據(jù)量得到了迅猛的增加，這些增加的數(shù)據(jù)量給傳統(tǒng)的數(shù)據(jù)倉(cāng)庫帶來了巨大的壓力，從而造成數(shù)據(jù)庫的管理難度增加，并且成本增加，最終工作效率也持續(xù)下降，傳統(tǒng)的數(shù)據(jù)倉(cāng)庫根本無法有效的處理和分析這些海量的數(shù)據(jù)。要想實(shí)現(xiàn)對(duì)這些大數(shù)據(jù)的長(zhǎng)期保存，只能不斷對(duì)存儲(chǔ)空間進(jìn)行擴(kuò)大。面對(duì)如此大的數(shù)據(jù)壓力，只有通過建立大數(shù)據(jù)平臺(tái)才能不斷的提高線性擴(kuò)容的存儲(chǔ)能力。

1.2 傳統(tǒng)數(shù)據(jù)倉(cāng)庫無法有效應(yīng)對(duì)大數(shù)據(jù)分析需求

現(xiàn)網(wǎng)數(shù)據(jù)平臺(tái)是傳統(tǒng)關(guān)系型數(shù)據(jù)庫架構(gòu)，大量的用戶上網(wǎng)、用戶行為等半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)無法保存和處理，缺乏非結(jié)構(gòu)化數(shù)據(jù)的處理能力。用戶上網(wǎng)行為等互聯(lián)網(wǎng)行為數(shù)據(jù)以結(jié)構(gòu)化數(shù)據(jù)方式保存至數(shù)據(jù)倉(cāng)庫中。由于傳統(tǒng)數(shù)據(jù)倉(cāng)庫的數(shù)據(jù)處理流程與業(yè)務(wù)保持緊密關(guān)聯(lián)，整個(gè)數(shù)據(jù)加工流程為最終應(yīng)用服務(wù)。為緩解存儲(chǔ)壓力，在數(shù)據(jù)抽取和清洗階段會(huì)過濾掉與業(yè)務(wù)無關(guān)的數(shù)據(jù)記錄和字段。由于數(shù)據(jù)處理與業(yè)務(wù)的緊密關(guān)聯(lián)，可能需要對(duì)中間每個(gè)處理環(huán)節(jié)進(jìn)行逐個(gè)調(diào)整，重新生成數(shù)據(jù)的周期也非常緩慢，面對(duì)海量的數(shù)據(jù)壓力，需大數(shù)據(jù)平臺(tái)提供快速的處理能力。

1.3 傳統(tǒng)數(shù)據(jù)倉(cāng)庫組網(wǎng)將是大數(shù)據(jù)分析的瓶頸

現(xiàn)網(wǎng)精細(xì)化營(yíng)銷平臺(tái)的數(shù)據(jù)庫既存放著所有采集的原始數(shù)據(jù)，又承擔(dān)所有的數(shù)據(jù)加工任務(wù)，還承擔(dān)所有報(bào)表和業(yè)務(wù)應(yīng)用的數(shù)據(jù)存儲(chǔ)和計(jì)算，缺乏對(duì)數(shù)據(jù)分層分級(jí)及生命周期的有效管理。系統(tǒng)核心架構(gòu)為0racle數(shù)據(jù)庫+小型機(jī)+磁陣，數(shù)據(jù)存放在磁陣上，計(jì)算時(shí)由數(shù)據(jù)庫服務(wù)器從磁陣讀到本地后進(jìn)行計(jì)算結(jié)果。隨著數(shù)據(jù)量增長(zhǎng)，磁盤I/0、網(wǎng)絡(luò)帶寬、數(shù)據(jù)庫服務(wù)器的處理能力將存在瓶頸，處理時(shí)較嚴(yán)重。由于傳統(tǒng)架構(gòu)的可擴(kuò)展性差，無法滿足大數(shù)據(jù)計(jì)算的擴(kuò)容需求，為應(yīng)對(duì)海量數(shù)據(jù)處理需求，大數(shù)據(jù)將從集中數(shù)據(jù)庫向分布式數(shù)據(jù)庫進(jìn)行轉(zhuǎn)變。計(jì)算和存儲(chǔ)資源都由x86服務(wù)器提供。

1.4 傳統(tǒng)數(shù)據(jù)倉(cāng)庫無法有效支撐數(shù)據(jù)合作運(yùn)營(yíng)

因傳統(tǒng)的數(shù)據(jù)庫僅能保存較短周期的原始話單數(shù)據(jù)，無法實(shí)現(xiàn)對(duì)歷史原始數(shù)據(jù)進(jìn)行追尋。對(duì)外開放地層數(shù)據(jù)會(huì)大幅度的消耗掉紫銅資源，進(jìn)而導(dǎo)致主庫無法進(jìn)行正常的工作。大數(shù)據(jù)平臺(tái)的架構(gòu)將數(shù)據(jù)分層管理，在各層提供數(shù)據(jù)開放接口，以滿足不同數(shù)據(jù)需求。從而更有效支撐數(shù)據(jù)合作運(yùn)營(yíng)，同時(shí)歷時(shí)數(shù)據(jù)能促使合作在第一時(shí)間就開展起來。

2 企業(yè)級(jí)數(shù)據(jù)中心建設(shè)

2.1 企業(yè)級(jí)大數(shù)據(jù)中心的體系結(jié)構(gòu)

結(jié)合目前已有的經(jīng)分系統(tǒng)，圍繞大數(shù)據(jù)，實(shí)現(xiàn)對(duì)現(xiàn)有資源的合理及科學(xué)的利用，不斷朝著企業(yè)級(jí)大數(shù)據(jù)中心的方向演進(jìn)。企業(yè)級(jí)數(shù)據(jù)中心體系結(jié)構(gòu)主要包括數(shù)據(jù)聚合層、數(shù)據(jù)服務(wù)層、開放式應(yīng)用層等。

數(shù)據(jù)聚合層主要作用進(jìn)行對(duì)各類資源和信息進(jìn)行全面的收集，這些數(shù)據(jù)不僅可來自網(wǎng)管支撐系統(tǒng)、企業(yè)支撐系統(tǒng)、管理信息系統(tǒng)等企業(yè)內(nèi)部網(wǎng)絡(luò)，還能來自物聯(lián)網(wǎng)或互聯(lián)網(wǎng)等外部網(wǎng)絡(luò)，采集后的資源數(shù)據(jù)在數(shù)據(jù)聚合層能實(shí)現(xiàn)數(shù)據(jù)的處理。

數(shù)據(jù)服務(wù)層是對(duì)數(shù)據(jù)聚合層輸出的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化的封裝處理，這些數(shù)據(jù)是供有分析使用需求的對(duì)象，以自身實(shí)際需求進(jìn)行數(shù)據(jù)組裝前的原始數(shù)據(jù)，將其稱為數(shù)據(jù)資產(chǎn)。

開放式應(yīng)用層是將數(shù)據(jù)服務(wù)層封裝好的數(shù)據(jù)資產(chǎn)按需要組裝成服務(wù)類、功能類、集成類及管理類等組件，供給使用者定制開發(fā)后使用，之后通過統(tǒng)一訪問模塊將適配后的組件提供給門戶供使用人員訪問。

2.2 企業(yè)級(jí)數(shù)據(jù)中心建設(shè)思路。

①打造企業(yè)級(jí)數(shù)據(jù)中心基礎(chǔ)能力體系。架構(gòu)層面：以現(xiàn)有的經(jīng)分?jǐn)?shù)據(jù)為根本和依據(jù)，不斷實(shí)現(xiàn)數(shù)據(jù)的擴(kuò)充，同時(shí)對(duì)數(shù)據(jù)服務(wù)的能力進(jìn)行持續(xù)的強(qiáng)化。數(shù)據(jù)層面：將網(wǎng)絡(luò)側(cè)、管理信息系統(tǒng)部分源數(shù)據(jù)引入。應(yīng)用層面：將傳統(tǒng)的報(bào)表與互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行結(jié)合。②構(gòu)建大數(shù)據(jù)支撐系統(tǒng)構(gòu)架。構(gòu)架層面：努力建設(shè)全新的大數(shù)據(jù)支撐系統(tǒng)構(gòu)架，將架構(gòu)改造成能對(duì)各類數(shù)據(jù)結(jié)構(gòu)的混搭式架構(gòu)進(jìn)行支撐，具有結(jié)構(gòu)化、非結(jié)構(gòu)化等數(shù)據(jù)的處理能力，從而形成數(shù)據(jù)資產(chǎn)。數(shù)據(jù)層面：對(duì)網(wǎng)絡(luò)信令、擴(kuò)充互聯(lián)網(wǎng)內(nèi)容等大數(shù)據(jù)內(nèi)容進(jìn)行匯聚。應(yīng)用層面：對(duì)客戶需求識(shí)別、客戶感知體驗(yàn)等方向典型的大數(shù)據(jù)應(yīng)用進(jìn)行支撐。③對(duì)大數(shù)據(jù)的應(yīng)用范圍進(jìn)行拓展。架構(gòu)層面：對(duì)架構(gòu)的穩(wěn)定性進(jìn)行確保，以應(yīng)用需求為依據(jù)對(duì)數(shù)據(jù)處理能力進(jìn)行擴(kuò)充。數(shù)據(jù)層面：實(shí)現(xiàn)完整的公司內(nèi)部和外部數(shù)據(jù)管理功能，具備完善的海量及實(shí)時(shí)的數(shù)據(jù)處理能力。應(yīng)用層面：實(shí)現(xiàn)對(duì)客戶需求識(shí)別、客戶感知體驗(yàn)、互動(dòng)式營(yíng)銷及網(wǎng)絡(luò)優(yōu)化等方向的大數(shù)據(jù)應(yīng)用能力的全面支撐。

3 結(jié)束語

移動(dòng)互聯(lián)網(wǎng)時(shí)代，用戶的消費(fèi)行為產(chǎn)生了海量數(shù)據(jù)，在此背景下，電信運(yùn)營(yíng)商如何及時(shí)、準(zhǔn)確地挖掘出有價(jià)值的信息，以便順利開展針對(duì)客戶的各類有效營(yíng)銷，需要強(qiáng)大的支撐系統(tǒng)，傳統(tǒng)經(jīng)營(yíng)分析系統(tǒng)在大數(shù)據(jù)處理方面面臨瓶頸，因此企業(yè)級(jí)數(shù)椐中心應(yīng)運(yùn)而生。

[1]梁楊.大數(shù)據(jù)背景下企業(yè)級(jí)數(shù)據(jù)中心建設(shè)探索[J].互聯(lián)網(wǎng)天地，2016