宋曉波

(華信咨詢設(shè)計研究院有限公司，浙江 杭州 310000)

0 引言

隨著運營商集約化、互聯(lián)網(wǎng)化等策略的推進(jìn)和5G時代的來臨，運營商大數(shù)據(jù)平臺面臨數(shù)據(jù)處理體量急劇增長的挑戰(zhàn)。如何在新形勢下構(gòu)建適應(yīng)未來業(yè)務(wù)戰(zhàn)略的大數(shù)據(jù)平臺成為迫切需要解決的問題[1]。

大數(shù)據(jù)需要特殊的技術(shù)，以快速有效地處理海量數(shù)據(jù)滿足應(yīng)用需求，包括大規(guī)模并行處理(Massively Parallel Processing，MPP)數(shù)據(jù)庫、大數(shù)據(jù)采集技術(shù)、分布式存儲技術(shù)、分布式計算技術(shù)等。

1 運營商大數(shù)據(jù)面臨問題

由于技術(shù)、數(shù)據(jù)系統(tǒng)限制等問題，運營商利用大數(shù)據(jù)主要遇到以下問題。

海量數(shù)據(jù)存儲和處理壓力；數(shù)據(jù)處理種類多，單一技術(shù)難以實現(xiàn)：傳統(tǒng)數(shù)據(jù)平臺無法支持非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)存儲和處理，無法滿足互聯(lián)網(wǎng)類業(yè)務(wù)發(fā)展要求；實時應(yīng)用需求難以滿足；挖掘能力不足；數(shù)據(jù)不全，無法形成跨專業(yè)、跨域的數(shù)據(jù)關(guān)聯(lián)，無法呈現(xiàn)端到端全局?jǐn)?shù)據(jù)，價值不能深度被挖掘；應(yīng)用支撐能力不足：數(shù)據(jù)共享與開放能力不足，不能有效支撐應(yīng)用。

2 運營商大數(shù)據(jù)平臺技術(shù)選型思路

運營商大數(shù)據(jù)平臺經(jīng)歷了從早期的對稱多處理器(Symmetric Multiprocessing，SMP)架構(gòu)到MPP架構(gòu)、Hadoop架構(gòu)及Hadoop和MPP混搭架構(gòu)[2]。

SMP架構(gòu)即對稱多處理器結(jié)構(gòu)，難以支撐運營商海量數(shù)據(jù)存儲和處理要求，平臺擴(kuò)展能力成了瓶頸，并且平臺投資成本高，運維成本也相應(yīng)劇增。

MPP架構(gòu)具有高效的結(jié)構(gòu)化數(shù)據(jù)處理能力和交互分析能力，SQL和報表工具兼容性好，開發(fā)和運維成本低等特點。但MPP數(shù)據(jù)庫在非結(jié)構(gòu)化數(shù)據(jù)處理和實時處理方面能力有限。

Hadoop架構(gòu)具有分布式數(shù)據(jù)存儲、分布式并行計算、支持橫向擴(kuò)展、支持X86集群架構(gòu)等特點，適合運營商的非結(jié)構(gòu)化數(shù)據(jù)采集存儲、海量數(shù)據(jù)處理、實時處理等應(yīng)用場景。

Hadoop和MPP混搭架構(gòu)結(jié)合兩者優(yōu)勢，既具有非結(jié)構(gòu)化數(shù)據(jù)存儲和海量數(shù)據(jù)處理能力，又具有高效的結(jié)構(gòu)化數(shù)處理和分析能力及良好的第三方應(yīng)用工具兼容性。當(dāng)前該架構(gòu)在運營商大數(shù)據(jù)平臺中使用較多。

2.1 MPP選型

目前市場上的MPP數(shù)據(jù)庫多種多樣，例如有Teradata，Vertica，Greenplum，GBase等，建議結(jié)合運營商實際數(shù)據(jù)應(yīng)用情況進(jìn)行評測和選型，如表1所示。

表1 某運營商MPP數(shù)據(jù)庫選型評測項目

2.2 Hadoop發(fā)行版選型

目前Hadoop發(fā)行版主要有CDH，HDP以及MapR，在組件和版本方面大致相同，但HDP完全開源、可視化工具強大；而CDH在I/O性能和MapReduce性能方面皆優(yōu)于HDP和MapR。因此Hadoop發(fā)行版選型建議：

在計算性能和穩(wěn)定性要求較高的場景，最佳Hadoop發(fā)行版選擇CDH；

在需要大量二次開發(fā)的場景中，最佳Hadoop發(fā)行版選擇HDP；

在可視化要求較高的場景，最佳Hadoop發(fā)行版可選擇CDH或HDP。

2.3 數(shù)據(jù)采集組件選型

運營商大數(shù)據(jù)平臺采集的數(shù)據(jù)包括BSS，OSS，MSS的結(jié)構(gòu)化業(yè)務(wù)數(shù)據(jù)和用戶上網(wǎng)、用戶行為等半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)。如果屬于高延遲的業(yè)務(wù)，可以采用批處理采集方式，實時分析則需要使用實時采集技術(shù)。

離線采集(批處理采集)：對于運營商BSS，OSS，MSS的結(jié)構(gòu)化業(yè)務(wù)數(shù)據(jù)，需定期按需接入數(shù)據(jù)源數(shù)據(jù)，經(jīng)過校驗、清洗、轉(zhuǎn)換等步驟，對接入數(shù)據(jù)統(tǒng)一進(jìn)行處理，加載到大數(shù)據(jù)平臺。

實時采集：對于運營商信令日志、用戶行為等實時性要高的業(yè)務(wù)數(shù)據(jù)，采用實時采集技術(shù)實時接入數(shù)據(jù)源數(shù)據(jù)。常用的數(shù)據(jù)采集組件特性如表2所示。

表2 常用的數(shù)據(jù)采集組件特性

2.4 數(shù)據(jù)存儲組件選型

數(shù)據(jù)存儲是大數(shù)據(jù)平臺的核心，運營商大數(shù)據(jù)平臺按數(shù)據(jù)分類，可分為結(jié)構(gòu)化數(shù)據(jù)存儲、非結(jié)構(gòu)化數(shù)據(jù)存儲和半結(jié)構(gòu)化存儲[3]。

結(jié)構(gòu)化數(shù)據(jù)存儲：通常使用MPP數(shù)據(jù)庫存儲運營商大數(shù)據(jù)平臺采集和整合后的核心數(shù)據(jù)倉庫數(shù)據(jù)和分析型數(shù)據(jù)。

非結(jié)構(gòu)化數(shù)據(jù)存儲：使用分布式文件系統(tǒng)進(jìn)行非結(jié)構(gòu)化數(shù)據(jù)存儲，如運營商大數(shù)據(jù)平臺采集的圖片、文檔、網(wǎng)絡(luò)等非結(jié)構(gòu)化數(shù)據(jù)，通常基于Hadoop HDFS進(jìn)行存儲。

半結(jié)構(gòu)化數(shù)據(jù)存儲：適合使用NoSQL數(shù)據(jù)庫進(jìn)行存儲，具有非關(guān)系型、分布式、輕量級、支持水平擴(kuò)展等特點，選型時需結(jié)合其特性和應(yīng)用場景考慮。

2.5 數(shù)據(jù)計算組件選型

根據(jù)應(yīng)用類型不同，大數(shù)據(jù)平臺數(shù)據(jù)計算可分為實時、交互式、批處理/非交互式3類，常用的數(shù)據(jù)計算組件特性比較如表3所示。

表3 常用的數(shù)據(jù)計算組件特性比較

3 結(jié)語

本文針對運營商大數(shù)據(jù)問題，探討如何進(jìn)行運營商大數(shù)據(jù)平臺選型，主要從平臺架構(gòu)選型和平臺技術(shù)選型方面展開，并給出選型建議。在實際大數(shù)據(jù)平臺選型時，應(yīng)考慮運營商當(dāng)前IT系統(tǒng)架構(gòu)的復(fù)雜性和企業(yè)IT人員技術(shù)能力和運維能力，根據(jù)不同應(yīng)用場景以及技術(shù)的多樣性進(jìn)行綜合考慮，形成適合運營商本身的大數(shù)據(jù)平臺方案。