中國(guó)移動(dòng)通信集團(tuán)重慶有限公司　胡　圣

?

基于Hadoop的海量電信數(shù)據(jù)云計(jì)算平臺(tái)分析

中國(guó)移動(dòng)通信集團(tuán)重慶有限公司胡圣

隨著社會(huì)的不斷發(fā)展，科技的不斷進(jìn)步，對(duì)于海量的電信數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)分析方法已經(jīng)不能很好的滿足其發(fā)展要求。基于此，人們開(kāi)始對(duì)各類(lèi)云計(jì)算平臺(tái)進(jìn)行研究。其中，Hadoop作為一個(gè)開(kāi)源框架，能夠?qū)Υ笠?guī)模分布式計(jì)算要求加以實(shí)現(xiàn)，并且具有良好的可伸縮性、可靠性、高效性，在云計(jì)算領(lǐng)域當(dāng)中，逐漸得到廣泛的應(yīng)用。基于此，本文對(duì)基于Hadoop的海量電信數(shù)據(jù)云計(jì)算平臺(tái)進(jìn)行了分析，以期能夠提升數(shù)據(jù)計(jì)算分析的效率。

Hadoop；海量電信數(shù)據(jù)；云計(jì)算平臺(tái)

前言

在當(dāng)前的通信領(lǐng)域當(dāng)中，通信技術(shù)、通信設(shè)備都得到了極大的發(fā)展，因而產(chǎn)生的數(shù)據(jù)量也越來(lái)越多。為了讓人們能夠享受到更好的通信服務(wù)，應(yīng)當(dāng)對(duì)數(shù)據(jù)分析處理的效率進(jìn)行有效的提升。而過(guò)去的關(guān)系型數(shù)據(jù)管理等方法，對(duì)于現(xiàn)代通信的發(fā)展來(lái)說(shuō)，已經(jīng)不能很好的匹配和適應(yīng)。因此，電信運(yùn)營(yíng)商在管理和分析數(shù)據(jù)的過(guò)程中，自然面臨著更大的挑戰(zhàn)。

1.Hadoop及云計(jì)算技術(shù)的基本概述

1.1Hadoop技術(shù)

Hadoop是一種分布式計(jì)算開(kāi)源框架，通過(guò)運(yùn)用低廉的設(shè)備，能夠?qū)Υ笥?jì)算池進(jìn)行搭建，從而滿足還來(lái)那個(gè)數(shù)據(jù)高效、快速分析的要求，能夠利用較低的成本，實(shí)現(xiàn)云計(jì)算解決方案。其對(duì)谷歌云計(jì)算技術(shù)進(jìn)行模仿與實(shí)現(xiàn)，其中融合了ZooKeeper、HBase、MapReduce、HDFS等部分，能夠與谷歌成熟商用云計(jì)算平臺(tái)中的Chubby、BigTable、MapReduce、GFS等進(jìn)行對(duì)應(yīng)。在Hadoop當(dāng)中，集合了相關(guān)的子項(xiàng)目，其中，MapReduce、HDFS、Hadoop Common使其重要的核心，而補(bǔ)充性服務(wù)則由其它子項(xiàng)目進(jìn)行提供。其中，Hadppo Common最為最底層模塊，是Hadoop當(dāng)中的公共部分，將各類(lèi)工具提供給其它子項(xiàng)目。HDFS作為一個(gè)主從結(jié)構(gòu)，其中包含了一個(gè)名稱(chēng)節(jié)點(diǎn)、若干數(shù)據(jù)節(jié)點(diǎn)，名稱(chēng)節(jié)點(diǎn)負(fù)責(zé)對(duì)文件系統(tǒng)元數(shù)據(jù)進(jìn)行管理，而數(shù)據(jù)節(jié)點(diǎn)則是對(duì)實(shí)際數(shù)據(jù)進(jìn)行存儲(chǔ)。MapReduce作為計(jì)算框架、并行編程模型，能夠?qū)Ａ繑?shù)據(jù)進(jìn)行處理，其中包含的map函數(shù)、reduce函數(shù)，分別負(fù)責(zé)對(duì)任務(wù)進(jìn)行分解，以及對(duì)結(jié)果進(jìn)行匯總［1］。Hive是數(shù)據(jù)倉(cāng)庫(kù)工具，能夠?qū)QL查詢功能進(jìn)行支持。Hbase是基于列存儲(chǔ)模型的分布式數(shù)據(jù)庫(kù)。ZooKepper是針對(duì)分布式系統(tǒng)的協(xié)調(diào)服務(wù)。Chukwa則是分析、收集分布式數(shù)據(jù)的系統(tǒng)。Avro能夠?qū)缯Z(yǔ)言、高效的數(shù)據(jù)序列系統(tǒng)進(jìn)行提供，并對(duì)持久化數(shù)據(jù)存儲(chǔ)進(jìn)行支持。在Hadoop當(dāng)中，具有高效、可靠、經(jīng)濟(jì)、高容錯(cuò)、可擴(kuò)展等優(yōu)勢(shì)，在云計(jì)算當(dāng)中，能夠發(fā)揮出很大的作用。

1.2云計(jì)算技術(shù)

在互聯(lián)網(wǎng)服務(wù)的交付模式、使用模式、增加模式的基礎(chǔ)上，通過(guò)融合網(wǎng)絡(luò)計(jì)算、分布式計(jì)算、并行計(jì)算等技術(shù)，能夠在大量計(jì)算機(jī)組成的資源池當(dāng)中，對(duì)計(jì)算任務(wù)進(jìn)行分布，這樣，系統(tǒng)根據(jù)實(shí)際需求，對(duì)相應(yīng)的信息服務(wù)、存儲(chǔ)空間、計(jì)算能力等進(jìn)行獲取。云計(jì)算具有價(jià)格低、規(guī)模大、擴(kuò)展性強(qiáng)、可共享、數(shù)據(jù)安全可靠等優(yōu)勢(shì)［2］。根據(jù)不同的服務(wù)提供，可將云計(jì)算劃分為軟件即服務(wù)、平臺(tái)即服務(wù)、基礎(chǔ)設(shè)施即服務(wù)等類(lèi)型。基于數(shù)據(jù)中心，云計(jì)算在虛擬化、編程模式、并行數(shù)據(jù)處理等方面，都具有重要的作用。

2.基于Hadoop的海量電信數(shù)據(jù)云計(jì)算平臺(tái)

2.1平臺(tái)設(shè)計(jì)目標(biāo)原則

在對(duì)海量電信數(shù)據(jù)云計(jì)算平臺(tái)進(jìn)行設(shè)計(jì)的過(guò)程中，通過(guò)對(duì)Hadoop的應(yīng)用，能夠是海量的數(shù)據(jù)處理任務(wù)，通過(guò)價(jià)格低廉的設(shè)備加以完成。在Hadoop云計(jì)算平臺(tái)的搭建當(dāng)中，可以對(duì)低端PC服務(wù)器進(jìn)行應(yīng)用，從而對(duì)海量電信數(shù)據(jù)分析的要求進(jìn)行滿足，使數(shù)據(jù)的分析效率、分析速度等得到有效的提升，從而能夠在業(yè)務(wù)決策當(dāng)中，對(duì)準(zhǔn)確、即時(shí)的信息進(jìn)行提供，在實(shí)際應(yīng)用中具有非常重要的作用和效果。在云計(jì)算平臺(tái)的設(shè)計(jì)當(dāng)中，應(yīng)當(dāng)遵循安全性原則、高效性原則、經(jīng)濟(jì)性原則等設(shè)計(jì)原則［3］。在平臺(tái)設(shè)計(jì)當(dāng)中，對(duì)于平臺(tái)的信息安全、自身安全等，應(yīng)當(dāng)進(jìn)行充分的考慮，并對(duì)相應(yīng)的措施進(jìn)行采取，對(duì)安全風(fēng)險(xiǎn)進(jìn)行有效的規(guī)避。對(duì)于云計(jì)算平臺(tái)的特性，應(yīng)當(dāng)進(jìn)行更為充分的運(yùn)用，從而使海量電信數(shù)據(jù)處理的效率和速度得到提升。

2.2平臺(tái)基本框架結(jié)構(gòu)

在含量電信數(shù)據(jù)云計(jì)算平臺(tái)當(dāng)中，可對(duì)分層結(jié)構(gòu)、分布式結(jié)構(gòu)進(jìn)行應(yīng)用，并劃分出應(yīng)用層、模型層、數(shù)據(jù)層等部分。在還來(lái)那個(gè)電信數(shù)據(jù)當(dāng)中，主要包括了業(yè)務(wù)支持域數(shù)據(jù)、網(wǎng)絡(luò)域數(shù)據(jù)等。業(yè)務(wù)支持域數(shù)據(jù)主要包括一些客戶基本數(shù)據(jù)，例如客戶消費(fèi)數(shù)據(jù)、客戶業(yè)務(wù)訂購(gòu)數(shù)據(jù)、客戶信息等。網(wǎng)絡(luò)域數(shù)據(jù)則主要包含了WLAN數(shù)據(jù)、A口數(shù)據(jù)、Gb口數(shù)據(jù)等。在數(shù)據(jù)層當(dāng)中，利用Hadoop的HDFS對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)，然后利用相應(yīng)的管理工具和數(shù)據(jù)處理工具，通過(guò)類(lèi)SAL語(yǔ)言對(duì)統(tǒng)計(jì)指標(biāo)進(jìn)行定義，對(duì)任務(wù)進(jìn)行動(dòng)態(tài)生成，從而完成聚合與計(jì)算，高效、快速的處理海量電信數(shù)據(jù)［4］。在DHFS當(dāng)中，利用文件的格式存儲(chǔ)處理結(jié)果，根據(jù)相應(yīng)的要求，可通過(guò)特定格式進(jìn)行導(dǎo)出。在模型層當(dāng)中，通過(guò)應(yīng)用數(shù)據(jù)層Hadoop的ETL處理海量電信數(shù)據(jù)的輸出的匯總數(shù)據(jù)，對(duì)分析模型進(jìn)行建立，例如客戶語(yǔ)音行為模型、客戶短信行為模型、客戶上網(wǎng)行為模型、客戶位置模型等，以此來(lái)實(shí)現(xiàn)客戶交往圈、客戶離網(wǎng)預(yù)警、客戶位置的分析。

2.3平臺(tái)功能模塊功能

在基于Hadoop的海量電信數(shù)據(jù)云計(jì)算平臺(tái)當(dāng)中，包含了集群管理模塊、任務(wù)管理模塊、數(shù)據(jù)管理模塊、用戶管理模塊等。其中，集群管理模塊主要支持節(jié)電管理、任務(wù)進(jìn)度、以及Hadoop集群狀態(tài)等；任務(wù)管理模塊主要支持結(jié)果反饋、資源申請(qǐng)、任務(wù)申請(qǐng)等；數(shù)據(jù)管理模塊主要支持?jǐn)?shù)據(jù)的刪除、下載、上傳等；用戶管理模塊則主要支持交互控制、權(quán)限管理、身份認(rèn)證、賬號(hào)開(kāi)通等。

2.4平臺(tái)安全機(jī)制建立

在Hadoop集群當(dāng)中，具有相互連通的節(jié)點(diǎn)，所以，在操作Hadoop集群節(jié)點(diǎn)的時(shí)候，具有統(tǒng)一的賬號(hào)。電信數(shù)據(jù)通常具有敏感性的特點(diǎn)，而Hadoop自身機(jī)制無(wú)法滿足安全有效控制數(shù)據(jù)的要求，因此難免會(huì)發(fā)生一些安全性的問(wèn)題?；诖?，為了對(duì)安全事故加以預(yù)防，對(duì)安全風(fēng)險(xiǎn)進(jìn)行規(guī)避，在數(shù)據(jù)、平臺(tái)的安全管理當(dāng)中，應(yīng)當(dāng)對(duì)相應(yīng)的安群機(jī)制進(jìn)行充分的運(yùn)用。在云計(jì)算平臺(tái)的安全機(jī)制的運(yùn)用中，主要涉及到數(shù)據(jù)安全管理、賬號(hào)安全管理、自身安全管理等。在數(shù)據(jù)安全管理中，由于電信數(shù)據(jù)具有較高的敏感性特點(diǎn)，所以，對(duì)于敏感數(shù)據(jù)的保密工作進(jìn)行進(jìn)行強(qiáng)化?？梢岳枚ㄆ趯徲?jì)、人員數(shù)據(jù)操作記錄、傳輸加密、分開(kāi)存放、數(shù)據(jù)進(jìn)出記錄都能夠方式，實(shí)現(xiàn)數(shù)據(jù)的安全管理。在賬號(hào)安全管理當(dāng)中，對(duì)管理員賬號(hào)應(yīng)進(jìn)行嚴(yán)格控制，并對(duì)口令密碼進(jìn)行定期更換。在Hadoop集群中，應(yīng)當(dāng)分離數(shù)據(jù)傳輸賬號(hào)與集群操作賬號(hào)，并對(duì)訪問(wèn)權(quán)限進(jìn)行嚴(yán)格控制。此外，應(yīng)當(dāng)對(duì)各個(gè)賬號(hào)的操作記錄進(jìn)行保存，并定期進(jìn)行審計(jì)。在自身安全管理中，可將Hadoop集群網(wǎng)絡(luò)置于內(nèi)部局域網(wǎng)當(dāng)中，利用防火墻對(duì)其進(jìn)行保護(hù)。將名稱(chēng)節(jié)點(diǎn)作為位移通信出口，其它節(jié)點(diǎn)都要通過(guò)名稱(chēng)節(jié)點(diǎn)才能訪問(wèn)。這樣，就能夠有效的確保云計(jì)算平臺(tái)的數(shù)據(jù)安全。

3.結(jié)論

隨著信息技術(shù)、網(wǎng)絡(luò)技術(shù)的發(fā)展與普及，產(chǎn)生的數(shù)據(jù)量也日益增加。面對(duì)海量電信數(shù)據(jù)，傳統(tǒng)的處理方法已經(jīng)無(wú)法應(yīng)對(duì)。因此，可以基于Hadoop，結(jié)合云計(jì)算技術(shù)，對(duì)海量電信數(shù)據(jù)云計(jì)算平臺(tái)進(jìn)行建立，更加高效、快速的完成數(shù)據(jù)處理與分析的任務(wù)。

［1］孫福權(quán)，張達(dá)偉，程勖，劉超.基于Hadoop企業(yè)私有云存儲(chǔ)平臺(tái)的構(gòu)建［J］.遼寧工程技術(shù)大學(xué)學(xué)報(bào)（自然科學(xué)版），2011（6）:913-916.

［2］宋亞奇，周?chē)?guó)亮，朱永利，李莉，王劉旺，王德文.云平臺(tái)下輸變電設(shè)備狀態(tài)監(jiān)測(cè)大數(shù)據(jù)存儲(chǔ)優(yōu)化與并行處理［J］.中國(guó)電機(jī)工程學(xué)報(bào)，2015（2）:255-267.