中國移動通信集團(tuán)重慶有限公司　胡　圣

?

基于Hadoop的海量電信數(shù)據(jù)云計算平臺分析

中國移動通信集團(tuán)重慶有限公司胡圣

隨著社會的不斷發(fā)展，科技的不斷進(jìn)步，對于海量的電信數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)分析方法已經(jīng)不能很好的滿足其發(fā)展要求?；诖?，人們開始對各類云計算平臺進(jìn)行研究。其中，Hadoop作為一個開源框架，能夠?qū)Υ笠?guī)模分布式計算要求加以實現(xiàn)，并且具有良好的可伸縮性、可靠性、高效性，在云計算領(lǐng)域當(dāng)中，逐漸得到廣泛的應(yīng)用?；诖耍疚膶贖adoop的海量電信數(shù)據(jù)云計算平臺進(jìn)行了分析，以期能夠提升數(shù)據(jù)計算分析的效率。

Hadoop；海量電信數(shù)據(jù)；云計算平臺

前言

在當(dāng)前的通信領(lǐng)域當(dāng)中，通信技術(shù)、通信設(shè)備都得到了極大的發(fā)展，因而產(chǎn)生的數(shù)據(jù)量也越來越多。為了讓人們能夠享受到更好的通信服務(wù)，應(yīng)當(dāng)對數(shù)據(jù)分析處理的效率進(jìn)行有效的提升。而過去的關(guān)系型數(shù)據(jù)管理等方法，對于現(xiàn)代通信的發(fā)展來說，已經(jīng)不能很好的匹配和適應(yīng)。因此，電信運營商在管理和分析數(shù)據(jù)的過程中，自然面臨著更大的挑戰(zhàn)。

1.Hadoop及云計算技術(shù)的基本概述

1.1Hadoop技術(shù)

Hadoop是一種分布式計算開源框架，通過運用低廉的設(shè)備，能夠?qū)Υ笥嬎愠剡M(jìn)行搭建，從而滿足還來那個數(shù)據(jù)高效、快速分析的要求，能夠利用較低的成本，實現(xiàn)云計算解決方案。其對谷歌云計算技術(shù)進(jìn)行模仿與實現(xiàn)，其中融合了ZooKeeper、HBase、MapReduce、HDFS等部分，能夠與谷歌成熟商用云計算平臺中的Chubby、BigTable、MapReduce、GFS等進(jìn)行對應(yīng)。在Hadoop當(dāng)中，集合了相關(guān)的子項目，其中，MapReduce、HDFS、Hadoop Common使其重要的核心，而補充性服務(wù)則由其它子項目進(jìn)行提供。其中，Hadppo Common最為最底層模塊，是Hadoop當(dāng)中的公共部分，將各類工具提供給其它子項目。HDFS作為一個主從結(jié)構(gòu)，其中包含了一個名稱節(jié)點、若干數(shù)據(jù)節(jié)點，名稱節(jié)點負(fù)責(zé)對文件系統(tǒng)元數(shù)據(jù)進(jìn)行管理，而數(shù)據(jù)節(jié)點則是對實際數(shù)據(jù)進(jìn)行存儲。MapReduce作為計算框架、并行編程模型，能夠?qū)Ａ繑?shù)據(jù)進(jìn)行處理，其中包含的map函數(shù)、reduce函數(shù)，分別負(fù)責(zé)對任務(wù)進(jìn)行分解，以及對結(jié)果進(jìn)行匯總［1］。Hive是數(shù)據(jù)倉庫工具，能夠?qū)QL查詢功能進(jìn)行支持。Hbase是基于列存儲模型的分布式數(shù)據(jù)庫。ZooKepper是針對分布式系統(tǒng)的協(xié)調(diào)服務(wù)。Chukwa則是分析、收集分布式數(shù)據(jù)的系統(tǒng)。Avro能夠?qū)缯Z言、高效的數(shù)據(jù)序列系統(tǒng)進(jìn)行提供，并對持久化數(shù)據(jù)存儲進(jìn)行支持。在Hadoop當(dāng)中，具有高效、可靠、經(jīng)濟(jì)、高容錯、可擴(kuò)展等優(yōu)勢，在云計算當(dāng)中，能夠發(fā)揮出很大的作用。

1.2云計算技術(shù)

在互聯(lián)網(wǎng)服務(wù)的交付模式、使用模式、增加模式的基礎(chǔ)上，通過融合網(wǎng)絡(luò)計算、分布式計算、并行計算等技術(shù)，能夠在大量計算機(jī)組成的資源池當(dāng)中，對計算任務(wù)進(jìn)行分布，這樣，系統(tǒng)根據(jù)實際需求，對相應(yīng)的信息服務(wù)、存儲空間、計算能力等進(jìn)行獲取。云計算具有價格低、規(guī)模大、擴(kuò)展性強、可共享、數(shù)據(jù)安全可靠等優(yōu)勢［2］。根據(jù)不同的服務(wù)提供，可將云計算劃分為軟件即服務(wù)、平臺即服務(wù)、基礎(chǔ)設(shè)施即服務(wù)等類型?；跀?shù)據(jù)中心，云計算在虛擬化、編程模式、并行數(shù)據(jù)處理等方面，都具有重要的作用。

2.基于Hadoop的海量電信數(shù)據(jù)云計算平臺

2.1平臺設(shè)計目標(biāo)原則

在對海量電信數(shù)據(jù)云計算平臺進(jìn)行設(shè)計的過程中，通過對Hadoop的應(yīng)用，能夠是海量的數(shù)據(jù)處理任務(wù)，通過價格低廉的設(shè)備加以完成。在Hadoop云計算平臺的搭建當(dāng)中，可以對低端PC服務(wù)器進(jìn)行應(yīng)用，從而對海量電信數(shù)據(jù)分析的要求進(jìn)行滿足，使數(shù)據(jù)的分析效率、分析速度等得到有效的提升，從而能夠在業(yè)務(wù)決策當(dāng)中，對準(zhǔn)確、即時的信息進(jìn)行提供，在實際應(yīng)用中具有非常重要的作用和效果。在云計算平臺的設(shè)計當(dāng)中，應(yīng)當(dāng)遵循安全性原則、高效性原則、經(jīng)濟(jì)性原則等設(shè)計原則［3］。在平臺設(shè)計當(dāng)中，對于平臺的信息安全、自身安全等，應(yīng)當(dāng)進(jìn)行充分的考慮，并對相應(yīng)的措施進(jìn)行采取，對安全風(fēng)險進(jìn)行有效的規(guī)避。對于云計算平臺的特性，應(yīng)當(dāng)進(jìn)行更為充分的運用，從而使海量電信數(shù)據(jù)處理的效率和速度得到提升。

2.2平臺基本框架結(jié)構(gòu)

在含量電信數(shù)據(jù)云計算平臺當(dāng)中，可對分層結(jié)構(gòu)、分布式結(jié)構(gòu)進(jìn)行應(yīng)用，并劃分出應(yīng)用層、模型層、數(shù)據(jù)層等部分。在還來那個電信數(shù)據(jù)當(dāng)中，主要包括了業(yè)務(wù)支持域數(shù)據(jù)、網(wǎng)絡(luò)域數(shù)據(jù)等。業(yè)務(wù)支持域數(shù)據(jù)主要包括一些客戶基本數(shù)據(jù)，例如客戶消費數(shù)據(jù)、客戶業(yè)務(wù)訂購數(shù)據(jù)、客戶信息等。網(wǎng)絡(luò)域數(shù)據(jù)則主要包含了WLAN數(shù)據(jù)、A口數(shù)據(jù)、Gb口數(shù)據(jù)等。在數(shù)據(jù)層當(dāng)中，利用Hadoop的HDFS對數(shù)據(jù)進(jìn)行存儲，然后利用相應(yīng)的管理工具和數(shù)據(jù)處理工具，通過類SAL語言對統(tǒng)計指標(biāo)進(jìn)行定義，對任務(wù)進(jìn)行動態(tài)生成，從而完成聚合與計算，高效、快速的處理海量電信數(shù)據(jù)［4］。在DHFS當(dāng)中，利用文件的格式存儲處理結(jié)果，根據(jù)相應(yīng)的要求，可通過特定格式進(jìn)行導(dǎo)出。在模型層當(dāng)中，通過應(yīng)用數(shù)據(jù)層Hadoop的ETL處理海量電信數(shù)據(jù)的輸出的匯總數(shù)據(jù)，對分析模型進(jìn)行建立，例如客戶語音行為模型、客戶短信行為模型、客戶上網(wǎng)行為模型、客戶位置模型等，以此來實現(xiàn)客戶交往圈、客戶離網(wǎng)預(yù)警、客戶位置的分析。

2.3平臺功能模塊功能

在基于Hadoop的海量電信數(shù)據(jù)云計算平臺當(dāng)中，包含了集群管理模塊、任務(wù)管理模塊、數(shù)據(jù)管理模塊、用戶管理模塊等。其中，集群管理模塊主要支持節(jié)電管理、任務(wù)進(jìn)度、以及Hadoop集群狀態(tài)等；任務(wù)管理模塊主要支持結(jié)果反饋、資源申請、任務(wù)申請等；數(shù)據(jù)管理模塊主要支持?jǐn)?shù)據(jù)的刪除、下載、上傳等；用戶管理模塊則主要支持交互控制、權(quán)限管理、身份認(rèn)證、賬號開通等。

2.4平臺安全機(jī)制建立

在Hadoop集群當(dāng)中，具有相互連通的節(jié)點，所以，在操作Hadoop集群節(jié)點的時候，具有統(tǒng)一的賬號。電信數(shù)據(jù)通常具有敏感性的特點，而Hadoop自身機(jī)制無法滿足安全有效控制數(shù)據(jù)的要求，因此難免會發(fā)生一些安全性的問題?；诖?，為了對安全事故加以預(yù)防，對安全風(fēng)險進(jìn)行規(guī)避，在數(shù)據(jù)、平臺的安全管理當(dāng)中，應(yīng)當(dāng)對相應(yīng)的安群機(jī)制進(jìn)行充分的運用。在云計算平臺的安全機(jī)制的運用中，主要涉及到數(shù)據(jù)安全管理、賬號安全管理、自身安全管理等。在數(shù)據(jù)安全管理中，由于電信數(shù)據(jù)具有較高的敏感性特點，所以，對于敏感數(shù)據(jù)的保密工作進(jìn)行進(jìn)行強化?？梢岳枚ㄆ趯徲嫛⑷藛T數(shù)據(jù)操作記錄、傳輸加密、分開存放、數(shù)據(jù)進(jìn)出記錄都能夠方式，實現(xiàn)數(shù)據(jù)的安全管理。在賬號安全管理當(dāng)中，對管理員賬號應(yīng)進(jìn)行嚴(yán)格控制，并對口令密碼進(jìn)行定期更換。在Hadoop集群中，應(yīng)當(dāng)分離數(shù)據(jù)傳輸賬號與集群操作賬號，并對訪問權(quán)限進(jìn)行嚴(yán)格控制。此外，應(yīng)當(dāng)對各個賬號的操作記錄進(jìn)行保存，并定期進(jìn)行審計。在自身安全管理中，可將Hadoop集群網(wǎng)絡(luò)置于內(nèi)部局域網(wǎng)當(dāng)中，利用防火墻對其進(jìn)行保護(hù)。將名稱節(jié)點作為位移通信出口，其它節(jié)點都要通過名稱節(jié)點才能訪問。這樣，就能夠有效的確保云計算平臺的數(shù)據(jù)安全。

3.結(jié)論

隨著信息技術(shù)、網(wǎng)絡(luò)技術(shù)的發(fā)展與普及，產(chǎn)生的數(shù)據(jù)量也日益增加。面對海量電信數(shù)據(jù)，傳統(tǒng)的處理方法已經(jīng)無法應(yīng)對。因此，可以基于Hadoop，結(jié)合云計算技術(shù)，對海量電信數(shù)據(jù)云計算平臺進(jìn)行建立，更加高效、快速的完成數(shù)據(jù)處理與分析的任務(wù)。

［1］孫福權(quán)，張達(dá)偉，程勖，劉超.基于Hadoop企業(yè)私有云存儲平臺的構(gòu)建［J］.遼寧工程技術(shù)大學(xué)學(xué)報（自然科學(xué)版），2011（6）:913-916.

［2］宋亞奇，周國亮，朱永利，李莉，王劉旺，王德文.云平臺下輸變電設(shè)備狀態(tài)監(jiān)測大數(shù)據(jù)存儲優(yōu)化與并行處理［J］.中國電機(jī)工程學(xué)報，2015（2）:255-267.