亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于Hadoop的海量電信數(shù)據(jù)云計算平臺分析

        2016-03-13 18:02:44中國移動通信集團(tuán)重慶有限公司
        電子世界 2016年15期
        關(guān)鍵詞:海量賬號集群

        中國移動通信集團(tuán)重慶有限公司 胡 圣

        ?

        基于Hadoop的海量電信數(shù)據(jù)云計算平臺分析

        中國移動通信集團(tuán)重慶有限公司胡圣

        隨著社會的不斷發(fā)展,科技的不斷進(jìn)步,對于海量的電信數(shù)據(jù),傳統(tǒng)的數(shù)據(jù)分析方法已經(jīng)不能很好的滿足其發(fā)展要求?;诖?,人們開始對各類云計算平臺進(jìn)行研究。其中,Hadoop作為一個開源框架,能夠?qū)Υ笠?guī)模分布式計算要求加以實現(xiàn),并且具有良好的可伸縮性、可靠性、高效性,在云計算領(lǐng)域當(dāng)中,逐漸得到廣泛的應(yīng)用?;诖耍疚膶贖adoop的海量電信數(shù)據(jù)云計算平臺進(jìn)行了分析,以期能夠提升數(shù)據(jù)計算分析的效率。

        Hadoop;海量電信數(shù)據(jù);云計算平臺

        前言

        在當(dāng)前的通信領(lǐng)域當(dāng)中,通信技術(shù)、通信設(shè)備都得到了極大的發(fā)展,因而產(chǎn)生的數(shù)據(jù)量也越來越多。為了讓人們能夠享受到更好的通信服務(wù),應(yīng)當(dāng)對數(shù)據(jù)分析處理的效率進(jìn)行有效的提升。而過去的關(guān)系型數(shù)據(jù)管理等方法,對于現(xiàn)代通信的發(fā)展來說,已經(jīng)不能很好的匹配和適應(yīng)。因此,電信運營商在管理和分析數(shù)據(jù)的過程中,自然面臨著更大的挑戰(zhàn)。

        1.Hadoop及云計算技術(shù)的基本概述

        1.1Hadoop技術(shù)

        Hadoop是一種分布式計算開源框架,通過運用低廉的設(shè)備,能夠?qū)Υ笥嬎愠剡M(jìn)行搭建,從而滿足還來那個數(shù)據(jù)高效、快速分析的要求,能夠利用較低的成本,實現(xiàn)云計算解決方案。其對谷歌云計算技術(shù)進(jìn)行模仿與實現(xiàn),其中融合了ZooKeeper、HBase、MapReduce、HDFS等部分,能夠與谷歌成熟商用云計算平臺中的Chubby、BigTable、MapReduce、GFS等進(jìn)行對應(yīng)。在Hadoop當(dāng)中,集合了相關(guān)的子項目,其中,MapReduce、HDFS、Hadoop Common使其重要的核心,而補充性服務(wù)則由其它子項目進(jìn)行提供。其中,Hadppo Common最為最底層模塊,是Hadoop當(dāng)中的公共部分,將各類工具提供給其它子項目。HDFS作為一個主從結(jié)構(gòu),其中包含了一個名稱節(jié)點、若干數(shù)據(jù)節(jié)點,名稱節(jié)點負(fù)責(zé)對文件系統(tǒng)元數(shù)據(jù)進(jìn)行管理,而數(shù)據(jù)節(jié)點則是對實際數(shù)據(jù)進(jìn)行存儲。MapReduce作為計算框架、并行編程模型,能夠?qū)A繑?shù)據(jù)進(jìn)行處理,其中包含的map函數(shù)、reduce函數(shù),分別負(fù)責(zé)對任務(wù)進(jìn)行分解,以及對結(jié)果進(jìn)行匯總[1]。Hive是數(shù)據(jù)倉庫工具,能夠?qū)QL查詢功能進(jìn)行支持。Hbase是基于列存儲模型的分布式數(shù)據(jù)庫。ZooKepper是針對分布式系統(tǒng)的協(xié)調(diào)服務(wù)。Chukwa則是分析、收集分布式數(shù)據(jù)的系統(tǒng)。Avro能夠?qū)缯Z言、高效的數(shù)據(jù)序列系統(tǒng)進(jìn)行提供,并對持久化數(shù)據(jù)存儲進(jìn)行支持。在Hadoop當(dāng)中,具有高效、可靠、經(jīng)濟(jì)、高容錯、可擴(kuò)展等優(yōu)勢,在云計算當(dāng)中,能夠發(fā)揮出很大的作用。

        1.2云計算技術(shù)

        在互聯(lián)網(wǎng)服務(wù)的交付模式、使用模式、增加模式的基礎(chǔ)上,通過融合網(wǎng)絡(luò)計算、分布式計算、并行計算等技術(shù),能夠在大量計算機(jī)組成的資源池當(dāng)中,對計算任務(wù)進(jìn)行分布,這樣,系統(tǒng)根據(jù)實際需求,對相應(yīng)的信息服務(wù)、存儲空間、計算能力等進(jìn)行獲取。云計算具有價格低、規(guī)模大、擴(kuò)展性強、可共享、數(shù)據(jù)安全可靠等優(yōu)勢[2]。根據(jù)不同的服務(wù)提供,可將云計算劃分為軟件即服務(wù)、平臺即服務(wù)、基礎(chǔ)設(shè)施即服務(wù)等類型?;跀?shù)據(jù)中心,云計算在虛擬化、編程模式、并行數(shù)據(jù)處理等方面,都具有重要的作用。

        2.基于Hadoop的海量電信數(shù)據(jù)云計算平臺

        2.1平臺設(shè)計目標(biāo)原則

        在對海量電信數(shù)據(jù)云計算平臺進(jìn)行設(shè)計的過程中,通過對Hadoop的應(yīng)用,能夠是海量的數(shù)據(jù)處理任務(wù),通過價格低廉的設(shè)備加以完成。在Hadoop云計算平臺的搭建當(dāng)中,可以對低端PC服務(wù)器進(jìn)行應(yīng)用,從而對海量電信數(shù)據(jù)分析的要求進(jìn)行滿足,使數(shù)據(jù)的分析效率、分析速度等得到有效的提升,從而能夠在業(yè)務(wù)決策當(dāng)中,對準(zhǔn)確、即時的信息進(jìn)行提供,在實際應(yīng)用中具有非常重要的作用和效果。在云計算平臺的設(shè)計當(dāng)中,應(yīng)當(dāng)遵循安全性原則、高效性原則、經(jīng)濟(jì)性原則等設(shè)計原則[3]。在平臺設(shè)計當(dāng)中,對于平臺的信息安全、自身安全等,應(yīng)當(dāng)進(jìn)行充分的考慮,并對相應(yīng)的措施進(jìn)行采取,對安全風(fēng)險進(jìn)行有效的規(guī)避。對于云計算平臺的特性,應(yīng)當(dāng)進(jìn)行更為充分的運用,從而使海量電信數(shù)據(jù)處理的效率和速度得到提升。

        2.2平臺基本框架結(jié)構(gòu)

        在含量電信數(shù)據(jù)云計算平臺當(dāng)中,可對分層結(jié)構(gòu)、分布式結(jié)構(gòu)進(jìn)行應(yīng)用,并劃分出應(yīng)用層、模型層、數(shù)據(jù)層等部分。在還來那個電信數(shù)據(jù)當(dāng)中,主要包括了業(yè)務(wù)支持域數(shù)據(jù)、網(wǎng)絡(luò)域數(shù)據(jù)等。業(yè)務(wù)支持域數(shù)據(jù)主要包括一些客戶基本數(shù)據(jù),例如客戶消費數(shù)據(jù)、客戶業(yè)務(wù)訂購數(shù)據(jù)、客戶信息等。網(wǎng)絡(luò)域數(shù)據(jù)則主要包含了WLAN數(shù)據(jù)、A口數(shù)據(jù)、Gb口數(shù)據(jù)等。在數(shù)據(jù)層當(dāng)中,利用Hadoop的HDFS對數(shù)據(jù)進(jìn)行存儲,然后利用相應(yīng)的管理工具和數(shù)據(jù)處理工具,通過類SAL語言對統(tǒng)計指標(biāo)進(jìn)行定義,對任務(wù)進(jìn)行動態(tài)生成,從而完成聚合與計算,高效、快速的處理海量電信數(shù)據(jù)[4]。在DHFS當(dāng)中,利用文件的格式存儲處理結(jié)果,根據(jù)相應(yīng)的要求,可通過特定格式進(jìn)行導(dǎo)出。在模型層當(dāng)中,通過應(yīng)用數(shù)據(jù)層Hadoop的ETL處理海量電信數(shù)據(jù)的輸出的匯總數(shù)據(jù),對分析模型進(jìn)行建立,例如客戶語音行為模型、客戶短信行為模型、客戶上網(wǎng)行為模型、客戶位置模型等,以此來實現(xiàn)客戶交往圈、客戶離網(wǎng)預(yù)警、客戶位置的分析。

        2.3平臺功能模塊功能

        在基于Hadoop的海量電信數(shù)據(jù)云計算平臺當(dāng)中,包含了集群管理模塊、任務(wù)管理模塊、數(shù)據(jù)管理模塊、用戶管理模塊等。其中,集群管理模塊主要支持節(jié)電管理、任務(wù)進(jìn)度、以及Hadoop集群狀態(tài)等;任務(wù)管理模塊主要支持結(jié)果反饋、資源申請、任務(wù)申請等;數(shù)據(jù)管理模塊主要支持?jǐn)?shù)據(jù)的刪除、下載、上傳等;用戶管理模塊則主要支持交互控制、權(quán)限管理、身份認(rèn)證、賬號開通等。

        2.4平臺安全機(jī)制建立

        在Hadoop集群當(dāng)中,具有相互連通的節(jié)點,所以,在操作Hadoop集群節(jié)點的時候,具有統(tǒng)一的賬號。電信數(shù)據(jù)通常具有敏感性的特點,而Hadoop自身機(jī)制無法滿足安全有效控制數(shù)據(jù)的要求,因此難免會發(fā)生一些安全性的問題?;诖?,為了對安全事故加以預(yù)防,對安全風(fēng)險進(jìn)行規(guī)避,在數(shù)據(jù)、平臺的安全管理當(dāng)中,應(yīng)當(dāng)對相應(yīng)的安群機(jī)制進(jìn)行充分的運用。在云計算平臺的安全機(jī)制的運用中,主要涉及到數(shù)據(jù)安全管理、賬號安全管理、自身安全管理等。在數(shù)據(jù)安全管理中,由于電信數(shù)據(jù)具有較高的敏感性特點,所以,對于敏感數(shù)據(jù)的保密工作進(jìn)行進(jìn)行強化??梢岳枚ㄆ趯徲嫛⑷藛T數(shù)據(jù)操作記錄、傳輸加密、分開存放、數(shù)據(jù)進(jìn)出記錄都能夠方式,實現(xiàn)數(shù)據(jù)的安全管理。在賬號安全管理當(dāng)中,對管理員賬號應(yīng)進(jìn)行嚴(yán)格控制,并對口令密碼進(jìn)行定期更換。在Hadoop集群中,應(yīng)當(dāng)分離數(shù)據(jù)傳輸賬號與集群操作賬號,并對訪問權(quán)限進(jìn)行嚴(yán)格控制。此外,應(yīng)當(dāng)對各個賬號的操作記錄進(jìn)行保存,并定期進(jìn)行審計。在自身安全管理中,可將Hadoop集群網(wǎng)絡(luò)置于內(nèi)部局域網(wǎng)當(dāng)中,利用防火墻對其進(jìn)行保護(hù)。將名稱節(jié)點作為位移通信出口,其它節(jié)點都要通過名稱節(jié)點才能訪問。這樣,就能夠有效的確保云計算平臺的數(shù)據(jù)安全。

        3.結(jié)論

        隨著信息技術(shù)、網(wǎng)絡(luò)技術(shù)的發(fā)展與普及,產(chǎn)生的數(shù)據(jù)量也日益增加。面對海量電信數(shù)據(jù),傳統(tǒng)的處理方法已經(jīng)無法應(yīng)對。因此,可以基于Hadoop,結(jié)合云計算技術(shù),對海量電信數(shù)據(jù)云計算平臺進(jìn)行建立,更加高效、快速的完成數(shù)據(jù)處理與分析的任務(wù)。

        [1]孫福權(quán),張達(dá)偉,程勖,劉超.基于Hadoop企業(yè)私有云存儲平臺的構(gòu)建[J].遼寧工程技術(shù)大學(xué)學(xué)報(自然科學(xué)版),2011(6):913-916.

        [2]宋亞奇,周國亮,朱永利,李莉,王劉旺,王德文.云平臺下輸變電設(shè)備狀態(tài)監(jiān)測大數(shù)據(jù)存儲優(yōu)化與并行處理[J].中國電機(jī)工程學(xué)報,2015(2):255-267.

        猜你喜歡
        海量賬號集群
        一種傅里葉域海量數(shù)據(jù)高速譜聚類方法
        彤彤的聊天賬號
        施詐計騙走游戲賬號
        派出所工作(2021年4期)2021-05-17 15:19:10
        海上小型無人機(jī)集群的反制裝備需求與應(yīng)對之策研究
        海量快遞垃圾正在“圍城”——“綠色快遞”勢在必行
        一種無人機(jī)集群發(fā)射回收裝置的控制系統(tǒng)設(shè)計
        電子制作(2018年11期)2018-08-04 03:25:40
        Python與Spark集群在收費數(shù)據(jù)分析中的應(yīng)用
        勤快又呆萌的集群機(jī)器人
        一個圖形所蘊含的“海量”巧題
        Google Play游戲取消賬號綁定沒有Google賬號也能玩
        CHIP新電腦(2016年3期)2016-03-10 14:52:50
        国产亚洲欧美日韩综合综合二区| 国内精品伊人久久久久影院对白 | 国产91成人自拍视频| 国产欧美日韩综合在线一区二区| 山外人精品影院| 99久久国产免费观看精品| 激情 一区二区| 日日躁夜夜躁狠狠躁超碰97| 国产婷婷色一区二区三区| 蜜桃传媒免费观看视频| 日本口爆吞精在线视频| 真实国产老熟女粗口对白| 亚洲一区二区三区小说| 婷婷久久亚洲中文字幕| 国产一精品一aⅴ一免费| 国产亚洲美女精品久久久| 亚洲人成精品久久久久| 国产在线观看午夜视频| 日韩精品一区二区av在线| 国内精品大秀视频日韩精品| 国产一区二区内射最近更新 | 国产系列丝袜熟女精品视频| 日本无码人妻波多野结衣| 国产成人精品无码片区在线观看| 亚洲不卡av二区三区四区| 亚洲AV日韩AV高潮喷潮无码| 亚洲一区日韩无码| 亚洲精品第一国产综合亚av| 国产免费又爽又色又粗视频| 久久热免费最新精品视频网站 | 无码久久精品国产亚洲av影片| 玩弄白嫩少妇xxxxx性| 久久婷婷综合缴情亚洲狠狠| 久久久国产精品三级av| 人妻中文字幕不卡精品| 免费AV一区二区三区无码| 日韩人妻无码一区二区三区久久99| 玩弄丰满奶水的女邻居| 国产av无码专区亚洲av麻豆| 成人高清在线播放视频| 人妻少妇偷人精品久久人妻|