亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于Hadoop的海量電信數(shù)據(jù)云計(jì)算平臺(tái)分析

        2016-03-13 18:02:44中國(guó)移動(dòng)通信集團(tuán)重慶有限公司
        電子世界 2016年15期
        關(guān)鍵詞:海量賬號(hào)集群

        中國(guó)移動(dòng)通信集團(tuán)重慶有限公司 胡 圣

        ?

        基于Hadoop的海量電信數(shù)據(jù)云計(jì)算平臺(tái)分析

        中國(guó)移動(dòng)通信集團(tuán)重慶有限公司胡圣

        隨著社會(huì)的不斷發(fā)展,科技的不斷進(jìn)步,對(duì)于海量的電信數(shù)據(jù),傳統(tǒng)的數(shù)據(jù)分析方法已經(jīng)不能很好的滿足其發(fā)展要求。基于此,人們開(kāi)始對(duì)各類(lèi)云計(jì)算平臺(tái)進(jìn)行研究。其中,Hadoop作為一個(gè)開(kāi)源框架,能夠?qū)Υ笠?guī)模分布式計(jì)算要求加以實(shí)現(xiàn),并且具有良好的可伸縮性、可靠性、高效性,在云計(jì)算領(lǐng)域當(dāng)中,逐漸得到廣泛的應(yīng)用。基于此,本文對(duì)基于Hadoop的海量電信數(shù)據(jù)云計(jì)算平臺(tái)進(jìn)行了分析,以期能夠提升數(shù)據(jù)計(jì)算分析的效率。

        Hadoop;海量電信數(shù)據(jù);云計(jì)算平臺(tái)

        前言

        在當(dāng)前的通信領(lǐng)域當(dāng)中,通信技術(shù)、通信設(shè)備都得到了極大的發(fā)展,因而產(chǎn)生的數(shù)據(jù)量也越來(lái)越多。為了讓人們能夠享受到更好的通信服務(wù),應(yīng)當(dāng)對(duì)數(shù)據(jù)分析處理的效率進(jìn)行有效的提升。而過(guò)去的關(guān)系型數(shù)據(jù)管理等方法,對(duì)于現(xiàn)代通信的發(fā)展來(lái)說(shuō),已經(jīng)不能很好的匹配和適應(yīng)。因此,電信運(yùn)營(yíng)商在管理和分析數(shù)據(jù)的過(guò)程中,自然面臨著更大的挑戰(zhàn)。

        1.Hadoop及云計(jì)算技術(shù)的基本概述

        1.1Hadoop技術(shù)

        Hadoop是一種分布式計(jì)算開(kāi)源框架,通過(guò)運(yùn)用低廉的設(shè)備,能夠?qū)Υ笥?jì)算池進(jìn)行搭建,從而滿足還來(lái)那個(gè)數(shù)據(jù)高效、快速分析的要求,能夠利用較低的成本,實(shí)現(xiàn)云計(jì)算解決方案。其對(duì)谷歌云計(jì)算技術(shù)進(jìn)行模仿與實(shí)現(xiàn),其中融合了ZooKeeper、HBase、MapReduce、HDFS等部分,能夠與谷歌成熟商用云計(jì)算平臺(tái)中的Chubby、BigTable、MapReduce、GFS等進(jìn)行對(duì)應(yīng)。在Hadoop當(dāng)中,集合了相關(guān)的子項(xiàng)目,其中,MapReduce、HDFS、Hadoop Common使其重要的核心,而補(bǔ)充性服務(wù)則由其它子項(xiàng)目進(jìn)行提供。其中,Hadppo Common最為最底層模塊,是Hadoop當(dāng)中的公共部分,將各類(lèi)工具提供給其它子項(xiàng)目。HDFS作為一個(gè)主從結(jié)構(gòu),其中包含了一個(gè)名稱(chēng)節(jié)點(diǎn)、若干數(shù)據(jù)節(jié)點(diǎn),名稱(chēng)節(jié)點(diǎn)負(fù)責(zé)對(duì)文件系統(tǒng)元數(shù)據(jù)進(jìn)行管理,而數(shù)據(jù)節(jié)點(diǎn)則是對(duì)實(shí)際數(shù)據(jù)進(jìn)行存儲(chǔ)。MapReduce作為計(jì)算框架、并行編程模型,能夠?qū)A繑?shù)據(jù)進(jìn)行處理,其中包含的map函數(shù)、reduce函數(shù),分別負(fù)責(zé)對(duì)任務(wù)進(jìn)行分解,以及對(duì)結(jié)果進(jìn)行匯總[1]。Hive是數(shù)據(jù)倉(cāng)庫(kù)工具,能夠?qū)QL查詢功能進(jìn)行支持。Hbase是基于列存儲(chǔ)模型的分布式數(shù)據(jù)庫(kù)。ZooKepper是針對(duì)分布式系統(tǒng)的協(xié)調(diào)服務(wù)。Chukwa則是分析、收集分布式數(shù)據(jù)的系統(tǒng)。Avro能夠?qū)缯Z(yǔ)言、高效的數(shù)據(jù)序列系統(tǒng)進(jìn)行提供,并對(duì)持久化數(shù)據(jù)存儲(chǔ)進(jìn)行支持。在Hadoop當(dāng)中,具有高效、可靠、經(jīng)濟(jì)、高容錯(cuò)、可擴(kuò)展等優(yōu)勢(shì),在云計(jì)算當(dāng)中,能夠發(fā)揮出很大的作用。

        1.2云計(jì)算技術(shù)

        在互聯(lián)網(wǎng)服務(wù)的交付模式、使用模式、增加模式的基礎(chǔ)上,通過(guò)融合網(wǎng)絡(luò)計(jì)算、分布式計(jì)算、并行計(jì)算等技術(shù),能夠在大量計(jì)算機(jī)組成的資源池當(dāng)中,對(duì)計(jì)算任務(wù)進(jìn)行分布,這樣,系統(tǒng)根據(jù)實(shí)際需求,對(duì)相應(yīng)的信息服務(wù)、存儲(chǔ)空間、計(jì)算能力等進(jìn)行獲取。云計(jì)算具有價(jià)格低、規(guī)模大、擴(kuò)展性強(qiáng)、可共享、數(shù)據(jù)安全可靠等優(yōu)勢(shì)[2]。根據(jù)不同的服務(wù)提供,可將云計(jì)算劃分為軟件即服務(wù)、平臺(tái)即服務(wù)、基礎(chǔ)設(shè)施即服務(wù)等類(lèi)型。基于數(shù)據(jù)中心,云計(jì)算在虛擬化、編程模式、并行數(shù)據(jù)處理等方面,都具有重要的作用。

        2.基于Hadoop的海量電信數(shù)據(jù)云計(jì)算平臺(tái)

        2.1平臺(tái)設(shè)計(jì)目標(biāo)原則

        在對(duì)海量電信數(shù)據(jù)云計(jì)算平臺(tái)進(jìn)行設(shè)計(jì)的過(guò)程中,通過(guò)對(duì)Hadoop的應(yīng)用,能夠是海量的數(shù)據(jù)處理任務(wù),通過(guò)價(jià)格低廉的設(shè)備加以完成。在Hadoop云計(jì)算平臺(tái)的搭建當(dāng)中,可以對(duì)低端PC服務(wù)器進(jìn)行應(yīng)用,從而對(duì)海量電信數(shù)據(jù)分析的要求進(jìn)行滿足,使數(shù)據(jù)的分析效率、分析速度等得到有效的提升,從而能夠在業(yè)務(wù)決策當(dāng)中,對(duì)準(zhǔn)確、即時(shí)的信息進(jìn)行提供,在實(shí)際應(yīng)用中具有非常重要的作用和效果。在云計(jì)算平臺(tái)的設(shè)計(jì)當(dāng)中,應(yīng)當(dāng)遵循安全性原則、高效性原則、經(jīng)濟(jì)性原則等設(shè)計(jì)原則[3]。在平臺(tái)設(shè)計(jì)當(dāng)中,對(duì)于平臺(tái)的信息安全、自身安全等,應(yīng)當(dāng)進(jìn)行充分的考慮,并對(duì)相應(yīng)的措施進(jìn)行采取,對(duì)安全風(fēng)險(xiǎn)進(jìn)行有效的規(guī)避。對(duì)于云計(jì)算平臺(tái)的特性,應(yīng)當(dāng)進(jìn)行更為充分的運(yùn)用,從而使海量電信數(shù)據(jù)處理的效率和速度得到提升。

        2.2平臺(tái)基本框架結(jié)構(gòu)

        在含量電信數(shù)據(jù)云計(jì)算平臺(tái)當(dāng)中,可對(duì)分層結(jié)構(gòu)、分布式結(jié)構(gòu)進(jìn)行應(yīng)用,并劃分出應(yīng)用層、模型層、數(shù)據(jù)層等部分。在還來(lái)那個(gè)電信數(shù)據(jù)當(dāng)中,主要包括了業(yè)務(wù)支持域數(shù)據(jù)、網(wǎng)絡(luò)域數(shù)據(jù)等。業(yè)務(wù)支持域數(shù)據(jù)主要包括一些客戶基本數(shù)據(jù),例如客戶消費(fèi)數(shù)據(jù)、客戶業(yè)務(wù)訂購(gòu)數(shù)據(jù)、客戶信息等。網(wǎng)絡(luò)域數(shù)據(jù)則主要包含了WLAN數(shù)據(jù)、A口數(shù)據(jù)、Gb口數(shù)據(jù)等。在數(shù)據(jù)層當(dāng)中,利用Hadoop的HDFS對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ),然后利用相應(yīng)的管理工具和數(shù)據(jù)處理工具,通過(guò)類(lèi)SAL語(yǔ)言對(duì)統(tǒng)計(jì)指標(biāo)進(jìn)行定義,對(duì)任務(wù)進(jìn)行動(dòng)態(tài)生成,從而完成聚合與計(jì)算,高效、快速的處理海量電信數(shù)據(jù)[4]。在DHFS當(dāng)中,利用文件的格式存儲(chǔ)處理結(jié)果,根據(jù)相應(yīng)的要求,可通過(guò)特定格式進(jìn)行導(dǎo)出。在模型層當(dāng)中,通過(guò)應(yīng)用數(shù)據(jù)層Hadoop的ETL處理海量電信數(shù)據(jù)的輸出的匯總數(shù)據(jù),對(duì)分析模型進(jìn)行建立,例如客戶語(yǔ)音行為模型、客戶短信行為模型、客戶上網(wǎng)行為模型、客戶位置模型等,以此來(lái)實(shí)現(xiàn)客戶交往圈、客戶離網(wǎng)預(yù)警、客戶位置的分析。

        2.3平臺(tái)功能模塊功能

        在基于Hadoop的海量電信數(shù)據(jù)云計(jì)算平臺(tái)當(dāng)中,包含了集群管理模塊、任務(wù)管理模塊、數(shù)據(jù)管理模塊、用戶管理模塊等。其中,集群管理模塊主要支持節(jié)電管理、任務(wù)進(jìn)度、以及Hadoop集群狀態(tài)等;任務(wù)管理模塊主要支持結(jié)果反饋、資源申請(qǐng)、任務(wù)申請(qǐng)等;數(shù)據(jù)管理模塊主要支持?jǐn)?shù)據(jù)的刪除、下載、上傳等;用戶管理模塊則主要支持交互控制、權(quán)限管理、身份認(rèn)證、賬號(hào)開(kāi)通等。

        2.4平臺(tái)安全機(jī)制建立

        在Hadoop集群當(dāng)中,具有相互連通的節(jié)點(diǎn),所以,在操作Hadoop集群節(jié)點(diǎn)的時(shí)候,具有統(tǒng)一的賬號(hào)。電信數(shù)據(jù)通常具有敏感性的特點(diǎn),而Hadoop自身機(jī)制無(wú)法滿足安全有效控制數(shù)據(jù)的要求,因此難免會(huì)發(fā)生一些安全性的問(wèn)題?;诖?,為了對(duì)安全事故加以預(yù)防,對(duì)安全風(fēng)險(xiǎn)進(jìn)行規(guī)避,在數(shù)據(jù)、平臺(tái)的安全管理當(dāng)中,應(yīng)當(dāng)對(duì)相應(yīng)的安群機(jī)制進(jìn)行充分的運(yùn)用。在云計(jì)算平臺(tái)的安全機(jī)制的運(yùn)用中,主要涉及到數(shù)據(jù)安全管理、賬號(hào)安全管理、自身安全管理等。在數(shù)據(jù)安全管理中,由于電信數(shù)據(jù)具有較高的敏感性特點(diǎn),所以,對(duì)于敏感數(shù)據(jù)的保密工作進(jìn)行進(jìn)行強(qiáng)化??梢岳枚ㄆ趯徲?jì)、人員數(shù)據(jù)操作記錄、傳輸加密、分開(kāi)存放、數(shù)據(jù)進(jìn)出記錄都能夠方式,實(shí)現(xiàn)數(shù)據(jù)的安全管理。在賬號(hào)安全管理當(dāng)中,對(duì)管理員賬號(hào)應(yīng)進(jìn)行嚴(yán)格控制,并對(duì)口令密碼進(jìn)行定期更換。在Hadoop集群中,應(yīng)當(dāng)分離數(shù)據(jù)傳輸賬號(hào)與集群操作賬號(hào),并對(duì)訪問(wèn)權(quán)限進(jìn)行嚴(yán)格控制。此外,應(yīng)當(dāng)對(duì)各個(gè)賬號(hào)的操作記錄進(jìn)行保存,并定期進(jìn)行審計(jì)。在自身安全管理中,可將Hadoop集群網(wǎng)絡(luò)置于內(nèi)部局域網(wǎng)當(dāng)中,利用防火墻對(duì)其進(jìn)行保護(hù)。將名稱(chēng)節(jié)點(diǎn)作為位移通信出口,其它節(jié)點(diǎn)都要通過(guò)名稱(chēng)節(jié)點(diǎn)才能訪問(wèn)。這樣,就能夠有效的確保云計(jì)算平臺(tái)的數(shù)據(jù)安全。

        3.結(jié)論

        隨著信息技術(shù)、網(wǎng)絡(luò)技術(shù)的發(fā)展與普及,產(chǎn)生的數(shù)據(jù)量也日益增加。面對(duì)海量電信數(shù)據(jù),傳統(tǒng)的處理方法已經(jīng)無(wú)法應(yīng)對(duì)。因此,可以基于Hadoop,結(jié)合云計(jì)算技術(shù),對(duì)海量電信數(shù)據(jù)云計(jì)算平臺(tái)進(jìn)行建立,更加高效、快速的完成數(shù)據(jù)處理與分析的任務(wù)。

        [1]孫福權(quán),張達(dá)偉,程勖,劉超.基于Hadoop企業(yè)私有云存儲(chǔ)平臺(tái)的構(gòu)建[J].遼寧工程技術(shù)大學(xué)學(xué)報(bào)(自然科學(xué)版),2011(6):913-916.

        [2]宋亞奇,周?chē)?guó)亮,朱永利,李莉,王劉旺,王德文.云平臺(tái)下輸變電設(shè)備狀態(tài)監(jiān)測(cè)大數(shù)據(jù)存儲(chǔ)優(yōu)化與并行處理[J].中國(guó)電機(jī)工程學(xué)報(bào),2015(2):255-267.

        猜你喜歡
        海量賬號(hào)集群
        一種傅里葉域海量數(shù)據(jù)高速譜聚類(lèi)方法
        彤彤的聊天賬號(hào)
        施詐計(jì)騙走游戲賬號(hào)
        派出所工作(2021年4期)2021-05-17 15:19:10
        海上小型無(wú)人機(jī)集群的反制裝備需求與應(yīng)對(duì)之策研究
        海量快遞垃圾正在“圍城”——“綠色快遞”勢(shì)在必行
        一種無(wú)人機(jī)集群發(fā)射回收裝置的控制系統(tǒng)設(shè)計(jì)
        電子制作(2018年11期)2018-08-04 03:25:40
        Python與Spark集群在收費(fèi)數(shù)據(jù)分析中的應(yīng)用
        勤快又呆萌的集群機(jī)器人
        一個(gè)圖形所蘊(yùn)含的“海量”巧題
        Google Play游戲取消賬號(hào)綁定沒(méi)有Google賬號(hào)也能玩
        CHIP新電腦(2016年3期)2016-03-10 14:52:50
        国产精品白浆视频免费观看| 亚洲日韩精品无码av海量| 国产精品久久久久久一区二区三区| 国产专区国产av| 亚洲高清在线不卡中文字幕网| 免费啪啪av人妻一区二区 | 精品女同av一区二区三区| 99久久99久久久精品蜜桃| 精品伊人久久大香线蕉综合| 麻豆av传媒蜜桃天美传媒| 18禁国产美女白浆在线| 各类熟女熟妇激情自拍| 精品久久久bbbb人妻| 夜夜揉揉日日人人| 久天啪天天久久99久孕妇| 一区二区中文字幕在线观看污污| 成人做爰69片免费看网站野花| 国产色诱视频在线观看| 人妻少妇精品视中文字幕国语| 不卡免费在线亚洲av| 少妇高潮无套内谢麻豆传| 日韩欧美亚洲综合久久影院d3 | 日本在线免费不卡一区二区三区| 亚洲精品无码不卡在线播he | 日本一区二区日韩在线| 日韩欧美中文字幕公布 | 无码gogo大胆啪啪艺术| 亚洲深深色噜噜狠狠爱网站| 女人被躁到高潮嗷嗷叫免费软| 日韩中文字幕素人水野一区| 亚洲一区二区三区播放| 亚洲久无码中文字幕热| 一区二区三区人妻在线| 亚洲av无码成人精品国产| 无码人妻丰满熟妇片毛片| 久久99亚洲网美利坚合众国| 日韩女同在线免费观看| 精品人妻无码视频中文字幕一区二区三区| 亚洲国产精品国自产电影| 熟女高潮av一区二区| 国产精品国产精品国产专区不卡|