亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        Haboop在企業(yè)中的應(yīng)用現(xiàn)狀分析

        2013-07-21 09:09:13王少亞河北大學(xué)管理學(xué)院
        商場現(xiàn)代化 2013年18期
        關(guān)鍵詞:開源集群節(jié)點

        ■王少亞 河北大學(xué)管理學(xué)院

        一、Hadoop概述

        Hadoop作為最受歡迎的一種大數(shù)據(jù)技術(shù),是一個分布式系統(tǒng)的基礎(chǔ)架構(gòu),主要由HDFS、MapReduce組成,是一個能夠便捷的開發(fā)和運行處理大數(shù)據(jù)的軟件平臺。HDFS采用Master/Slave架構(gòu),由一個NameNode節(jié)點和一組DataNode節(jié)點組成。MapReduce在HDFS的支持下實現(xiàn)分布式數(shù)據(jù)處理,也是一種總從的構(gòu)架。

        二、Hadoop在企業(yè)的應(yīng)用優(yōu)勢

        1.應(yīng)用經(jīng)濟效益突出

        Hadoop的應(yīng)用成本低,一方面由于其開源,研發(fā)和采購成本遠遠低于商業(yè)軟件。另一方面,Hadoop為普通的硬件設(shè)備而設(shè)計,可以基于異構(gòu)的廉價硬件來搭建機群,硬件投入成本低。此外,hadoop還可提高數(shù)據(jù)價值,有利于企業(yè)精益管理。例如沃爾瑪通過Hadoop分析顧客搜尋商品的行為,在Facebook、Twitter等社交網(wǎng)站上對商品的討論,從而競爭對手提前一步發(fā)現(xiàn)顧客需求,智能規(guī)劃下一季商品的促銷策略。

        2.高效處理大數(shù)據(jù)

        對海量數(shù)據(jù)深度分析并迅速發(fā)現(xiàn)趨勢是Hadoop的另一巨大優(yōu)勢。Hadoop可以在幾分鐘內(nèi)處理TB級的數(shù)據(jù),在幾小時內(nèi)可以處理完P(guān)B級的數(shù)據(jù)。Facebook利用hadoop每30分鐘分析一次105T以上的字節(jié)。另外,傳統(tǒng)關(guān)系型數(shù)據(jù)庫技術(shù)對于絕大多數(shù)非結(jié)構(gòu)化數(shù)據(jù)無能為力。Hadoop可以對海量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進行批處理,充分發(fā)掘和利用數(shù)據(jù)背后的商業(yè)價值,使企業(yè)做出更好的決策。

        3.應(yīng)用易拓展

        在大數(shù)據(jù)時代,傳統(tǒng)分析環(huán)境規(guī)模呈指數(shù)增長,縱向擴展系統(tǒng),即擴展單個節(jié)點的能力,在技術(shù)和成本上都讓人難以承受。最經(jīng)濟的解決辦法是橫向擴展系統(tǒng),即通過增加計算節(jié)點連接成集群,并且改寫軟件,使之在集群上并行執(zhí)行。Hadoop拓展性能非常優(yōu)秀,可以通過增加更多節(jié)點來按需擴展系統(tǒng),雅虎的集群在2010年已經(jīng)從2000個節(jié)點增加到4000個節(jié)點。

        三、企業(yè)應(yīng)用Hadoop的局限性

        1.不適用于復(fù)雜和實時處理

        Hadoop主要針對離線的、大規(guī)模、批量的數(shù)據(jù)處理,并不是一個實時的在線系統(tǒng),無法用于實時性要求很強的系統(tǒng)中,如銀行系統(tǒng)。Hadoop也不直接支持復(fù)雜的n步n分支數(shù)據(jù)處理流程操作,因此也不適用于電子商務(wù)等交易性系統(tǒng)。

        2.開發(fā)維護代價高

        Hadoop進入維護和開發(fā)階段,成本就會急劇上升。首先Hadoop構(gòu)建平臺復(fù)雜,需要高價雇傭相關(guān)從業(yè)人員。再者,Hadoop的應(yīng)用軟件相對較少,許多數(shù)據(jù)分析功能需要用戶自行開發(fā),導(dǎo)致使用成本增加。培養(yǎng)開發(fā)和運用Hadoop的技術(shù)人才也很昂貴。淘寶在2008年建立了hadoop的“云梯”集群,歷經(jīng)五年,耗費了大量人力、物力、財力。

        3.缺乏專門人才

        越來越多的企業(yè)開始大規(guī)模部署Hadoop,但能夠創(chuàng)建和維護這些部署的IT專業(yè)人員在數(shù)量上并沒有跟上Hadoop發(fā)展的步伐,這是企業(yè)面臨的主要挑戰(zhàn)之一。nosqlweekly網(wǎng)站做了一份統(tǒng)計調(diào)查,它對SimplyHired.com和Indeed.com兩個招聘網(wǎng)站的招聘數(shù)據(jù)進行了分析得出,Hadoop的對人才的需求增長最快。JP摩根大通公司總經(jīng)理玩笑聲稱,他們會提供比eBay高出10%的優(yōu)厚待遇雇用合格的專業(yè)人士。

        四、應(yīng)用Hadoop的改進方案

        1.持續(xù)開源

        Hadoop的開發(fā)難度很大,源代碼僅僅只是困難的一小部分,還需要有非常強大的工程師團隊,有正確的發(fā)布和治理基礎(chǔ)架構(gòu)的能力。目前幾乎沒有哪家公司能擁有所有這些必須的資源。持續(xù)開源可以降低hadoop的進入成本、增強互操作性、實現(xiàn)資源共享。Yahoo表示,他們已經(jīng)提供了70%的源碼,剩下的30%他們希望可以從別的公司、團體、個人得到。

        2.加強合作

        Hadoop涉及的領(lǐng)域廣泛,開發(fā)難度大,需要多方力量合作開發(fā)。國外企業(yè)在合作領(lǐng)域表現(xiàn)積極,采用收購兼并、合作開發(fā)多種方式進行建設(shè),如Microsoft與Hortonworks以及甲骨文公司與Cloudera公司等已經(jīng)達成合作協(xié)議。相比之下,國內(nèi)的企業(yè)間合作就遜色很多,他們采取“各自為戰(zhàn)”、“平地起樓”的建設(shè)方式,從基礎(chǔ)層面分頭進行大數(shù)據(jù)存儲或處理的開發(fā),阻礙了hadoop在國內(nèi)的快速應(yīng)用。企業(yè)間加強合作,勢在必行。

        3.培養(yǎng)人才

        Hadoop對人才的需求迫切,企業(yè)要強化工作人員的大數(shù)據(jù)意識,培養(yǎng)相應(yīng)的專業(yè)技能,使他們熟悉掌握Hadoop的方法和技術(shù),成為合格的大數(shù)據(jù)人才。另外,從源頭上解決人才缺乏問題是最根本的解決辦法。高校是人才主要的輸出渠道,因此應(yīng)適應(yīng)大數(shù)據(jù)需求,加強大數(shù)據(jù)分析方面的教學(xué)。

        [1]覃雄派,王會舉,王珊等.大數(shù)據(jù)分析--RDBMS與MapReduce的競爭與共生[J].軟件學(xué)報,2012,23(1):32-45

        [2]吳金紅等.大數(shù)據(jù):企業(yè)競爭情報的機遇挑戰(zhàn)及對策研究[J].情報雜志,2013,32(1):5-9

        [3]王珊,王會舉等.架構(gòu)大數(shù)據(jù)_挑戰(zhàn)_現(xiàn)狀與展望[J].計算機學(xué)報,2011,34(10):1742-1752

        [4]辛大欣,劉飛.Hadoop集群性能優(yōu)化技術(shù)研究[J].電腦知識與技術(shù),2011,7(22):5484-5486

        猜你喜歡
        開源集群節(jié)點
        CM節(jié)點控制在船舶上的應(yīng)用
        Analysis of the characteristics of electronic equipment usage distance for common users
        基于AutoCAD的門窗節(jié)點圖快速構(gòu)建
        海上小型無人機集群的反制裝備需求與應(yīng)對之策研究
        五毛錢能買多少頭牛
        一種無人機集群發(fā)射回收裝置的控制系統(tǒng)設(shè)計
        電子制作(2018年11期)2018-08-04 03:25:40
        Python與Spark集群在收費數(shù)據(jù)分析中的應(yīng)用
        勤快又呆萌的集群機器人
        大家說:開源、人工智能及創(chuàng)新
        開源中國開源世界高峰論壇圓桌會議縱論開源與互聯(lián)網(wǎng)+創(chuàng)新2.0
        91日韩高清在线观看播放| 亚洲性色av一区二区三区| 白丝兔女郎m开腿sm调教室| 少妇被粗大的猛进69视频| 国产欧美久久久精品影院| 久久精品国产亚洲av天美| 无码人妻丰满熟妇啪啪网不卡| 中文字幕一区二区人妻| 二区久久国产乱子伦免费精品 | 中文字幕日本在线乱码| 在线观看老湿视频福利| 亚洲欧美日韩综合久久久| 亚洲国产AⅤ精品一区二区不卡| 中文字幕乱码一区在线观看| 九九在线中文字幕无码| 性一乱一搞一交一伦一性| 国产成社区在线视频观看| 精品国产亚洲一区二区三区四区| 免费人成年激情视频在线观看| 国产精品亚洲一区二区无码| 精品人妻av一区二区三区不卡| 国产白浆一区二区在线| 日韩乱码人妻无码中文字幕久久 | 久久99亚洲网美利坚合众国| 久久日本视频在线观看 | 一区二区三区国产亚洲网站| 日本少妇被爽到高潮的免费| 国产一区二区三区四区在线视频 | 亚洲av伊人久久综合性色| 国产成人高清在线观看视频| 国产精品亚洲欧美大片在线看| 国产成人精品免费久久久久| 国产成人高清视频在线观看免费| 欧美国产亚洲日韩在线二区| 亚洲综合av在线在线播放| 84pao强力打造免费视频34| 元码人妻精品一区二区三区9| 久久久精品国产性黑人| 久久久久久久岛国免费观看| аⅴ天堂一区视频在线观看| 亚洲中文字幕人成乱码在线 |