亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        Hadoop平臺(tái)基準(zhǔn)性能測(cè)試研究

        2015-03-02 12:02:36張新玲
        軟件導(dǎo)刊 2015年1期
        關(guān)鍵詞:大數(shù)據(jù)

        摘要:Hadoop平臺(tái)是apche下的一個(gè)開源大數(shù)據(jù)平臺(tái),具有分布性、虛擬化、高可靠性、高可伸縮性、通用性等特點(diǎn)。Hadoop平臺(tái)發(fā)展至今,集成組件已從1.0發(fā)展到2.0。從Hadoop體系結(jié)構(gòu)入手,分析了Hadoop 平臺(tái)1.0和2.0平臺(tái)的基準(zhǔn)測(cè)試性能并進(jìn)行了對(duì)比。研究了testdfsIO、yarn、hive的基準(zhǔn)測(cè)試,通過對(duì)升級(jí)后平臺(tái)的基準(zhǔn)測(cè)試,分析了2.0的優(yōu)勢(shì),為集成Hadoop平臺(tái)提供參考。

        關(guān)鍵詞:大數(shù)據(jù);Hadoop;testdfsIO;yarn;hive;性能對(duì)比

        DOIDOI:10.11907/rjdk.143775

        中圖分類號(hào):TP306

        文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào)文章編號(hào):16727800(2015)001003003

        作者簡(jiǎn)介作者簡(jiǎn)介:張新玲(1983-),女,浙江杭州人,浪潮電子信息產(chǎn)業(yè)股份有限公司系統(tǒng)軟件部高級(jí)工程師,研究方向?yàn)樵朴?jì)算、大數(shù)據(jù)。

        0 引言

        隨著移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)等技術(shù)的興起,全球數(shù)據(jù)量迅猛增長(zhǎng),大數(shù)據(jù)(Big Data)時(shí)代已經(jīng)來臨。大數(shù)據(jù)的定義有多種提法,IBM認(rèn)為大數(shù)據(jù)具備規(guī)模性(Volume)、多樣性(Variety)和高速性(Velocity)3個(gè)特征:規(guī)模性指數(shù)據(jù)量巨大,量級(jí)達(dá)到TB級(jí)及PB級(jí);多樣性指數(shù)據(jù)類型繁多,包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù);高速性指數(shù)據(jù)創(chuàng)建、處理和分析的速度持續(xù)加快。Hadoop是一個(gè)開源大數(shù)據(jù)平臺(tái),已成為大數(shù)據(jù)的代名詞。短短幾年,Hadoop從一種邊緣技術(shù)成為事實(shí)上的標(biāo)準(zhǔn),Hadoop 逐漸通過開源的分布式計(jì)算框架成為各軟件開發(fā)團(tuán)隊(duì)首選的云計(jì)算平臺(tái)。

        Hadoop平臺(tái)軟件系統(tǒng)具有分布性、虛擬化、高可靠性、高可伸縮性、通用性等特點(diǎn),在軍事、教育、政府、金融等各個(gè)領(lǐng)域都有應(yīng)用。在這樣的背景下,研究Hadoop平臺(tái)下的基準(zhǔn)測(cè)試工作具有重要現(xiàn)實(shí)意義,本文研究的是hadoop平臺(tái)1.0和2.0的基準(zhǔn)項(xiàng)性能測(cè)試對(duì)比。

        1 研究?jī)?nèi)容

        Hadoop平臺(tái)下的基準(zhǔn)測(cè)試主要包括Hdfs的讀寫、Yarn的執(zhí)行情況;Hive的基本功能包括簡(jiǎn)單查詢、表連接查詢、插入操作、分組查詢和map查詢; TestDFSIO基準(zhǔn)測(cè)試、Yarn基準(zhǔn)測(cè)試、Hive基準(zhǔn)測(cè)試比較研究。采用hadoop自帶的測(cè)試包hadoop-test.jar中的TestDFSIO方法,分別執(zhí)行3次讀寫操作。

        2 TestDFSIO基準(zhǔn)測(cè)試比較

        2.1 單個(gè)1G文件讀寫測(cè)試

        測(cè)試采用Hadoop自帶的測(cè)試包hadoop-test.jar中的TestDFSIO方法,分別執(zhí)行3次讀寫操作,測(cè)試結(jié)果對(duì)比如表2、表3所示。

        2.2 單個(gè)200G文件讀寫測(cè)試

        測(cè)試采用Hadoop自帶的測(cè)試包hadoop-test.jar中的TestDFSIO方法。

        2.3 10個(gè)1G文件讀寫測(cè)試

        測(cè)試采用Hadoop自帶的測(cè)試包hadoop-test.jar中的TestDFSIO方法。

        2.4 10個(gè)200G文件讀寫測(cè)試

        測(cè)試采用Hadoop自帶的測(cè)試包hadoop-test.jar中的TestDFSIO方法。

        3 Yarn基準(zhǔn)測(cè)試比較

        3.1 使用Wordcount統(tǒng)計(jì)輸入數(shù)據(jù)中每個(gè)單詞的出現(xiàn)次數(shù)

        輸入數(shù)據(jù)使用Hadoop RandomWriter產(chǎn)生的random data, 在yarn上運(yùn)行RandomWriter,會(huì)啟動(dòng)一個(gè)MapReduce job, 每個(gè)節(jié)點(diǎn)生成1G數(shù)據(jù)共8G。

        Wordcount進(jìn)行數(shù)據(jù)統(tǒng)計(jì),在Hadoop2.0平臺(tái)與Hadoop1.0平臺(tái)上的測(cè)試時(shí)間分別如表10所示。

        3.2 使用Sort對(duì)8GB數(shù)據(jù)進(jìn)行排序

        Sort測(cè)試是Hadoop自帶的排序測(cè)試,輸入數(shù)據(jù)使用Hadoop RandomTextWriter生成8G數(shù)據(jù)。

        3.3 使用Terasort對(duì)1TB數(shù)據(jù)進(jìn)行排序

        TeraSort是由微軟的數(shù)據(jù)庫專家Jim Gray創(chuàng)建的標(biāo)準(zhǔn)benchmark,輸入數(shù)據(jù)由Hadoop TeraGen產(chǎn)生,生成1TB數(shù)據(jù)。

        4 Hive基準(zhǔn)測(cè)試比較

        本次hive測(cè)試生成兩個(gè)表:Rankings和Uservisits表,Rankings表大小為1GB共11 999 999條,Uservisits表大小20GB共99 999 995條。Rankings表的表結(jié)構(gòu)為:

        hive> desc rankings;

        OK

        pageurl string None

        pagerank int None

        avgduration int None

        Time taken: 0.12 seconds, Fetched: 3 row(s)

        Uservisits表的表結(jié)構(gòu)為:

        hive> desc uservisits;

        OK

        sourceip string None

        desturl string None

        visitdate string None

        adrevenue double None

        useragent string None

        countrycode string None

        languagecode string None

        searchword string None

        duration int None

        Time taken: 0.128 seconds, Fetched: 9 row(s)

        4.1 簡(jiǎn)單查詢操作

        以pageurl字段作為條件,從Rankings表中單條查詢出結(jié)果,語句為:

        select * from rankings where pageurl='wyhajvmhqmtngawxpzkkjxkjoxzfecznoklgkcgbdaiaxy

        gpqtohcrtakdebgwwpouzkjnplnqzjyqauevchrs';

        測(cè)試結(jié)果見表13。

        4.2 簡(jiǎn)單連接查詢操作

        通過Rankings表中的pageURL和Uservisits表中的descURL進(jìn)行連接操作,再根據(jù)Rankings中的pageURL作為限制條件進(jìn)行查詢,語句為:

        select R.pageurl sourceIP,visitDate from rankings R

        JOIN uservisits UV ON (R.pageURL=UV.destURL)

        AndR.pageurl='wyhajvmhqmtngawxpzkkjxkjoxzfecznoklg kcgbdaiaxygpqtohcrtakdebgwwpouzkjnplnqzjyqauevchrs';

        測(cè)試結(jié)果見表14。

        4.3 插入操作

        創(chuàng)建一個(gè)與Rankings表結(jié)構(gòu)相同的表Rankingsless,從Rankings表中根據(jù)pageRank排序得到前40條數(shù)據(jù)插入到Rankingsless表中,語句為:

        建表語句:CREATE EXTERNAL TABLE rankingsless (pageURL STRING, pageRank INT, avgDuration INT)STORED AS SEQUENCEFILE;

        插入語句:insert overwrite table rankingsless select * from rankings order by pageRank desc limit 40;

        測(cè)試結(jié)果見表15。

        4.4 分組操作(group by)

        對(duì)Rservisits表進(jìn)行操作,根據(jù)sourceIP進(jìn)行分組,查詢出sourceIP和 SUM(adRevenue),然后插入到新建的表Uservisits_aggre中,命令:

        建表語句:CREATE TABLE uservisits_aggre ( sourceIP STRING, sumAdRevenue DOUBLE) STORED AS SEQUENCEFILE ;

        分組操作語句:INSERT OVERWRITE TABLE uservisits_aggre SELECT sourceIP, SUM(adRevenue) FROM uservisits GROUP BY sourceIP;

        測(cè)試結(jié)果對(duì)比見表16。

        4.5 map連接操作

        采用map連接方式對(duì)Rankingsless和Rankings進(jìn)行連接,進(jìn)行統(tǒng)計(jì)運(yùn)算,語句為:

        select /*+ MAPJOIN(rankingsless) */ count(*) from uservisits U JOIN rankingsless R ON U.destURL=R.pageURLandR.pageurl='wyhajvmhqmtngawxpzkkjxkjoxzfecznoklgkcgbdaiaxygpqtohcrtakdebgwwpouzkjnplnqzjy qauevchrs';

        測(cè)試結(jié)果見表17。

        5 結(jié)語

        本次實(shí)驗(yàn)基于Hadoop平臺(tái)2.X的基準(zhǔn)測(cè)試與Hadoop1.0平臺(tái)的基準(zhǔn)測(cè)試對(duì)比,可以發(fā)現(xiàn)在新一代的Hadoop平臺(tái)下,Hadoop2.0有11項(xiàng)測(cè)試優(yōu)于Hadoop1.0平臺(tái),其它5項(xiàng)測(cè)試時(shí)間相差不多,整體情況來看,Hadoop2.0性能要優(yōu)于Hadoop1.0。

        參考文獻(xiàn):

        [1] 林清瀅.基于Hadoop 的云計(jì)算模型[J]. 現(xiàn)代計(jì)算機(jī), 2010(5)148150.

        [2] http://hadoop.ahache.org/.

        [3] 劉鵬,黃宜華,陳衛(wèi)衛(wèi).實(shí)戰(zhàn)Hadoop開啟通向云計(jì)算的捷徑[M].北京:電子工業(yè)出版社,2011.

        [4] 鄧自立. 云計(jì)算中的網(wǎng)絡(luò)拓?fù)湓O(shè)計(jì)和Hadoop 平臺(tái)研究[D]. 合肥:中國(guó)科學(xué)技術(shù)大學(xué),2009.

        [5] TOM WHITE.Hadoop權(quán)威指南[M]. 曾大聃,周傲英,譯.北京:清華大學(xué)出版社, 2010.

        [6] TOM WHITE.Hadoop:the.definitive guide[M].Manning,2014.

        [7] 張為民,唐劍鋒,羅治國(guó),等.云計(jì)算——深刻改變未來[M].北京:科學(xué)出版社,2009.

        [8] 劉鵬.云計(jì)算[M].第2 版. 北京:電子工業(yè)出版社,2011.

        [9] 李國(guó)杰.大數(shù)據(jù)研究的科學(xué)價(jià)值[J].中國(guó)計(jì)算機(jī)學(xué)會(huì)通訊,2010(9):3336.

        [10] 鄧自力.云計(jì)算中的網(wǎng)絡(luò)拓?fù)湓O(shè)計(jì)和hadoop平臺(tái)研究[D].合肥:中國(guó)科學(xué)技術(shù)大學(xué),2009.

        [11] 冷先剛.軟件測(cè)試模型與方法研究[D].武漢:武漢理工大學(xué), 2009.

        [12] 帥丹.分布式系統(tǒng)測(cè)試的難點(diǎn)與分析[J] .程序員,2010 (8):100105.

        猜你喜歡
        大數(shù)據(jù)
        基于在線教育的大數(shù)據(jù)研究
        “互聯(lián)網(wǎng)+”農(nóng)產(chǎn)品物流業(yè)的大數(shù)據(jù)策略研究
        基于大數(shù)據(jù)的小微電商授信評(píng)估研究
        大數(shù)據(jù)時(shí)代新聞的新變化探究
        商(2016年27期)2016-10-17 06:26:00
        淺談大數(shù)據(jù)在出版業(yè)的應(yīng)用
        今傳媒(2016年9期)2016-10-15 23:35:12
        “互聯(lián)網(wǎng)+”對(duì)傳統(tǒng)圖書出版的影響和推動(dòng)作用
        今傳媒(2016年9期)2016-10-15 22:09:11
        大數(shù)據(jù)環(huán)境下基于移動(dòng)客戶端的傳統(tǒng)媒體轉(zhuǎn)型思路
        新聞世界(2016年10期)2016-10-11 20:13:53
        基于大數(shù)據(jù)背景下的智慧城市建設(shè)研究
        科技視界(2016年20期)2016-09-29 10:53:22
        數(shù)據(jù)+輿情:南方報(bào)業(yè)創(chuàng)新轉(zhuǎn)型提高服務(wù)能力的探索
        国产成+人欧美+综合在线观看| 少妇激情一区二区三区| 最新69国产精品视频| 亚洲av无码精品色午夜app| 国产久热精品无码激情| 国产精品美女AV免费观看| 美女性色av一区二区三区| av网站免费线看精品| 免费观看又色又爽又黄的| 99热门精品一区二区三区无码 | av网站一区二区三区| 水蜜桃在线观看一区二区| 小宝极品内射国产在线| 男人的天堂在线无码视频| 美女被搞在线观看一区二区三区| 国产精品毛片无遮挡高清| 特级做a爰片毛片免费看108| 97中文字幕在线观看| 精品久久精品久久精品| 国产在线无码不卡影视影院| 吸咬奶头狂揉60分钟视频| 官网A级毛片| 日本中文字幕精品久久| 影音先锋男人av鲁色资源网| 国产精品麻豆综合在线| 少妇极品熟妇人妻高清| 中文字幕亚洲精品久久| 美女又色又爽视频免费| 亚洲精品成人av观看| 精品一区二区三区牛牛| 久久无码人妻丰满熟妇区毛片| 狠狠色狠狠色综合日日不卡| 69堂在线无码视频2020| 国产激情自拍在线视频| 亚洲а∨精品天堂在线| 亚洲V在线激情| 国产一区二区熟女精品免费| 亚洲av无码成人精品区狼人影院| 精品高潮呻吟99av无码视频| 精品国产一区二区三区毛片| 国内永久福利在线视频图片|