亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        MapReduce技術(shù)在日志分析中的研究應(yīng)用

        2017-06-15 17:27:27林勇吳翀嚴(yán)盟彭敏佳
        計算機時代 2017年6期

        林勇+吳翀+嚴(yán)盟+彭敏佳

        摘 要: Hadoop技術(shù)的核心框架MapReduce非常適用于日志分析系統(tǒng),并具有良好的易用性和可擴展性。文章將MapReduce的日志處理技術(shù)應(yīng)用于某項目平臺的日志數(shù)據(jù)分析中,以實驗結(jié)果證明了MapReduce能較好地解決Web日志處理單機所面臨的效率低下問題,能更好地整合計算機資源。

        關(guān)鍵詞: Hadoop; MapReduce; Web日志; 日志分析

        中圖分類號:TP391.9 文獻標(biāo)志碼:A 文章編號:1006-8228(2017)06-26-03

        Research and application of MapReduce in log analysis

        Lin Yong, Wu Chong, Yan Meng, Peng Minjia

        (Zhejiang Topcheer Information Technology Co.,Ltd., Hangzhou, Zhejiang 310006, China)

        Abstract: Hadoop MapReduce is very applicable to log analysis system, and has good usability and scalability. In this paper, the MapReduce log processing technology is applied to the log data analysis of a project platform, and the experimental results show that MapReduce can solve the low efficiency problem of processing Web log with single machine, better integrate computer resources.

        Key words: Hadoop; MapReduce; Web log; log analysis

        0 引言

        Web日志包含著網(wǎng)站最重要的信息,通過日志分析,我們可以知道網(wǎng)站的訪問量,哪個網(wǎng)頁訪問人數(shù)最多,哪個網(wǎng)頁最有價值,哪些網(wǎng)頁需要優(yōu)化等相關(guān)信息。一般中型的網(wǎng)站(10W的PV以上),每天會產(chǎn)生1G以上Web日志文件。大型或超大型的網(wǎng)站,可能每小時就會產(chǎn)生10G的數(shù)據(jù)量。當(dāng)數(shù)據(jù)量每天以10G、100G增長的時候,單機處理能力已經(jīng)不能滿足需求。我們就需要增加系統(tǒng)的復(fù)雜性,用計算機集群,存儲陣列來解決。在Hadoop出現(xiàn)之前,海量數(shù)據(jù)存儲,和海量日志分析都是非常困難的。只有少數(shù)公司掌握著高效的并行計算、分步式計算、分步式存儲的核心技術(shù)。Hadoop的出現(xiàn),大幅度地降低了海量數(shù)據(jù)處理的門檻,讓小公司甚至是個人都有能力搞定海量數(shù)據(jù),Hadoop非常適用于日志分析系統(tǒng)[1]。

        1 Hadoop

        Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細節(jié)的情況下,開發(fā)分布式程序。充分利用集群的威力進行高速運算和存儲。

        Hadoop實現(xiàn)了一個分布式文件系統(tǒng)(Hadoop Distributed File System),簡稱HDFS。HDFS有高容錯性的特點,并且設(shè)計用來部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)來訪問應(yīng)用程序的數(shù)據(jù),適合那些有著超大數(shù)據(jù)集(large data set)的應(yīng)用程序。HDFS放寬了(relax)POSIX的要求,能以流的形式訪問(streaming access)文件系統(tǒng)中的數(shù)據(jù)。

        Hadoop的框架最核心的設(shè)計就是:HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲,MapReduce為海量的數(shù)據(jù)提供了計算[2]。

        2 MapReduce編程模型

        Google提出的MapReduce編程模型,由于良好的易用性和可擴展性,得到了工業(yè)界和學(xué)術(shù)界的廣泛支持。Hadoop,MapReduce的開源實現(xiàn),已經(jīng)在Yahoo!,F(xiàn)acebook,IBM百度,中國移動等多家單位中使用[3]。

        MapReduce以函數(shù)方式提供了Map和Reduce來進行分布式計算。Map相對獨立且并行運行,對存儲系統(tǒng)中的文件按行處理,并產(chǎn)生鍵值(key/value)對。Reduce以Map的輸出作為輸入,相同key的記錄匯聚到同一reduce,reduce對這組記錄進行操作,并產(chǎn)生新的數(shù)據(jù)集。所有Reduce任務(wù)的輸出組成最終結(jié)果。形式化描述如下:

        apReduce主要分為以下幾步。

        ⑴ 用戶提交MapReduce程序至主控節(jié)點,主控節(jié)點將輸入文件劃分成若干分片(split)。主控節(jié)點Master 和工作節(jié)點worker啟動相應(yīng)進程。

        ⑵ 主控節(jié)點根據(jù)工作節(jié)點實際情況,進行map任務(wù)的分配。

        ⑶ 被分配到map任務(wù)的節(jié)點讀取文件的一個分片,按行進行map處理,將結(jié)果存在本地。結(jié)果分成R個分片進行存儲,R對應(yīng)的是Reduce數(shù)目。

        ⑷ Map節(jié)點將存儲文件的信息傳遞給Master主控節(jié)點,Master指定Reduce任務(wù)運行節(jié)點,并告知數(shù)據(jù)獲取節(jié)點信息。

        ⑸ Reduce節(jié)點根據(jù)Master傳遞的信息去map節(jié)點遠程讀取數(shù)據(jù)。因為reduce函數(shù)按分組進行處理,key相同的記錄被一同處理,在reduce節(jié)點正式處理之前,對所有的記錄按照key排序。

        ⑹ Reduce將處理結(jié)果寫入到分布式文件系統(tǒng)中[4]。

        3 某項目平臺日志數(shù)據(jù)分析

        我們使用科技系統(tǒng)某項目平臺日志數(shù)據(jù),進行提取KPI數(shù)據(jù)分析,以PV(PageView,頁面訪問量統(tǒng)計)為例進行測試。

        項目采用tomcat集群,tomcat訪問日志每天產(chǎn)生一份。每天在夜間在0點后,向HDFS導(dǎo)入前一天的日志文件。

        一條tomcat訪問日志如下所示:

        日志處理流程如圖2所示。完成導(dǎo)入后,啟動MapReduce程序,提取并計算統(tǒng)計指標(biāo),最后將結(jié)果按指標(biāo)值排序。整個處理過程采用兩個任務(wù)串聯(lián)執(zhí)行方式完成。

        3.2 任務(wù)-PV值統(tǒng)計

        3.2.1 Map階段

        在Map階段是從日志文件中讀取記錄,提取日志中的數(shù)據(jù)url值,以url作為Map()方法的key,將常量值1作為value。算法如下:

        ⑴ Map開始;

        ⑵ 獲取日志文件路徑;

        ⑶ 讀取日志文件;

        ⑷ 用正則表達式模式識別url,設(shè)置url為Key;

        ⑸ 設(shè)置value為1;

        ⑹ 寫人key與value,context.write(request,1);

        ⑺ Map結(jié)束。

        3.2.2 Reduce階段

        在Reduce階段將得到的數(shù)據(jù)以key作為主鍵,將所有value值相加得出最終結(jié)果:

        ⑴ Reduce開始;

        ⑵ 收集Map階段傳人的key與value,

        ⑶ 累加values;

        ⑷ 寫入key,sum,context.wirte(key,sum);

        ⑸ Reduce結(jié)束。

        3.3 任務(wù)二PV值排序

        3.3.1 Map階段

        Map階段是從任務(wù)一輸出目錄獲取數(shù)據(jù),將PV值做為key,url作為value。算法如下:

        ⑴ Map開始;

        ⑵ 獲取任務(wù)一輸出目錄路徑;

        ⑶ 讀取任務(wù)一結(jié)果文件;

        ⑷ 設(shè)置PV值為Key;

        ⑸ 設(shè)置url值為1;

        ⑹ 寫人key與value,context.write(pv,url);

        ⑺ Map結(jié)束。

        3.3.2 Reduce階段

        在Reduce階段將得到的數(shù)據(jù)以key作為主鍵,系統(tǒng)將根據(jù)key的實現(xiàn)自動進行排序,采用IntWritable為Key可進行升序排列,若要實現(xiàn)升序排列,需要自己實現(xiàn)Key實現(xiàn)。

        ⑴ Reduce開始;

        ⑵ 收集Map階段傳人的key與value,;

        ⑶ 寫入pv,url,context.wirte(context.write(pv,url););

        ⑷ Reduce結(jié)束。

        3.4 執(zhí)行結(jié)果

        由圖3可知,前三個頁面訪問量占了總訪問量的95%,說明對該三個頁面進行優(yōu)化,可達到很好性能提升效果。

        同時,我們嘗試分別采用不同數(shù)量節(jié)點對日志進行處理。

        由圖4可知,隨著節(jié)點數(shù)的增加,對日志處理所需要的時間呈不斷下降的趨勢。

        4 結(jié)束語

        本文介紹了Hadoop技術(shù)和MapReduce編程模型,并將MapReduce編程模型應(yīng)用于某項目平臺日志數(shù)據(jù)的KPI數(shù)據(jù)分析中,以PV(PageView,頁面訪問量統(tǒng)計)為例進行了測試。實驗結(jié)果充分說明了,基于Hadoop的MapReduce的日志處理技術(shù)能較好地解決Web日志處理單機所面臨的效率低下問題,更好地整合計算機資源。下一步將考慮完善KPI指標(biāo),并嘗試使用spark引擎對KPI指標(biāo)進行實時分析,以提高對系統(tǒng)各種突發(fā)狀況的響應(yīng)速度。

        參考文獻(References):

        [1] 毛嚴(yán)奇,彭沛夫.基于MapReduce的Web日志挖掘預(yù)處理[J].

        計算機與現(xiàn)代化,2013.9:35-41

        [2] 王宏宇.基于Hadoop平臺的云計算構(gòu)建與日志分析[D].哈

        爾濱理工大學(xué)碩士學(xué)位論文,2012.

        [3] 竇蒙,聞立杰,王建民等.基于MapReduce的海量事件日志并

        行轉(zhuǎn)化算法[J].計算機集成制造系統(tǒng),2013.19(8):1784-1793

        [4] 徐正巧,趙德偉.基于MapReduce的網(wǎng)絡(luò)日志分析系統(tǒng)[J].網(wǎng)

        絡(luò)與通信,2015.10:89-90

        人妻无码第一区二区三区| 就国产av一区二区三区天堂| 国产一级片内射在线视频| 国产成人精品一区二区不卡| 亚洲中文字幕久久精品蜜桃| 中文字幕一区二区三区精彩视频 | 国内精品久久久久国产盗摄| 99热婷婷一区二区三区| 日本亲近相奷中文字幕| 亚洲av无码潮喷在线观看| 亚洲精品中国国产嫩草影院美女| 中文字幕人妻一区色偷久久| 人妻少妇精品视频专区vr| 中文字幕免费不卡二区| 男人的天堂在线无码视频| 日韩女同一区二区三区久久| 日本精品一区二区三区福利视频 | 欧美白人战黑吊| 亚洲av日韩av综合| 亚洲aⅴ久久久噜噜噜噜| 中文字幕乱码人妻在线| 国产成人a∨激情视频厨房| 亚洲欧美精品aaaaaa片| 久久亚洲精品成人综合| 国产激情视频在线观看大全| 亚洲精品夜夜夜妓女网| 中文字幕免费观看视频| 国产大学生自拍三级视频| 亚洲中文字幕国产视频| 伊伊人成亚洲综合人网香| 亚洲先锋影院一区二区| 国产内射一级一片内射高清视频1 成人av一区二区三区四区 | 亚洲成人av一二三四区| 中国国语毛片免费观看视频| 国产精品原创av片国产日韩| 亚洲精彩av大片在线观看| 亚洲精品~无码抽插| 精品久久久久久久久免费午夜福利| 日本二区三区视频免费观看| 亚洲综合精品中文字幕| 99偷拍视频精品一区二区|