亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        Chukwa在日志數(shù)據(jù)監(jiān)控方面的運用

        2017-06-21 08:30:29常廣炎
        無線互聯(lián)科技 2017年5期
        關鍵詞:分布式系統(tǒng)

        常廣炎

        摘要:Chukwa是Hadoop軟件家族成員的一員,是_個分布式系統(tǒng),應用于大規(guī)模集群的數(shù)據(jù)收集上,構(gòu)建在Hadoop的HDFS和MapReduce框架之上。文章通過對數(shù)據(jù)日志的采集、存儲、分析和展示,為用戶提供全面、靈活、可視化的服務,彌補了MapReduce對大量日志文件處理能力不足的弱點。

        關鍵詞:分布式系統(tǒng);Hadoop;Chukwa;MapReduce

        1.Chukwa的簡介

        Hadoop的MapReduce最初用于日志處理,隨著集群日志不斷地增加,生成大量的小文件,而MapReduce具有處理少量大文件的優(yōu)勢。Chukwa彌補了這一缺陷,同時具有高可靠性。

        Chukwa由Yahoo開發(fā),是基于Hadoop的大集群分布式監(jiān)控系統(tǒng),是Hadoop軟件家族成員之一,依賴于Hadoop的其他子項目,以HDFS為存儲層,MapReduce為計算模型,Pig作為其高層處理語言,是采用流水式處理方式和模塊化結(jié)構(gòu)的收集系統(tǒng)。Chukwa的系統(tǒng)開銷非常小,不到整個集群資源的5%。

        2.Chukwa的架構(gòu)

        Chukwa有3個主要組成部分:客戶端,運行在每個監(jiān)控機上,傳送源數(shù)據(jù)到收集器;收集器和分離解析器,收集器接收客戶端數(shù)據(jù),將其寫到HDFS中,分離解析器進行數(shù)據(jù)分析,轉(zhuǎn)換成有用記錄;HICC是一個Web頁面,用于Chukwa內(nèi)容的展示。

        2.1客戶端(Agent)

        集群上的每一個結(jié)點,Chukwa使用一個Agent來采集它感興趣的數(shù)據(jù),每一類數(shù)據(jù)通過一個Adaptor來實現(xiàn),數(shù)據(jù)類型在相應配置中指定。啟動Adaptor可以通過UNIx命令完成,Adaptor能夠掃描目錄,追蹤創(chuàng)建文件,接收UDP消息,不斷追蹤日志,將日志更新到文件中。Agent的主要工作是負責Adaptor的開始和停止,并通過網(wǎng)絡傳輸數(shù)據(jù)。為了防止數(shù)據(jù)采集端Agent出現(xiàn)故障,Chukwa的Agent采用了watchdog機制,會自動重啟和終止數(shù)據(jù)采集進程,防止原始數(shù)據(jù)的丟失。

        2.2收集器(Collector)和分離解析器(Demux)

        Agent收集到的數(shù)據(jù)是存儲到Had00p集群上的HDFS上,Hadoop集群處理少量大文件具有明顯優(yōu)勢,而對大量小文件是其弱點,針對這一點Chukwa設計了Collector這個角色,用于把數(shù)據(jù)先進行合并成大文件,再寫入集群。Demux負責抽取數(shù)據(jù)記錄并解析,使之成為可以利用的記錄,以減少文件數(shù)目和降低分析難度。一般采用把非結(jié)構(gòu)化的數(shù)據(jù)進行結(jié)構(gòu)化處理,抽取其中的數(shù)據(jù)屬性,Demux是MapReduce的一個作業(yè),可以根據(jù)需求定制Demux作業(yè),進行各種復雜的邏輯分析。

        2.3HICC

        HICC是Demux數(shù)據(jù)展示端的名字,其功能是可視化系統(tǒng)性能指標。HICC能夠顯示傳統(tǒng)的度量數(shù)據(jù),以及應用層的統(tǒng)計數(shù)據(jù),其可視化功能可以清楚看到群集中的作業(yè)是否在被均勻傳播,同時支持集群性能的調(diào)試和Hadoop作業(yè)執(zhí)行的可視化。

        3.Chukwa流水式數(shù)據(jù)處理結(jié)構(gòu)

        流水式模式就是利用分布在各個結(jié)點客戶端的采集器收集監(jiān)控信息,然后以塊的形式通過HTTP POST匯集到收集器,處理后轉(zhuǎn)存到HDFS中。后由分離器利用MapReduce將這些數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化記錄,存入數(shù)據(jù)庫,HICC調(diào)用數(shù)據(jù)庫數(shù)據(jù),展示給用戶。其數(shù)據(jù)處理流程如圖1所示。

        4.Chukwa在數(shù)據(jù)收集處理方面的運用

        4.1數(shù)據(jù)生成

        Chukwa提供了日志文件、Socket、命令行等數(shù)據(jù)生成結(jié)口,方便腳本的執(zhí)行,直接讀取腳本執(zhí)行結(jié)果的操作如下:

        Chukwa首先加載Initial Adaptors的配置文件,它指定了不同適配器對應的收集日志的內(nèi)容。以execAdaptoe腳本為例,配置文件內(nèi)容如下:

        add org.apache.hadoop.chukwa.datacollection.adaptor.ExecAdaptor DT 3600

        $CHUUKWA-HOME/bin/hdfs-new.sh 0

        其中:3 600腳本執(zhí)行間隔,單位為秒。

        4.2數(shù)據(jù)收集

        收集器部署時,將所有適配器機器端口存放在代理的conf/collectors中,配置收集器的chukwa-collector-conf.xml文件內(nèi)容如下:

        猜你喜歡
        分布式系統(tǒng)
        典型應用領域全球定量遙感產(chǎn)品生產(chǎn)體系
        科技資訊(2016年25期)2016-12-27 16:23:06
        以數(shù)據(jù)為中心的分布式系統(tǒng)自適應集成方法
        軟件導刊(2016年11期)2016-12-22 21:30:47
        分布式系統(tǒng)中的辯證對立統(tǒng)一概念與方法
        計算機教育(2016年9期)2016-12-21 00:33:11
        一種基于Hadoop的海量圖片檢索策略
        亚洲精品一区久久久久一品av| 中日韩欧美成人免费播放 | 亚欧免费无码aⅴ在线观看| 亚洲午夜福利在线观看| 国产成人cao在线| 精品少妇一区二区三区四区| 开心久久婷婷综合中文字幕 | 人妻av在线一区二区三区| 国产精品黑丝美女啪啪啪| av无码av天天av天天爽| 日本老熟欧美老熟妇| 久久91精品国产91久| 美女性色av一区二区三区| 久久精品免费中文字幕| 国产成+人欧美+综合在线观看 | 99综合精品久久| 久久精品女人天堂av麻| 久久综合精品人妻一区二区三区 | 国产91会所女技师在线观看| 欧美老妇交乱视频在线观看 | 少妇激情av一区二区| 少妇高潮无码自拍| 国产人妻久久精品二区三区老狼| 国产成人精品免费视频大全软件| 色一情一乱一乱一区99av| 视频国产精品| 一区二区三区视频免费观看在线| 一区二区三区人妻av| 国产精品久久人妻无码| 国产无码swag专区| 亚洲蜜桃视频在线观看| 国产偷国产偷亚洲综合av| 婷婷色婷婷开心五月四房播播| 欧美性猛交xxxx黑人| 亚洲一区二区女优av| 男奸女永久免费视频网站| 亚洲一区自拍高清亚洲精品| 精品人妻无码一区二区色欲产成人| 无遮挡很爽视频在线观看| 午夜免费观看国产视频| 正在播放老肥熟妇露脸|