亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        Apache RocketMQ 流計算處理

        2018-11-26 11:14:52歷啟鵬
        軟件和集成電路 2018年8期
        關(guān)鍵詞:阿帕奇日志阿里

        歷啟鵬

        很高興有機(jī)會和大家分享Apache RocketMQ。首先,和大家分享一下RocketMQ的發(fā)展歷史。2007年,阿里的B2C業(yè)務(wù)蓬勃發(fā)展,當(dāng)時,阿里啟動了“五采石”項目,這個項目把阿里平臺拆分為若干個庫存中心、訂單中心、支付中心等,阿里第一代消息引擎Notify就誕生于此。2010年,阿里B2B業(yè)務(wù)也做了一些新的項目,打造了一個全新的消息中間件,叫做Napoli。無論是Napoli,還是第一代消息引擎Notify,都是基于關(guān)系型數(shù)據(jù)庫做的數(shù)據(jù)存儲。淘寶的關(guān)系型數(shù)據(jù)存儲量比較大,關(guān)系型數(shù)據(jù)庫會有大量事件堆積,也會導(dǎo)致很多性能問題。2011年,阿帕奇開源了一個叫卡布卡的項目,該項目的日志處理能力非常好,隨后,阿里也基于卡布卡的思路重構(gòu)了核心邏輯,形成了一個新的項目MetaQ。后來,阿里也把MetaQ貢獻(xiàn)給開源社區(qū)。因為卡布卡是社交場景,而阿里是電商場景,所以MetaQ在阿里內(nèi)部的使用過程中會遇到很多問題,比如,宕機(jī)和擴(kuò)容問題。2015年,阿里重新編寫了MetaQ,命名為RocketMQ。2016年,阿里把RocketMQ捐獻(xiàn)給了阿帕奇基金會,成為了阿帕奇的孵化項目。2017年,RocketMQ成為了阿帕奇基金會的頂級項目。從此以后,RocketMQ受到了極大的關(guān)注,國內(nèi)外的很多銀行開始用RocketMQ進(jìn)行POC的測試。

        接下來,為大家介紹RocketMQ的生態(tài)布局。首先是RocketMQ Core,主要功能是進(jìn)行消息訂閱和發(fā)布。其次是RocketMQ IoT Bridge,主要對接RocketMQ的上游生態(tài)IoT設(shè)備,可以支持MQTT和其他行業(yè)。我們在深耕各個產(chǎn)業(yè)的IoT時,發(fā)現(xiàn)很多行業(yè)都有自己的IoT設(shè)備協(xié)議。RocketMQ IoT Bridge原生設(shè)計的目的是為了兼容多協(xié)議,發(fā)動有熱情的開發(fā)者或者廠商一起去補(bǔ)充、完善各個行業(yè)的IoT采集協(xié)議,支持廠商自己定義自己的行業(yè)協(xié)議。RocketMQ IoT Bridge可以基于我們設(shè)備的數(shù)量做平滑的自動擴(kuò)容和縮容,使用起來非常方便。最后是RocketMQ API,RocketMQ API支持下游生態(tài),可以支持在線以及離線的大數(shù)據(jù)分析平臺進(jìn)行融合,Spark和Hadoop可以做無縫對接。目前,RocketMQ支持四種語言,分別是Java、C++、Goland、PHP。

        關(guān)于Cloud RocketMQ,Cloud RocketMQ是我們對RocketMQ的一個功能規(guī)劃,包括Apache RocketMQ、Alibaba Cloud MQ、云服務(wù)三層。第一層包括普通消息、順序消息、廣播消息等基本功能。第二層包括Dashboard、定時消息、授權(quán)認(rèn)證、安全配額、高可用等功能,據(jù)了解,現(xiàn)在阿里內(nèi)部使用的RocketMQ已經(jīng)完善了這些功能,如果有公司自己想用,我們建議他把這些功能補(bǔ)充上。第三層包括容災(zāi)演練、依賴管理、智能部署等功能。

        接下來,介紹一下RocketMQ在大數(shù)據(jù)方面的幾個使用場景。第一個是RocketMQ for ELK。RocketMQ與ELK相融合,做一些日志分析。ELK是一個非?;鸬娜罩咎幚砥脚_,包括日志采集、日志分析、日志存儲等。但是,ELK這個平臺也有很多不盡如人意的地方,比如,ELK在做數(shù)據(jù)分析的時候,如果數(shù)據(jù)量非常大,對ELK就會產(chǎn)生巨大的壓力,一旦ELK出現(xiàn)故障,就會導(dǎo)致數(shù)據(jù)丟失,整個日志有可能會丟失。現(xiàn)在,我們基于RocketMQ為ELK日志平臺推薦了一個方案,首先可以通過ELK產(chǎn)生一個filebeat,通過filebeat采集數(shù)據(jù)之后,直接發(fā)送到RocketMQ,把這些日志存儲下來做持久化。RocketMQ通過RocketMQ Streaming平臺完成日志分析、特定標(biāo)簽的識別以及簡單的統(tǒng)計。完成之后,這些信息可以存儲到ELK的ElasticSearch平臺里,這樣就可以避免ELK的數(shù)據(jù)丟失和高負(fù)荷情況。

        第二個是RocketMQ for IoT。RocketMQ在電力、能源、交通、物流等很多行業(yè)已經(jīng)在做IoT設(shè)備數(shù)據(jù)的一些存儲與分發(fā),比如,國家電網(wǎng)的電動汽車的車輛軌跡跟蹤,都是基于RocketMQ做存儲。另外,我們覺得未來IoT設(shè)備與云端連接,可以實現(xiàn)雙向通信與數(shù)據(jù)傳輸。比如,未來的智能冰箱,用戶使用一鍵購物,通過按鍵,向RocketMQ發(fā)送消息,RocketMQ如果再加上阿里云的計算函數(shù)或AWS的計算函數(shù),可以打通云端平臺,完成一鍵購物。

        第三個是RocketMQ for Storm。RocketMQ是一個消息處理平臺,Storm是流式處理平臺,不同點是,我們定位RocketMQ為更輕量級的流式處理,比如,如果一個密集型的大數(shù)據(jù)分析,我們還是建議放在Storm平臺上做。

        第四個是基于RocketMQ的金融級消息服務(wù)平臺。隨著金融業(yè)務(wù)的快速發(fā)展,ESB總線很多地方的擴(kuò)展性并不是很強(qiáng),比如,ESB總線很難做到服務(wù)的熔斷、降級等,我們基于RocketMQ,結(jié)合現(xiàn)有業(yè)務(wù),對ESB總線做了一些改造,結(jié)合消息組件完成了服務(wù)平臺的一個服務(wù)治理。

        RocketMQ在這里起的作用主要有:收集各個服務(wù)中心的運行狀態(tài)和健康情況,把這些數(shù)據(jù)發(fā)送到?jīng)Q策中心,基于數(shù)據(jù)做了分析之后,把消息通過RocketMQ系統(tǒng)部署到各個服務(wù),完成對服務(wù)的閉環(huán)控制,在壓力比較大的時,RocketMQ可能會把消息發(fā)到控制端進(jìn)行服務(wù)降級。

        (根據(jù)演講內(nèi)容整理,未經(jīng)本人審核)

        猜你喜歡
        阿帕奇日志阿里
        一名老黨員的工作日志
        華人時刊(2021年13期)2021-11-27 09:19:02
        云上阿里
        炎黃地理(2021年1期)2021-06-08 00:27:03
        扶貧日志
        心聲歌刊(2020年4期)2020-09-07 06:37:14
        辰辰帶你游阿里
        美陸軍將采購阿帕奇AH-6E直升機(jī)
        軍事文摘(2019年19期)2019-10-14 06:40:12
        游學(xué)日志
        阿里戰(zhàn)略
        阿里是個好榜樣
        一種基于粗集和SVM的Web日志挖掘模型
        阿帕奇反機(jī)場型導(dǎo)彈
        航空知識(2001年7期)2001-08-06 19:47:48
        人妻少妇中文字幕久久| 日韩欧美第一区二区三区| 无码精品国产午夜| 最近中文字幕精品在线| 国产一区二区三区四区三区| 中文亚洲成a人片在线观看| 国产女高清在线看免费观看| 最新国产成人自拍视频| 青青草成人在线免费视频| 亚洲熟女一区二区三区| 欧美在线区| 国产在线拍91揄自揄视精品91| 日本亚洲视频一区二区三区| 一本久久伊人热热精品中文字幕| 日韩黑人欧美在线视频观看| 天堂av在线免费播放| 亚洲av成熟国产一区二区| 男女做爰猛烈啪啪吃奶动| 日本一本久道| 91九色国产在线观看| 久久国语露脸国产精品电影| 免费观看又色又爽又黄的| 亚洲AⅤ无码片一区二区三区| 久久精品亚洲成在人线av| 亚洲综合网国产精品一区| 欧美日韩视频无码一区二区三| 亚洲人成18禁网站| 不卡免费在线亚洲av| 久久久久久久极品内射| 99精品视频免费热播| 偷拍一区二区三区在线观看| 玖玖色玖玖草玖玖爱在线精品视频| 国产国拍亚洲精品mv在线观看| 无码毛片高潮一级一免费| 亚洲一区域二区域三区域四| 国产成人综合日韩精品无码| 色妞色综合久久夜夜| 婷婷色婷婷开心五月四房播播| 国产在线白丝DVD精品| 自拍视频在线观看成人| 嗯啊好爽高潮了在线观看|