亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        Apache RocketMQ 流計算處理

        2018-11-26 11:14:52歷啟鵬
        軟件和集成電路 2018年8期
        關(guān)鍵詞:阿帕奇日志阿里

        歷啟鵬

        很高興有機會和大家分享Apache RocketMQ。首先,和大家分享一下RocketMQ的發(fā)展歷史。2007年,阿里的B2C業(yè)務蓬勃發(fā)展,當時,阿里啟動了“五采石”項目,這個項目把阿里平臺拆分為若干個庫存中心、訂單中心、支付中心等,阿里第一代消息引擎Notify就誕生于此。2010年,阿里B2B業(yè)務也做了一些新的項目,打造了一個全新的消息中間件,叫做Napoli。無論是Napoli,還是第一代消息引擎Notify,都是基于關(guān)系型數(shù)據(jù)庫做的數(shù)據(jù)存儲。淘寶的關(guān)系型數(shù)據(jù)存儲量比較大,關(guān)系型數(shù)據(jù)庫會有大量事件堆積,也會導致很多性能問題。2011年,阿帕奇開源了一個叫卡布卡的項目,該項目的日志處理能力非常好,隨后,阿里也基于卡布卡的思路重構(gòu)了核心邏輯,形成了一個新的項目MetaQ。后來,阿里也把MetaQ貢獻給開源社區(qū)。因為卡布卡是社交場景,而阿里是電商場景,所以MetaQ在阿里內(nèi)部的使用過程中會遇到很多問題,比如,宕機和擴容問題。2015年,阿里重新編寫了MetaQ,命名為RocketMQ。2016年,阿里把RocketMQ捐獻給了阿帕奇基金會,成為了阿帕奇的孵化項目。2017年,RocketMQ成為了阿帕奇基金會的頂級項目。從此以后,RocketMQ受到了極大的關(guān)注,國內(nèi)外的很多銀行開始用RocketMQ進行POC的測試。

        接下來,為大家介紹RocketMQ的生態(tài)布局。首先是RocketMQ Core,主要功能是進行消息訂閱和發(fā)布。其次是RocketMQ IoT Bridge,主要對接RocketMQ的上游生態(tài)IoT設備,可以支持MQTT和其他行業(yè)。我們在深耕各個產(chǎn)業(yè)的IoT時,發(fā)現(xiàn)很多行業(yè)都有自己的IoT設備協(xié)議。RocketMQ IoT Bridge原生設計的目的是為了兼容多協(xié)議,發(fā)動有熱情的開發(fā)者或者廠商一起去補充、完善各個行業(yè)的IoT采集協(xié)議,支持廠商自己定義自己的行業(yè)協(xié)議。RocketMQ IoT Bridge可以基于我們設備的數(shù)量做平滑的自動擴容和縮容,使用起來非常方便。最后是RocketMQ API,RocketMQ API支持下游生態(tài),可以支持在線以及離線的大數(shù)據(jù)分析平臺進行融合,Spark和Hadoop可以做無縫對接。目前,RocketMQ支持四種語言,分別是Java、C++、Goland、PHP。

        關(guān)于Cloud RocketMQ,Cloud RocketMQ是我們對RocketMQ的一個功能規(guī)劃,包括Apache RocketMQ、Alibaba Cloud MQ、云服務三層。第一層包括普通消息、順序消息、廣播消息等基本功能。第二層包括Dashboard、定時消息、授權(quán)認證、安全配額、高可用等功能,據(jù)了解,現(xiàn)在阿里內(nèi)部使用的RocketMQ已經(jīng)完善了這些功能,如果有公司自己想用,我們建議他把這些功能補充上。第三層包括容災演練、依賴管理、智能部署等功能。

        接下來,介紹一下RocketMQ在大數(shù)據(jù)方面的幾個使用場景。第一個是RocketMQ for ELK。RocketMQ與ELK相融合,做一些日志分析。ELK是一個非常火的日志處理平臺,包括日志采集、日志分析、日志存儲等。但是,ELK這個平臺也有很多不盡如人意的地方,比如,ELK在做數(shù)據(jù)分析的時候,如果數(shù)據(jù)量非常大,對ELK就會產(chǎn)生巨大的壓力,一旦ELK出現(xiàn)故障,就會導致數(shù)據(jù)丟失,整個日志有可能會丟失。現(xiàn)在,我們基于RocketMQ為ELK日志平臺推薦了一個方案,首先可以通過ELK產(chǎn)生一個filebeat,通過filebeat采集數(shù)據(jù)之后,直接發(fā)送到RocketMQ,把這些日志存儲下來做持久化。RocketMQ通過RocketMQ Streaming平臺完成日志分析、特定標簽的識別以及簡單的統(tǒng)計。完成之后,這些信息可以存儲到ELK的ElasticSearch平臺里,這樣就可以避免ELK的數(shù)據(jù)丟失和高負荷情況。

        第二個是RocketMQ for IoT。RocketMQ在電力、能源、交通、物流等很多行業(yè)已經(jīng)在做IoT設備數(shù)據(jù)的一些存儲與分發(fā),比如,國家電網(wǎng)的電動汽車的車輛軌跡跟蹤,都是基于RocketMQ做存儲。另外,我們覺得未來IoT設備與云端連接,可以實現(xiàn)雙向通信與數(shù)據(jù)傳輸。比如,未來的智能冰箱,用戶使用一鍵購物,通過按鍵,向RocketMQ發(fā)送消息,RocketMQ如果再加上阿里云的計算函數(shù)或AWS的計算函數(shù),可以打通云端平臺,完成一鍵購物。

        第三個是RocketMQ for Storm。RocketMQ是一個消息處理平臺,Storm是流式處理平臺,不同點是,我們定位RocketMQ為更輕量級的流式處理,比如,如果一個密集型的大數(shù)據(jù)分析,我們還是建議放在Storm平臺上做。

        第四個是基于RocketMQ的金融級消息服務平臺。隨著金融業(yè)務的快速發(fā)展,ESB總線很多地方的擴展性并不是很強,比如,ESB總線很難做到服務的熔斷、降級等,我們基于RocketMQ,結(jié)合現(xiàn)有業(yè)務,對ESB總線做了一些改造,結(jié)合消息組件完成了服務平臺的一個服務治理。

        RocketMQ在這里起的作用主要有:收集各個服務中心的運行狀態(tài)和健康情況,把這些數(shù)據(jù)發(fā)送到?jīng)Q策中心,基于數(shù)據(jù)做了分析之后,把消息通過RocketMQ系統(tǒng)部署到各個服務,完成對服務的閉環(huán)控制,在壓力比較大的時,RocketMQ可能會把消息發(fā)到控制端進行服務降級。

        (根據(jù)演講內(nèi)容整理,未經(jīng)本人審核)

        猜你喜歡
        阿帕奇日志阿里
        一名老黨員的工作日志
        華人時刊(2021年13期)2021-11-27 09:19:02
        云上阿里
        炎黃地理(2021年1期)2021-06-08 00:27:03
        扶貧日志
        心聲歌刊(2020年4期)2020-09-07 06:37:14
        辰辰帶你游阿里
        美陸軍將采購阿帕奇AH-6E直升機
        軍事文摘(2019年19期)2019-10-14 06:40:12
        游學日志
        阿里戰(zhàn)略
        阿里是個好榜樣
        一種基于粗集和SVM的Web日志挖掘模型
        阿帕奇反機場型導彈
        航空知識(2001年7期)2001-08-06 19:47:48
        日韩精品亚洲一区二区| 久久aⅴ无码av高潮AV喷| 青青草最新在线视频观看| 不卡av网站一区二区三区| 欧美色欧美亚洲另类二区| 亚洲av无码一区二区乱子伦| 尤物蜜芽福利国产污在线观看 | 日韩欧美亚洲综合久久影院d3| 欧美性受xxxx狂喷水| 五月开心六月开心婷婷网| 牛牛在线视频| 无码毛片aaa在线| 青青草免费激情自拍视频| 中文字幕一区二区综合| 日韩精品久久久久久免费| 精品一区二区三区在线观看视频| 日本丰满少妇高潮呻吟| 一本色道久在线综合色| 欧美牲交a欧美牲交aⅴ免费真| 午夜无码大尺度福利视频| 在线免费观看视频播放| 免费人成视频网站在在线| 精品少妇人妻av无码久久| 国产中文aⅴ在线| 日本超骚少妇熟妇视频| 国产精品视频永久免费播放| 大陆极品少妇内射aaaaa| 91精品国产91热久久p| 亚洲精品一区二区成人精品网站| 国产两女互慰高潮视频在线观看 | 女同成片av免费观看| 风骚人妻一区二区三区| 最近中文字幕大全在线电影视频| 亚洲不卡无码高清视频| 日本国产精品高清在线| 亚洲午夜成人精品无码色欲| 中文字幕无码精品亚洲资源网久久| 亚洲双色视频在线观看| 国产精品黑丝高跟在线粉嫩| 亚洲日本在线电影| 91精品啪在线看国产网站|