亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        擁抱開源,聯(lián)想大數(shù)據(jù)產(chǎn)品的技術(shù)創(chuàng)新與突破

        2018-11-02 07:03:48張成松
        軟件和集成電路 2018年7期
        關(guān)鍵詞:開源集群組件

        張成松

        聯(lián)想大數(shù)據(jù)平臺主要包含行業(yè)智能應(yīng)用平臺、數(shù)據(jù)智能平臺、大數(shù)據(jù)計算平臺以及物聯(lián)網(wǎng)采集與邊緣計算和IT系統(tǒng)數(shù)據(jù)整合等。而物聯(lián)網(wǎng)的采集和邊緣技術(shù)的產(chǎn)品,可以把企業(yè)傳統(tǒng)的IT系統(tǒng)進(jìn)行整合,并統(tǒng)一放到大數(shù)據(jù)平臺和數(shù)據(jù)庫中。當(dāng)數(shù)據(jù)進(jìn)來以后,大數(shù)據(jù)平臺就可以進(jìn)行數(shù)據(jù)存儲、計算、構(gòu)建分布式計算框架和統(tǒng)一調(diào)度。在其之上就是數(shù)據(jù)智能平臺,該平臺可以把企業(yè)的預(yù)測、優(yōu)化以及挖掘,通過預(yù)測庫、優(yōu)化庫、知識庫的形式,制定行業(yè)模型。

        在最上一層的行業(yè)智能應(yīng)用平臺上,我們就可以給一些企業(yè)做各種行業(yè)解決方案。對于聯(lián)想大數(shù)據(jù)平臺而言,我們還添加了制作軟、硬件的安全產(chǎn)品和數(shù)據(jù)資源管理平臺。為什么要提數(shù)據(jù)資產(chǎn)管理?我們本身做的是開源組件,沒有對數(shù)據(jù)目錄和數(shù)據(jù)訪問權(quán)限方面進(jìn)行很好的管理,所以我們添加了數(shù)據(jù)資源管理模式,在數(shù)據(jù)資源管理之上就是第三方智慧集成平臺。在我們自主開發(fā)的產(chǎn)品中,我們利用開源技術(shù),包括在Spark和Hadoop基礎(chǔ)上進(jìn)行大量的優(yōu)化工作,并自主開發(fā)了很多工具,包括邊緣計算和數(shù)據(jù)集成工具等。在聯(lián)想大數(shù)據(jù)平臺,我們也廣泛應(yīng)用了開源技術(shù),不管是在數(shù)據(jù)采集存儲、數(shù)據(jù)管理、數(shù)據(jù)分析上,還是用算法平臺或者可視化技術(shù),在我們的產(chǎn)品中,都有開源技術(shù)的身影。

        我們在產(chǎn)品中運用了很多開源組件和平臺技術(shù),那么基于這些組件和平臺,我們在大數(shù)據(jù)產(chǎn)品中有哪些技術(shù)的創(chuàng)新和突破?用大數(shù)據(jù)平臺支持傳統(tǒng)數(shù)據(jù)倉庫的應(yīng)用場景,那么需要什么樣的應(yīng)用場景呢?就是傳統(tǒng)的企業(yè)可能需要大量的數(shù)據(jù)存儲、數(shù)據(jù)計算以及各種管理系統(tǒng),而這些數(shù)據(jù)都會存在數(shù)據(jù)庫中,當(dāng)數(shù)據(jù)量越來越大時,數(shù)據(jù)庫已經(jīng)無法滿足使用者的需要。這時企業(yè)就想把自身的數(shù)據(jù)遷移到Hadoop中,但是Hadoop不支持?jǐn)?shù)據(jù)存儲。若要解決此問題,就得投入大量成本,推翻原有系統(tǒng)開發(fā)新型系統(tǒng),這對企業(yè)來說是一種損失。

        所以把Hadoop的功能進(jìn)行增強(qiáng),使Hadoop支持所有數(shù)據(jù)倉庫,這樣企業(yè)可以將自身的原有系統(tǒng),遷移到Hadoop和大數(shù)據(jù)生態(tài)鏈中來避免損失。怎么實現(xiàn)大數(shù)據(jù)支持傳統(tǒng)數(shù)倉的場景?當(dāng)用戶將大數(shù)據(jù)輸入到數(shù)據(jù)倉庫后,要對語法進(jìn)行識別,之后我們將識別出的語法進(jìn)行解析,最后將解析模塊放入執(zhí)行系統(tǒng)的子系統(tǒng)中,最終實現(xiàn)該場景。對于這一運行結(jié)果,我們還做了一項工作,解決數(shù)據(jù)傾斜的問題。Spark系統(tǒng)在工作中,會出現(xiàn)數(shù)據(jù)傾斜問題。當(dāng)我們識別到有數(shù)據(jù)傾斜的任務(wù)時,我們會將數(shù)據(jù)拆分成一個個小任務(wù),用分布式的方法執(zhí)行。我們對Spark數(shù)據(jù)傾斜進(jìn)行測試時發(fā)現(xiàn),當(dāng)開啟Spark數(shù)據(jù)傾斜組件時,至少能提升6.5倍的性能,如果不開啟,運行速度則會大大降低。另外我們解決了跨集群數(shù)據(jù)計算和訪問的問題。聯(lián)想在全球有十個計算中心,每個計算中心會存儲一部分的業(yè)務(wù)數(shù)據(jù),當(dāng)北京的用戶執(zhí)行了查詢?nèi)蝿?wù)時,會把請求發(fā)到北京集群中,而集群會把世界各地的數(shù)據(jù)融合后進(jìn)行計算。這個時候就會遇到Spark、Hadoop訪問集群的情況。假設(shè)有A集群和B集群,當(dāng)A接受請求任務(wù)時,會識別所計算的數(shù)據(jù)是屬于哪個集群。當(dāng)任務(wù)執(zhí)行時,A集群會訪問另外一個集群的組件,通過組件去代理訪問B集群的數(shù)據(jù),最終將A、B集群的數(shù)據(jù)融合一起,實現(xiàn)跨集群數(shù)據(jù)的訪問和數(shù)據(jù)計算。

        分享一下機(jī)器學(xué)習(xí)和人工智能的組建和平臺,在聯(lián)想的大數(shù)據(jù)平臺里怎么落地。我們將這部分分為三個層次:第一層,統(tǒng)一計算資源池。該產(chǎn)品可以把傳統(tǒng)的CPU或GPU管理起來,形成統(tǒng)一的計算池和資源池。在資源池的基礎(chǔ)之上,把GPU劃分成多個租戶,并按照租戶的需求進(jìn)行資源分配、訓(xùn)練數(shù)據(jù)模型等。第二層,Leap Manager,該產(chǎn)品可以管理整個計算引擎,并提供可視化的安裝部署,最終將機(jī)器學(xué)習(xí)引擎安裝在平臺中。第三層,Leap AI,它是做算法的試驗運行和執(zhí)行的平臺,主要功能有兩大塊,第一是提供可視化的拖拉拽組件,用戶可以把界面上所提供的各種組件拖過來,進(jìn)行算法的訓(xùn)練和執(zhí)行。第二是對底層開源的算法引擎進(jìn)行封裝,并提供各種API,用戶可以通過API,執(zhí)行算法的訓(xùn)練。

        我們在開源基礎(chǔ)上有哪些突破和創(chuàng)新?第一,支持SQL和存儲過程。第二,在性能上,率先通過50TB TPC-DS的99個復(fù)雜業(yè)務(wù)場景測試。第三,分布式事務(wù)處理能力增強(qiáng)。第四,完善圖形化數(shù)據(jù)處理工具。第五,封裝了大數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)平臺。第六,從硬件資源和軟件環(huán)境上去進(jìn)行資源的統(tǒng)一劃分。

        簡單介紹一下聯(lián)想大數(shù)據(jù)。我們從2011年開始搭建大數(shù)據(jù)平臺。目前在全球有十個數(shù)據(jù)中心,包括北美、歐洲、亞太等。超過3000臺服務(wù)器的計算節(jié)點,每天處理的數(shù)據(jù)量約4TB。

        聯(lián)想大數(shù)據(jù)平臺為客戶提供端到端服務(wù),推動合作伙伴數(shù)字化轉(zhuǎn)型。聯(lián)想大數(shù)據(jù)在成都、北京和香港,都有超過600人的專業(yè)團(tuán)隊,來打造國內(nèi)一流的大數(shù)據(jù)產(chǎn)品。在2017年12月8日,聯(lián)想攜手80企業(yè)多家包括百度、騰訊、三一重工等,共同構(gòu)建工業(yè)大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟,來推動中國工業(yè)大數(shù)據(jù)的發(fā)展。

        (根據(jù)演講內(nèi)容整理,未經(jīng)本人審核)

        猜你喜歡
        開源集群組件
        集群式AUV可控分群控制算法
        無人機(jī)智能巡檢在光伏電站組件診斷中的應(yīng)用
        能源工程(2022年2期)2022-05-23 13:51:50
        新型碎邊剪刀盤組件
        U盾外殼組件注塑模具設(shè)計
        五毛錢能買多少頭牛
        一種無人機(jī)集群發(fā)射回收裝置的控制系統(tǒng)設(shè)計
        電子制作(2018年11期)2018-08-04 03:25:40
        Python與Spark集群在收費數(shù)據(jù)分析中的應(yīng)用
        勤快又呆萌的集群機(jī)器人
        大家說:開源、人工智能及創(chuàng)新
        開源中國開源世界高峰論壇圓桌會議縱論開源與互聯(lián)網(wǎng)+創(chuàng)新2.0
        免费成人福利视频| 少妇高潮精品在线观看| 男女激情视频网站免费在线| 一区二区国产av网站| а天堂中文在线官网在线| 国产伦精品免编号公布| 初尝黑人巨砲波多野结衣| 久久青草亚洲AV无码麻豆| 精品人妻久久av中文字幕| 一区二区三区日韩蜜桃| 午夜爽爽爽男女免费观看影院| 日本老熟妇乱| 国产免费午夜a无码v视频| 国产欧美日韩专区毛茸茸| 一个人看的在线播放视频| 日本人妻伦理在线播放| 少妇性bbb搡bbb爽爽爽| 国产成人无码区免费内射一片色欲| jjzz日本护士| 少妇一级aa一区二区三区片| 日韩亚洲一区二区三区在线| 偷拍一区二区三区四区| 少妇私密会所按摩到高潮呻吟| 中文字幕天堂在线| 视频女同久久久一区二区三区| 人妻丰满熟妇一二三区| 亚洲国产美女高潮久久久| 国产午夜福利精品一区二区三区 | 亚洲婷婷丁香激情| 精品国产福利一区二区三区| 亚洲自拍偷拍一区二区三区| 欧美人与禽zozzo性伦交| 236宅宅理论片免费| 国产精品一区二区资源| 亚洲一区日本一区二区| 久久红精品一区二区三区| 久激情内射婷内射蜜桃人妖| 国产在线播放网址| 国产91AV免费播放| 国产一区二区三区视频地址| 成人区人妻精品一区二区不卡网站 |