譚博實
騰訊云大數據技術已經從第1代的離線計算,第2代的實時計算,第3代的機器學習,發(fā)展到如今以隱私計算、數智融合以及云原生為代表的第4代。
近日,騰訊云在首屆大數據峰會上公布,其大數據平臺算力規(guī)模已經突破千萬核,日實時計算量達百萬億級、日運行容器數超億級,日計算數據量數百PB,服務的企業(yè)客戶數超2萬家,開源社區(qū)代碼貢獻量超800萬行,進一步呈現了自身在大數據領域的頂級實力。
騰訊云副總裁黃世飛表示,基于全新的技術架構、數據治理理念以及產品能力,從底層的大數據基礎引擎、中層的一站式大數據開發(fā)治理平臺,再到上層的智能推薦、隱私計算和BI應用,騰訊云已構筑了國內領先的大數據產品矩陣。
大數據與云原生技術的結合成為解決目前大數據技術門檻高、運維部署難度大等問題的最優(yōu)解,企業(yè)在利用大數據過程中真正需要的是一套開箱即用的云原生產品服務。騰訊云大數據基于開源開放理念,以及內部單集群超萬節(jié)點的大規(guī)模技術實踐,沉淀了國內領先的企業(yè)級云原生大數據技術架構的構建能力。
彈性(MapReduce,EMR)、Elasticsearch Service(ES)、云數據倉庫CDW、數據湖計算DLC、流計算Oceanus、數據集成DateInLong等構成了騰訊云大數據基礎產品的核心引擎。以EMR來說,基于云原生技術的安全、低成本、高可靠開源大數據計算框架,幫助客戶構建可彈性擴展的企業(yè)級大數據技術架構,輕松應對PB級海量數據的價值挖掘挑戰(zhàn)。數據湖計算DLC基于存算分離的產品架構,可以實現數據資產統(tǒng)一建設,幫助用戶敏捷、低成本地管理和分析海量數據。
全新升級的一站式大數據開發(fā)治理平臺WeData,基于業(yè)內獨創(chuàng)的DataOps數據開發(fā)模式,通過協(xié)同、效率、一體三大核心優(yōu)勢,實現了數據集成、數據資產、數據開發(fā)、數據服務等全方位的數據治理能力。憑借其基于開源、簡單易用、安全穩(wěn)定、降本增效的優(yōu)勢,騰訊云WeData能幫助企業(yè)大幅提升數據管理效率和數據質量,為業(yè)務創(chuàng)造價值,目前已經在企業(yè)級數據倉庫構建、數據資產治理等場景中被廣泛應用。
大數據和AI技術的融合不僅讓大數據的運維、部署更加智能,還可以打通數據和業(yè)務智能化之間的阻隔,實現價值閉環(huán)。騰訊云大數據正在加速推進和自主研發(fā)的人工智能平臺Ti-One的緊密結合,讓經過騰訊內部海量業(yè)務訓練過的智能化能融入大數據業(yè)務中。新一代智能推薦平臺采用業(yè)界領先的AI技術和算法,能夠為信息流分類頁推薦、短視頻個性化推薦、信息流猜出喜歡等場景提供強大技術支撐。
為打破數據孤島實現數據協(xié)同,全自研Angel PowerFL隱私計算框架和首創(chuàng)的基于Spark + MQ的隱私計算模式,為政務、金融、廣告營銷等眾多行業(yè)提供了數據安全保障。憑借該技術,騰訊云大數據團隊連續(xù)兩年獲得iDash世界隱私計算大賽冠軍,安全性能領冠全球。
同時,騰訊云大數據BI產品,支持騰訊云上各類數據源、數據處理平臺快速接入,拖拽式敏捷分析方式,讓非技術人員可快速構建報表滿足復雜業(yè)務分析需求。
值得一提的是,這些公有云上的大數據基礎引擎、數據開發(fā)治理平臺、智能推薦、隱私計算、BI等能力,也可以通過騰訊云大數據處理套件TBDS在私有云或非云化環(huán)境等比例獲取。
騰訊云副總裁劉煜宏表示:“未來,騰訊云大數據還將在自適應計算架構、流批一體的實時湖倉、大數據‘自動駕駛平臺、云原生大數據等方向上進一步發(fā)力,攜手合作伙伴,為客戶提供更智能、更安全的大數據產品服務。在更加基礎底層的編譯器領域,我們將深入打造自主可控的數據科學編譯器引擎,為上層的大數據產品發(fā)展提供強大的技術保障?!?/p>
本次峰會上,騰訊云大數據還首次對外宣布“智理無數,心中有數”的品牌理念。同時,為推動云原生大數據技術發(fā)展,共建云原生大數據生態(tài),騰訊云聯(lián)合英偉達、Elastic、StarRocks、Apache Alluxio、SelectDB等多家軟硬件技術廠商與開源社區(qū),共同發(fā)起成立云原生大數據技術生態(tài)聯(lián)盟。