磐石之心

2021年的上海車展最大看點并不是新車，而是火爆的自動駕駛技術以及車聯(lián)網。美團王興說，車成了互聯(lián)網技術的載體。筆者非常贊同這一看法。

在自動駕駛和車聯(lián)網的背后是大數(shù)據(jù)、云計算以及各種網絡服務。在萬物互聯(lián)的時代，會有越來越多的行業(yè)成為“載體”，而這些載體不停地產生數(shù)據(jù)，這就必須提升數(shù)據(jù)的處理分析能力、安全防護能力，同時還要規(guī)避數(shù)據(jù)孤島，讓數(shù)據(jù)發(fā)揮最大價值。

無獨有偶，4月18日，騰訊發(fā)布自研的第四代數(shù)智融合計算平臺“騰訊大數(shù)據(jù)—天工”。騰訊稱，這一數(shù)據(jù)平臺是新基礎設施的重要組成部分，通過數(shù)智融合計算以安全方式打通數(shù)據(jù)孤島，橋接多方數(shù)據(jù)，以統(tǒng)一的數(shù)據(jù)處理引擎更高效地挖掘數(shù)據(jù)價值，以智能化的方式驅動整個數(shù)據(jù)處理閉環(huán)，為開發(fā)者、企業(yè)、以及政府的數(shù)字化、智能化升級提供更好服務。

那么，“騰訊大數(shù)據(jù)—天工”發(fā)布的背景是什么？具體解決了哪些問題？接下來，筆者將用非常通俗易懂的語言與各位讀者分享。

萬物互聯(lián)時代面臨的問題和難題

在文章開頭，我們提到車的自動駕駛技術和車聯(lián)網，咱們就以此為例來看下車聯(lián)網時代面臨的一系列難題。

車想要實現(xiàn)自動駕駛，就必須對道路、障礙物以及各類突發(fā)情況進行識別，然后通過算法對這些情況進行建模。簡單講，車想要自動駕駛，必須先學習識別路況。

而這些路況信息十分復雜，需要通過車不斷的進行路測去采集道路數(shù)據(jù)，采集駕駛員數(shù)據(jù)等各種不規(guī)則數(shù)據(jù)，然后對數(shù)據(jù)進行分析和學習。

在數(shù)據(jù)采集、分析和學習的過程中，面臨數(shù)據(jù)的計算、數(shù)據(jù)孤島、數(shù)據(jù)的應用等多個問題。

想要對海量數(shù)據(jù)進行計算，就必須提高算力。想要突破數(shù)據(jù)孤島，就需要讓路況、障礙物、突發(fā)事件、駕駛員等各類數(shù)據(jù)發(fā)生關聯(lián)，而應用數(shù)據(jù)過程中，還需要保證數(shù)據(jù)的安全。

除了自動駕駛行業(yè)外，在金融、制造、家居等任何需要數(shù)字化的領域都會遇到類似問題，這也對數(shù)據(jù)平臺這一基礎設施的能力提出了更高要求。這也是騰訊大數(shù)據(jù)平臺升級的行業(yè)背景。

騰訊大數(shù)據(jù)基礎設施的變遷

為應對萬物互聯(lián)時代，海量復雜數(shù)據(jù)的處理和分析，需要構建一個強大的數(shù)據(jù)處理基礎設施，這包括服務器、算力、數(shù)據(jù)庫等。

目前，騰訊大數(shù)據(jù)日接入消息量超過55萬億，日實時計算量超過65萬億，平臺整體算力超過500萬核，日分析任務達到1500萬，騰訊大數(shù)據(jù)平臺的能力不斷被刷新，騰訊云已經成為國內算力最強的云廠商，同時也是日實時計算量最大的公司。

騰訊云自研的星星海服務器，對應云上實例星星海SA3可提供最高232個核心的單節(jié)點算力，能夠進一步滿足用戶在視頻編解碼、離線渲染、數(shù)據(jù)庫、AI等場景下對算力性能的需求。

數(shù)據(jù)庫方面，騰訊云原有的TDSQL、TBase、CynosDB三大產品線統(tǒng)一升級為“騰訊云企業(yè)級分布式數(shù)據(jù)庫TDSQL”。

作為數(shù)據(jù)的底層處理平臺，騰訊的大數(shù)據(jù)平臺也一直隨著數(shù)據(jù)處理需求的變化而升級。2009年，第一代平臺以離線計算為主要模式化，依托Hadoop生態(tài)，結合業(yè)務場景進行局部優(yōu)化，處理任務通常需要小時甚至天級別時間完成。

2012年，以Spark/Storm為代表的實時計算處理框架為代表，騰訊大數(shù)據(jù)平臺的處理性能邁入毫秒時代，在開源框架基礎上重寫了核心模塊，顯著提升了性能。

2015年附近，隨著深度學習浪潮興起，騰訊大數(shù)據(jù)進入第三代，從0到1自研了機器學習框架Angel，意味著整體大數(shù)據(jù)平臺進入機器學習時代。

2019年開始，騰訊大數(shù)據(jù)在規(guī)劃第四代計算平臺，包括批流融合、數(shù)據(jù)湖、聯(lián)邦學習等新型技術，圍繞安全、智能、統(tǒng)一等提出了下一代騰訊天工數(shù)智融合計算平臺。

作為第四代大數(shù)據(jù)平臺，騰訊天工數(shù)智融合計算平臺把AI、大數(shù)據(jù)以及最熱門的隱私計算全都融合在一起，實現(xiàn)在保護數(shù)據(jù)隱私的同時，提供聯(lián)合數(shù)據(jù)分析、聯(lián)合數(shù)據(jù)建模等能力。

目前，騰訊大數(shù)據(jù)技術既可支撐內部所有業(yè)務，又可以服務各類企業(yè)、政府機構。比如，內部的企業(yè)微信、騰訊會議、微信小程序、微信支付等都在用。外部客戶包括中行、建行、招行、中國人保、太平洋保險、海通證券、江蘇消防、山東電力、湖南國電等。

騰訊天工數(shù)智融合計算平臺為何難以復制？

有些人會說，騰訊大數(shù)據(jù)平臺使用的是Hadoop、Spark/Storm等開源框架，是不是同行們也可以輕松實現(xiàn)騰訊天工數(shù)智融合計算平臺的能力？

其實，這個疑問是多余的。首先，沒有幾家企業(yè)具備騰訊的業(yè)務范圍和數(shù)據(jù)規(guī)模。這是少有企業(yè)具備騰訊同樣復雜的數(shù)據(jù)處理需求和數(shù)據(jù)處理能力，騰訊的業(yè)務涵蓋了社交、游戲、視頻、金融、辦公、教育等幾乎所有行業(yè)，而且多個行業(yè)都是行業(yè)領先，而同行則只覆蓋一個或幾個行業(yè)的業(yè)務。

這也讓騰訊可以在全行業(yè)中打磨自己的數(shù)據(jù)平臺，同時海量的數(shù)據(jù)處理能力也是其他同行不具備的。目前，騰訊大數(shù)據(jù)平臺日接入消息量超過55萬億，日實時計算量超過65萬億。

其次，在IaaS、PaaS以及SaaS上的綜合實力。當前一些第三方調研機構的份額排行，大多數(shù)只提供IaaS的數(shù)據(jù)，事實上除了公有云外，PaaS＼SaaS服務早就大行其道。而騰訊除了在傳統(tǒng)的公有云上具備領先地位外，其PaaS＼SaaS服務更是涵蓋范圍廣，服務用戶多，合計市場份額一直在國內位居第二。

得益于業(yè)務范圍廣、數(shù)據(jù)量大、云計算服務范圍廣的優(yōu)勢，“騰訊大數(shù)據(jù)—天工”可以支持千億級規(guī)模的海量數(shù)據(jù)訓練，性能參數(shù)領先業(yè)界5倍，金融級安全強度的騰訊隱私計算技術已廣泛應用在醫(yī)療、金融風控、數(shù)字政務等眾多領域。

“騰訊大數(shù)據(jù)-天工”可以支持千億級規(guī)模的海量數(shù)據(jù)訓練，性能參數(shù)領先業(yè)界5倍，在此基礎上，提供3072bit加密和TEE硬件雙保險。同時，憑借自研隱私計算技術，騰訊大數(shù)據(jù)相關團隊獲得iDash 2020世界隱私計算大賽冠軍。

一句話，“騰訊大數(shù)據(jù)-天工”是難以被復制和超越的，具有極強的競爭壁壘，也必然從根本上提升騰訊云各類解決方案服務客戶的能力，實現(xiàn)差異化競爭。

結語

面對即將爆發(fā)式增長的萬物互聯(lián)時代，在多年技術積累和需求的強力推動下，騰訊云已經打通了IaaS+PaaS+SaaS全方位云服務體系，在服務器、算力、算法、數(shù)據(jù)庫、大數(shù)據(jù)平臺、PaaS/ SaaS解決方案上都完成了全面的布局，綜合云計算服務的市場份額領先，并保持高速增長。

可以說，現(xiàn)在萬事俱備只欠東風。騰訊產業(yè)互聯(lián)網業(yè)務正處在爆發(fā)前夜，值得期待！