中興集合融合開放、高效可靠、協(xié)同擴(kuò)展的數(shù)據(jù)技術(shù),構(gòu)建起跨云邊端的一棧智能平臺(tái),實(shí)現(xiàn)大數(shù)據(jù)AI融合發(fā)展。
—中興通訊研究院總工程師王德政
我今天分享的主題蘊(yùn)含了兩項(xiàng)重點(diǎn),一個(gè)是大數(shù)據(jù)AI融合,另一個(gè)是云邊端一體化。
數(shù)字化轉(zhuǎn)型的過程可以劃分成四個(gè)階段:數(shù)字化、信息化、數(shù)據(jù)化、智能化。在這“四化”的過程中,大數(shù)據(jù)其實(shí)一直起著關(guān)鍵作用。其中,智能化階段更是要求大數(shù)據(jù)與AI深度融合,發(fā)揮數(shù)據(jù)的深層價(jià)值。
現(xiàn)今,數(shù)據(jù)已經(jīng)成為企業(yè)和社會(huì)的重要資產(chǎn),是新世紀(jì)的“礦產(chǎn)”與“石油”,帶來了全新的創(chuàng)新方式、商業(yè)模式和投資機(jī)會(huì)。數(shù)據(jù)就是生產(chǎn)資料,AI是生產(chǎn)力,區(qū)塊鏈?zhǔn)巧a(chǎn)關(guān)系。其中,數(shù)據(jù)的處理發(fā)揮著非常重要的基礎(chǔ)性作用,但現(xiàn)在數(shù)據(jù)處理面臨著以下三個(gè)方面的挑戰(zhàn)。
一是業(yè)務(wù)方面的挑戰(zhàn),在IT系統(tǒng)或者數(shù)字系統(tǒng)的建設(shè)中,煙囪系統(tǒng)、數(shù)據(jù)孤島及數(shù)據(jù)與業(yè)務(wù)的割裂等問題是各個(gè)行業(yè)的痛點(diǎn)。
二是數(shù)據(jù)應(yīng)用方面的挑戰(zhàn),我們對數(shù)據(jù)的應(yīng)用過于依賴專家經(jīng)驗(yàn),缺乏創(chuàng)新點(diǎn)。
三是架構(gòu)方面的挑戰(zhàn),在架構(gòu)向云上遷移的過程中,會(huì)出現(xiàn)傳輸負(fù)載過高、實(shí)時(shí)響應(yīng)較差、安全程度較低等方面的問題。
面對前兩個(gè)挑戰(zhàn),我們要引入AI相關(guān)的技術(shù)手段來破局。面對第三個(gè)挑戰(zhàn),我們要采用云邊端協(xié)同的架構(gòu)去解決。
那么,我們該如何采用云邊端協(xié)同的架構(gòu)呢?
第一,發(fā)揮云化的數(shù)據(jù)中心作為中心大腦的作用,配合邊緣節(jié)點(diǎn)、終端用戶做相應(yīng)的數(shù)據(jù)管理,開發(fā)融合開放的數(shù)據(jù)管理技術(shù)。
第二,建立跨云數(shù)據(jù)中心、跨邊緣節(jié)點(diǎn)、跨終端用戶的數(shù)據(jù)安全體系。邊緣節(jié)點(diǎn)和用戶終端算力是非常有限的,必須與輕量化、高效率的云端配合,才能夠?qū)崿F(xiàn)對完整體系的安全防護(hù)。
第三,進(jìn)行相應(yīng)的協(xié)同計(jì)算。要想把一部分AI推理做成輕量化的推理引擎,并放置在邊緣節(jié)點(diǎn)或終端節(jié)點(diǎn),就要進(jìn)行協(xié)同計(jì)算,建立跨云邊端的體系框架,形成一站式的智能平臺(tái)。
關(guān)于大數(shù)據(jù)AI融合解決方案,其核心理念可概括為四個(gè)關(guān)鍵詞。
第一個(gè)關(guān)鍵詞是跨云邊端的一棧智能平臺(tái)。它有兩個(gè)重要的特征:多技術(shù)融合和多樣靈活的部署形態(tài)。
多技術(shù)融合也可以說是多生態(tài)融合?,F(xiàn)在,眾多不同開源生態(tài)之間存在著割裂的情況,我們需要打通這種割裂的狀態(tài),實(shí)現(xiàn)多生態(tài)的融合。多樣靈活的部署形態(tài)覆蓋了容器、單機(jī)、小規(guī)模、大規(guī)模甚至是多集群的場景,支持彈性伸縮,可進(jìn)行靈活多樣的動(dòng)態(tài)部署。
第二個(gè)關(guān)鍵詞是融合開放的數(shù)據(jù)管理技術(shù)。它包含全鏈路工具保障和統(tǒng)一數(shù)據(jù)服務(wù)。
全鏈路的工具保障指的是在從數(shù)據(jù)模型到數(shù)據(jù)處理任務(wù)的動(dòng)態(tài)轉(zhuǎn)換過程中,使用全鏈路的工具把定制化的代碼研發(fā)流程串聯(lián)起來。
統(tǒng)一的數(shù)據(jù)服務(wù)指的是完全符合標(biāo)準(zhǔn)規(guī)范的、面向用戶的統(tǒng)一服務(wù)端口。統(tǒng)一的數(shù)據(jù)服務(wù)能夠劃分用戶的角色和權(quán)限,通過對數(shù)據(jù)進(jìn)行分類,明確相應(yīng)的技術(shù)接口,提供完善的接口審批流程,來實(shí)現(xiàn)更開放、更安全的技術(shù)管理。
第三個(gè)關(guān)鍵詞是高效可靠的數(shù)據(jù)安全技術(shù)。數(shù)據(jù)安全技術(shù)的發(fā)展要重點(diǎn)關(guān)注細(xì)粒度安全管控。在數(shù)據(jù)保護(hù)策略以及數(shù)據(jù)的存儲(chǔ)周期上做細(xì)粒度分析,優(yōu)化數(shù)據(jù)加密存儲(chǔ)和數(shù)據(jù)脫密存儲(chǔ),對數(shù)據(jù)進(jìn)行全方位的安全管控和精細(xì)化控制。
數(shù)據(jù)安全技術(shù)的技術(shù)要點(diǎn)之一是基于策略下沉的大數(shù)據(jù)脫敏,傳統(tǒng)的解決方案是采用中間件對關(guān)鍵字段進(jìn)行替代和脫敏,但這種方案并不適用于數(shù)據(jù)量較大的情況,會(huì)造成性能下降的問題。我們現(xiàn)在采用的方案是將云端的算法和策略下沉至邊緣側(cè)甚至終端側(cè)。
第四個(gè)關(guān)鍵詞是協(xié)同擴(kuò)展的數(shù)據(jù)計(jì)算技術(shù)。在云端、邊端、終端,運(yùn)營環(huán)境和資源配置不盡相同,我們采用基于Adlik的云邊端協(xié)同AI模型部署,以適應(yīng)不同運(yùn)營和資源配置環(huán)境。
可視化的模型探索工作臺(tái)是數(shù)據(jù)計(jì)算技術(shù)發(fā)展的另一個(gè)關(guān)鍵點(diǎn)。工作臺(tái)具有強(qiáng)可視化的特點(diǎn),以數(shù)據(jù)為驅(qū)動(dòng),融合機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、開放互聯(lián)等特質(zhì),并集成了多種深度學(xué)習(xí)框架,可以幫助用戶摒棄編碼和底層維護(hù)工作,把業(yè)務(wù)專家從對IT的探索中解放出來,使之聚焦業(yè)務(wù)問題和應(yīng)用本身。
我認(rèn)為云邊端協(xié)同的技術(shù)發(fā)展趨勢之一是能力下沉。
大數(shù)據(jù)前期的發(fā)展是云化,是數(shù)據(jù)向云端的集中。但我們發(fā)現(xiàn)全盤云化會(huì)產(chǎn)生很多問題,需要通過云邊端的協(xié)同來解決這些問題。云邊端協(xié)同的整體設(shè)計(jì)策略及其管理仍在云端,但是能力(例如AI推理能力)會(huì)下沉,即在邊緣側(cè)部署更多服務(wù)。
云邊端協(xié)同的技術(shù)發(fā)展趨勢之二是生態(tài)融合。
大數(shù)據(jù)AI融合的云邊端協(xié)同包含四個(gè)方向:一是極大極小彈性環(huán)境,二是容器/裸金屬的一體化,三是異構(gòu)跨集群數(shù)據(jù)協(xié)同,四是計(jì)算存儲(chǔ)分離。
(根據(jù)演講內(nèi)容整理,未經(jīng)本人審核)