模型和算力可以購(gòu)買，但數(shù)據(jù)需要精細(xì)化、全流程的管理，才能釋放真正的價(jià)值。

在大模型時(shí)代，各行業(yè)都需要基于自身數(shù)據(jù)打造超級(jí)員工，以提高企業(yè)的生產(chǎn)效率。模型和算力可以購(gòu)買，但數(shù)據(jù)需要精細(xì)化、全流程的管理，才能釋放真正的價(jià)值。企業(yè)需要搭建可發(fā)現(xiàn)、可管理、可協(xié)作、可迭代的數(shù)據(jù)管道，才具備獲取數(shù)據(jù)、生產(chǎn)數(shù)據(jù)、持續(xù)迭代數(shù)據(jù)的能力，促進(jìn)內(nèi)部以數(shù)據(jù)為中心的協(xié)作，從而在AI 2.0時(shí)代中獲得核心競(jìng)爭(zhēng)力。

在這樣的背景下，深耕數(shù)據(jù)科技領(lǐng)域的資深玩家——星塵數(shù)據(jù)在近日發(fā)布了專注于數(shù)據(jù)價(jià)值發(fā)現(xiàn)的平臺(tái)MorningStar，旨在打通AI算法從訓(xùn)練到生產(chǎn)全鏈路中的數(shù)據(jù)管理、迭代、優(yōu)化、挖掘等閉環(huán)鏈路。發(fā)布會(huì)間隙，星塵數(shù)據(jù)創(chuàng)始人amp;CEO章磊向《汽車觀察》記者暢談了企業(yè)數(shù)據(jù)管理在人工智能2.0時(shí)代的意義、行業(yè)痛點(diǎn)以及解決方案。

人工智能迎來(lái)四大發(fā)展趨勢(shì)

近年來(lái)，AI算法經(jīng)歷了多個(gè)發(fā)展階段，都和數(shù)據(jù)的突破息息相關(guān)。章磊指出，人工智能迎來(lái)四個(gè)發(fā)展趨勢(shì)。

第一個(gè)趨勢(shì)是：數(shù)據(jù)技術(shù)驅(qū)動(dòng)人工智能發(fā)展三次變革?！皵?shù)據(jù)技術(shù)是推動(dòng)人工智能發(fā)展變革的核心原因。2009年，ImageNet項(xiàng)目充分展示了深度神經(jīng)網(wǎng)絡(luò)的潛力。該項(xiàng)目不僅證實(shí)了深度學(xué)習(xí)模型處理復(fù)雜視覺(jué)任務(wù)的能力，也凸顯了大規(guī)模標(biāo)注數(shù)據(jù)在訓(xùn)練高效模型中的重要性。2017年，Transformer架構(gòu)的推出及其在BERT和GPT等模型中的應(yīng)用，帶來(lái)了另一次飛躍。這一階段的關(guān)鍵創(chuàng)新在于能夠利用全網(wǎng)數(shù)據(jù)進(jìn)行大規(guī)模并行訓(xùn)練，顯著提升了模型的理解和生成能力。2022年，大語(yǔ)言模型進(jìn)一步證明了數(shù)據(jù)策略和數(shù)據(jù)質(zhì)量對(duì)于模型的重要性?！闭吕诮忉屨f(shuō)。

第二個(gè)趨勢(shì)是：數(shù)據(jù)管理職責(zé)細(xì)分化，企業(yè)數(shù)據(jù)債亟需消除。章磊認(rèn)為，數(shù)據(jù)管理正在經(jīng)歷職責(zé)細(xì)分化，從以個(gè)人為中心的協(xié)作將轉(zhuǎn)變?yōu)橐詳?shù)據(jù)為中心的協(xié)作。AI數(shù)據(jù)全生命周期管理，可促進(jìn)多角色的數(shù)據(jù)統(tǒng)一認(rèn)知。

“過(guò)去，我們需要算法部門、業(yè)務(wù)部門、產(chǎn)品部門和技術(shù)部門等多個(gè)部門共同協(xié)調(diào)和統(tǒng)一。在從數(shù)據(jù)到算法的流程中，由于中間層的存在，溝通效率往往降低。未來(lái)的企業(yè)需要一個(gè)讓所有參與者站在同一個(gè)視角下協(xié)作的平臺(tái)。在AI研發(fā)的不同階段，如早期、中期和晚期，算法的視角、理念和認(rèn)知是不斷變化的。同時(shí)，部門之間，如服務(wù)和運(yùn)營(yíng)部與項(xiàng)目執(zhí)行部，以及人與人之間，如算法工程師之間，存在認(rèn)知鴻溝，導(dǎo)致很多數(shù)據(jù)的語(yǔ)義背景信息難以通過(guò)文檔或郵件清晰傳達(dá)，因此，我們需要一個(gè)以數(shù)據(jù)為中心的載體，來(lái)清晰表達(dá)數(shù)據(jù)背后的語(yǔ)義信息。”章磊表示。

第三個(gè)趨勢(shì)是：AI生態(tài)發(fā)展將以數(shù)據(jù)閉環(huán)為中心。章磊坦言，過(guò)去以模型研發(fā)為中心，數(shù)據(jù)相對(duì)固定，而隨著模型不斷迭代，模型效果提升主要來(lái)自數(shù)據(jù)，轉(zhuǎn)向Data-centric AI。以大模型為例，模型架構(gòu)變化不大，真正變化的是背后的數(shù)據(jù)。以GPT為例，從GPT2到GPT3，數(shù)據(jù)集的量從40GB增加到45TB。而從GPT3到GPT4，不再是數(shù)據(jù)量的增加，而是全網(wǎng)數(shù)據(jù)的利用，包括數(shù)據(jù)訓(xùn)練策略、數(shù)據(jù)清洗、數(shù)據(jù)整理、數(shù)據(jù)分布以及人類反饋等方面。

在章磊看來(lái)，未來(lái)算法的發(fā)展將類似于互聯(lián)網(wǎng)時(shí)代的快速迭代，這種迭代不是改變模型架構(gòu)，而是優(yōu)化數(shù)據(jù)。

第四個(gè)趨勢(shì)是：通過(guò)AI打造超級(jí)員工，企業(yè)生產(chǎn)力將十倍提速。章磊指出，通過(guò)AI打造企業(yè)的超級(jí)員工，將使企業(yè)成為24小時(shí)不停運(yùn)轉(zhuǎn)的超級(jí)大腦，所有員工圍繞這個(gè)大腦不斷沉淀數(shù)據(jù)和大模型，然后將大模型的能力賦能給企業(yè)。

數(shù)據(jù)成為AI 2.0時(shí)代差異化競(jìng)爭(zhēng)力

章磊介紹，自2022年以來(lái)，大模型驅(qū)動(dòng)企業(yè)經(jīng)營(yíng)效率提升10倍已成為可能，關(guān)鍵在于企業(yè)數(shù)據(jù)能不能成功打造超級(jí)員工?！俺?jí)員工可以幫助企業(yè)完成研發(fā)、代理、銷售產(chǎn)品、財(cái)務(wù)等任務(wù)，但并非所有數(shù)據(jù)都同等重要，只有那些黃金數(shù)據(jù)集才能有效幫助模型迭代。如何準(zhǔn)備這些數(shù)據(jù)集已成為自動(dòng)駕駛公司、車廠和各類企業(yè)的核心競(jìng)爭(zhēng)力。”他說(shuō)。

MorningStar的設(shè)計(jì)靈感源自人的海馬體。在章磊看來(lái)，只有“記憶”是屬于企業(yè)自己的，企業(yè)的核心知識(shí)、信息和數(shù)據(jù)就像人的海馬體一樣，應(yīng)該存在于企業(yè)內(nèi)部的固定數(shù)據(jù)管理系統(tǒng)中。

隨著大模型的發(fā)展，企業(yè)員工數(shù)量可能會(huì)減少，企業(yè)只有自身具備沉淀私域高質(zhì)量數(shù)據(jù)的能力，即可直接用于生成超級(jí)員工的數(shù)據(jù)，才能獲得市場(chǎng)競(jìng)爭(zhēng)的核心優(yōu)勢(shì)?！霸?AI 2.0 時(shí)代，掌握自己的數(shù)據(jù)就是掌握自己的模型。企業(yè)數(shù)據(jù)價(jià)值的核心在于定義、管理和迭代?！闭吕谡f(shuō)道。

章磊認(rèn)為，數(shù)據(jù)管理的首要要求是可管理性；其次是可挖掘性，即在數(shù)據(jù)中挖掘出對(duì)模型有價(jià)值的信息；第三是可迭代性，數(shù)據(jù)需要根據(jù)模型和用戶反饋不斷變化；第四是可優(yōu)化性，數(shù)據(jù)應(yīng)不斷優(yōu)化并協(xié)同工作，以打造真正屬于企業(yè)的數(shù)據(jù)資產(chǎn)。

MorningStar打通AI數(shù)據(jù)全生命周期管理

AI的變革凸顯了數(shù)據(jù)技術(shù)在推動(dòng)機(jī)器學(xué)習(xí)算法進(jìn)步方面的關(guān)鍵作用。據(jù)章磊介紹，算法開(kāi)發(fā)過(guò)程中有80%的工作與數(shù)據(jù)相關(guān)。一個(gè)算法的上線部署需要經(jīng)歷需求定義、方案制定、數(shù)據(jù)采集、數(shù)據(jù)標(biāo)注、模型設(shè)計(jì)、訓(xùn)練、指標(biāo)測(cè)試、推理優(yōu)化等等。在各個(gè)環(huán)節(jié)中，各個(gè)角色跨組織協(xié)同會(huì)導(dǎo)致企業(yè)數(shù)據(jù)債（指的是企業(yè)當(dāng)前狀態(tài)與最大化數(shù)據(jù)價(jià)值之間的差距，包含算法和其他部門的認(rèn)知差別、項(xiàng)目時(shí)間上的認(rèn)知差別、文檔和數(shù)據(jù)語(yǔ)義的差距、不同數(shù)據(jù)集定義之間的差距等）的產(chǎn)生。數(shù)據(jù)債不僅會(huì)導(dǎo)致數(shù)據(jù)價(jià)值無(wú)法釋放，運(yùn)營(yíng)成本不斷增加，還會(huì)影響模型的上線和迭代效率。

正是基于對(duì)行業(yè)的深刻認(rèn)識(shí)，為了幫助企業(yè)建立高效的數(shù)據(jù)閉環(huán)系統(tǒng)，實(shí)現(xiàn)數(shù)據(jù)價(jià)值最大化和模型效果最優(yōu)化，星塵數(shù)據(jù)開(kāi)發(fā)了滿足AI 2.0時(shí)代數(shù)據(jù)管理需求的全能工具——MorningStar。章磊表示：“MorningStar專注于發(fā)現(xiàn)數(shù)據(jù)價(jià)值，加速模型迭代，為AI 2.0打造以數(shù)據(jù)為中心的協(xié)作環(huán)境，消除數(shù)據(jù)債?！?/p>

據(jù)章磊介紹，MorningStar是目前市面上唯一一個(gè)專為AI 2.0時(shí)代企業(yè)打造的數(shù)據(jù)閉環(huán)產(chǎn)品，覆蓋AI算法從訓(xùn)練到生產(chǎn)全鏈路中的數(shù)據(jù)管理、迭代、優(yōu)化、挖掘等閉環(huán)鏈路。

據(jù)悉，在機(jī)器學(xué)習(xí)中，模型在整個(gè)流程中所占比重很少，算法工程師絕大部分時(shí)間都是花在思考業(yè)務(wù)、數(shù)據(jù)標(biāo)注和數(shù)據(jù)分析上，以提高模型的泛化性。算法工程師需要耗費(fèi)大量的時(shí)間和精力仔細(xì)研究數(shù)據(jù)，找出異常之處，了解數(shù)據(jù)規(guī)律，反復(fù)編排流程，比較版本差異，以提高模型的泛化性，達(dá)到最佳效果。如難以直觀看到數(shù)據(jù)分布，效率低；數(shù)據(jù)語(yǔ)義缺乏記錄，難復(fù)現(xiàn)；數(shù)據(jù)指標(biāo)不完善，難挖掘；數(shù)據(jù)量巨大，檢索困難......

針對(duì)這些痛點(diǎn)，星塵數(shù)據(jù)自主研發(fā)了AI數(shù)據(jù)全生命周期管理功能，強(qiáng)化數(shù)據(jù)版本控制、快捷數(shù)據(jù)切片、可追溯數(shù)據(jù)血緣和安全管控。

通過(guò)數(shù)據(jù)全生命周期可視化管理，MorningStar確保數(shù)據(jù)運(yùn)營(yíng)統(tǒng)一管理和快速迭代；支持靈活數(shù)據(jù)切片、多模態(tài)、自定義數(shù)據(jù)檢索，挖掘數(shù)據(jù)價(jià)值，快速提取特殊場(chǎng)景數(shù)據(jù)；同時(shí)，集成主流難例數(shù)據(jù)發(fā)現(xiàn)策略，如主動(dòng)學(xué)習(xí)等，為算法工程師提供數(shù)據(jù)特征分布、可視化和挖掘、模型指標(biāo)計(jì)算等便捷功能。此外，MorningStar匯聚數(shù)據(jù)資產(chǎn)及使用數(shù)據(jù)，實(shí)現(xiàn)企業(yè)數(shù)據(jù)資產(chǎn)管理，使團(tuán)隊(duì)協(xié)作更安全、數(shù)據(jù)迭代可追溯，打破企業(yè)內(nèi)部的“數(shù)據(jù)孤島”，助力企業(yè)在 AI 成本投入、算法精度和數(shù)據(jù)應(yīng)用能力提升等方面。

談及未來(lái)，章磊展望道，星塵數(shù)據(jù)將不僅用MorningStar助力AI 2.0發(fā)展，還將持續(xù)以數(shù)據(jù)為中心，推出新的功能和服務(wù)，發(fā)現(xiàn)數(shù)據(jù)價(jià)值，加速AI創(chuàng)新。