華為哈勃低調(diào)入股的兩家大模型公司,接連發(fā)布新動(dòng)態(tài)。
8月中旬,面壁智能宣布,旗下大語言模型MiniCPM系列,自2月面世以來,累計(jì)下載量超百萬。
7月底,生數(shù)科技面向全球,上線文生視頻大模型Vidu,性能對標(biāo)Sora。
面壁智能和生數(shù)科技,分別成立于2022年、2023年,核心團(tuán)隊(duì)均來自清華大學(xué)。面壁智能CEO,為知乎前CTO李大海;生數(shù)科技CEO,是本碩就讀于清華計(jì)算機(jī)系的唐家渝。
AI賽道火熱,華為哈勃看好這兩位青年才俊的潛力。
哈勃投資是華為全資控股的投資機(jī)構(gòu)。其有兩個(gè)主體,分別為哈勃科技投資有限公司、深圳哈勃科技投資合伙企業(yè)。
此前,華為哈勃的投資,聚焦硬科技方向,入股多家半導(dǎo)體芯片企業(yè),今年接連扶植兩家清華新銳,顯示出對AI賽道的重視。
據(jù)IT桔子數(shù)據(jù),哈勃今年接連向人工智能領(lǐng)域下注,投資金額累計(jì)達(dá)1.32億元。
在大模型方向,其偏愛名校精英。入股的兩家公司,創(chuàng)始團(tuán)隊(duì)結(jié)構(gòu)相似,均背靠清華大學(xué)。
生數(shù)科技的核心成員來自清華大學(xué)人工智能研究院,面壁智能的創(chuàng)始團(tuán)隊(duì)脫胎于該校自然語言處理實(shí)驗(yàn)室(THUNLP)。
一眾清華面孔組成生數(shù)科技高層。除CEO外,其首席科學(xué)家由清華人工智能研究院副院長朱軍擔(dān)任,CTO鮑凡是朱軍的課題組成員。
去年6月至8月,生數(shù)科技連續(xù)完成兩輪融資,累計(jì)獲得上億元。今年6月,哈勃斥資入股,參與其A+輪融資。
面壁智能的成長路徑類似。
其聯(lián)合創(chuàng)始人劉知遠(yuǎn),是清華大學(xué)計(jì)算機(jī)系博導(dǎo),研究方向?yàn)橛?jì)算機(jī)自然語言處理;公司CTO曾國洋,今年26歲,是競賽保送生,大二就進(jìn)入清華自然語言處理實(shí)驗(yàn)室。
面壁智能科研團(tuán)隊(duì)共有100多人,清北畢業(yè)員工數(shù)量占比高達(dá)80%,平均年齡僅為28歲,在權(quán)威期刊會議發(fā)表論文百余篇。
創(chuàng)立面壁智能前,李為知乎CTO,從零開始為平臺搭建搜索和推薦業(yè)務(wù),發(fā)起AI“智能社區(qū)”,增加月活躍用戶數(shù)。
老東家支持其創(chuàng)業(yè),同年4月,面壁智能獲得知乎數(shù)千萬元人民幣的投資。一年后,哈勃入股。
兩家創(chuàng)業(yè)公司,在較短時(shí)間內(nèi),均推出了新產(chǎn)品。這是吸引華為哈勃等機(jī)構(gòu)投資的重要原因。
4月下旬,生數(shù)科技聯(lián)合清華大學(xué),發(fā)布視頻大模型——Vidu。7月底,Vidu面向全球上線,開放文生視頻、圖生視頻兩大核心功能,提供4秒和8秒兩種時(shí)長選擇,分辨率最高達(dá)1080P。
Vidu生成一段4秒視頻,只需30秒。目前用戶直接使用郵箱注冊,即可上手體驗(yàn)Vidu。
據(jù)介紹,Vidu生成視頻流暢連貫,沒有明顯的插幀現(xiàn)象,且鏡頭語言豐富,可切換遠(yuǎn)景、近景、特寫等不同鏡頭。
面壁智能也推新動(dòng)作不斷。
5月,其大模型Luca面世。李大海表示,Luca的多項(xiàng)語言模型能力與ChatGPT相當(dāng)。
同月,面壁MiniCPM-V2.0上新,可以精準(zhǔn)識別細(xì)節(jié)紛繁的街景,還能識讀2300多年前的清華簡上的古老字跡。
面壁智能商業(yè)化已初步落地。
其攜手招商銀行、數(shù)科網(wǎng)維、知乎等,將技術(shù)應(yīng)用于金融、教育、智能終端等場景。
早在去年,面壁智能就推出了ChatDev智能軟件開發(fā)平臺。有制作小游戲、網(wǎng)站開發(fā)、創(chuàng)意設(shè)計(jì)等需求的用戶,通過ChatDev描述項(xiàng)目名稱和相關(guān)想法,便可快速實(shí)現(xiàn)。
用李大海的話來說,普通用戶“只需要一杯可樂的時(shí)間,用不到一美元的成本”,就能做出一個(gè)小軟件。
他與唐家渝,有個(gè)相同特質(zhì),不迷信前人走過的路。
比如,GPT強(qiáng)調(diào)“大力出奇跡”,而面壁團(tuán)隊(duì)的做法,是通過小模型預(yù)測大模型性能:先在參數(shù)量為0.009B到0.03B的模型上做訓(xùn)練,再外插到2.4B的模型上預(yù)測性能,最后,訓(xùn)練2.4B的模型。
這一方法事半功倍,先在小模型上做實(shí)驗(yàn)、調(diào)參數(shù),可以降低訓(xùn)練成本。
公司成立之前,作為北京智源人工智能研究院“悟道”項(xiàng)目的成員,面壁團(tuán)隊(duì)從2020年就開始訓(xùn)練語言大模型。
過往經(jīng)驗(yàn),讓他們知道大模型需要什么樣的數(shù)據(jù)。
“大家很容易陷入一個(gè)誤區(qū),過度關(guān)注數(shù)據(jù)的絕對量。其實(shí),數(shù)據(jù)的質(zhì)量,如何利用數(shù)據(jù),以及對數(shù)據(jù)的認(rèn)知才是更重要的事。”曾國洋稱。
因資源受限,團(tuán)隊(duì)很早就使用分布式加速、參數(shù)微調(diào)等方法,降低成本。2022年,面壁團(tuán)隊(duì)參數(shù)微調(diào)的工作方法,還發(fā)表在Nature子刊上。
生數(shù)科技的打法類似。
技術(shù)路線上,生數(shù)采用的是和Sora一樣的融合架構(gòu),但在產(chǎn)品路徑上,兩者不同。
Sora團(tuán)隊(duì)選擇all in長視頻,其背后有Open AI的技術(shù)實(shí)力,以及微軟的算力支持。初創(chuàng)公司生數(shù)科技的條件,無法與之媲美。
唐家渝團(tuán)隊(duì)選擇從2D圖像開始,再拓展到3D和視頻領(lǐng)域。
視頻本質(zhì)上是圖像在時(shí)間序列上的擴(kuò)增,可以看成連續(xù)多幀的圖像,在圖像上的工程化工作,比如數(shù)據(jù)的收集、清洗、標(biāo)注以及模型的高效訓(xùn)練等經(jīng)驗(yàn),是可以復(fù)用的。
整個(gè)2023年,生數(shù)主要資源都放在了圖像和3D上。到今年1月,才上線4秒短視頻生成。2月,Sora發(fā)布之后,該公司進(jìn)展加速,4月可生成16秒短視頻。
大模型賽道,國內(nèi)外各團(tuán)隊(duì)競相“秀肌肉”。這兩支清華系團(tuán)隊(duì),剛開始熱身,期待跑出不俗的成績。
屆時(shí),入股早的華為哈勃,有望獲得超額收益。