張帥
有這樣一個你可能熟悉卻又不清楚的數(shù)據(jù):全球關(guān)于AI方法的論文數(shù)量自2017年起,每年增長50%,2020年我們可能會看到超過21000篇AI領(lǐng)域的新論文。
在AI算力呈現(xiàn)爆炸式增長的過程中,有一個2012年廣為人知的英偉達(dá)GPU故事,一個來自多倫多大學(xué)的Alex和他的團隊設(shè)計了AlexNet的深度學(xué)習(xí)算法,并用了2個英偉達(dá)的GTX580 GPU進行訓(xùn)練后,打敗了其他所有計算機視覺團隊開發(fā)的算法,成為那一屆ImageNet冠軍。
此后,在計算機視覺和自然語言處理領(lǐng)域,GPU的高并行計算能力得到了充分的發(fā)揮,英偉達(dá)的GPU也隨著AI第三次浪潮的崛起而迎來井噴發(fā)展。與此同時,更多為機器學(xué)習(xí)而專門定制的專用芯片開始出現(xiàn),比如專用集成電路(ASIC)的張量處理單元TPU、神經(jīng)網(wǎng)絡(luò)單元NPU以及半定制芯片F(xiàn)PGA等等。
隨后AI熱度不斷攀升,與AI相關(guān)應(yīng)用也在急劇增長,這引發(fā)了市場對超大型數(shù)據(jù)中心的強勁需求,僅構(gòu)建于英偉達(dá)平臺上的AI創(chuàng)業(yè)公司,全球就被估計有3000家。而GPU只是AI領(lǐng)域中的一條技術(shù)路線。
2018年,英國一家名為Graphcore的創(chuàng)業(yè)公司推出了一種專門應(yīng)用AI計算的處理器芯片IPU(Intelligence Processing Unit)。IPU一經(jīng)問世,就受到AI界越來越多的關(guān)注。ARM創(chuàng)始人,被稱為英國半導(dǎo)體之父的赫曼·豪瑟曾為Graphcore的IPU給出很高評價,將其譽為“計算機史上三次革命中,繼CPU和GPU之后的第三次革命”。
IPU被行業(yè)內(nèi)稱為一種新的技術(shù)架構(gòu),與 GPU有著非常大的差異。比如GPU只是為大塊密集的連續(xù)數(shù)據(jù)設(shè)計,而IPU則是針對未來學(xué)習(xí)趨勢的高性能/高效率。簡單來說GPU像是一個齒輪,可以連續(xù)不斷的運作數(shù)據(jù),而IPU則像是工業(yè)大廠,涵蓋GPU了的工作,且可以并行運作多個工作項目。
所以行業(yè)人士更多地將IPU視為一個標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)處理芯片,可以支持多種神經(jīng)網(wǎng)絡(luò)模型,因其具備數(shù)以千計到數(shù)百萬計的頂點數(shù)量,遠(yuǎn)遠(yuǎn)超過GPU的頂點規(guī)模,所以可以進行更高潛力的并行計算工作。此外,IPU的頂點的稀疏特性,令其也可以高效處理GPU不擅長的稀疏的卷積計算。其次,IPU也支持了模型參數(shù)的復(fù)用,這些復(fù)用特性可以獲取數(shù)據(jù)中的空間或時間不變性,對于訓(xùn)練與推理的性能會有明顯幫助。
2020年,Graphcore與馬薩諸塞大學(xué)、Facebook一起使用近似貝葉斯計算的方式做流行病的模型分析,在研究領(lǐng)域也取得了一些進展。Graphcore高級副總裁兼中國區(qū)總經(jīng)理盧濤表示:“與CPU相比IPU速度提高了30倍,與GPU相比提高了7.5倍。除此之外IPU也能做許多通用計算,比如布里斯托大學(xué)使用IPU,攻克粒子物理中的HPC挑戰(zhàn)。倫敦帝國理工學(xué)院在IPU上,加速了經(jīng)典計算機視覺的一些問題?!?/p>
而根據(jù)最新的訓(xùn)練報告來看,相比1個DGX-A100,BERT-Large(BERT模型,具備3.4億個參數(shù))能在IPU-POD64上實現(xiàn)5.3倍的提升,相比3個DGX-A100,能夠?qū)崿F(xiàn)1.8倍的提升?!?個IPU-POD64和3個DGX-A100的功率和價格基本相同,但卻能夠?qū)崿F(xiàn)接近兩倍的性能提升,這就是非常顯著的性能優(yōu)勢?!盙raphcore中國工程總負(fù)責(zé)人、AI算法科學(xué)家金琛如是說道。
12月29日,Graphcore宣布,其已在E輪融資中籌集了2.22億美元,增資后公司的估值為27.7億美元。這是一家用四年時間快速成長起來的科技公司,早在2018年12月份,Graphcore從微軟、寶馬、三星和紅杉手中融資2億美元,成為英國估值最高的初創(chuàng)企業(yè)之一。
在融資方面,盧濤給人一副十分自信的感覺,他表示:“在融資的架構(gòu)組合上,Graphcore是非常好的,其中的戰(zhàn)略投資人涵蓋企業(yè)應(yīng)用、云計算、汽車等不同的垂直領(lǐng)域。在VC方面,投資方有來自世界知名的紅杉資本,而投資方是Graphcore積極發(fā)展的重要信心來源?!?/p>
我們知道,AI芯片既要具備一定的靈活的可編程性(通用性),又要具備專用的高效性能優(yōu)勢。比如專注于圖像渲染崛起的英偉達(dá)GPU,也隨著游戲、視頻渲染以及AI加速而向GPGPU(General Purpose GPU)的方向演進。當(dāng)然,這也并非一件壞事,或許IPU能夠找到一個新的細(xì)分市場,介入GPU無法很好發(fā)揮效能的神經(jīng)網(wǎng)絡(luò)模型,同時又避免專用AI芯片的不可擴展性,能夠部署在更大規(guī)模的云計算中心或超算中心,對新算法模型保持足夠的彈性計算空間。
但是,今年AI芯片產(chǎn)業(yè)正在遭遇洗牌期,例如美國某AI芯片公司在春季就黯然退場,中國區(qū)工程全部關(guān)閉。也許這并不意味AI計算將會遭遇寒冬,因為一個AI芯片從產(chǎn)出到大規(guī)模的應(yīng)用,需要經(jīng)歷一系列的中間環(huán)節(jié),比如主流算法架構(gòu)的軟件庫、工具鏈、用戶生態(tài)等。所以回頭來看,GPU已經(jīng)形成了一個非常完整的AI算力生態(tài)鏈,而IPU仍在路上,是否真的能夠崛起,我們還需要看整個AI產(chǎn)業(yè)和應(yīng)用研發(fā)的選擇。