黃珊

提起來(lái)自英國(guó)的芯片公司，ARM 可謂獨(dú)攬美譽(yù)：這家只有不到 2000 人的公司，“統(tǒng)治” 著世界上 90% 以上的手機(jī)芯片，蘋果、華為、三星所發(fā)布的各類芯片，歸根結(jié)底還是 ARM-Base Chips。

不過(guò)，新生代力量也未缺席。Graphcore 是其中的代表性公司。首先引發(fā)外界注意的是，這家公司的投資者名單中有不少 AI 領(lǐng)域的領(lǐng)袖級(jí)人物，包括 AlphaGo 之父、DeepMind 聯(lián)合創(chuàng)始人哈薩比斯，劍橋大學(xué)教授 Uber 首席科學(xué)家佐賓·葛拉曼尼，加州大學(xué)伯克利分校教授彼得·阿貝爾，OpenAI 聯(lián)合創(chuàng)始人格雷·布羅克曼等。明星機(jī)構(gòu)投資者則有紅杉等。

隨著今年年初宣布 1.5億美元 D 輪融資，成立于 2016 年的 Graphcore 已籌集了超過(guò) 4.5 億美元的風(fēng)險(xiǎn)投資基金，其估值達(dá) 19.5 億美元。

英國(guó)半導(dǎo)體之父、ARM 的聯(lián)合創(chuàng)始人赫曼爵士曾對(duì) Graphcore 的芯片給出很高期望：“在計(jì)算機(jī)歷史上只發(fā)生過(guò)3次變革，一次是20世紀(jì)70年代的 CPU，第二次是20世紀(jì)90年代的 GPU，而Graphcore就是第三次革命?！?/p>

充足的資金彈藥，又有如此高的評(píng)價(jià)，也讓 Graphcore 對(duì)其 2020 年的工作重點(diǎn)之一——吸引中國(guó)客戶、打開中國(guó)市場(chǎng)頗有信心。

詳解另類AI芯片產(chǎn)品代表——IPU

Graphcore 將其開發(fā)的人工智能芯片命名為 IPU（Intelligent Processing Unit / 智能處理器），在 2018 年就已量產(chǎn)上市。

過(guò)去幾年，AI 芯片品類迎來(lái)產(chǎn)品大爆發(fā)，因此不乏一些頗為另類、甚至堪稱瘋狂的產(chǎn)品。比如在去年于頂會(huì) Hot Chips，Cerebras Systems 就發(fā)布了史上最大半導(dǎo)體芯片 WSE，擁有 1.2 萬(wàn)億晶體管，比最大的 GPU 大 56.7 倍。

Graphcore 開發(fā)的 IPU 也有一些大膽的想法。在近日接受采訪中，Graphcore 高級(jí)副總裁兼中國(guó)區(qū)總經(jīng)理盧濤詳細(xì)介紹了 IPU 背后的技術(shù)邏輯。

Graphcore 認(rèn)為，AI 應(yīng)是一個(gè)全新的應(yīng)用架構(gòu)，它底層表征是以計(jì)算圖作為表征的，所以需要一種全新的處理器架構(gòu)，而且，常見的將 AI 計(jì)算區(qū)分為訓(xùn)練和推理也不是可取的分類方向，新的 AI 計(jì)算架構(gòu)本來(lái)就應(yīng)該要具備同時(shí)處理二者工作的能力。

回顧處理器近年來(lái)的發(fā)展，從1個(gè) teraflops 到10個(gè)teraflops再到現(xiàn)在的100個(gè) teraflops，算力提升的速度非常之快。但在發(fā)布會(huì)上展示的算力規(guī)格無(wú)論是幾個(gè) teraflops，與現(xiàn)實(shí)往往有差距：有效的算力遠(yuǎn)遠(yuǎn)達(dá)不到峰值。造成這個(gè)現(xiàn)象的原因在于，芯片內(nèi)存的帶寬非常限制性能。當(dāng)處理器算力提高 10 倍，那內(nèi)存應(yīng)該如何提高 10 倍的性能？傳統(tǒng)的 DDR4、DDR5、HBM、HBM1、HBM2、HBM3 的內(nèi)存解決方案等，基本上每一代大概能有 30%、40% 的提升。在這方面，與傳統(tǒng)的 CPU、GPU 相比，IPU 用了大規(guī)模并行 MIMD 的處理器核。另外做了一個(gè)非常大的分布式的片上 SRAM，在片內(nèi)做到 300MB 的 SRAM，相對(duì) CPU 的 DDR2 子系統(tǒng)或者是相對(duì)于 GPU 的 GDDR、HBM 來(lái)說(shuō)，可以做到 10倍～320 倍的性能提升。從時(shí)延的角度來(lái)看，與訪問(wèn)外存相比較，時(shí)延基本上就是 1%，可以忽略不計(jì)。

另外，IPU 是一個(gè)標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)處理芯片，而且規(guī)模很大，通常具備數(shù)千到數(shù)百萬(wàn)個(gè)頂點(diǎn)，除了標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)之外，也適用于貝葉斯網(wǎng)絡(luò)（也稱為信度網(wǎng)絡(luò)、因果網(wǎng)絡(luò)，是指基于概率分析、圖論的一種不確定性知識(shí)的表達(dá)和推理的模型）和馬爾科夫網(wǎng)絡(luò)（馬爾可夫網(wǎng)絡(luò)類似貝葉斯網(wǎng)絡(luò)用于表示依賴關(guān)系。但是，一方面它可以表示貝葉斯網(wǎng)絡(luò)無(wú)法表示的一些依賴關(guān)系，如循環(huán)依賴;另一方面，它不能表示貝葉斯網(wǎng)絡(luò)能夠表示的某些關(guān)系，如推導(dǎo)關(guān)系），而因?yàn)榧軜?gòu)具備彈性，未來(lái)的新模型與算法理論上也都能夠完美支持。

由于其龐大的頂點(diǎn)數(shù)量，遠(yuǎn)超出現(xiàn)有最大 GPU 的規(guī)模數(shù)百倍，這也意味著其在并行工作的處理潛力非常驚人。另外，這些頂點(diǎn)都是稀疏的，絕大多數(shù)頂點(diǎn)都只連結(jié)到其他一小部分頂點(diǎn)。另外，IPU 也是針對(duì)低精度的數(shù)據(jù)模型優(yōu)化，也就是具備數(shù)據(jù)的統(tǒng)計(jì)近似值概念，這和過(guò)去超算的概念完全不同。另外，IPU 也支持了模型參數(shù)的復(fù)用。簡(jiǎn)單來(lái)說(shuō)，卷積是空間復(fù)用，回歸是時(shí)間復(fù)用。這些復(fù)用特性可以獲取數(shù)據(jù)中的空間或時(shí)間不變性，對(duì)于訓(xùn)練與推理的性能會(huì)有明顯幫助。

從整體上看 IPU，目前已經(jīng)量產(chǎn)的是 GC2 處理器，采用 TSMC 16nm 工藝。該處理器目前片內(nèi)有 1216 個(gè) IPU-Tiles，每個(gè) Tile 中有獨(dú)立的 IPU 核作為計(jì)算以及 In-Processor-Memory，即處理器之內(nèi)的內(nèi)存。所以對(duì)整個(gè) GC2 來(lái)說(shuō)，共有 7296 個(gè)線程，能夠支持 7296 個(gè)程序并行運(yùn)行。對(duì)整片來(lái)說(shuō)，In-Processor-Memory 總共是 300 MB。

據(jù)介紹，IPU 的整個(gè)設(shè)計(jì)思想是要把所有的模型放在片內(nèi)處理。在各個(gè)核心之間的 BSP 同步，能支持同一個(gè) IPU 處理器之內(nèi) 1216 個(gè)核心之間的通信，以及跨不同的 IPU 之間做通信。這都是通過(guò) BSP 的同步協(xié)議實(shí)現(xiàn)，之間還有一個(gè)非常高速的 IPU exchange、8 TB/s 的多對(duì)多交換總線。

另外，在 IPU 和 IPU 之間還有 80 個(gè) IPU-Links，構(gòu)成 320 GB/s 的芯片與芯片之間的帶寬。如此一來(lái)，同一個(gè)處理器就同時(shí)支持了訓(xùn)練和推理。目前來(lái)看，IPU GC2 是世界上非常復(fù)雜的擁有 236 億個(gè)晶體管的芯片處理器，在 120 瓦的功耗下有 125TFlops 的混合精度、1216 個(gè)獨(dú)立的處理器核心（Tile）、300M 的 SRAM 能夠把完整的模型放在片內(nèi)，另外內(nèi)存的帶寬有 45 TB/s、片上交換 8 TB/s，片間的 IPU-Links 是 2.5 TB/s。

而諸如 IPU GC2 有 1216 個(gè)核心（Tile）、7000 多個(gè)線程，解決并行硬件的高效編程問(wèn)題又是一個(gè)非常大的課題。為此，Graphcore 采用構(gòu)建大規(guī)模數(shù)據(jù)中心集群的 BSP 技術(shù)（Bulk Synchronous Parallel）。該技術(shù)目前在谷歌、Facebook、百度這樣的大規(guī)模數(shù)據(jù)中心內(nèi)均已得到應(yīng)用。因而，IPU 也是目前世界上第一款 BSP 處理器，通過(guò)硬件能支持 BSP 協(xié)議，并通過(guò) BSP 協(xié)議把整個(gè)計(jì)算邏輯分成了計(jì)算、同步、交換，對(duì)軟件工程師或開發(fā)者來(lái)說(shuō)十分友好。

Graphcore 在 IPU 設(shè)計(jì)上應(yīng)用了很多相當(dāng)極端的想法，雖然理論上以其規(guī)模應(yīng)該更適合放到云端，但 Graphcore 認(rèn)為 IPU 架構(gòu)擁有很好的伸縮性，邊緣或是終端計(jì)算同樣能良好勝任。

積極融入中國(guó) AI 生態(tài)圈

技術(shù)以外，和一些 AI 芯片公司其產(chǎn)品仍停留在 PPT 階段不同，IPU 在 2018 年就已量產(chǎn)上市。目前，Graphcore 客戶名單上已有微軟、Citadel 和 Qwant。其中，最為外界矚目的公司還是科技巨頭微軟。

近年來(lái)，越來(lái)越多的科技巨頭希望使用專門的人工智能硬件以加速數(shù)據(jù)中心，對(duì)高性能計(jì)算芯片的需求正在迅速增長(zhǎng)。我們耳熟能詳?shù)膸讉€(gè)名字正在該領(lǐng)域進(jìn)行積極的收購(gòu)和合作，例如，英特爾就曾斥資 20 億美元收購(gòu)了 Graphcore 的競(jìng)爭(zhēng)對(duì)手、以色列公司 Habana Labs。

顯然，對(duì)初創(chuàng)公司來(lái)說(shuō)，長(zhǎng)期穩(wěn)定的發(fā)展除了自身要有強(qiáng)大的實(shí)力外，與外界的合作聯(lián)系也十分必要。2019 年 11 月，Graphcore 宣布與微軟達(dá)成合作，在微軟的云計(jì)算平臺(tái) Azure 上部署其 AI 處理器。此次合作不僅將增加 Graphcore 的AI芯片使用率，還有可能擴(kuò)大其客戶群。

2020 年，Graphcore 的一個(gè)重要目標(biāo)是開拓中國(guó)市場(chǎng)。近段時(shí)間，其融入中國(guó) AI 生態(tài)圈的諸多進(jìn)展得以公布：在 OCP Global Summit 上，阿里巴巴異構(gòu)計(jì)算首席科學(xué)家張偉豐博士宣布了 Graphcore 支持 ODLA 的接口標(biāo)準(zhǔn);在百度 Wave Summit 2020 上，百度集團(tuán)副總裁吳甜女士宣布 Graphcore 成為飛槳硬件生態(tài)圈的創(chuàng)始成員之一，雙方簽署了倡議書?！癎raphcore 策略上是要積極擁抱中國(guó)的 AI 生態(tài)圈。通過(guò)這樣一種方式融入中國(guó) AI 生態(tài)圈，在于我們認(rèn)為除了像國(guó)際上比較流行的 TensorFlow、PyTorch 以外的框架，中國(guó)本土的機(jī)器學(xué)習(xí)框架也會(huì)有出色表現(xiàn)。

長(zhǎng)期來(lái)說(shuō)，我們對(duì)中國(guó)市場(chǎng)的期望非常高，期望中國(guó)市場(chǎng)能夠占到 Graphcore 全球市場(chǎng)的 40% 甚至 50%。雖然我們?cè)谥袊?guó)市場(chǎng)的整體啟動(dòng)比北美晚了近一年，但從目前進(jìn)展來(lái)看，前景還是非常不錯(cuò)的?！?盧濤表示。

市場(chǎng)競(jìng)爭(zhēng)進(jìn)入啟動(dòng)期，“有兩類 AI 芯片公司或被淘汰”

不過(guò)他也強(qiáng)調(diào)，生態(tài)以外，AI 芯片本質(zhì)上仍需回歸技術(shù)攻堅(jiān)。以年初轟動(dòng)業(yè)界的 Wave Computing 倒閉為例，其誕生之初也有著明星企業(yè)的光環(huán)，最終卻黯然退場(chǎng)。

盧濤認(rèn)為，Wave Computing 的倒閉并不意味著 AI 領(lǐng)域遇到寒冬，“全球 AI 發(fā)展并沒(méi)有走向低潮，今年反而會(huì)有更大發(fā)展?！睋?jù)了解，自然語(yǔ)言處理是需要強(qiáng)勁算力的一大類 AI 應(yīng)用?！癗LP 相關(guān)技術(shù)的崛起會(huì)催生大量的、各種各樣的應(yīng)用，以及在算力方面的大幅提升?，F(xiàn)在一般的 CV 類模型是幾兆的參數(shù)、幾百萬(wàn)或者幾千萬(wàn)的參數(shù)，而更大一些的 NLP 模型，現(xiàn)都是1億、10億、100億的參數(shù)容量，對(duì)算力的要求是指數(shù)級(jí)的。所以，我們認(rèn)為，AI 芯片產(chǎn)業(yè)存在這樣一個(gè)問(wèn)題，即一個(gè) AI 處理器從作為一個(gè)處理器到最后商業(yè)落地，其實(shí)中間的落差還是非常大的?！?/p>

開發(fā)出芯片只是第一部分，出來(lái)之后配套的是不是有比較好的工具鏈，是不是能夠有比較豐富的軟件庫(kù)來(lái)支撐主流算法，以及是不是能夠跟主流的機(jī)器學(xué)習(xí)框架進(jìn)行無(wú)縫連接，最后對(duì)用戶來(lái)說(shuō)展現(xiàn)的是比較好的可移植性或者是可開發(fā)性/可部署性，最終差距其實(shí)還有很多。所以，整個(gè)鏈條全部打通的話需要非常大的投入。

而他也強(qiáng)調(diào)，有兩種類型的 AI 芯片公司將會(huì)遭遇困境：一類是處理器仍未量產(chǎn)的公司;第二類是有了處理器，但對(duì)軟件重視不夠的公司?！皼](méi)有足夠投入的話，未來(lái)面臨的會(huì)是困難局面。”“2020 年對(duì) AI 芯片確實(shí)是非常關(guān)鍵的一年。因?yàn)槿蛴泻芏嗥髽I(yè)都在開發(fā) AI 處理器，但是否這些處理器真能做出來(lái)、是否真的能夠有一些場(chǎng)景落地？如果說(shuō)拿不出來(lái)，那么對(duì)于后期持續(xù)化的投入，可能是一個(gè)非常大的挑戰(zhàn)”。

（摘自美《深科技》）（編輯/費(fèi)勒萌）