蔣阿芳 中國(guó)信息通信研究院泰爾終端實(shí)驗(yàn)室高級(jí)工程師

紀(jì)學(xué)毅 中國(guó)信息通信研究院泰爾終端實(shí)驗(yàn)室碩士研究生

1 引言

隨著A lphaGo將AI帶入人們的視野，AI逐漸被人們認(rèn)為是下一個(gè)“互聯(lián)網(wǎng)”類(lèi)顛覆行業(yè)的技術(shù)。人工智能的發(fā)展正處在第三次高潮，看重AI技術(shù)帶來(lái)的巨大市場(chǎng)潛力，科技巨頭們紛紛布局人工智能產(chǎn)業(yè)鏈，具體來(lái)講有3種方式，即打造AI開(kāi)源平臺(tái)、布局AI芯片、布局AI核心技術(shù)。

人工智能領(lǐng)域是一個(gè)數(shù)據(jù)密集的領(lǐng)域，傳統(tǒng)的數(shù)據(jù)處理技術(shù)難以滿(mǎn)足高強(qiáng)度、大數(shù)據(jù)的處理需求。AI芯片的出現(xiàn)讓大規(guī)模的數(shù)據(jù)效率大大提升，加速了深層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練迭代速度，極大地促進(jìn)了人工智能行業(yè)的發(fā)展。

人工智能芯片作為人工智能行業(yè)的重要底層架構(gòu)，其戰(zhàn)略重要性不言而喻。如圖1所示，AI芯片位于基礎(chǔ)層中的計(jì)算能力部分。AI芯片作為產(chǎn)業(yè)核心，也是技術(shù)要求和附加值最高的環(huán)節(jié)，除了本身的產(chǎn)業(yè)價(jià)值外，其戰(zhàn)略地位也遠(yuǎn)遠(yuǎn)大于應(yīng)用層創(chuàng)新。

目前，AI芯片行業(yè)的整體情況是進(jìn)入門(mén)檻偏高，如FPGA領(lǐng)域，有多達(dá)9000項(xiàng)的專(zhuān)利，知識(shí)產(chǎn)權(quán)壁壘較高，Intel也是耗資167億美元收買(mǎi)了A ltera，從而獲得了進(jìn)入FPGA領(lǐng)域的入場(chǎng)券。且FPGA整個(gè)的市場(chǎng)總額偏小，2016年僅為50億美元，有9成還落入賽靈思和Altera兩家公司，另外兩類(lèi)如GPU、ASIC也有相同的情況。同時(shí)，芯片行業(yè)的整體投入時(shí)間較長(zhǎng)，一般從研發(fā)到產(chǎn)品真正規(guī)?；a(chǎn)需要近7年的時(shí)間。

2 AI芯片分類(lèi)

芯片又叫集成電路，按照功能不同可分為很多種，有負(fù)責(zé)電源電壓輸出控制的，有負(fù)責(zé)音頻視頻處理的，還有負(fù)責(zé)復(fù)雜運(yùn)算處理的。算法必須借助芯片才能夠運(yùn)行，而由于各個(gè)芯片在不同場(chǎng)景的計(jì)算能力不同，算法的處理速度、能耗也就不同。在人工智能市場(chǎng)高速發(fā)展的今天，人們都在尋找能讓深度學(xué)習(xí)算法更快速、更低能耗執(zhí)行的芯片。

人工智能芯片分類(lèi)如圖2所示。從技術(shù)架構(gòu)角度分類(lèi)，主要包括GPU、FPGA、ASIC以及類(lèi)腦芯片，在人工智能時(shí)代，它們各自發(fā)揮優(yōu)勢(shì)，呈現(xiàn)出百花齊放的狀態(tài)；從市場(chǎng)需求角度來(lái)講，AI芯片可分為兩大使用場(chǎng)景，即訓(xùn)練（Training）和推斷（Inference）。AI芯片共3類(lèi)，即訓(xùn)練需求（基于云端設(shè)備端需求目前不明確）、基于云端的推斷需求和基于設(shè)備端的推斷需求。

2.1 技術(shù)架構(gòu)角度分類(lèi)

（1）GPU

GPU最初是作為應(yīng)對(duì)圖像處理需求而出現(xiàn)的芯片。其特點(diǎn)為擅長(zhǎng)大規(guī)模并行運(yùn)算，可以平行處理大量信息。在人工智能技術(shù)發(fā)展早期，因其優(yōu)異的大規(guī)模數(shù)據(jù)處理能力，GPU被使用在多個(gè)項(xiàng)目之中。在圖像識(shí)別、棋牌類(lèi)博弈、輔助駕駛系統(tǒng)和無(wú)人駕駛試驗(yàn)中，均使用了GPU作為加速芯片。

圖1 AI芯片在人工智能產(chǎn)業(yè)要素中的位置

圖2 AI芯片分類(lèi)

然而，從芯片底層架構(gòu)來(lái)講，由于GPU并非專(zhuān)為深度學(xué)習(xí)設(shè)計(jì)的專(zhuān)業(yè)芯片，未必為人工智能加速硬件的最終答案。目前，GPU的設(shè)計(jì)和生產(chǎn)均已非常成熟，在集成度和制造工藝上具有優(yōu)勢(shì)，因而從成本和性能的平衡來(lái)講，是當(dāng)下人工智能運(yùn)算的很好選擇。

（2）FPGA

FPGA全稱(chēng)為“可編輯門(mén)陣列”（Field ProgrammableGateArray），它是一種通用型的芯片，設(shè)計(jì)更接近于硬件底層的架構(gòu)，其最大特點(diǎn)是可編程。基于可編程的特點(diǎn)，用戶(hù)可以通過(guò)FPGA配置文件來(lái)實(shí)現(xiàn)應(yīng)用場(chǎng)景的高度定制，進(jìn)而實(shí)現(xiàn)高性能、低功耗。FPGA成本較高，更適用于企業(yè)用戶(hù)，尤其是可重配置需求較高的軍事和工業(yè)電子領(lǐng)域。此外，互聯(lián)網(wǎng)企業(yè)也都有專(zhuān)門(mén)做FPGA的團(tuán)隊(duì)為服務(wù)器加速。FPGA在深度學(xué)習(xí)加速方面具有可重構(gòu)、低功耗、可定制和高性能等特點(diǎn)。當(dāng)然，F(xiàn)PGA也存在硬件編程困難，且尚未形成統(tǒng)一的編程模型，重用方面也是一大難題。

（3）ASIC

ASIC全稱(chēng)為“專(zhuān)用集成電路”（ApplicationSpecific Integrated Circuits），對(duì)應(yīng)特定應(yīng)用場(chǎng)景，針對(duì)特定用戶(hù)需求的專(zhuān)用類(lèi)芯片。假如把FPGA比作科研研發(fā)專(zhuān)用芯片，那么ASIC就是確定應(yīng)用市場(chǎng)后，大量生產(chǎn)的專(zhuān)用芯片?；诖耍瑥S家可以針對(duì)特定用戶(hù)場(chǎng)景使用FPGA進(jìn)行研發(fā)，當(dāng)算法成熟、芯片設(shè)計(jì)固定后可以以ASIC的方式進(jìn)行大規(guī)模生產(chǎn)。因此，作為全定制設(shè)計(jì)的ASIC芯片，針對(duì)適用的應(yīng)用場(chǎng)景，ASIC的性能和能耗都要優(yōu)于市場(chǎng)上的現(xiàn)有芯片，包括FPGA和GPU。目前，人工智能類(lèi)ASIC的發(fā)展仍處于早期。其根本原因是，ASIC一旦設(shè)計(jì)制造完成后電路就固定了，只能微調(diào)，無(wú)法大改。而硬件的研發(fā)設(shè)計(jì)與生產(chǎn)成本很高，企業(yè)很難貿(mào)然嘗試。此外，能設(shè)計(jì)出適用于人工智能芯片的公司必然是要既具備人工智能算法又擅長(zhǎng)芯片研發(fā)的公司。

代表性的ASIC芯片即TPU（Tensor Processing Unit）是Google研發(fā)的一款針對(duì)深度學(xué)習(xí)加速的ASIC芯片，第一代TPU僅能用于推理，而目前發(fā)布的TPU 2.0既可以用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)，又可以用于推理。TPU2.0包括4個(gè)芯片，每秒可處理180萬(wàn)億次浮點(diǎn)運(yùn)算。Google還找到一種方法，使用新的計(jì)算機(jī)網(wǎng)絡(luò)將64個(gè)TPU組合到一起，升級(jí)為所謂的TPUPods，可提供大約1.15萬(wàn)萬(wàn)億次浮點(diǎn)運(yùn)算能力。目前，Google并不直接出售TPU芯片，而是結(jié)合其開(kāi)源深度學(xué)習(xí)框架TensorFlow為AI開(kāi)發(fā)者提供TPU云加速的服務(wù)，以此發(fā)展TPU2的應(yīng)用和生態(tài)，比如TPU2同時(shí)發(fā)布的TensorFlow ResearchCloud（TFRC）。

（4）類(lèi)腦芯片

類(lèi)人腦芯片架構(gòu)是一款模擬人腦的新型芯片編程架構(gòu)，這種芯片的功能類(lèi)似于大腦的神經(jīng)突觸，處理器類(lèi)似于神經(jīng)元，而其通訊系統(tǒng)類(lèi)似于神經(jīng)纖維，可以允許開(kāi)發(fā)者為類(lèi)人腦芯片設(shè)計(jì)應(yīng)用程序。通過(guò)這種神經(jīng)元網(wǎng)絡(luò)系統(tǒng)，計(jì)算機(jī)可以感知、記憶和處理大量不同的情況。

IBM從2008年開(kāi)始研究能模擬人類(lèi)大腦的芯片項(xiàng)目，2014年推出首個(gè)基于SyNAPSE打造的TrueNorth芯片，該芯片內(nèi)置100萬(wàn)個(gè)模擬神經(jīng)元和2.56億個(gè)模擬神經(jīng)突觸。不同芯片還可以通過(guò)陣列的方式互聯(lián)。據(jù)稱(chēng)48顆芯片組建成的具有4800萬(wàn)個(gè)神經(jīng)元的網(wǎng)絡(luò)，智力水平已經(jīng)和普通老鼠大腦差不多。

Neural/Neuromorphic Processing Unit為神經(jīng)/神經(jīng)形態(tài)處理器，更多的時(shí)候被稱(chēng)為“神經(jīng)形態(tài)芯片（Neuromorphic Chip）”或者是“類(lèi)腦芯片（Brain-Inspired Chip）”。這類(lèi)AI芯片不是用CNN、DNN等網(wǎng)絡(luò)形式來(lái)做計(jì)算，而是以更類(lèi)似于腦神經(jīng)組成結(jié)構(gòu)的SNN（Spiking Neural Network）的形式來(lái)進(jìn)行計(jì)算。2013年10月，高通研發(fā)的Zeroth處理器就隸屬于NeuralProcessingUnits（NPUs）范疇，其試圖通過(guò)模擬人腦的方式對(duì)外界刺激做出反應(yīng)，從而“學(xué)”到東西，避免程序員再寫(xiě)代碼?？傮w來(lái)看，類(lèi)腦計(jì)算芯片領(lǐng)域仍處于探索階段。

（5）小結(jié)

芯片定義了產(chǎn)業(yè)鏈和生態(tài)圈的基礎(chǔ)計(jì)算架構(gòu)，正如CPU是IT產(chǎn)業(yè)的核心一樣，芯片也是人工智能產(chǎn)業(yè)的核心。對(duì)AI芯片按技術(shù)架構(gòu)角度分類(lèi)，表1列出了主要的4類(lèi)型芯片對(duì)比。

表2進(jìn)一步對(duì)表1中已經(jīng)發(fā)布的具有代表性的芯片從計(jì)算能力角度進(jìn)行了對(duì)比，因類(lèi)腦芯片仍處于探索階段，且采用非馮諾依曼架構(gòu)，表中沒(méi)有對(duì)其進(jìn)行對(duì)比。其中，GPU選取的是NVIDIA的TeslaK40，F(xiàn)PGA選取的是Xilinx的V7-690T，ASIC選取的是寒武紀(jì)的DIANNAO。從表中的對(duì)比來(lái)看，能耗比方面為ASIC＞FPGA＞GPU。

2.2 市場(chǎng)需求角度分類(lèi)

作為推動(dòng)第三次浪潮的人工智能核心算法，深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)重要研究方向，一項(xiàng)深度學(xué)習(xí)工程的搭建，可分為訓(xùn)練（Training）和推斷（Inference）兩個(gè)環(huán)節(jié)（見(jiàn)圖3）。

（1）訓(xùn)練環(huán)節(jié)

通常需要通過(guò)大量的數(shù)據(jù)輸入，或采取增強(qiáng)學(xué)習(xí)等非監(jiān)督學(xué)習(xí)方法，訓(xùn)練出一個(gè)復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)模型。訓(xùn)練過(guò)程由于涉及海量的訓(xùn)練數(shù)據(jù)和復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，運(yùn)算量巨大，需要龐大的計(jì)算規(guī)模，對(duì)于處理器的計(jì)算能力、精度、可擴(kuò)展性等性能要求很高。目前，在訓(xùn)練環(huán)節(jié)主要使用NVIDIA的GPU集群來(lái)完成，Google自主研發(fā)的ASIC芯片TPU2.0也支持訓(xùn)練環(huán)節(jié)的深度網(wǎng)絡(luò)加速。

（2）推斷環(huán)節(jié)

指利用訓(xùn)練好的模型，使用新的數(shù)據(jù)去“推理”出各種結(jié)論，如利用后臺(tái)訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)模型，判斷一張輸入圖片中的目標(biāo)類(lèi)別。雖然推斷的計(jì)算量相比訓(xùn)練少很多，但仍然涉及大量的矩陣運(yùn)算。在推理環(huán)節(jié)，GPU、FPGA和ASIC都有很多應(yīng)用價(jià)值。

目前，從市場(chǎng)需求角度來(lái)講，AI芯片主要可分為3類(lèi)，其相關(guān)企業(yè)分布如圖4所示。

（1）訓(xùn)練需求，面向各大人工智能企業(yè)及實(shí)驗(yàn)室研發(fā)階段。

（2）基于云端的推斷需求，F(xiàn)ace++、出門(mén)問(wèn)問(wèn)、Siri等主流人工智能應(yīng)用均通過(guò)云端提供服務(wù)。

（3）基于設(shè)備端的推斷需求，面向智能手機(jī)、智能攝像頭、機(jī)器人/無(wú)人機(jī)、自動(dòng)駕駛、VR等設(shè)備的設(shè)備端推理市場(chǎng)，需要高度定制化、低功耗的AI芯片產(chǎn)品。例如，華為麒麟970搭載了“神經(jīng)網(wǎng)絡(luò)處理單元（NPU，實(shí)際為寒武紀(jì)的IP）”、蘋(píng)果A11搭載了“神經(jīng)網(wǎng)絡(luò)引擎（NeuralEngine）”。

表1 技術(shù)架構(gòu)角度的主要4類(lèi)AI芯片對(duì)比

表2 性能與功耗對(duì)比

3 我國(guó)面臨的機(jī)遇與挑戰(zhàn)

圖3 深度學(xué)習(xí)工程搭建的兩個(gè)環(huán)節(jié)

人工智能，特別是深度學(xué)習(xí)，這幾年呈爆發(fā)性的發(fā)展，很大程度上得益于芯片技術(shù)多年的積累。如果不是芯片技術(shù)已經(jīng)發(fā)展到了一定的高度，能夠給大規(guī)模的機(jī)器學(xué)習(xí)提供足夠的處理能力，就沒(méi)有戰(zhàn)勝人類(lèi)頂尖棋手的A lphaGo。過(guò)去十幾年驅(qū)動(dòng)芯片技術(shù)發(fā)展的主要是通信，即多媒體和智能手機(jī)這些應(yīng)用。而隨著這些應(yīng)用增長(zhǎng)放緩，芯片技術(shù)發(fā)展已經(jīng)逐步轉(zhuǎn)向了AI領(lǐng)域，AI的驅(qū)動(dòng)效應(yīng)將在芯片技術(shù)上會(huì)有更明顯的體現(xiàn)。

圖4 AI芯片行業(yè)布局動(dòng)態(tài)

作為一項(xiàng)計(jì)算密集型的新技術(shù)，人工智能早期可以依靠通用芯片的性能來(lái)迅速發(fā)展，而后期則必須依靠專(zhuān)用芯片的出現(xiàn)才能統(tǒng)治市場(chǎng)。人工智能芯片的發(fā)展將會(huì)從通用走向?qū)Ｓ茫ㄒ?jiàn)圖5），定制的硬件才能實(shí)現(xiàn)更優(yōu)的功耗效率，滿(mǎn)足不同算法、結(jié)構(gòu)、終端和消費(fèi)者的需求，實(shí)現(xiàn)規(guī)?；氖找妗Ｍ瑫r(shí)，通用芯片與專(zhuān)用芯片永遠(yuǎn)都不是互相替代的關(guān)系，二者必須協(xié)同工作才能發(fā)揮出最大的價(jià)值。

圖5 AI芯片發(fā)展路徑

近年來(lái)，雖然我國(guó)在核心芯片集成能力上大幅提升，但由于核心芯片關(guān)鍵技術(shù)缺失，因此在實(shí)際設(shè)計(jì)和生產(chǎn)中仍需要大量引進(jìn)發(fā)達(dá)國(guó)家和地區(qū)的技術(shù)和產(chǎn)品。另外，從產(chǎn)業(yè)鏈來(lái)看，AI芯片可分為設(shè)計(jì)、制造和封裝3個(gè)主要環(huán)節(jié)，其中設(shè)計(jì)環(huán)節(jié)需要EDA和邏輯電路設(shè)計(jì)驗(yàn)證等軟硬件平臺(tái)的支撐，芯片制造和封裝環(huán)節(jié)需要相關(guān)材料和技術(shù)的支撐。

隨著我國(guó)政府不斷加大對(duì)于人工智能和芯片領(lǐng)域的投入，接下來(lái)幾年將是我國(guó)AI芯片技術(shù)和市場(chǎng)成熟的重要階段，未來(lái)產(chǎn)業(yè)競(jìng)爭(zhēng)格局將取決于這幾年各企業(yè)的技術(shù)和市場(chǎng)發(fā)展情況。在這種情況下，我國(guó)應(yīng)抓住這一時(shí)間窗口，堅(jiān)持集成創(chuàng)新的思路，通過(guò)引人成熟技術(shù)，實(shí)現(xiàn)AI芯片產(chǎn)業(yè)的“彎道超車(chē)”。

同時(shí)需要認(rèn)識(shí)到的是，AI芯片除了本身的產(chǎn)業(yè)價(jià)值外，其戰(zhàn)略地位也遠(yuǎn)遠(yuǎn)大于應(yīng)用層創(chuàng)新。在巨大的國(guó)際競(jìng)爭(zhēng)壓力下，需要多方合作，才能夠在AI時(shí)代從戰(zhàn)略層面占有一席之地。

[1]王沖鶄.人工智能技術(shù)與產(chǎn)業(yè)發(fā)展態(tài)勢(shì)分析[J].電信網(wǎng)技術(shù),2017(7):46-51.

[2]騰訊研究.中美兩國(guó)人工智能產(chǎn)業(yè)發(fā)展全面解讀.[DB/OL].http://www.tisi.org/4924.August2,2017.

[3]張軍陽(yáng),王慧麗,郭陽(yáng),等.深度學(xué)習(xí)相關(guān)研究綜述[J/OL].計(jì)算機(jī)應(yīng)用研究,2018(2017-08-18).

[4]Chen T,Du Z,Sun N,et al.DianNao:a small-footprint highthroughput accelerator for ubiquitous machine-learning[J].Acm SigplanNotices,2014,49(4):269-284.

[5]戰(zhàn)略前沿技術(shù).AI芯片產(chǎn)業(yè)生態(tài)梳理.[DB/OL].https://wx.abbao.cn/a/4816-c7ec9c4445fa3d0e.htm l.