王晨，鄧昌義，李嘉偉，李郁佳

（國家工業(yè)信息安全發(fā)展研究中心，北京 100043）

0 引言

隨著人工智能熱潮迅速席卷全球，作為人工智能時(shí)代技術(shù)核心的“人工智能芯片”變得炙手可熱，人工智能芯片遍布數(shù)據(jù)中心、移動(dòng)終端、安防、自動(dòng)駕駛以及智能家居等眾多領(lǐng)域。2019年全球人工智能芯片市場規(guī)模為110億美元[1]，預(yù)計(jì)2025年將達(dá)到726億美元。對于如何衡量和評價(jià)人工智能芯片的性能，全球范圍內(nèi)尚未建立完善的基準(zhǔn)測評體系。缺少成熟的人工智能芯片測評體系，成為制約人工智能芯片的發(fā)展的一個(gè)重要原因。

1 人工智能芯片測評研究概述

1.1 人工智能芯片的分類

人工智能芯片按照應(yīng)用場景可分為云端（服務(wù)器側(cè)）和移動(dòng)端（邊緣側(cè)）兩類。按照芯片功能可分為訓(xùn)練和推理兩類。按照技術(shù)架構(gòu)可分為通用處理器、專用處理器和可重構(gòu)處理器三類。

通用處理器是基于馮·諾依曼體系結(jié)構(gòu)的，常見的有CPU、GPU 和DSP。CPU具有很強(qiáng)的通用性，能夠提供復(fù)雜的控制流，但對于人工智能芯片而言，深度神經(jīng)網(wǎng)絡(luò)算法的運(yùn)行過程幾乎不需要控制，數(shù)據(jù)流才是計(jì)算的主要部分，因此 CPU 的并行計(jì)算處理能力并不高。與CPU相比，GPU的處理器架構(gòu)擁有數(shù)量龐大的算數(shù)邏輯單元（ALU），使得其在大規(guī)模并行計(jì)算過程中能夠充分發(fā)揮優(yōu)勢，在模擬大型人工神經(jīng)網(wǎng)絡(luò)時(shí)，GPU架構(gòu)更具有優(yōu)勢。

圖1 CPU 與GPU 架構(gòu)圖

專用處理器是指專用集成電路（ASIC），ASIC是定制的專用人工智能芯片，它針對特定的計(jì)算網(wǎng)絡(luò)結(jié)構(gòu)采用了硬件電路實(shí)現(xiàn)的方式。在網(wǎng)絡(luò)模型算法和應(yīng)用需求固定的情況下，算法的“硬件化”帶來了高性能、低功耗等突出優(yōu)點(diǎn)，但缺點(diǎn)也十分明顯。一方面，ASIC芯片的開發(fā)需要很高的成本和較長的研發(fā)周期，另一方面，ASIC芯片一旦開始批量生產(chǎn)，就無法改變硬件架構(gòu)。

可重構(gòu)處理器是基于可配置處理單元的處理器，借助處理器自身實(shí)時(shí)動(dòng)態(tài)配置來改變存儲(chǔ)器與處理單元之間的連接，從而實(shí)現(xiàn)軟硬件協(xié)同設(shè)計(jì)。深度神經(jīng)網(wǎng)絡(luò)具有結(jié)構(gòu)多樣、數(shù)據(jù)量大、計(jì)算量大等特點(diǎn)，可重構(gòu)處理器允許硬件架構(gòu)和功能隨軟件變化而變化，既具備通用處理器的靈活性，又具備專用處理器的低功耗和高性能，可以滿足人工智能芯片“軟件定義芯片”這一特性，符合人工智能芯片未來發(fā)展趨勢。

1.2 人工智能芯片的衡量和評價(jià)指標(biāo)

對于不同應(yīng)用場景的人工智能芯片，衡量和評價(jià)的指標(biāo)完全不同。用于云端服務(wù)器的人工智能芯片追求低延時(shí)和低功耗，更加關(guān)注精度、處理能力、內(nèi)存容量和帶寬；而邊緣設(shè)備則需要功耗低、面積小、響應(yīng)時(shí)間短、成本低、安全性高的人工智能芯片。人工智能芯片的性能衡量指標(biāo)[2]應(yīng)該覆蓋以下8類。

（1）時(shí)延：時(shí)延指標(biāo)對于邊緣側(cè)人工智能芯片非常重要，5G邊緣計(jì)算和自動(dòng)駕駛領(lǐng)域均對人工智能芯片提出了低時(shí)延高性能的要求。

（2）功耗：功耗不僅包括了芯片中計(jì)算單元的功率消耗，還包括了片上和片外存儲(chǔ)器的功耗。

（3）芯片成本/面積：芯片成本/面積指標(biāo)對于邊緣側(cè)人工智能芯片十分重要。人工智能芯片的成本包括了芯片的硬件成本、設(shè)計(jì)成本和部署運(yùn)維成本。

（4）精度：識(shí)別或分類精度，反映了實(shí)際需求任務(wù)上的算法精度，體現(xiàn)了這個(gè)人工智能芯片的輸出質(zhì)量，精度指標(biāo)直接影響了推斷的準(zhǔn)確度。

（5）吞吐量：吞吐量對用于訓(xùn)練和推理的云端人工智能芯片來說，是最重要的衡量指標(biāo)。吞吐量表示單位時(shí)間能夠有效處理的數(shù)據(jù)量，除了用每秒操作數(shù)來定義外，也有的定義為每秒完成多少個(gè)完整的卷積，或者每秒完成多少個(gè)完整的推理。

（6）熱管理：隨著單位面積內(nèi)的晶體管數(shù)量不斷增加，芯片工作時(shí)的溫度急劇升高，為了達(dá)到足夠的散熱效果，需要有考慮周全的芯片熱管理方案，可以考慮暗硅、微型水管、制冷機(jī)、風(fēng)扇葉片、碳納米管等芯片冷卻技術(shù)[3]。

（7）可擴(kuò)展性：可擴(kuò)展性是指人工智能芯片具有可以通過擴(kuò)展處理單元及存儲(chǔ)器來提高計(jì)算性能的架構(gòu)，可擴(kuò)展性決定了是否可以用相同的設(shè)計(jì)方案部署在多個(gè)領(lǐng)域（如在云端和邊緣側(cè)）。

（8）靈活性：靈活性指的是這個(gè)人工智能芯片對不同應(yīng)用場景的適應(yīng)程度，即該芯片所使用的架構(gòu)和算法對于不同的深度學(xué)習(xí)模型和任務(wù)的適用性。

1.3 人工智能芯片測評技術(shù)難點(diǎn)

人工智能芯片的測評方法有兩條路線，分別是基于架構(gòu)層面的測評方法和基于應(yīng)用層面的基準(zhǔn)測試?；鶞?zhǔn)測試不僅可以真實(shí)反映人工智能芯片的使用情況、引入評估和選型的標(biāo)準(zhǔn)，還可以對人工智能芯片的架構(gòu)定義和優(yōu)化指引方向。

由于人工智能芯片衡量和評價(jià)指標(biāo)的復(fù)雜性，人工智能各種各樣的應(yīng)用、算法、體系結(jié)構(gòu)、電路和器件均對建立這一基準(zhǔn)提出了巨大的挑戰(zhàn)?；鶞?zhǔn)測試的技術(shù)難點(diǎn)主要在于以下三方面[4]：①具有普適性的最佳測評指標(biāo)難以建立。基于通用芯片設(shè)計(jì)領(lǐng)域的經(jīng)驗(yàn)可以得知，很難找到普適的最佳器件、架構(gòu)或算法。②其他操作對人工智能芯片測試結(jié)果造成的影響。除了基本的計(jì)算，一個(gè)公平的基準(zhǔn)測試必須考慮到諸如輸入、輸出和存儲(chǔ)器訪問等其他操作帶來的性能損失和功耗。③基準(zhǔn)測評體系對算法迭代的包容性。在人工智能領(lǐng)域，不論是理論研究還是應(yīng)用需求，都在不斷引入新的算法，基準(zhǔn)測評體系必須考慮到算法迭代跟進(jìn)的問題。

2 人工智能芯片測評研究現(xiàn)狀

2.1 架構(gòu)層面的測評研究現(xiàn)狀

從架構(gòu)層面來說，目前國內(nèi)外對于人工智能芯片架構(gòu)級測評方法還比較少。國內(nèi)外的測評方法主要有麻省理工學(xué)院及英偉達(dá)開發(fā)的專門的架構(gòu)層面人工智能芯片評價(jià)工具Accelergy和Timeloop。Accelergy主要用于評估架構(gòu)級的能耗，對基于處理單元的數(shù)量、存儲(chǔ)器容量、片上連接網(wǎng)絡(luò)的連接數(shù)量及長度等參數(shù)進(jìn)行評估。Timeloop是一個(gè)DNN的映射工具及性能仿真器，根據(jù)輸入的架構(gòu)描述，評估出這個(gè)人工智能芯片的運(yùn)算執(zhí)行情況。通過架構(gòu)級人工智能芯片的測評，可以實(shí)現(xiàn)不同架構(gòu)的芯片之間進(jìn)行公平的比較。

2.2 應(yīng)用層面的測評研究現(xiàn)狀

從應(yīng)用層面來說，國內(nèi)外對于人工智能芯片的基準(zhǔn)測試方法較為豐富。目前主流的基準(zhǔn)測評方法如表1所示。

2.3 測評研究綜合分析

對于人工智能芯片的測評，雖然基于應(yīng)用層面的基準(zhǔn)測試方法更為豐富，但是這類測評主要是靠運(yùn)行一些常見的神經(jīng)網(wǎng)絡(luò)或者其中使用較多的基本運(yùn)算來進(jìn)行評價(jià)，具有一定的局限性。以Fathom和DeepBench為例：Fathom雖然提出了一套比較完整的方法來對網(wǎng)絡(luò)模型進(jìn)行比較，但是Fathom并沒有對反卷積、下采樣等其他類型的神經(jīng)網(wǎng)絡(luò)進(jìn)行分析，且提供的測評指標(biāo)只有延遲時(shí)間，不適合用于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)芯片的全面評估。DeepBench的局限在于其只使用基本運(yùn)算來作為測評的工具，但實(shí)際上神經(jīng)網(wǎng)絡(luò)中層與層之間是需要進(jìn)行數(shù)據(jù)傳輸?shù)?，相互?lián)系緊密，把神經(jīng)網(wǎng)絡(luò)分解成單獨(dú)的基本運(yùn)算來作為測試集，不能反映出深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)芯片在整個(gè)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上的性能。

表1 國內(nèi)外基準(zhǔn)測試方法

從測評角度來看，人工智能芯片要兼顧在架構(gòu)級、算法級、電路級在各種工作負(fù)載時(shí)都能保持最佳性能和能效是非常困難的，因此，人工智能芯片的最優(yōu)設(shè)計(jì)方法是跨越這三個(gè)層級進(jìn)行“跨層”設(shè)計(jì)，這樣可以對各種參數(shù)和主表進(jìn)行總體的權(quán)衡。

3 未來研究趨勢

未來，人工智能芯片的測評研究應(yīng)該針對以下三方面開展：

（1）架構(gòu)層面的測評研究：針對建立公正、全面的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)芯片基準(zhǔn)測評體系目標(biāo)而言，不應(yīng)局限在建立測試集對人工智能芯片運(yùn)行神經(jīng)網(wǎng)絡(luò)的能力進(jìn)行測試，更應(yīng)在芯片架構(gòu)層面對人工智能芯片開展基準(zhǔn)測試。可以通過收集一組架構(gòu)級功能單元，確定定量和定性的優(yōu)值（Figures of Merits，F(xiàn)oM），開發(fā)測量 FoM 的統(tǒng)一方法[4]，定義具有可量化參數(shù)的通用功能單元，建立架構(gòu)層面人工智能芯片的基準(zhǔn)測評體系。

（2）靈活的基準(zhǔn)測評方法研究：針對不同場景下的使用需求，可以對人工智能芯片的八大評價(jià)指標(biāo)采用多目標(biāo)優(yōu)化的方式，建立靈活的基準(zhǔn)測評體系，為芯片供應(yīng)商和需求商提供靈活的針對特殊場景的人工智能芯片選型參考。

（3）基于新興器件的測評研究：當(dāng)前大部分的人工智能芯片是基于傳統(tǒng)的硅基CMOS電路設(shè)計(jì)和制造的，此類芯片由于受到馮·諾依曼架構(gòu)、暗硅等現(xiàn)象的影響，發(fā)展上受到很大限制。隨著新興器件的日益成熟，人工智能芯片的測評研究也應(yīng)著眼于未來，積極開展針對基于模擬計(jì)算和存內(nèi)計(jì)算、以非易失性存儲(chǔ)器為基本架構(gòu)的人工智能芯片的基準(zhǔn)測評研究。

4 結(jié)語

建立完善的人工智能芯片測評體系對于中國人工智能芯片市場競爭力的提升有著舉足輕重的作用，這迫切需要算法研究人員、架構(gòu)師、電路設(shè)計(jì)人員和器件專家聯(lián)合發(fā)力，共同開展人工智能芯片基準(zhǔn)測評研究。本文從行業(yè)發(fā)展需求出發(fā)，深入分析了國內(nèi)外人工智能芯片測評研究的發(fā)展現(xiàn)狀，剖析了現(xiàn)有測評方法存在的不足，在此基礎(chǔ)上提出了人工智能芯片測評研究未來的趨勢，為人工智能芯片開發(fā)和測試人員提供一定的參考。