摘要：在“2017中國(guó)集成電路產(chǎn)業(yè)促進(jìn)大會(huì)”上，清華大學(xué)魏少軍教授就架構(gòu)創(chuàng)新和高端芯片發(fā)展做了相關(guān)報(bào)告。根據(jù)魏少軍教授會(huì)上報(bào)告整理，已獲作者授權(quán)。關(guān)鍵詞：集成電路；架構(gòu)創(chuàng)新；高端芯片

0 引言

隨著近年來人工智能（AI）的興起，Al芯片的需求量越來越大，性能要求越來越高。而Al運(yùn)算量很大，這就意味著其需要有足夠高的運(yùn)算速度，預(yù)計(jì)其運(yùn)算速度需要達(dá)到每秒幾千億次。如果從能量效率角度分析，大概要做到每瓦1萬億次。因此，國(guó)內(nèi)做Al芯片的企業(yè)大部分還在用專用芯片在做。采用專用集成電路的問題在于，當(dāng)網(wǎng)絡(luò)一旦變化，專用集成電路做成的芯片將無法應(yīng)對(duì)再應(yīng)用。這就為可編程器件帶來了機(jī)遇。

1 FPGA難以達(dá)到Al的要求

可編程器件的一個(gè)優(yōu)點(diǎn)是可以通過軟件的方式來改變芯片的功能，從而適應(yīng)各種不同功能的應(yīng)用。最終提升銷量，從而分?jǐn)偖a(chǎn)品的成本。

而現(xiàn)在較為常用的可編程器件——FPGA仍然存在諸多問題，還難以達(dá)到Al的速率及通過軟件改變芯片功能的需求。

1） FPGA的配置信息量很大，多達(dá)數(shù)十兆字節(jié)，因而所需配置時(shí)間也很長(zhǎng)，大概要幾十毫秒，甚至幾秒。

2）能量效率低。FPGA面板利用率很低，大概只有5%用來進(jìn)行計(jì)算，95%用來配置信息。正因?yàn)槠?5%是用來配置用的，還要耗電，因而能量效率很低。

3）另外，由于各方面原因，F(xiàn)PGA往往需要最先進(jìn)的工藝，同時(shí)還必須要有電路設(shè)計(jì)的支持，這也帶來了高設(shè)計(jì)成本。

FPGA存在的問題總結(jié)起來包含十點(diǎn)：高細(xì)密度、配置信息量大、配置時(shí)間長(zhǎng)、需要斷電靜態(tài)配置、沒有邏輯復(fù)用能力、面積利用率低、能量效率低、工藝要求較高、對(duì)開發(fā)人員知識(shí)儲(chǔ)備要求高、價(jià)格貴，具體如表1所示。

2 理想的硬件結(jié)構(gòu)

如圖1所示系統(tǒng)架構(gòu)為設(shè)想的理想系統(tǒng)架構(gòu)。其中左邊為軟件（應(yīng)用），如果不考慮硬件的代價(jià)，左邊有怎樣的操作，右邊就要對(duì)應(yīng)怎樣的硬件，左邊和右邊的拓?fù)浣Y(jié)構(gòu)是完全一致的。從計(jì)算上來看，這樣的結(jié)構(gòu)一定是效率最高的。

在這樣的架構(gòu)中，軟件可以無窮大，例如寫一個(gè)循環(huán)語句，可以一直循環(huán)下去，但是硬件不論多大都是有邊界的，這就需要將軟件分塊搬到硬件上按順序執(zhí)行。這樣搬的過程中，右邊的硬件架構(gòu)其實(shí)是在不斷變化的，我們稱之為架構(gòu)和功能可以動(dòng)態(tài)按照軟件要求實(shí)時(shí)改變。

3 軟件執(zhí)行方式

軟件信息主要可以分為兩類：計(jì)算信息和控制信息。如果我們將軟件寫成如圖2所示形式，中間對(duì)應(yīng)的是控制信息，用來控制程序執(zhí)行流程，右邊對(duì)應(yīng)的是計(jì)算信息。如果將軟件中的計(jì)算信息和控制信息分開，就可以找到相應(yīng)的架構(gòu)，包括控制單元和數(shù)據(jù)通道。

數(shù)據(jù)通道對(duì)應(yīng)的是陣列，控制單元對(duì)應(yīng)的是有限狀態(tài)機(jī)，不論是陣列，還是有限狀態(tài)機(jī)，都是完全可編程的。從而實(shí)現(xiàn)不同軟件部分按要求搬進(jìn)去執(zhí)行，具體地，將分塊軟件按照他們的依賴關(guān)系送到數(shù)據(jù)通道中，通過數(shù)據(jù)通道配置其中陣列，并執(zhí)行。

而在軟件配置和執(zhí)行過程中，如果整個(gè)系統(tǒng)是按照C語言編寫的，通過編譯器會(huì)產(chǎn)生一系列的控制流，最后在硬件芯片上運(yùn)行。這種架構(gòu)的獨(dú)特之處在于采用控制流、數(shù)據(jù)流和配置流代替之前的指令集。

4 軟件定義芯片架構(gòu)

如圖3所示為基本馮諾依曼架構(gòu)，包括控制單元、算數(shù)邏輯單元、存儲(chǔ)器、輸入和輸出五個(gè)基本模塊。首先將存儲(chǔ)器分為兩塊，即l-Memory和D-Memory，分別對(duì)應(yīng)指令和數(shù)據(jù)，這就是HUS結(jié)構(gòu)。Input和Output合并，變成I/O：然后將存儲(chǔ)器分別放入控制單元和算數(shù)邏輯單元，再將I/O分為兩部分，一部分和控制單元相關(guān)，另一部分和數(shù)據(jù)邏輯單元相關(guān)：再將I/O分開，輸入放在上邊，輸出放在下邊：然后將這個(gè)結(jié)構(gòu)逆時(shí)針旋轉(zhuǎn)90度，得到的架構(gòu)即為軟件定義芯片架構(gòu)（以下簡(jiǎn)稱“新架構(gòu)”）。馮諾依曼到新架構(gòu)的架構(gòu)變換過程如圖4所示。

因此，該架構(gòu)實(shí)際上是從經(jīng)典的馮諾依曼架構(gòu)變換得來。但是它和馮諾依曼體系結(jié)構(gòu)又有所不同，即它不再使用指令集，而直接采用信息流，這也是兩者間的本質(zhì)區(qū)別。

另外，與傳統(tǒng)架構(gòu)比較，新架構(gòu)還具有以下特點(diǎn)：

1）傳統(tǒng)架構(gòu)都是馮諾依曼等效架構(gòu)，是剛性的：而功能化的硬件架構(gòu)，是應(yīng)用性的。

2）傳統(tǒng)架構(gòu)是應(yīng)用去適應(yīng)計(jì)算的架構(gòu)，新架構(gòu)是計(jì)算架構(gòu)適應(yīng)應(yīng)用。即，傳統(tǒng)架構(gòu)是軟件適用硬件，而新架構(gòu)是硬件適用軟件。

3）在傳統(tǒng)架構(gòu)中，一個(gè)任務(wù)一個(gè)軟件；而在新架構(gòu)中，一個(gè)任務(wù)會(huì)有多個(gè)等效軟件。

4）在傳統(tǒng)架構(gòu)中，硬件和軟件是不變的；在新架構(gòu)中，硬件和軟件是選擇性動(dòng)態(tài)改變的。

5）傳統(tǒng)架構(gòu)中，為了節(jié)省硬件資源，大量復(fù)用：新的架構(gòu)中是使用冗余方式實(shí)現(xiàn)的。

5 計(jì)算模式的改善

硬件配置時(shí)間和執(zhí)行時(shí)間對(duì)于硬件架構(gòu)來說是一個(gè)必須考慮的問題。當(dāng)硬件配置時(shí)間多于執(zhí)行時(shí)間時(shí)，顯然是不經(jīng)濟(jì)，不合理的。而新架構(gòu)在剛開始工作的時(shí)候，其中將近90%的時(shí)間都用來配置硬件，而只有10%的時(shí)間是用來進(jìn)行計(jì)算和執(zhí)行的。顯然這樣的架構(gòu)需要進(jìn)一步改善，主要通過以下兩種方式進(jìn)行改善：

1）首先將配置信息減少。通過采用諸如配置子圖的方式、結(jié)構(gòu)化組織等一系列方法，最終將配置信息減少將近80%。

2）數(shù)據(jù)不斷寫的過程也會(huì)耗費(fèi)大量時(shí)間。很多數(shù)據(jù)寫進(jìn)去并不需要翻譯，采用頻次優(yōu)先方法，用的最多的先寫入，頻次少的就不寫入或少寫入，這樣可以將整個(gè)配置時(shí)間縮短12倍。

其計(jì)算模式變化如圖5所示。傳統(tǒng)架構(gòu)是串行計(jì)算模式，而新架構(gòu)則是交叉的并行計(jì)算模式。經(jīng)過努力后，我們可以使一個(gè)陣列的計(jì)算時(shí)間占到整個(gè)運(yùn)行時(shí)間的90%，而只有10%的時(shí)間用來實(shí)現(xiàn)配置。這樣將多數(shù)時(shí)間用來計(jì)算的架構(gòu)才是更合理的架構(gòu)。

6 針對(duì)不規(guī)則陣列的架構(gòu)改善

在上述例子中給出的是規(guī)則的運(yùn)算陣列，而實(shí)際上的運(yùn)算陣列是不規(guī)則的，有不同的密度，中間可能出現(xiàn)迭代和循環(huán)，分支長(zhǎng)短可能不一。在規(guī)則的陣列上運(yùn)行不規(guī)則的運(yùn)算顯然會(huì)出現(xiàn)效率的高低。

陣列是硬性放大的，我們無法改變硬件，因而只能改變軟件，具體通過以下方法：

1）把軟件并行化處理。特別是控制性的軟件并行化處理，甚至在時(shí)空上也作相應(yīng)的變換，讓其在時(shí)空上也能并行化。

2）改變電源的供電情況。例如，在陣列中并非所有運(yùn)算單元同時(shí)存在，這樣就需要一部分打開，一部分關(guān)掉，由于完全關(guān)掉后重新啟動(dòng)需要很長(zhǎng)時(shí)間，會(huì)降低性能，因而要使其部分處于淺度睡眠，有的進(jìn)入深度睡眠，有的進(jìn)入淺度睡眠，從而恢復(fù)的時(shí)候，節(jié)省啟動(dòng)時(shí)間。

3）將軟件映射到不同的硬件上。不同映射形式會(huì)帶來不同的運(yùn)算結(jié)果，這里給出兩種不同的應(yīng)對(duì)方法，如圖6所示。a的數(shù)據(jù)走中間，可以通過route（計(jì)算資源）或者buffe（緩沖層）來傳輸，這兩種傳輸方式哪種更適合新架構(gòu)，還需要建立一整套模型，通過性能的模型實(shí)現(xiàn)各種仿生變換，最終確定最優(yōu)的執(zhí)行時(shí)間。如果建立面向性能的模型，可以使得性能提升20%：而如果建立面向功耗的模型，可以使功耗降低26%。但是，現(xiàn)在還無法建立兩種模型的統(tǒng)一方案。

7 編程語言

全新的架構(gòu)需要考慮全新的編程范式。傳統(tǒng)硬件用C語言編程：而出現(xiàn)GPU后，隨之而產(chǎn)生的是OpenCL編程語言；出現(xiàn)FPGA后，又有verilog、VHDL編程語言。而新架構(gòu)軟件的編程語言是基于傳統(tǒng)編程語言，而基于原有的編程語言，語言不變、硬件不變的情況下，就需要去想新的編程范式。

FPGA很多時(shí)候是在編譯時(shí)做分析，來進(jìn)行決策。例如非功能運(yùn)算是在運(yùn)行過程中通過依賴關(guān)系來決定。這種方法有諸多不便。其中，依賴關(guān)系在編程序的時(shí)候就知道了，并非到運(yùn)行的時(shí)候才會(huì)發(fā)現(xiàn)。新架構(gòu)編程序的過程中就可以發(fā)現(xiàn)其依賴關(guān)系，在編譯9新架構(gòu)的新應(yīng)用

這樣變化的結(jié)構(gòu)可以應(yīng)用到Al，Al還有很多新的變化，不同的應(yīng)用或神經(jīng)網(wǎng)絡(luò)，我們能否通過變結(jié)構(gòu)的方式，只要我們可以識(shí)別到一個(gè)具體的應(yīng)用，識(shí)別出他用的是一個(gè)怎樣的神經(jīng)網(wǎng)絡(luò)，就可以通過改變今天的功能來適應(yīng)他，產(chǎn)生全新的發(fā)展呢？

如圖8所示，采用新架構(gòu)設(shè)計(jì)的語音識(shí)別芯片，精度已經(jīng)可以達(dá)到91 .8%，可以識(shí)別聲紋，延時(shí)低達(dá)25 ms，功耗遠(yuǎn)遠(yuǎn)小于1 mW，應(yīng)用到手機(jī)上幾乎不耗電；右邊是一個(gè)人臉識(shí)別，人臉識(shí)別結(jié)果最主要的是精度，可以達(dá)到99%，人類只能識(shí)別97%，工作在200 MHz，可以實(shí)現(xiàn)6 ms，運(yùn)算功率，每瓦100萬億次的運(yùn)算。

10 結(jié)論

芯片工藝技術(shù)進(jìn)入10 nm，專用集成電路面臨嚴(yán)峻的挑戰(zhàn)，我們就該在架構(gòu)上進(jìn)行創(chuàng)新。其實(shí)在高端芯片上也是如此，如果跟著CPU的架構(gòu)前進(jìn)，我們永遠(yuǎn)是跟在別人后面的，能夠在架構(gòu)創(chuàng)新上超過別人才能引領(lǐng)時(shí)代。

硬件架構(gòu)隨著軟件變化而變化的全新概念在保證芯片的功能滿足要求的同時(shí)，又能保證其融合性，也是一項(xiàng)很好的創(chuàng)新。