近日，格拉茨技術(shù)大學(xué)的計算機(jī)科學(xué)家在Nature Machine Intelligence期刊上發(fā)表論文表明，他們通過在類腦神經(jīng)形態(tài)芯片上模擬人腦的長-短期記憶單元功能，大幅提高運(yùn)行大型深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的能源效率，最高達(dá)到其他人工智能系統(tǒng)的16倍。

英特爾的Nahuku線路板，每一個包含8到32張英特爾的Loihi神經(jīng)形態(tài)芯片

近年來，人工智能得到了突飛猛進(jìn)的發(fā)展，廣泛應(yīng)用于機(jī)器視覺、推薦算法、自動駕駛、生物醫(yī)療、自然語言處理、智能助手等等生活的方方面面，這樣的成就離不開其背后的核心，也即人工神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)技術(shù)的突破。人工神經(jīng)網(wǎng)絡(luò)非常擅長處理大量數(shù)據(jù)，能夠自主識別和推斷對象以及不同對象之間的關(guān)系，但其同樣極其驚人的能耗一直是阻礙這一領(lǐng)域發(fā)展的主要障礙，不僅設(shè)備、能源成本高昂導(dǎo)致高度中心化，還會帶來大量的碳排放，對環(huán)境非常不友好。

而在這次突破性研究中，格拉茨技術(shù)大學(xué)理論計算機(jī)科學(xué)研究所與英特爾神經(jīng)形態(tài)計算實(shí)驗(yàn)室的科學(xué)家們通過實(shí)驗(yàn)展示了，在運(yùn)行大型深度神經(jīng)網(wǎng)絡(luò)處理自然語言句子等序列時，使用他們的神經(jīng)形態(tài)技術(shù)硬件所消耗的能量只有非神經(jīng)形態(tài)硬件的1/4甚至是1/16。這一驚人的突破可能會以無法估量的方式推動人工智能的發(fā)展。

讓機(jī)器更像人

事實(shí)上，神經(jīng)形態(tài)的硬件并非是第一次提出。早在2014年，芯片制造頭部企業(yè)高通就做出了他們自己的神經(jīng)形態(tài)芯片（入選2014 年全球十大突破性技術(shù)），稱其為Zeroth計劃，并將其用于一只名叫Pioneer的哈巴狗大小的機(jī)器人。通過在芯片上直接模擬由億萬級別的神經(jīng)元和突觸構(gòu)成的大腦，這一技術(shù)能夠以大規(guī)模并行方式處理信息，憑借區(qū)區(qū)一塊智能手機(jī)芯片和攝像頭，Pioneer就能通過模仿和學(xué)習(xí)實(shí)現(xiàn)通常需要大型深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)、復(fù)雜特殊的編程以及大量電力才能完成的動作和任務(wù)。這是由于，相比于計算機(jī)傳統(tǒng)的基于馮·諾依曼架構(gòu)的線性計算，神經(jīng)形態(tài)芯片在處理圖像或是聲音方面的能力和效率要高得多，能夠以一種更像人的方式去理解周遭的環(huán)境和敘事，并對它們做出響應(yīng)。

具體到應(yīng)用，高通最為關(guān)注的是人工智能助理方面，有了神經(jīng)形態(tài)芯片的加持，智能助理將能以人類的方式去理解世界并與之互動，并學(xué)會預(yù)測你接下來的需求，比如不僅提示你照片中某個人物的名字，還可以幫助你回憶你和這個人是如何、在哪里認(rèn)識的，以及你們之間發(fā)生了什么故事等等。

不過，高通的Zeroth本質(zhì)上只是在芯片上通過模擬的方式搭載神經(jīng)形態(tài)軟件，雖然效果顯著，但與真正的“硬核”神經(jīng)網(wǎng)絡(luò)還有很大的差距。與此同時，歐洲的人類大腦計劃也投入約1億歐元用于神經(jīng)形態(tài)技術(shù)研究，格拉茨技術(shù)大學(xué)與英特爾的這項(xiàng)研究突破就是由該計劃資助的，而這一次，模擬大腦的深度學(xué)習(xí)軟件終于用上了同樣受大腦啟發(fā)的神經(jīng)網(wǎng)絡(luò)硬件。

高通的Zeroth NPU以及Pioneer機(jī)器人

向大腦學(xué)習(xí)

那么，格拉茨技術(shù)大學(xué)和英特爾的合作項(xiàng)目為什么能做到如此節(jié)能呢？這和他們模擬人腦的做法有關(guān)。人類大腦的能效極高，其中的數(shù)千億個神經(jīng)元在處理信息時只消耗大約20瓦的能量，差不多僅僅相當(dāng)于一個普通的節(jié)能燈泡的能耗。

研究人員發(fā)現(xiàn)，這種驚人的低能耗與人腦的一種短期記憶機(jī)制相關(guān)，“實(shí)驗(yàn)表明在沒有神經(jīng)活動的情況下，人腦仍然能夠在短時間內(nèi)存儲信息，存儲位置在神經(jīng)元所謂的“內(nèi)變量”上，”格拉茨技術(shù)大學(xué)教授、論文通訊作者沃夫?qū)が斔菇忉尩溃澳M實(shí)驗(yàn)表明一種神經(jīng)元子集的疲勞機(jī)制是實(shí)現(xiàn)這種短期記憶的關(guān)鍵所在。”

目前這項(xiàng)研究缺乏直接證據(jù)，因?yàn)檫@些“內(nèi)變量”暫時無法被測量，不過這已經(jīng)意味著大腦神經(jīng)網(wǎng)絡(luò)只需要通過檢測哪些神經(jīng)元處于疲勞狀態(tài)就可以重建它們之前處理的信息。換句話說，先前的信息（也即短期記憶）被存儲在神經(jīng)元的不活動狀態(tài)中，而神經(jīng)元不活動就意味著消耗的能量最少。

沃夫?qū)が斔菇淌?

英特爾的Nahuku線路板

于是，研究人員試圖復(fù)刻這種大腦機(jī)制以取代當(dāng)前傳統(tǒng)計算機(jī)芯片上高耗能的逐個檢索、來回訪問存儲的方式，采用英特爾的神經(jīng)形態(tài)Loihi芯片組成矩陣，開發(fā)出一種超極化后電位電流機(jī)制，并使用了兩種深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行測試。其中，反饋神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)“短期記憶”，使用大量循環(huán)模塊去尋找輸入信號中可能相關(guān)的信息；而前饋神經(jīng)網(wǎng)絡(luò)則負(fù)責(zé)判斷找到的這些關(guān)系當(dāng)中哪一些是真正與當(dāng)前任務(wù)有關(guān)的，并將無意義的關(guān)系篩掉。只有處理相關(guān)關(guān)系的“神經(jīng)元”模塊會被觸發(fā)，其他的則一概處于靜止?fàn)顟B(tài)，從而實(shí)現(xiàn)能耗的大大降低。

在測試中，研究人員在32張Loihi芯片的網(wǎng)絡(luò)上運(yùn)行他們的算法，并將一個由20個句子組成的故事給到了該神經(jīng)網(wǎng)絡(luò)，測試它對故事含義以及其中人、事、物關(guān)系的理解。結(jié)果表明，這一裝置的能效大幅超過了傳統(tǒng)計算機(jī)，“我們這個系統(tǒng)的能源效率達(dá)到了在傳統(tǒng)硬件上運(yùn)行其他人工智能模型的4到16倍”，格拉茨技術(shù)大學(xué)瑪斯教授的博士生、論文作者之一菲利普·普蘭克提到。同時，未來用上英特爾下一代的Loihi芯片之后，芯片間通訊的效率將得到大幅提升，所以他還預(yù)計，該系統(tǒng)的能效將進(jìn)一步提高。

菲利普·普蘭克

“英特爾與TU Graz的合作進(jìn)一步證明了神經(jīng)形態(tài)技術(shù)能夠通過從生物學(xué)的角度重新思考并顛覆深度學(xué)習(xí)技術(shù)，大幅提高其目前的能源效率。”

——英特爾神經(jīng)形態(tài)計算實(shí)驗(yàn)室的負(fù)責(zé)人麥克·戴維斯

麥克·戴維斯

多學(xué)科交叉發(fā)展

事實(shí)上，信息技術(shù)、人工智能與生命科學(xué)、腦神經(jīng)科學(xué)等的融合催生出突破性進(jìn)展本身并不是什么新鮮事了，這一點(diǎn)從歷年的《麻省理工科技評論》“全球十大突破性技術(shù)”評選就能看出，而這在大腦這一人體最復(fù)雜、精密的器官身上體現(xiàn)得尤為突出。

2006年入選“全球十大突破性技術(shù)”的“彌散張量成像”技術(shù)通過追蹤大腦中水分子擴(kuò)散的方向來繪制其中軸突的分布和走向，讓我們得以一窺大腦中神經(jīng)元之間傳輸電信號的腦白質(zhì)的真容，這一大腦成像技術(shù)的重大進(jìn)展加深了我們對大腦運(yùn)作方式的認(rèn)知。

大腦成像

彌散張量成像

“DTI讓我們能夠以前所未有的方式檢視大腦?！?/p>

——明尼蘇達(dá)大學(xué)醫(yī)學(xué)院神經(jīng)系統(tǒng)科學(xué)家和精神病學(xué)家開爾文·林，該技術(shù)的研究者之一

2008年入選“全球十大突破性技術(shù)”的“神經(jīng)連接組學(xué)”則另辟蹊徑，通過熒光蛋白等技術(shù)給大腦的神經(jīng)網(wǎng)絡(luò)進(jìn)行染色，從而嘗試為神經(jīng)系統(tǒng)中收集、處理和存儲信息的錯綜復(fù)雜的神經(jīng)回路創(chuàng)建物理映射，方便直接觀察。這一技術(shù)大大提高了科學(xué)家觀察大腦的“圖像分辨率”，使得他們可以在“大腦線路圖”中一目了然地觀測信息是如何在大腦的不同區(qū)域、不同神經(jīng)元以及不同突觸之間傳輸?shù)?，進(jìn)而研究各種發(fā)生機(jī)制，以及精神類疾病、神經(jīng)系統(tǒng)疾病究竟是哪些線路出錯導(dǎo)致的缺陷。

神經(jīng)連接組學(xué)

“大腦本質(zhì)上是一臺計算機(jī)，其發(fā)育過程實(shí)質(zhì)上就是自行布線的過程，它還支持重新布線（以適應(yīng)變化）。如果現(xiàn)在有一張大腦的線路圖，我們就能更好地了解它是如何工作的?！?/p>

——麻省理工學(xué)院計算神經(jīng)科學(xué)家塞巴斯蒂安·宋，該技術(shù)的研究者之一

我們對大腦結(jié)構(gòu)認(rèn)知的不斷進(jìn)步帶來的是人工智能領(lǐng)域的突破性進(jìn)展，其核心、也是前面提到過的深度學(xué)習(xí)技術(shù)（入選2013年“全球十大突破性技術(shù)”）就是一個典型的例子。它仿照大腦的神經(jīng)網(wǎng)絡(luò)去構(gòu)建人工的深層神經(jīng)網(wǎng)絡(luò)架構(gòu)，將大量數(shù)據(jù)篩過一層一層的“神經(jīng)元”，賦予機(jī)器以“學(xué)習(xí)”的能力。

深度學(xué)習(xí)

無獨(dú)有偶，2014年與“神經(jīng)形態(tài)芯片”一同入選“全球十大突破性技術(shù)”的“大腦圖譜”則是受益于偏振光成像技術(shù)的發(fā)展而產(chǎn)生的腦神經(jīng)科學(xué)突破。同樣是在歐洲的人類大腦計劃的資助下，一個由德國和加拿大科學(xué)家領(lǐng)導(dǎo)的研究小組花了10年的時間制作了一個大腦的三維圖集，構(gòu)建了一個支持在其中自由游走、放大、縮小以查看細(xì)節(jié)的高精度“數(shù)字大腦”，可以讓科學(xué)家非常清晰地看到完整腦組織內(nèi)細(xì)胞和神經(jīng)纖維的排列以及神經(jīng)元、神經(jīng)回路的空間結(jié)構(gòu)，其分辨率達(dá)到了此前這類圖集的50倍。

大腦圖譜

這一類的重大突破使得我們對大腦機(jī)制的認(rèn)知達(dá)到空前的高度，也帶來了人工智能領(lǐng)域的飛躍式發(fā)展。2017年“強(qiáng)化學(xué)習(xí)”入選“全球十大突破性技術(shù)”，其本質(zhì)就是模仿自然界大腦學(xué)習(xí)事物和技能的基本方法，即試錯機(jī)制。從腦科學(xué)的角度來說，人類學(xué)習(xí)的實(shí)質(zhì)就是不斷重復(fù)處理某個信息的過程，并在過程中“強(qiáng)化”其涉及到的神經(jīng)元與突觸乃至神經(jīng)網(wǎng)絡(luò)的連接，而強(qiáng)化學(xué)習(xí)顧名思義就是借鑒了這一機(jī)制并在軟件上加以實(shí)現(xiàn)的。它的出現(xiàn)和成熟使得機(jī)器可以在沒有明確指導(dǎo)的情況下像人一樣自主學(xué)習(xí)，甚至可以學(xué)習(xí)并掌握此前從未訓(xùn)練過的技能，對自動駕駛等無數(shù)領(lǐng)域有著極其深遠(yuǎn)的意義。

自此，這一領(lǐng)域呈現(xiàn)出爆發(fā)式增長。2018年“對抗性神經(jīng)網(wǎng)絡(luò)”(即生成式對抗網(wǎng)絡(luò)，GAN)入選“全球十大突破性技術(shù)”，賦予機(jī)器以“創(chuàng)造力”和“想象力”，能夠創(chuàng)造出從未出現(xiàn)過的事物，而且其假足以亂真。一些專家相信，GAN的出現(xiàn)意味著機(jī)器在某種程度上已經(jīng)開始理解它們所見到、所聽到的世界的底層架構(gòu)，它生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)的機(jī)制也反過來啟發(fā)了許多腦科學(xué)家，從人工智能的發(fā)展反向猜測、推導(dǎo)人的創(chuàng)造力乃至意識的產(chǎn)生和作用機(jī)制。

One More Thing

最近，比利時納米數(shù)字研究機(jī)構(gòu)Imec 開發(fā)了Neuropixels探測器，是一種新的探針，可以在神經(jīng)元的水平上觀察活體大腦。

神經(jīng)像素探針

觀測大腦的電場

這根探針是一根數(shù)字探針，用到了一種叫做神經(jīng)像素（Neuropixels，即新探測器的名字）的全新技術(shù)來觀察大腦，其功能類似于成像，不過，它記錄的是電場，而不是光場。它背后的研究團(tuán)隊有著多學(xué)科交叉背景，包括工程師、神經(jīng)科學(xué)家、軟件設(shè)計師等等，目前取得的成果也是充分利用了屬于其他領(lǐng)域的微電子學(xué)的發(fā)展，發(fā)明了一種新的傳感器，能夠同時監(jiān)聽任何一小部分腦組織中成千上萬個神經(jīng)元之間的電流對話。與此同時，Imec還創(chuàng)建了OpenScope共享大腦天文臺，向世界各地的大腦研究者提供開源數(shù)據(jù)。

這一突破毫無疑問會進(jìn)一步加深我們對大腦活動的理解，它又會給其他學(xué)科領(lǐng)域帶來什么樣的驚喜呢？讓我們拭目以待。

資助這次神經(jīng)形態(tài)芯片研究的人類大腦計劃也是一個多學(xué)科交叉的國際研究組織，成員包括來自神經(jīng)科學(xué)、醫(yī)學(xué)以及其他受腦科學(xué)啟發(fā)的科技領(lǐng)域的500多位科學(xué)家與工程師等等。他們最近正在建設(shè)一個永久性的研究機(jī)構(gòu)直譯為電子大腦，將進(jìn)一步以大腦為核心推動各個學(xué)科的融合發(fā)展。