徐 波　 劉成林　 曾 毅1 中國(guó)科學(xué)院自動(dòng)化研究所 北京 1001902 中國(guó)科學(xué)院腦科學(xué)與智能技術(shù)卓越創(chuàng)新中心 上海 200031

類腦智能研究現(xiàn)狀與發(fā)展思考*

徐 波1，2**劉成林1，2曾 毅1，2
1 中國(guó)科學(xué)院自動(dòng)化研究所 北京 100190
2 中國(guó)科學(xué)院腦科學(xué)與智能技術(shù)卓越創(chuàng)新中心 上海 200031

近年來(lái)人工智能研究的許多重要進(jìn)展反映了一個(gè)趨勢(shì)：來(lái)自腦科學(xué)的啟發(fā)，即使是局部的借鑒都能夠有效地提升現(xiàn)有人工智能模型與系統(tǒng)的智能水平。然而，想要真正逼近乃至超越人類水平的人工智能，還需要對(duì)腦信息處理機(jī)制更為深入的研究和借鑒。類腦智能研究的目標(biāo)就是通過(guò)借鑒腦神經(jīng)結(jié)構(gòu)及信息處理機(jī)制，實(shí)現(xiàn)機(jī)制類腦、行為類人的下一代人工智能系統(tǒng)。文章從受腦啟發(fā)的新一代人工神經(jīng)網(wǎng)絡(luò)、基于記憶、注意和推理的認(rèn)知功能模型、基于生物脈沖神經(jīng)網(wǎng)絡(luò)的多腦區(qū)協(xié)同認(rèn)知計(jì)算模型等角度，并結(jié)合研究團(tuán)隊(duì)在類腦智能領(lǐng)域的研究進(jìn)展，論述類腦智能的研究進(jìn)展、發(fā)展方向和對(duì)未來(lái)發(fā)展的思考。

類腦智能，人工神經(jīng)網(wǎng)絡(luò)，記憶，注意和推理，脈沖神經(jīng)網(wǎng)絡(luò)，多腦區(qū)協(xié)同，自主學(xué)習(xí)

人工智能學(xué)科自誕生之初便奠定了其模擬、延伸、擴(kuò)展人類智能的宏偉目標(biāo)。60 年來(lái)人工智能發(fā)展取得了巨大的成就，但是離學(xué)科誕生之初提出的實(shí)現(xiàn)人類水平智能的目標(biāo)仍然有很大的距離。以往人工智能的研究成果大多數(shù)屬于行為尺度模擬部分智能的計(jì)算模型。這是因?yàn)椋环矫鎮(zhèn)鹘y(tǒng)人工智能的主要研究者來(lái)自信息科學(xué)領(lǐng)域，另一方面腦科學(xué)研究以前還很難支持從更深入的機(jī)制上探索智能的本質(zhì)及其計(jì)算實(shí)現(xiàn)的機(jī)理。近年來(lái)，隨著腦與神經(jīng)科學(xué)領(lǐng)域新技術(shù)的不斷涌現(xiàn)，以及人工智能所依賴的深度學(xué)習(xí)、計(jì)算能力和數(shù)據(jù)發(fā)展，可以在更深刻的層面支持人工智能研究者對(duì)智能本質(zhì)的探索。類腦智能研究逐步引起學(xué)術(shù)界的廣泛注意，其核心是受腦啟發(fā)構(gòu)建機(jī)制類腦、行為類人的類腦智能計(jì)算模型。

本文將結(jié)合中科院自動(dòng)化所“十一五”末以來(lái)在類腦智能研究方向的布局和研究實(shí)踐，從腦與神經(jīng)科學(xué)對(duì)人工智能的潛在啟發(fā)、新一代人工神經(jīng)網(wǎng)絡(luò)、記憶認(rèn)知功能模型以及腦區(qū)協(xié)同認(rèn)知模型等角度概述近年來(lái)類腦研究關(guān)聯(lián)現(xiàn)狀與發(fā)展，并對(duì)類腦智能研究發(fā)展提出思考。

1 腦與神經(jīng)科學(xué)對(duì)人工智能的潛在啟發(fā)

腦與神經(jīng)科學(xué)的進(jìn)展，特別是借助新技術(shù)與新設(shè)備的研究支持研究者通過(guò)不同的實(shí)驗(yàn)方法（如生物解剖、電生理信號(hào)采集與分析、光遺傳技術(shù)、分子病毒學(xué)、功能影像分析等）得到對(duì)腦的多尺度、多類型的生物證據(jù)，正在嘗試從不同側(cè)面來(lái)揭示生物智能的結(jié)構(gòu)和功能基礎(chǔ)。從微觀神經(jīng)元、突觸工作機(jī)制及其特性，到介觀網(wǎng)絡(luò)連接模式，再到宏觀腦區(qū)間的鏈路及其協(xié)同特性，這些實(shí)驗(yàn)及機(jī)理研究得到的有關(guān)腦的多尺度結(jié)構(gòu)與功能機(jī)制將對(duì)構(gòu)建未來(lái)類腦智能計(jì)算模型提供重要啟發(fā)。

在微觀層面，生物神經(jīng)元和突觸的類型、數(shù)目等在不同腦區(qū)中具有較大差異，且能夠根據(jù)任務(wù)的復(fù)雜性實(shí)現(xiàn)結(jié)構(gòu)和功能的動(dòng)態(tài)適應(yīng)?，F(xiàn)有實(shí)驗(yàn)結(jié)果表明，興奮性神經(jīng)元在前饋神經(jīng)網(wǎng)絡(luò)的應(yīng)用中表現(xiàn)出較好的分類效果［1］，而更加結(jié)構(gòu)多樣和功能復(fù)雜的抑制性神經(jīng)元由于計(jì)算資源和學(xué)習(xí)方法的限制，尚未能像興奮性神經(jīng)元一樣在人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和學(xué)習(xí)過(guò)程中展示出應(yīng)有的潛力，這將是未來(lái)值得探索的重要研究方向。突觸方面，如時(shí)序依賴的突觸可塑性（Spike-Timing Dependent Plasticity， STDP）是一類時(shí)序依賴的連接權(quán)重學(xué)習(xí)規(guī)則，突觸權(quán)值的變化主要依賴于細(xì)胞放電發(fā)生于突觸前神經(jīng)元和突觸后神經(jīng)元的先后時(shí)刻，通過(guò)對(duì)放電時(shí)間差與權(quán)重更新建立數(shù)學(xué)映射關(guān)系，來(lái)描述網(wǎng)絡(luò)中的神經(jīng)連接強(qiáng)度的變化情況。該原則的生物基礎(chǔ)已經(jīng)在眾多的生物實(shí)驗(yàn)中被證實(shí)，可以分為二相STDP、三相STDP，以及部分類STDP機(jī)制，如電壓依賴的STDP等［2］。

在介觀層面，特異性的腦區(qū)內(nèi)部的連接模式和隨機(jī)性的網(wǎng)絡(luò)背景噪聲的有效融合，使得生物神經(jīng)網(wǎng)絡(luò)在保持了特定的網(wǎng)絡(luò)功能的同時(shí)，兼顧了動(dòng)態(tài)的網(wǎng)絡(luò)可塑性。例如生物神經(jīng)網(wǎng)絡(luò)中的泊松背景噪聲對(duì)生物神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練過(guò)程起到極大的促進(jìn)作用［3］。此外，腦與神經(jīng)科學(xué)研究者普遍認(rèn)為神經(jīng)元連接構(gòu)成的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)認(rèn)知功能的實(shí)現(xiàn)具有決定性的支撐作用［4］。神經(jīng)元之間構(gòu)成的網(wǎng)絡(luò)基序及基序結(jié)構(gòu)的組合對(duì)神經(jīng)信息處理過(guò)程也發(fā)揮著決定性作用。由于神經(jīng)元類型的不同，使得神經(jīng)元之間的網(wǎng)絡(luò)連接更為復(fù)雜。例如實(shí)驗(yàn)表明，有些神經(jīng)元傾向于與同類型的神經(jīng)元相連接，有些神經(jīng)元傾向于與其他類型的神經(jīng)元連接，而有些神經(jīng)元?jiǎng)t只與其他類型的神經(jīng)元連接［5］。此外還發(fā)現(xiàn)，認(rèn)知功能相近的神經(jīng)元更容易形成突觸連接［6］。值得思考的問(wèn)題是：不同的連接模式對(duì)應(yīng)的功能差異是什么？對(duì)于認(rèn)知功能的實(shí)現(xiàn)具有何種意義？實(shí)踐表明這些結(jié)論都對(duì)未來(lái)類腦神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)有重要的潛在啟發(fā)。

在宏觀層面，不同腦區(qū)之間的協(xié)同使得高度智能的類人認(rèn)知功能得以實(shí)現(xiàn)。如哺乳動(dòng)物腦的強(qiáng)化學(xué)習(xí)認(rèn)知功能，長(zhǎng)時(shí)、短時(shí)記憶功能等都是通過(guò)不同腦區(qū)功能的協(xié)同實(shí)現(xiàn)更為復(fù)雜的認(rèn)知功能。腦區(qū)之間的連接不僅決定信號(hào)的傳遞，而且反映了信息處理的機(jī)制。如腦區(qū)之間的前饋連接可能反映了信息的逐層抽象機(jī)制，而反饋連接則反映了相對(duì)抽象的高層信號(hào)對(duì)低層信號(hào)的指導(dǎo)或影響。此外，有些腦區(qū)負(fù)責(zé)融合來(lái)自不同腦區(qū)的信號(hào)，從而使對(duì)客觀對(duì)象的認(rèn)識(shí)更為全面（如顳極對(duì)多模態(tài)感知信號(hào)的融合），而有些腦區(qū)在接收到若干腦區(qū)的輸入后則負(fù)責(zé)在問(wèn)題求解的過(guò)程中屏蔽來(lái)自問(wèn)題無(wú)關(guān)腦區(qū)的信號(hào)。

要實(shí)現(xiàn)人類水平的智能，需要計(jì)算模型能夠融合來(lái)自微觀、介觀、宏觀多尺度腦結(jié)構(gòu)和信息處理機(jī)制的啟發(fā)。實(shí)現(xiàn)跨尺度機(jī)制的融合，才能夠?qū)嵸|(zhì)性顛覆現(xiàn)有計(jì)算模型，實(shí)現(xiàn)有深遠(yuǎn)影響的原始性創(chuàng)新。

2 新一代人工神經(jīng)網(wǎng)絡(luò)模型研究

雖然傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)在神經(jīng)元、突觸連接等方面初步借鑒了腦神經(jīng)系統(tǒng)在微觀尺度的概念和結(jié)構(gòu)，但是在信息處理機(jī)制上真正從腦科學(xué)借鑒的機(jī)制并不深刻。近年來(lái)發(fā)展起來(lái)的深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network， DNN）模型抓住了人腦在腦區(qū)尺度進(jìn)行層次化信息處理的機(jī)制，在計(jì)算和智能模擬能力上取得重要突破，并在模式識(shí)別和人工智能應(yīng)用領(lǐng)域取得了巨大成功。

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Nerwork，CNN）作為 DNN 的一種，是受生物視覺(jué)系統(tǒng)的啟示，將生物神經(jīng)元之間的局部連接關(guān)系（局部感受野）以及信息處理的層級(jí)結(jié)構(gòu)應(yīng)用到計(jì)算模型中［7］：當(dāng)具有相同參數(shù)的神經(jīng)元應(yīng)用到前一層的不同位置時(shí)，可以獲取具有某種不變性的特征。CNN 在從低層到高層的過(guò)程中感受野越來(lái)越大，逐漸模擬了低級(jí)的 V1 區(qū)提取邊緣特征，再到 V2 區(qū)的形狀或者目標(biāo)的部分等，再到更高層的 V4、IT 區(qū)等，高層的特征是低層特征的組合，從低層到高層的特征表示越來(lái)越抽象。研究者詳細(xì)對(duì)比了 DNN 的高層與靈長(zhǎng)類動(dòng)物 IT 區(qū)在物體識(shí)別任務(wù)中的關(guān)系［8，9］，發(fā)現(xiàn) DNN 的高層能夠很好地反映出 IT 區(qū)的物體識(shí)別特性，證實(shí)了 DNN 與生物視覺(jué)系統(tǒng)在某種程度上的相似性。

基于 CNN 的深度學(xué)習(xí)方法在視覺(jué)、語(yǔ)音領(lǐng)域的諸多任務(wù)中均取得突破性的進(jìn)展，其端到端的建模和學(xué)習(xí)能力顛覆了傳統(tǒng)的“特征+分類器學(xué)習(xí)”的固有模式，使得特征和分類器不再有明確的界限，它們均能在 CNN 中一體化地學(xué)習(xí)。

神經(jīng)科學(xué)研究已證明腦皮層中反饋神經(jīng)元連接比前饋多得多，但反饋的神經(jīng)機(jī)制和作用尚待深入研究。傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)模型里一般只有前饋連接，尚缺乏對(duì)反饋的建模。為了更好地模擬人腦，最近有很多研究探索如何將反饋引入神經(jīng)網(wǎng)絡(luò)模型。例如，Liang等人［10，11］提出在 CNN 的卷積層加上層內(nèi)連接的方法，使每個(gè)單元可同時(shí)接收前饋和反饋的輸入；Wang等人［12］通過(guò) topdown 的反饋連接和乘法機(jī)制引入注意力模型；Cao 等人［13］在 CNN 的卷積層加上層間的反饋連接，將高級(jí)的語(yǔ)義和全局信息傳到下層，通過(guò)語(yǔ)義標(biāo)簽的反饋，可以激活特定的與目標(biāo)語(yǔ)義相關(guān)的神經(jīng)元，從而實(shí)現(xiàn)自頂向下的視覺(jué)注意，定位復(fù)雜背景中的潛在目標(biāo)。

強(qiáng)化學(xué)習(xí)是人類通過(guò)交互進(jìn)行學(xué)習(xí)的重要方式之一。Google DeepMind 團(tuán)隊(duì)將深度神經(jīng)網(wǎng)絡(luò)與強(qiáng)化學(xué)習(xí)融合［14］，構(gòu)建的深度強(qiáng)化學(xué)習(xí)模型可用于自動(dòng)學(xué)習(xí)打 49 種電腦游戲。該模型借鑒了人類通過(guò)與環(huán)境進(jìn)行交互，自動(dòng)學(xué)習(xí)選擇最佳策略、采取最佳行動(dòng)的學(xué)習(xí)過(guò)程。在此基礎(chǔ)上開(kāi)發(fā)的 AlphaGo 在與韓國(guó)圍棋棋手李世石的交戰(zhàn)中以 4:1的成績(jī)獲得勝利［15］。該團(tuán)隊(duì)巧妙地讓兩個(gè)圍棋機(jī)器人互相切磋棋藝，在交互中采用強(qiáng)化學(xué)習(xí)，對(duì)策略網(wǎng)絡(luò)和價(jià)值網(wǎng)絡(luò)進(jìn)行更新。強(qiáng)化學(xué)習(xí)在一定程度上解決了深度學(xué)習(xí)的大數(shù)據(jù)依賴問(wèn)題，如在上述例子中，人類棋譜的數(shù)量是有限的，而強(qiáng)化學(xué)習(xí)產(chǎn)生了更多可供學(xué)習(xí)的棋局。此項(xiàng)工作還說(shuō)明了不同功能網(wǎng)絡(luò)的協(xié)同，能夠提升智能系統(tǒng)的水平。

雖然現(xiàn)有 DNN 模型從某種尺度初步借鑒了人腦信息處理的部分原理，但總體而言依然是初步的嘗試。對(duì)腦信息處理機(jī)制的深度借鑒來(lái)提升現(xiàn)有模型仍然具有很大空間。目前在神經(jīng)元的類型、突觸的類型及其工作機(jī)理、網(wǎng)絡(luò)權(quán)重更新、網(wǎng)絡(luò)背景噪聲等方面，神經(jīng)生物學(xué)的研究都取得了可以被計(jì)算模型應(yīng)用的進(jìn)展。許多研究團(tuán)隊(duì)已經(jīng)構(gòu)建了一系列滿足不同尺度生物實(shí)驗(yàn)證據(jù)和約束的計(jì)算模型，如生物神經(jīng)元模型［16-18］、生物突觸模型［19，20］、生物脈沖神經(jīng)網(wǎng)絡(luò)計(jì)算模型［21］。這些都為未來(lái)脈沖神經(jīng)網(wǎng)絡(luò)（Spiking Neural Network， SNN）的進(jìn)一步研究奠定了堅(jiān)實(shí)的基礎(chǔ)，提供了創(chuàng)新源泉。人腦的神經(jīng)系統(tǒng)存在很多反饋連接，例如自頂向下的視覺(jué)注意就是來(lái)自于從高級(jí)認(rèn)知腦區(qū)（如PFC、LIP 等）的腦活動(dòng)到初級(jí)視覺(jué)腦區(qū)的反饋信號(hào)，現(xiàn)有模型中雖然有些神經(jīng)網(wǎng)絡(luò)引入了反饋的概念［10，11］，但是反饋如何影響低層的輸入信號(hào)以及跨層的反饋等，模型中并沒(méi)有深入考慮。此外，DNN 的領(lǐng)域特異性強(qiáng)，擴(kuò)展和泛化能力相對(duì)較差，不同領(lǐng)域之間很難實(shí)現(xiàn)知識(shí)共享，而人類不同的感知模態(tài)之間存在著很強(qiáng)的相互作用，不同模態(tài)的知識(shí)能夠很好地共享。

通過(guò)與腦科學(xué)的緊密聯(lián)系和深度交叉，構(gòu)建更加類腦的神經(jīng)網(wǎng)絡(luò)計(jì)算模型和學(xué)習(xí)方法是類腦智能的研究方向之一。

3 基于記憶、推理和注意的認(rèn)知功能研究

認(rèn)知體系結(jié)構(gòu)研究是類腦認(rèn)知計(jì)算模型研究發(fā)展歷程上代表性的方向之一，其中最具代表性的成果是思維的自適應(yīng)控制（Adaptive Control of Thoughts）認(rèn)知體系結(jié)構(gòu)。該模型受到了從人工智能視角研究認(rèn)知科學(xué)的早期實(shí)踐者之一 Allen Newell 思想的影響［22］。該模型的特點(diǎn)是覆蓋了感知、決策、語(yǔ)言、運(yùn)動(dòng)等廣泛的認(rèn)知功能，模塊在行為層面模擬了對(duì)應(yīng)的腦區(qū)功能，并具備堅(jiān)實(shí)的認(rèn)知心理學(xué)依據(jù)。然而該模型全部采用產(chǎn)生式實(shí)現(xiàn)認(rèn)知功能，本質(zhì)上是一個(gè)規(guī)則系統(tǒng)，且認(rèn)知功能間的協(xié)同并非自組織。由于其計(jì)算模型沒(méi)有采用神經(jīng)網(wǎng)絡(luò)，其介觀和微觀實(shí)現(xiàn)機(jī)理與人腦還存在較大區(qū)別，且很難處理大規(guī)?，F(xiàn)實(shí)世界問(wèn)題。

近年來(lái)深度學(xué)習(xí)除了在視覺(jué)、語(yǔ)音信息處理領(lǐng)域的長(zhǎng)足進(jìn)展與成功應(yīng)用外，在自然語(yǔ)言處理領(lǐng)域也取得了重要突破。不僅在文本語(yǔ)義特征表示方面具有明顯的優(yōu)勢(shì)［23，24］，在關(guān)系分類［25］、情感識(shí)別［26］和信息檢索［27］等應(yīng)用任務(wù)中也優(yōu)于基于人工構(gòu)造特征的傳統(tǒng)方法。記憶（Memory）、推理（Reasoning）和注意（Attention）等機(jī)制逐漸成為神經(jīng)網(wǎng)絡(luò)領(lǐng)域的新研究熱點(diǎn)。

2015年12月，由Facebook人工智能研究院的Jason Weston 牽頭在人工智能領(lǐng)域頂級(jí)會(huì)議 NIPS2015上組織了一項(xiàng)關(guān)于記憶、推理和注意機(jī)制的研討會(huì)，簡(jiǎn)稱 RAM （Memory， Reasoning， Attention）研討會(huì)［28］。參會(huì)者討論認(rèn)為，合理采用記憶、推理和注意機(jī)制，可以有效地解決人工智能的很多核心問(wèn)題，并提出目前主要注意的問(wèn)題。（1）記憶單元中存儲(chǔ)哪些內(nèi)容？（2）神經(jīng)記憶單元中記憶的表示形式？（3）記憶單元規(guī)模較大時(shí)如何進(jìn)行快速語(yǔ)義激活？（4）如何構(gòu)建層次化記憶結(jié)構(gòu)？（5）如何進(jìn)行層次化信息推理？（6）如何對(duì)冗余信息進(jìn)行遺忘或壓縮處理？（7）如何評(píng)價(jià)系統(tǒng)的推理和理解能力？（8）如何從人類或動(dòng)物記憶機(jī)制中獲得啟發(fā)？［29］

Chaudhuri 和 Fiete［29］指出：“記憶”是指神經(jīng)系統(tǒng)中任何活動(dòng)或連接變化的總稱，這種變化由信號(hào)刺激或大腦狀態(tài)觸發(fā)并且持續(xù)時(shí)間要長(zhǎng)于觸發(fā)時(shí)間?！坝洃洝本哂凶赃m應(yīng)性，具有記憶單元的智能體可以從經(jīng)驗(yàn)中學(xué)習(xí)，概括能力更佳，可以利用先驗(yàn)信息在不完整數(shù)據(jù)中進(jìn)行更好地推理和預(yù)測(cè)。傳統(tǒng)方法將記憶分為“短時(shí)記憶”和“長(zhǎng)時(shí)記憶”。從認(rèn)知神經(jīng)科學(xué)角度看，短時(shí)記憶是由刺激產(chǎn)生神經(jīng)元狀態(tài)的持續(xù)性變化，而長(zhǎng)時(shí)記憶是指神經(jīng)元之間突觸的連接和強(qiáng)度變化［29］；從智能應(yīng)用角度看，短時(shí)記憶由當(dāng)前環(huán)境數(shù)據(jù)產(chǎn)生的狀態(tài)編碼更新和存儲(chǔ)，而長(zhǎng)時(shí)記憶是對(duì)歷史信息進(jìn)行高度經(jīng)驗(yàn)性概括的編碼，如概念、實(shí)體和結(jié)構(gòu)化知識(shí)的表示。

早期利用神經(jīng)網(wǎng)絡(luò)對(duì)信息進(jìn)行編碼記憶的模型注重于神經(jīng)記憶單元的結(jié)構(gòu)化設(shè)計(jì)，如在端到端編解翻譯模型中采用長(zhǎng)短期記憶（LSTM）單元［30，31］。該記憶單元采用累加器和門控神經(jīng)元進(jìn)行記憶細(xì)胞信息編碼的更新，其中遺忘門控神經(jīng)元決定細(xì)胞丟棄哪些編碼信息，輸入門控神經(jīng)元確定當(dāng)前時(shí)刻要更新的信息，狀態(tài)更新累加器神經(jīng)元由遺忘門和輸入門共同更新細(xì)胞狀態(tài)，而輸出門控神經(jīng)元?jiǎng)t決定了當(dāng)前時(shí)刻細(xì)胞的輸出狀態(tài)。目前基于 LSTM 單元或其他相關(guān)改進(jìn)記憶單元已較好地應(yīng)用于各種編解碼任務(wù)，如對(duì)話系統(tǒng)［32］。

然而，神經(jīng)記憶模型將外部輸入信息壓縮到固定長(zhǎng)度的向量化編碼中存在較大的局限性。當(dāng)外部信息量較大時(shí)，記憶編碼容易丟失細(xì)節(jié)信息，使得智能系統(tǒng)的語(yǔ)義解析能力變?nèi)酰?3，34］。針對(duì)此問(wèn)題，一種解決方案是增大記憶單元的編碼維度，如在機(jī)器翻譯任務(wù)中采用4 000 維以上神經(jīng)元［33］。該方法大大提高了神經(jīng)網(wǎng)絡(luò)模型的計(jì)算復(fù)雜度。

近兩年，幾位研究者從不同角度出發(fā)分別提出了采用非定長(zhǎng)記憶單元和注意機(jī)制進(jìn)行信息動(dòng)態(tài)提取和融合的解決方案［33，35，36］。其中，非定長(zhǎng)記憶編碼是一種由輸入信息長(zhǎng)度動(dòng)態(tài)調(diào)整記憶編碼長(zhǎng)度的模式，可改善傳統(tǒng)編解碼記憶模型中將輸入信息全部壓縮到一個(gè)固定長(zhǎng)度編碼的局限性。采用非定長(zhǎng)記憶編碼機(jī)制后，編碼端的記憶編碼量有所增加，若全部作為解碼端的輸入，反而會(huì)因?yàn)檎Z(yǔ)義信息冗余而獲得較差性能。為此，研究者們相應(yīng)地提出了注意機(jī)制進(jìn)行動(dòng)態(tài)地編碼信息融合。注意機(jī)制是由外部刺激引發(fā)注意轉(zhuǎn)變，從環(huán)境和非定長(zhǎng)記憶編碼單元中選擇重要信息進(jìn)行融合，得到當(dāng)前時(shí)刻刺激下有限長(zhǎng)度的語(yǔ)義向量。另外，在一些自動(dòng)問(wèn)答等任務(wù)中往往需要通過(guò)推理才能從記憶單元中挖掘到有用的語(yǔ)義信息，一些研究者又采用多輪注意機(jī)制迭代的方式從記憶單元中逐次激活語(yǔ)義信息完成推理，找到目標(biāo)信息［35，37］。目前相關(guān)工作已分別在機(jī)器翻譯［33］、自動(dòng)問(wèn)答［35］和圖靈機(jī)模擬［36］等任務(wù)中取得了良好表現(xiàn)。

上述機(jī)制不但在自然語(yǔ)言處理領(lǐng)域存在深入研究和廣泛應(yīng)用的潛力，其中某些機(jī)制在其他認(rèn)知功能的建模方面也已取得了初步成果。例如注意機(jī)制在視覺(jué)信息處理的研究中已成為一個(gè)重要分支。人類視覺(jué)系統(tǒng)能夠在復(fù)雜場(chǎng)景中迅速地將注意力集中在顯著的視覺(jué)對(duì)象上，這個(gè)過(guò)程稱之為視覺(jué)選擇性注意。人類的視覺(jué)注意過(guò)程包括兩個(gè)方面：由刺激驅(qū)動(dòng)的自下而上的視覺(jué)注意過(guò)程和由任務(wù)驅(qū)動(dòng)的自上而下的視覺(jué)注意過(guò)程。目前的視覺(jué)注意計(jì)算模型集中在對(duì)自下而上的注意機(jī)制的建模，其中 Itti 的顯著圖模型［38，39］最具有代表性，該模型將多種尺度下的多種特征通過(guò)中心-周邊算子得到顯著性度量結(jié)果。相對(duì)于自下而上的視覺(jué)注意計(jì)算模型，自上而下的視覺(jué)注意過(guò)程研究相對(duì)較少，其中的工作可以追溯到Y(jié)arbus 等人［40］，他們發(fā)現(xiàn)實(shí)驗(yàn)者觀察照片時(shí)的眼動(dòng)模式與被問(wèn)的問(wèn)題有關(guān)。有研究還發(fā)現(xiàn)大部分的注視點(diǎn)（fixation）集中在與任務(wù)相關(guān)的位置上。在自上而下的視覺(jué)注意計(jì)算模型方面主要的工作來(lái)自 Ittil 研究組［41-43］。

神經(jīng)網(wǎng)絡(luò)計(jì)算模型對(duì)推理、注意、記憶的借鑒雖然已在應(yīng)用層面取得了很好的效果，然而進(jìn)一步的發(fā)展還需要更為深刻地在機(jī)制與原理層面受腦研究的啟發(fā)。例如在推理方面，認(rèn)知神經(jīng)科學(xué)的研究就分別探討了不同形式的歸納推理、演繹推理的神經(jīng)機(jī)制［44，45］。而對(duì)于記憶的探索，腦與神經(jīng)科學(xué)研究中也從不同視角對(duì)記憶進(jìn)行分門別類的研究，如發(fā)現(xiàn)支持長(zhǎng)時(shí)記憶、短時(shí)記憶、工作記憶、陳述性記憶、程序性記憶等不同類型記憶的神經(jīng)環(huán)路和神經(jīng)機(jī)制上都具有較大差別［46］。對(duì)這些腦機(jī)制的深入探索與應(yīng)用必將為神經(jīng)網(wǎng)絡(luò)計(jì)算模型的進(jìn)一步發(fā)展帶來(lái)新的契機(jī)。

4 基于脈沖神經(jīng)網(wǎng)絡(luò)的腦區(qū)協(xié)同認(rèn)知模型研究

雖然來(lái)自神經(jīng)科學(xué)的啟發(fā)已在人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方面顯現(xiàn)出巨大潛力，但是僅借鑒神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)機(jī)制還不能夠完全支持實(shí)現(xiàn)類似于人腦的通用智能能力，其原因在于人類的認(rèn)知功能多種多樣，真正通用的類腦智能研究需要融合不同認(rèn)知功能對(duì)應(yīng)神經(jīng)機(jī)制和認(rèn)知行為機(jī)制的啟發(fā)，構(gòu)建面向通用智能的類腦認(rèn)知計(jì)算模型。

從神經(jīng)網(wǎng)絡(luò)出發(fā)的撓墻協(xié)同模型代表性工作是 2012年加拿大滑鐵盧大學(xué)研制的 SPAUN 腦模擬器［47］。SPAUN 將 250 萬(wàn)個(gè)神經(jīng)元模塊化地分割組織為 10 余個(gè)腦區(qū)，通過(guò)構(gòu)建不同的工作流實(shí)現(xiàn)了模擬筆跡、邏輯填空、工作記憶、視覺(jué)信息處理等能力。SPAUN 采用了簡(jiǎn)化的 SNN，通過(guò)腦區(qū)之間模塊化的組織實(shí)現(xiàn)了特定認(rèn)知功能的初步建模。雖然相對(duì)其他模型而言，SPAUN 已經(jīng)部分接近真實(shí)大腦工作原理，但是該模型仍然具有極大的提升空間，主要表現(xiàn)在 3 個(gè)方面：（1）目前 SPAUN 感知區(qū)域全部用深度網(wǎng)絡(luò)代替，仍然是對(duì)感知功能粗略的建模；（2）SPAUN 針對(duì)不同的認(rèn)知任務(wù)繪制不同的工作流，不能自主決策任務(wù)的類型，不能對(duì)任務(wù)進(jìn)行自主建模；（3）SPAUN 腦區(qū)之間的連接是邏輯連接，沒(méi)有真正采用生物腦的約束，沒(méi)有實(shí)質(zhì)性地通過(guò)借助腦區(qū)之間的各種連接、腦的工作機(jī)制來(lái)提升智能水平。

人類多數(shù)高級(jí)認(rèn)知功能的實(shí)現(xiàn)都與腦皮層密切相關(guān)，許多認(rèn)知計(jì)算模型的研究希望構(gòu)建通用的皮層計(jì)算模型，并以此突破通用智能。其中分層時(shí)序記憶（Hierarchical Temporal Memory，HTM）模型便是其中的代表性工作［48］。該模型受皮層組織及皮層信息處理機(jī)制啟發(fā)，實(shí)現(xiàn)了對(duì)皮層的不同層次功能的初步建模。該模型整合了空間和時(shí)間編碼，與人類認(rèn)知功能更接近，可實(shí)現(xiàn)時(shí)序數(shù)據(jù)信息抽取和模態(tài)預(yù)測(cè)，目前已廣泛應(yīng)用于多種智能數(shù)據(jù)處理領(lǐng)域，如交通流量預(yù)測(cè)、股票交易數(shù)據(jù)預(yù)測(cè)、服務(wù)器流量預(yù)測(cè)等。然而，該模型對(duì)皮層層次所對(duì)應(yīng)功能只是進(jìn)行了粗略對(duì)應(yīng)，與真實(shí)皮層結(jié)構(gòu)仍有較大差距，且模型是對(duì)皮層微柱的建模，沒(méi)有腦區(qū)層次的啟發(fā)和協(xié)同機(jī)制，也沒(méi)有自動(dòng)問(wèn)題建模的能力，認(rèn)知功能的實(shí)現(xiàn)還無(wú)法達(dá)到自組織。

在構(gòu)建類腦認(rèn)知模型中，脈沖神經(jīng)網(wǎng)絡(luò)（Spiking Neural Network， SNN）被認(rèn)為是能接近仿生機(jī)制的神經(jīng)網(wǎng)絡(luò)模型，其模型基礎(chǔ)和運(yùn)算方式與哺乳動(dòng)物腦更為接近［49］。與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型最大的區(qū)別是：SNN 的神經(jīng)元以電脈沖的形式對(duì)信息進(jìn)行編碼，這更接近真實(shí)神經(jīng)元對(duì)信息的編碼方式。由于采用了此種方式進(jìn)行編碼，使得 SNN 能夠很好地編碼時(shí)間信息。考慮到 DNN 所忽略的很多生物規(guī)則可能恰恰是實(shí)現(xiàn)類腦智能的關(guān)鍵（如對(duì)于時(shí)間的編碼、抑制性神經(jīng)元在網(wǎng)絡(luò)中的特殊作用等），將這些生物規(guī)則加入到SNN 中將有可能使現(xiàn)有網(wǎng)絡(luò)獲得更強(qiáng)大的計(jì)算和任務(wù)適應(yīng)能力，這將是提升類腦神經(jīng)網(wǎng)絡(luò)模型最有效的手段與研究方向之一。

為了實(shí)現(xiàn)面向通用智能的類腦智能計(jì)算模型，中科院腦科學(xué)與智能技術(shù)卓越創(chuàng)新中心多個(gè)團(tuán)隊(duì)協(xié)同，圍繞SNN 自身模型的優(yōu)化和多腦區(qū)系統(tǒng)模型［47，50］（圖 1）等，正在進(jìn)行類腦認(rèn)知計(jì)算模型的研制。在 SNN 優(yōu)化方面，將受生物現(xiàn)象啟發(fā)的部分學(xué)習(xí)規(guī)則加入到 SNN 的學(xué)習(xí)框架中來(lái)，以嘗試提升現(xiàn)有的 SNN 模型，并初見(jiàn)成效［51］。面向?qū)W習(xí)與記憶，構(gòu)建了前額葉與海馬區(qū)記憶模擬系統(tǒng)，面向感知-決策構(gòu)建了以基底神經(jīng)節(jié)若干腦區(qū)為核心的類腦強(qiáng)化學(xué)習(xí)系統(tǒng)。這些系統(tǒng)在微觀層面采用全脈沖神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，并引入了興奮性、抑制性神經(jīng)元模型、不同類型的突觸計(jì)算模型以及可塑性模型。在保持了結(jié)構(gòu)與機(jī)制類腦的基礎(chǔ)上，初步實(shí)現(xiàn)了認(rèn)知功能上表現(xiàn)出類人行為，如記憶模擬系統(tǒng)在實(shí)現(xiàn)記憶的同時(shí)表現(xiàn)出很好的抗噪性能，類腦強(qiáng)化學(xué)習(xí)系統(tǒng)在特定任務(wù)中學(xué)習(xí)效率接近人類被試平均水平。此外，還構(gòu)建了面向億級(jí)類腦神經(jīng)網(wǎng)絡(luò)建模的計(jì)算平臺(tái)，支持跨尺度的生物神經(jīng)網(wǎng)絡(luò)模擬與類腦認(rèn)知計(jì)算建模［52］（圖 2）。

多尺度、多腦區(qū)、多認(rèn)知功能融合的認(rèn)知計(jì)算模型與類人學(xué)習(xí)結(jié)合是實(shí)現(xiàn)類腦智能的一個(gè)重要方向，使智能系統(tǒng)不僅在模型結(jié)構(gòu)上類腦，而且具有類人終生學(xué)習(xí)的能力，從而自主產(chǎn)生智能認(rèn)知功能并不斷自適應(yīng)進(jìn)化。

圖1　鼠腦多尺度計(jì)算建模（包括213個(gè)腦區(qū)、7 100萬(wàn)神經(jīng)元、腦區(qū)之間的連接權(quán)重依據(jù)生物實(shí)驗(yàn)結(jié)果）

圖2　自主強(qiáng)化學(xué)習(xí)的多腦區(qū)協(xié)同計(jì)算模型應(yīng)用于無(wú)人機(jī)蔽障和機(jī)器人自主學(xué)習(xí)

5　關(guān)于類腦智能模型的進(jìn)一步思考

腦是自然界中最復(fù)雜的系統(tǒng)之一，由上千億（1011）神經(jīng)細(xì)胞（神經(jīng)元）通過(guò)百萬(wàn)億（1014）突觸組成巨大網(wǎng)絡(luò)，實(shí)現(xiàn)感知、運(yùn)動(dòng)、思維、智力等各種功能。大量簡(jiǎn)單個(gè)體行為產(chǎn)生出復(fù)雜、不斷變化且難以預(yù)測(cè)的行為模式（這種宏觀行為有時(shí)叫做涌現(xiàn)），并通過(guò)學(xué)習(xí)和進(jìn)化過(guò)程產(chǎn)生適應(yīng)，即改變自身行為以增加生存或成功的機(jī)會(huì)。類腦智能研究需要加強(qiáng)人工神經(jīng)網(wǎng)絡(luò)和生物神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)、功能和學(xué)習(xí)機(jī)制上的融合，尤其迫切需要圍繞兩個(gè)方向進(jìn)行科研攻關(guān)。

（1）迫切需要發(fā)展更加高效能的新一代人工神經(jīng)網(wǎng)絡(luò)模型。目前 DNN 一定程度上已經(jīng)借鑒了神經(jīng)系統(tǒng)的工作原理，并具備相對(duì)完整的編解碼、學(xué)習(xí)與訓(xùn)練方法，但從發(fā)展和應(yīng)用的眼光看，該類模型還存在巨大的提升空間。而大部分 SNN 在學(xué)習(xí)與訓(xùn)練算法方面更多地借鑒了神經(jīng)元、突觸等微觀尺度的機(jī)制，其在學(xué)習(xí)方式上更加接近于無(wú)監(jiān)督學(xué)習(xí)，計(jì)算效能也比深度網(wǎng)絡(luò)高出一個(gè)量級(jí)，但由于網(wǎng)絡(luò)訓(xùn)練只考慮了兩個(gè)神經(jīng)元之間的局部可塑性機(jī)制，對(duì)介觀（如神經(jīng)元網(wǎng)絡(luò)連接、皮層結(jié)構(gòu)）、宏觀尺度（如腦區(qū)之間的網(wǎng)絡(luò)連接）的借鑒非常缺乏，因此在性能上與 DNN 等模型還存在一定差距。兩個(gè)模型都需要不斷從腦科學(xué)中吸取營(yíng)養(yǎng)并不斷融合，發(fā)展出性能更好、效能更高的新一代人工神經(jīng)網(wǎng)絡(luò)模型。

（2）迫切需要發(fā)展可自適應(yīng)的類腦學(xué)習(xí)方法與認(rèn)知結(jié)構(gòu)。在類人認(rèn)知行為的機(jī)器學(xué)習(xí)方面，越來(lái)越多的研究著眼于提高神經(jīng)網(wǎng)絡(luò)、認(rèn)知計(jì)算模型和智能系統(tǒng)的自適應(yīng)能力。讓機(jī)器像人一樣不斷地從周圍環(huán)境對(duì)知識(shí)、模型結(jié)構(gòu)和參數(shù)進(jìn)行學(xué)習(xí)和自適應(yīng)進(jìn)化，是機(jī)器學(xué)習(xí)的最高目標(biāo)，這種學(xué)習(xí)方式被稱為終生學(xué)習(xí)（Life-Long Learning）或永不停止的學(xué)習(xí)（Never-Ending Learning）［53，54］，里面混合監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、增量學(xué)習(xí)、遷移學(xué)習(xí)、多任務(wù)學(xué)習(xí)、交互學(xué)習(xí)等多種靈活方式。最新的基于生成模型的貝葉斯程序?qū)W習(xí)［55］體現(xiàn)了人腦普遍的個(gè)例學(xué)習(xí)能力。認(rèn)知科學(xué)認(rèn)為，一個(gè)概念的形成具有組合性和因果性，因此認(rèn)知一個(gè)新概念時(shí)用到了已有的經(jīng)驗(yàn)積累，從而具有個(gè)例的舉一反三能力。貝葉斯程序?qū)W習(xí)借鑒了這些認(rèn)知科學(xué)里的概念，對(duì)字符圖像進(jìn)行筆畫的分解和組合性的學(xué)習(xí)和推理，讓程序?qū)W會(huì)如何學(xué)習(xí)，從而能舉一反三地辨認(rèn)新樣例和產(chǎn)生新字符，在一個(gè)特定的視角通過(guò)了視覺(jué)圖靈測(cè)試。發(fā)展可持續(xù)的類人學(xué)習(xí)機(jī)制，需要通過(guò)腦科學(xué)建立適合這類學(xué)習(xí)機(jī)制的認(rèn)知結(jié)構(gòu)；同時(shí)直接從大網(wǎng)絡(luò)中通過(guò)學(xué)習(xí)演化出類腦的認(rèn)知結(jié)構(gòu)則更是期望的基礎(chǔ)性突破。

6 結(jié)語(yǔ)

本文從類腦智能研究的視角論述了腦與神經(jīng)科學(xué)對(duì)未來(lái)人工智能的啟發(fā)，隨后介紹了近年來(lái)在神經(jīng)網(wǎng)絡(luò)計(jì)算模型方面取得的進(jìn)展與發(fā)展趨勢(shì)，并簡(jiǎn)要介紹了中科院先導(dǎo)專項(xiàng)支持下的類腦智能計(jì)算模型與方法研究的設(shè)想與進(jìn)展。類腦智能計(jì)算模型研究需要腦與神經(jīng)科學(xué)、人工智能與計(jì)算科學(xué)、器件與系統(tǒng)的科研人員深度實(shí)質(zhì)性協(xié)同與融合，才能夠真正設(shè)計(jì)并實(shí)現(xiàn)出機(jī)制類腦、行為類人的通用類腦智能計(jì)算模型。

1 Ghosh—Dastidar S， Adeli H. Spiking neural networks. International Journal of Neural Systems， 2009， 19（04）: 295-308.

2 Chrol—Cannon J， Jin Y C. Computational modeling of neural plasticity for self-organization of neural networks. BioSystems，2014， 125: 43-54.

3 Dayan P， Abbott L F. Theoretical neuroscience: computational and mathematical modeling of neural systems. cambridge: The MIT Press， 2001.

4 Seung S. Connectome: How the brain's wiring makes us who we are. New York: Houghton Mifflin Harcourt， 2012.

5 Jiang X L， Shen S， Cadwell C R， et al. Principles of connectivity among morphologically defined cell types in adult neocortex. Science， 2015， 350（6264）: 9462.

6 Lee W C， Bonin V， Reed M， et al. Anatomy and function of an excitatory network in the visual cortex. Nature， 2016， 532（7599）: 370-374.

7 Fukushima K. Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position. Biological Cybernetics， 1980， 36（4）: 193-202.

8 Cadieu C F， Hong H， Yamins D L， et al. Deep neural networks rival the representation of primate it cortex for core visual object recognition. PLoS Computational Biology， 2014， 10（12）: e1003963.

9 Yamins D L K， DiCarlo J J. Using goal-driven deep learning models to understand sensory cortex. Nature Neuroscience，2016， 19（3）: 356-365.

10 Liang M， Hu X L. Recurrent convolutional neural network for object recognition// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. United States: IEEE Press， 2015: 3367-3375.

11 Liang M， Hu X L， Zhang B. Convolutional neural networks with intra-layer recurrent connections for scene labeling// Advancesin Neural Information Processing Systems 28 （NIPS 2015）. United States: Curran Associates， Inc.， 2015: 937-945.

12 Wang Q， Zhang J X， Song S， et al. Attentional neural network: feature selection using cognitive feedback//Advances in Neural Information Processing Systems 27 （NIPS 2014）. United States: Curran Associates， Inc.， 2014: 2033-2041.

13 Cao C S， Liu X M， Yang Y， et al. Look and think twice: capturing top-down visual attention with feedback convolutional neural networks// Proceedings of the 2015 IEEE International Conference on Computer Vision （ICCV 2015）.United States: IEEE Press， 2015: 2956-2964.

14 MnihV， Kavukcuoglu K， Silver D. Human-level control through deep reinforcement learning. Nature， 2015， 518（7540）: 529-533.

15 Silver D， Huang A， Maddison C J， et al. Mastering the game of Go with deep neural networks and tree search. Nature， 2016，529（7587）: 484-489.

16 Hodgkin A L， Huxley A F. Propagation of electrical signals along giant nerve fibers. Proceedings of the Royal Society of London. Series B， Biological Sciences， 1952， 140（899）: 177-183.

17 Anthony N B. A review of integrate and fire neuron model. Biological Cybernetics， 2006， 95（1）: 1-19.

18 Izhikevich E M. Simple model of spiking neurons. IEEE Transactions on Neural Networks， 2003， 14（6）:1569-1572.

19 Tsodyks M， Pawelzik K， Markram H. Neural networks with dynamic synapses. Neural Computation， 1998， 10（4）: 821-835.

20 Tsodyks M， Wu S. Short-term synaptic plasticity. Scholarpedia，2013， 8（10）: 3153.

21 Maass W. Networks of spiking neurons: the third generation of neural network models. Neural Networks， 1997， 10（9）:1659-1671.

22 Anderson J R. How can the human mind occur in the physical universe？ Oxford， UK: Oxford University Press， 2007.

23 LeCun Y， Bengio Y， Hinton G. Deep learning. Nature， 2015，521（7553）:436-444.

24 Collobert R， Weston J， Bottou L， et al. Natural language processing （almost） from scratch. Journal of Machine Learning Research， 2011， 12:2493-2537.

25 Zeng D J， Liu K， Lai S W， et al. Relation classification via convolutional deep neural network//Proceedings of the 25th International Conference on Computational Linguistics （COLING 2014）. United States: Association for Computational Linguistics， 2014: 2335-2344.

26 Socher R， Pennington J， Huang E H， et al. Semi-supervised recursive autoencoders for predicting sentiment distributions// Proceedings of the Conference on Empirical Methods in Natural Language Processing. United States: Association for Computational Linguistics， 2011: 151-161.

27 Xu J M， Wang P， Tian G H， et al. Convolutional neural networks for text hashing// Proceedings of the 24th International Joint Conference on Artificial Intelligence （IJCAI 2015）. United States: AAAI Press， 2015: 1369-1375.

28 Reasoning， Attention， Memory （RAM） NIPS Workshop 2015. ［2016-05-10］. http://www.thespermwhale.com/jaseweston/ram/.

29 Chaudhuri R， Fiete I. Computational principles of memory. Nature neuroscience， 2016， 19（3）: 394-403.

30 Cho K， Van Merri?nboer B， Gulcehre C， et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation. arXiv preprint， 2014: arXiv:1406.1078.

31 Hochreiter S， Schmidhuber J. Long short-term memory. Neural computation， 1997， 9（8）: 1735-1780.

32 Vinyals O， Le Q. A neural conversational model. arXiv preprint，2015: arXiv:1506.05869.

33 BahdanauD， ChoK， Bengio Y. Neural machine translation by jointly learning to align and translate. arXiv preprint， 2014: arXiv:1409.0473.

34 Shang L F， Lu Z D， Li H. Neural responding machine for shorttext conversation. arXiv preprint， 2015: arXiv:1503.02364.

35 Sukhbaatar S， Weston J， Fergus R， et al. End-to-end memorynetworks// Advances in Neural Information Processing Systems 28 （NIPS 2015）. United States: Curran Associates， Inc.， 2015: 2431-2439.

36 GravesA， Wayne G， Danihelka I. Neural Turing machines. arXiv preprint， 2014: arXiv: 1410.5401.

37 Peng B L， Lu Z D， Li H， et al. Towards neural network-based reasoning. arXiv preprint， 2015， arXiv: 1508.05508.

38 Itti L， Koch C， Niebur E. A model of saliency-based visual attention for rapid scene analysis， IEEE Transactions on Pattern Analysis and Machine Intelligence， 1998， 20（11）: 1254-1259.

39 Itti L， Koch C. A saliency-based search mechanism for overt and covert shifts of visual attention. Vision Research， 2000， 40（10-12）: 1489-1506.

40 YarbusA L， Riggs L. Eye movements during perception of complex objects， Eye Movements and Vision， Springer， 1967，171-211.

41 Navalpakkam V， Itti L. Modeling the influence of task on attention. Vision Research， 2005， 45（2）: 205-231.

42 Baluch F， Itti L. Mechanisms of top-down attention. Trends in Neurosciences， 2011， 34: 210-224.

43 Borji A， Sihite D N， Itti L. What/where to look next？ Modeling top-down visual attention in complex interactive environments. IEEE Transactions on Systems， Man， and Cybernetics， Part A -Systems and Humans， 2014， 44（5）: 523-538.

44 Goel V， Dolana R J. Differential involvement of left prefrontal cortex in inductive and deductive reasoning. Cognition， 2004，93（3）: B109-B121.

45 Jia X Q， Liang P P， Lu J M， et al. Common and dissociable neural correlates associated with component processes of inductive reasoning. NeuroImage， 2011， 56（4）， 2292-2299.

46 Gazzaniga M S， Ivry R B， Mangun G R. Cognitive neuroscience: the biology of the mind （4th edition）. New York: W. W. Norton & Company， 2013.

47 Eliasmith C， Stewart T C， Choo X， et al. A large-scale model of the functioning brain. Science， 2012， 338（6111）: 1202-1205.

48 George D， Hawkins J. Towards a mathematical theory of cortical micro-circuits. PLoS Computational Biology， 2009， 5（10）: e1000532.

49 Maass W. Networks of spiking neurons: The third generation of neural network models. Neural Networks， 1997， 10（9）: 1659-1671.

50 Zenke F， Agnes E J， Gerstner W. Diverse synaptic plasticity mechanisms orchestrated to form and retrieve memories in spiking neural networks. Nature Communications， 2015， 6: 6922.

51 Zhang T L， Zeng Y， Zhao D C， et al. HMSNN: hippocampusinspired memory spiking neural network. Proceedings of the 2016 IEEE International Conference on Systems， Man， and Cybernetics， IEEE Press， 2016.

52 Liu X， Zeng Y， Xu B. Parallel brain simulator: a multi-scale and parallel brain-inspired neural network modeling and simulation platform. Cognitive Computation， Springer， 2016.

53 Kirstein S， Wersing H， Gross H M， et al. A life-long learning vector quantization approach for interactive learning of multiple categories， Neural Networks， 2012， 28: 90-105.

54 Mitchell T， Cohen W， Hruschka E， et al. Never-ending learning// Proceedings of the 29th AAAI Conference on Artificial Intelligence （AAAI 2015）. United States: AAAI Press， 2015: 2302-2310.

55 Lake B M， Salakhutdinov R， Tenenbaum J B. Human-level concept learning through probabilistic program induction. Science， 2015， 350（6266）: 1332-1338.

徐 波中科院自動(dòng)化所所長(zhǎng)、研究員，中科院腦科學(xué)與智能技術(shù)卓越創(chuàng)新中心副主任，中國(guó)中文信息學(xué)會(huì)副理事長(zhǎng)。曾任國(guó)家“863”計(jì)劃信息技術(shù)領(lǐng)域?qū)＜医M專家。長(zhǎng)期從事語(yǔ)音識(shí)別與人工智能研究，主要研究領(lǐng)域包括：語(yǔ)音識(shí)別、多語(yǔ)言處理與理解、認(rèn)知計(jì)算模型與類腦智能。E-mail: xubo@ia.ac.cn

Xu BoProfessor， President of Institute of Automation， Chinese Academy of Sciences， and deputy director of the Center for Excellence in Brain Science and Intelligence Technology， Chinese Academy of Sciences. He also serves as an associate president of Chinese Information Processing Society of China. He was a steering committee member of National high-tech Programme （“863” Program）. His main research interests include speech recognition， multilingual language understanding and translation， cognitive model and brain-inspired intelligence. E-mail: xubo@ia.ac.cn

Research Status and Developments of Brain-inspired Intelligence

Xu Bo1，2Liu Chenglin1，2Zeng Yi1，2
（1 Institute of Automation， Chinese Academy of Sciences， Beijing 100190， China；2 Center for Excellence in Brain Science and Intelligence Technology， Chinese Academy of Sciences， Shanghai 200031， China）

Recent advances in Artificial Intelligence （AI） have manifested an important trend， namely， inspirations from brain science can significantly improve the level of intelligence for AI computational models. With only local and partial inspirations from the brain， great advancements have been achieved. Nevertheless， deeper investigations and inspirations from the brain are needed to realize and exceed humanlevel intelligence. The ultimate goal of brain-inspired intelligence is to bring inspirations from brain structures and information processing mechanisms to brain-inspired cognitive computational models， so as to realize next-generation artificial intelligence models and systems with general intelligence. In this article， we review recent advances and discuss trends of brain-inspired computational models， including new models of artificial neural networks， and cognitive computation models. We also briefly introduce the research of brain-inspired cognitive computation models and methods supported by the strategic priority research project of Chinese Academy of Sciences.

brain-inspired intelligence， artificial neural networks， memory， attention and reasoning， spiking neural networks， multiple brain region coordination， autonomous learning

10.16418/j.issn.1000-3045.2016.07.008

*資助項(xiàng)目：中科院戰(zhàn)略性先導(dǎo)科技專項(xiàng)項(xiàng)目（B類）（XDB0200000）
** 通訊作者
修改稿收到日期：2016年6 月9日