張亞君 蔡佳林 喬亞 曾中明? 袁喆? 夏鈳

1) (北京師范大學(xué)物理學(xué)系,高等量子研究中心,北京 100875)

2) (中國(guó)科學(xué)院蘇州納米技術(shù)與納米仿生研究所,蘇州 215123)

3) (北京計(jì)算科學(xué)研究中心,北京 100193)

利用新型材料器件發(fā)展類(lèi)腦計(jì)算硬件研究的關(guān)鍵問(wèn)題是發(fā)展出合適的算法,能夠發(fā)揮新器件的特點(diǎn)和優(yōu)勢(shì).群體編碼是生物神經(jīng)系統(tǒng)常見(jiàn)的編碼方式,能夠有效去除噪音,實(shí)現(xiàn)短時(shí)程記憶及復(fù)雜的非線性映射功能.本文選擇自旋電子學(xué)器件中研究較多、工藝較成熟的磁性隧道結(jié),應(yīng)用其可調(diào)控的隨機(jī)動(dòng)力學(xué)實(shí)現(xiàn)群體編碼.作為一個(gè)應(yīng)用的例子,超順磁隧道結(jié)構(gòu)建的二層脈沖神經(jīng)網(wǎng)絡(luò)成功完成了鳶尾花數(shù)據(jù)集的無(wú)監(jiān)督聚類(lèi).數(shù)值仿真表明基于磁性隧道結(jié)的群體編碼可以有效對(duì)抗器件的非均一性,為類(lèi)腦計(jì)算硬件研究提供重要的參考.

1 引言

得益于神經(jīng)網(wǎng)絡(luò)算法的進(jìn)步和新型計(jì)算硬件的發(fā)展,人工智能在近十多年取得了巨大的進(jìn)步.其中在圖像識(shí)別、自動(dòng)駕駛和自然語(yǔ)言處理等方面的應(yīng)用已經(jīng)進(jìn)入并逐步改變了人們的日常生活[1].然而當(dāng)前人工智能的發(fā)展仍然面臨諸多問(wèn)題.一方面,隨著摩爾定律的終結(jié),處理器性能的增長(zhǎng)開(kāi)始放緩;另一方面,傳統(tǒng)馮·諾依曼架構(gòu)采用的存算分離系統(tǒng),使數(shù)據(jù)在中央處理器和內(nèi)存之間搬運(yùn)消耗了大量的時(shí)間和能量.為了解決這些問(wèn)題,科學(xué)家試圖從大腦等生物神經(jīng)系統(tǒng)尋求解決方案.大腦的神經(jīng)系統(tǒng)具有存算一體、高度并行、事件驅(qū)動(dòng)等特點(diǎn)[2].目前已經(jīng)有多款基于傳統(tǒng)互補(bǔ)金屬氧化物半導(dǎo)體(complementary metal oxide semiconductor,CMOS)工藝的類(lèi)腦芯片問(wèn)世[3,4],展示了類(lèi)腦芯片在低能耗方面的巨大優(yōu)勢(shì),但實(shí)現(xiàn)單個(gè)的脈沖神經(jīng)元和突觸需要大量晶體管.通常類(lèi)腦神經(jīng)元之間所需要的高連接度也限制了類(lèi)腦芯片的規(guī)模和可擴(kuò)展性.因此,利用基于阻變材料、相變材料等新材料器件實(shí)現(xiàn)類(lèi)腦計(jì)算的基本單元成為研究的重點(diǎn),有望從根本上改進(jìn)類(lèi)腦芯片的計(jì)算架構(gòu)和性能[5?9].自旋電子學(xué)器件具有低能耗、高速和非線性磁動(dòng)力學(xué)及非易失性等特點(diǎn),已經(jīng)在硬盤(pán)、磁性隨機(jī)存儲(chǔ)器等存儲(chǔ)設(shè)備上實(shí)現(xiàn)了商業(yè)化應(yīng)用.近年來(lái),基于自旋電子學(xué)的存內(nèi)計(jì)算[10]和類(lèi)腦計(jì)算[11?21]也獲得了廣泛的關(guān)注.如何利用自旋電子學(xué)器件的天然優(yōu)勢(shì),結(jié)合新型類(lèi)腦算法,實(shí)現(xiàn)軟硬件的協(xié)同設(shè)計(jì),是基于自旋器件類(lèi)腦計(jì)算的核心問(wèn)題.

大腦中存在大量的神經(jīng)元來(lái)執(zhí)行日常的感知、情感和記憶等高級(jí)功能.不同于計(jì)算機(jī)中精確的數(shù)值表示,大腦中信息傳遞依賴(lài)于神經(jīng)元之間的脈沖發(fā)放,依靠神經(jīng)元之間的連接形成的復(fù)雜網(wǎng)絡(luò)執(zhí)行相關(guān)的任務(wù).盡管每個(gè)神經(jīng)元細(xì)胞的信息傳遞和膜電位變化過(guò)程中伴隨大量噪音和隨機(jī)動(dòng)力學(xué),但大腦可以通過(guò)群體神經(jīng)元共同編碼信號(hào)來(lái)實(shí)現(xiàn)復(fù)雜和精確的認(rèn)知功能.群體編碼是生物系統(tǒng)在方向和空間感知[22]、顏色分辨、嗅覺(jué)識(shí)別和記憶[23]等方面的基礎(chǔ)模式[24],并具有很強(qiáng)的抗噪能力,對(duì)神經(jīng)細(xì)胞的異質(zhì)性也具有很好的容忍度.群體編碼的優(yōu)勢(shì)可以解決制造工藝的局限導(dǎo)致新材料類(lèi)腦器件的非均一性問(wèn)題,大幅降低新型類(lèi)腦器件的制造要求.基于傳統(tǒng)CMOS 技術(shù)[25]、相變器件[26]和自旋器件[27]的群體編碼系統(tǒng)都表現(xiàn)了對(duì)器件非均一性的較強(qiáng)耐受能力,基于相變器件[26]的群體編碼利用了脈沖發(fā)放的隨機(jī)特性,其發(fā)放頻率與輸入信號(hào)的脈寬呈線性關(guān)系;而隨機(jī)磁性隧道結(jié)的發(fā)放頻率與輸入電壓呈現(xiàn)單峰的非單調(diào)關(guān)系[27],更符合生物系統(tǒng)的調(diào)諧曲線.

本文利用超順磁磁性隧道結(jié)的隨機(jī)翻轉(zhuǎn)特性,結(jié)合群體編碼算法,提出一種基于自旋電子學(xué)器件的脈沖神經(jīng)網(wǎng)絡(luò)方案.通過(guò)對(duì)鳶尾花數(shù)據(jù)集的無(wú)監(jiān)督分類(lèi)研究,展示了該網(wǎng)絡(luò)的魯棒性和低能耗.首先給出了在實(shí)驗(yàn)上觀測(cè)到的磁性隧道結(jié)的隨機(jī)翻轉(zhuǎn)特性及其電流調(diào)控,建立了基于超順磁隧道結(jié)的群體編碼基礎(chǔ),同時(shí)驗(yàn)證了奈爾-布朗(Néel-Brown)理論模型對(duì)器件的描述能力.研究了基于磁性隧道結(jié)的群體編碼,并結(jié)合延時(shí)脈沖發(fā)放和脈沖時(shí)序依賴(lài)突觸可塑性設(shè)計(jì)了基于自旋電子學(xué)器件的神經(jīng)網(wǎng)絡(luò).探究了磁性隧道結(jié)數(shù)目和器件參數(shù)對(duì)網(wǎng)絡(luò)性能的影響,并分析了該網(wǎng)絡(luò)在能耗方面的優(yōu)勢(shì).

2 利用超順磁隧道結(jié)的群體編碼

2.1 群體編碼

在線性回歸的數(shù)值計(jì)算中,我們的目標(biāo)是由離散的實(shí)驗(yàn)數(shù)據(jù)點(diǎn)得到直線的斜率和截距.由于實(shí)驗(yàn)數(shù)據(jù)存在誤差,我們期望通過(guò)更多的數(shù)據(jù)來(lái)降低數(shù)據(jù)誤差帶來(lái)的影響.生物系統(tǒng)同樣面臨這樣的問(wèn)題,單個(gè)神經(jīng)元的信號(hào)噪聲很大,為了獲取更加精準(zhǔn)的感知信號(hào),生物系統(tǒng)總是通過(guò)一組神經(jīng)元的共同響應(yīng)來(lái)感知外界的刺激.這種利用一群神經(jīng)元對(duì)刺激的共同響應(yīng)來(lái)編碼信息的方式被稱(chēng)為群體編碼,其對(duì)于連續(xù)變量的編碼尤為有效,例如顏色、空間位置等.在群體編碼中每個(gè)神經(jīng)元對(duì)不同的外界刺激輸入信號(hào)具有一定的響應(yīng)分布,稱(chēng)為該神經(jīng)元的調(diào)諧曲線;每個(gè)神經(jīng)元對(duì)某個(gè)特定的外界輸入刺激會(huì)比較敏感,稱(chēng)為該神經(jīng)元的偏好刺激.因此通?？梢杂妙?lèi)似高斯函數(shù)的形式來(lái)描述調(diào)諧曲線,峰值即對(duì)應(yīng)偏好刺激.當(dāng)神經(jīng)元足夠多,所有神經(jīng)元的偏好刺激可以覆蓋全部輸入刺激的取值范圍(感受野)時(shí),群體編碼即相當(dāng)于把一個(gè)輸入信號(hào)用一組高斯型核函數(shù)展開(kāi),因此即使若干個(gè)神經(jīng)元上信息缺失也不影響整體工作效果.相比于用單個(gè)神經(jīng)元來(lái)處理精確的感知或運(yùn)動(dòng)控制,群體編碼能夠顯著提高準(zhǔn)確性,并且具有去除噪音、實(shí)現(xiàn)短時(shí)記憶和復(fù)雜非線性響應(yīng)等功能[24].

2.2 磁性隧道結(jié)的動(dòng)力學(xué)

磁性隧道結(jié)是常見(jiàn)的自旋電子學(xué)器件,由兩個(gè)鐵磁層夾著一個(gè)較薄的絕緣層組成,如圖1(a)所示,其中上層的磁化方向固定,中間是隧穿層,下層的磁化方向可以通過(guò)施加外界磁場(chǎng)或激勵(lì)電流控制翻轉(zhuǎn).磁性隧道結(jié)有兩個(gè)穩(wěn)定的狀態(tài)(能量極小值),當(dāng)自由層和固定層磁矩平行時(shí)稱(chēng)為平行態(tài),此時(shí)電阻較低,反之稱(chēng)為反平行態(tài),具有高電阻.

當(dāng)兩個(gè)狀態(tài)之間勢(shì)壘高度ΔE遠(yuǎn)大于熱擾動(dòng)kBT時(shí),磁性隧道結(jié)的狀態(tài)是非常穩(wěn)定的,適合作為磁隨機(jī)存儲(chǔ)器中的非易失二值存儲(chǔ)單元.而當(dāng)勢(shì)壘高度與kBT相當(dāng)時(shí),磁性隧道結(jié)的狀態(tài)會(huì)受外界的熱噪聲影響而改變[28].偏壓或電流可以給自由層施加自旋轉(zhuǎn)移力矩[29],從而調(diào)節(jié)隧道結(jié)在兩個(gè)狀態(tài)上的概率分布,進(jìn)而調(diào)控其作為神經(jīng)元的調(diào)諧曲線,實(shí)現(xiàn)基于磁性隧道結(jié)的群體編碼系統(tǒng).

本文使用的磁性隧道結(jié)多層薄膜通過(guò)磁控濺射沉積,其核心結(jié)構(gòu)自下而上為PtMn(15 nm)/Co70Fe30(2.5 nm)/Ru(0.85 nm)/Co40Fe40B20(2.4 nm)/MgO(0.80 nm)/Co60Fe20B20(2.1 nm).薄膜沉積后在1 T 磁場(chǎng)下,300 ℃退火2 h.隨后通過(guò)光刻、刻蝕制備成50 nm × 130 nm 的橢圓形器件.沿與磁性隧道結(jié)器件難軸夾角20°方向施加適當(dāng)強(qiáng)度的磁場(chǎng),然后向器件注入直流偏置電流并通過(guò)示波器測(cè)量器件兩端電壓.電流產(chǎn)生的自旋轉(zhuǎn)移力矩與易軸方向的磁場(chǎng)分量競(jìng)爭(zhēng)使自由層磁矩在與釘扎層磁矩平行和反平行方向翻轉(zhuǎn),通過(guò)示波器可以觀察到電壓信號(hào)隨機(jī)跳變,且隨機(jī)跳變的頻率隨電流強(qiáng)度變化.隨機(jī)翻轉(zhuǎn)測(cè)試在室溫下進(jìn)行.圖1(b)展示了實(shí)驗(yàn)上用電流調(diào)節(jié)磁性隧道結(jié)翻轉(zhuǎn)頻率的測(cè)量結(jié)果.當(dāng)電流為–60 μΑ 時(shí),磁性隧道結(jié)處于高阻態(tài)的概率較大;而當(dāng)電流為–10 μΑ 時(shí),磁性隧道結(jié)在高阻態(tài)和低阻態(tài)之間隨機(jī)翻轉(zhuǎn);當(dāng)電流為15 μΑ時(shí),磁性隧道結(jié)處于低阻態(tài)的概率較大.注意到在不同電流下磁性隧道結(jié)的高阻態(tài)不同,這是由于磁性隧道結(jié)的電流-電壓曲線不是線性的,在高阻態(tài)下呈拋物線型.如果將磁性隧道結(jié)在高低阻態(tài)之間的一次翻轉(zhuǎn)當(dāng)作神經(jīng)元的一次脈沖發(fā)放,就可以通過(guò)調(diào)節(jié)輸入電流來(lái)改變磁性隧道結(jié)的發(fā)放率.隨著輸入電流的增大,磁性隧道結(jié)的發(fā)放率先增大后減小,如圖1(c)所示.圖中的每個(gè)數(shù)據(jù)點(diǎn)為10 次獨(dú)立采樣結(jié)果的平均值和標(biāo)準(zhǔn)差,每次獨(dú)立采樣97300 次,大約31 s.

2.3 Néel-Brown 理論

Néel-Brown 理論可以很好地描述超順磁隧道結(jié)的隨機(jī)動(dòng)力學(xué)翻轉(zhuǎn)[30].處于平行態(tài)或反平行態(tài)上的磁矩翻轉(zhuǎn)的弛豫時(shí)間τP/AP由勢(shì)壘高度ΔE和經(jīng)過(guò)隧道結(jié)的電流I共同決定,即

式中?0為嘗試頻率,與器件的翻轉(zhuǎn)機(jī)制有關(guān),本文中取為109Hz.kB為玻爾茲曼常數(shù),T為環(huán)境溫度,Ic為磁性隧道結(jié)翻轉(zhuǎn)的臨界電流.在群體編碼中用輸入電流的數(shù)值大小I來(lái)編碼外界刺激信號(hào).磁性隧道結(jié)處于平行態(tài)或反平行態(tài)的概率表示為

其中Δt為采樣時(shí)間,Δt=326.5μs.如果將連續(xù)兩次采樣中磁矩發(fā)生改變定義為該神經(jīng)元發(fā)放一次,則Néel-Brown 理論給出了超順磁隧道結(jié)神經(jīng)元的發(fā)放頻率為

為了使各神經(jīng)元的偏好刺激均勻分布在輸入刺激I的變化范圍內(nèi),可對(duì)各個(gè)磁性隧道結(jié)施加等間隔電流偏置Ibias,最終磁性隧道結(jié)的實(shí)際輸入電流為I=Iinput+Ibias.此時(shí)這一組神經(jīng)元的調(diào)諧曲線均勻排列,如圖1(d)所示,實(shí)線為該組磁性隧道結(jié)的調(diào)諧曲線,散點(diǎn)代表利用Néel-Brown 方程模擬的結(jié)果.由于磁性隧道結(jié)的隨機(jī)發(fā)放特性,模擬結(jié)果與調(diào)諧曲線存在一定偏差.

3 群體編碼脈沖神經(jīng)網(wǎng)絡(luò)和無(wú)監(jiān)督聚類(lèi)

3.1 脈沖神經(jīng)網(wǎng)絡(luò)模型

為展示基于超順磁隧道結(jié)的群體編碼方案,設(shè)計(jì)了一個(gè)兩層的脈沖神經(jīng)網(wǎng)絡(luò),如圖2(a)所示.網(wǎng)絡(luò)前端是包含若干神經(jīng)元的輸入層,每個(gè)神經(jīng)元將一個(gè)輸入信號(hào)編碼為電流通入到下一層;第一層是群體編碼層,每個(gè)輸入層神經(jīng)元的輸入信號(hào)傳遞到一組超順磁隧道結(jié)進(jìn)行群體編碼;第二層輸出層包含若干有適應(yīng)性閾值的泄漏累積發(fā)放神經(jīng)元[31].群體編碼層和輸出層之間為全連接.輸出層的神經(jīng)元具有橫向抑制連接,保證該層神經(jīng)元最多僅有一個(gè)發(fā)放.

圖2(a)的神經(jīng)網(wǎng)絡(luò)用來(lái)實(shí)現(xiàn)鳶尾花數(shù)據(jù)集的無(wú)監(jiān)督聚類(lèi).鳶尾花數(shù)據(jù)集[32]中收集了3 個(gè)類(lèi)別的樣本,分別是Setosa 鳶尾花,Versicolour 鳶尾花和Virginica 鳶尾花,每個(gè)類(lèi)別有50 個(gè)樣本,共計(jì)150 條數(shù)據(jù).每條數(shù)據(jù)包含4 個(gè)屬性,分別代表該朵鳶尾花花瓣的長(zhǎng)度和寬度,花萼的長(zhǎng)度和寬度.這4 個(gè)數(shù)據(jù)通過(guò)4 個(gè)輸入神經(jīng)元xi分別把對(duì)應(yīng)的電流輸入給中間層的群體編碼神經(jīng)元,即若干超順磁隧道結(jié)中.輸入電流大小決定了磁性隧道結(jié)的翻轉(zhuǎn)頻率,而磁性隧道結(jié)發(fā)放的脈沖會(huì)引起輸出層輸出神經(jīng)元yi膜電位的累積,當(dāng)輸出神經(jīng)元的膜電位達(dá)到該神經(jīng)元閾值后將發(fā)放脈沖,代表該鳶尾花樣本屬于發(fā)放的輸出神經(jīng)元所對(duì)應(yīng)的類(lèi)別.由于輸出層神經(jīng)元之間存在抑制型突觸(紫色連線),某個(gè)神經(jīng)元發(fā)放后會(huì)抑制其他神經(jīng)元的發(fā)放.該抑制型突觸可以設(shè)置為N×N的連接矩陣(輸出層神經(jīng)元個(gè)數(shù)為N),其對(duì)角元為零,非對(duì)角元為負(fù)值,這里我們?nèi)≈禐楱C17.5.中間層與輸出層之間的突觸連接強(qiáng)度是可學(xué)習(xí)的,應(yīng)用依賴(lài)于當(dāng)前權(quán)重的脈沖時(shí)序依賴(lài)可塑性(spike-timing-dependent plasticity,STDP)算法[31]訓(xùn)練.訓(xùn)練規(guī)則如下:當(dāng)突觸前神經(jīng)元發(fā)放時(shí),

圖2 (a) 群體編碼脈沖神經(jīng)網(wǎng)絡(luò)示意圖;(b) 網(wǎng)絡(luò)訓(xùn)練過(guò)程示意圖;(c) 鳶尾花數(shù)據(jù)集無(wú)監(jiān)督聚類(lèi)測(cè)試結(jié)果;(d) 用于編碼一個(gè)數(shù)據(jù)的隧道結(jié)數(shù)目與輸出神經(jīng)元數(shù)量對(duì)網(wǎng)絡(luò)聚類(lèi)正確率的影響Fig.2.(a) Schematic of spiking neural network;(b) schematic illustration of the network learning process;(c) test results of the unsupervised classification of the iris data set;(d) the influence of number of magnetic tunnel junctions used in the population coding and number of output neurons.

當(dāng)突觸后神經(jīng)元發(fā)放時(shí),

這里,Δw為權(quán)重變化量;前突觸學(xué)習(xí)率ηpre和后突觸學(xué)習(xí)率ηpost分別為0.001 和 0.01;權(quán)重w最大值wmax=1,最小值wmin=0;xpre和xpost分別為

突觸前后神經(jīng)元的膜電位.圖2(b)為網(wǎng)絡(luò)運(yùn)行的流程圖,從左到右分別為群體編碼的調(diào)諧曲線,磁性隧道結(jié)的電阻變化示意,泄漏型積分發(fā)放神經(jīng)元的動(dòng)力學(xué)示意.

3.2 鳶尾花樣本的無(wú)監(jiān)督聚類(lèi)

首先用理想調(diào)諧曲線的算法進(jìn)行數(shù)值仿真,每個(gè)輸入變量用12 個(gè)磁性隧道結(jié)編碼,輸出神經(jīng)元的數(shù)量為30.在每一輪訓(xùn)練中隨機(jī)通入100 條數(shù)據(jù),注意這里的數(shù)據(jù)是隨機(jī)挑選,并且由于是無(wú)監(jiān)督學(xué)習(xí),所以我們并沒(méi)有區(qū)分訓(xùn)練集和測(cè)試集.輸出神經(jīng)元的標(biāo)簽是動(dòng)態(tài)調(diào)整的,每完成一輪訓(xùn)練后,將對(duì)輸出神經(jīng)元刺激最強(qiáng)的鳶尾花類(lèi)別作為該輸出神經(jīng)元的標(biāo)簽.在每輪訓(xùn)練結(jié)束后,將150 個(gè)樣本隨機(jī)輸入網(wǎng)絡(luò)進(jìn)行測(cè)試,測(cè)試得到的聚類(lèi)正確率如圖2(c)中的虛線所示.經(jīng)過(guò)15 輪訓(xùn)練后網(wǎng)絡(luò)的聚類(lèi)正確率達(dá)到了飽和值的92.6%.

生物系統(tǒng)的神經(jīng)元在不同時(shí)刻收到相同的刺激時(shí),發(fā)放模式并不是完全重復(fù)調(diào)諧曲線,而是具有一定的隨機(jī)性,但并不影響大腦精確地執(zhí)行各項(xiàng)復(fù)雜的動(dòng)作.同樣,外界熱噪聲擾動(dòng)下的磁性隧道結(jié)的動(dòng)力學(xué)具有一定的隨機(jī)性,因此超順磁隧道結(jié)的群體編碼可以很好地模擬生物系統(tǒng)中的神經(jīng)元隨機(jī)動(dòng)力學(xué).為了檢驗(yàn)網(wǎng)絡(luò)性能,我們分別進(jìn)行了10 次獨(dú)立的試驗(yàn),并把測(cè)試正確率的平均值和標(biāo)準(zhǔn)差畫(huà)在圖2(c)中.可以看出,隨著訓(xùn)練輪次的增加,基于磁性隧道結(jié)的群體編碼網(wǎng)絡(luò)正確率最終也達(dá)到了使用理想調(diào)諧曲線的算法仿真極限值(圖2(c)虛線).圖2(c)中插圖為15 輪訓(xùn)練后測(cè)試結(jié)果的融合矩陣,其中的標(biāo)簽1,2,3 依次對(duì)應(yīng)Setosa 鳶尾花、Versicolour 鳶尾花和Virginica 鳶尾花,紅色的深度與正確預(yù)測(cè)的標(biāo)簽數(shù)目相對(duì)應(yīng).

隨著群體編碼使用隧道結(jié)(神經(jīng)元)數(shù)量的增加,偏好刺激在感受野中的分布更加密集,可以使群體編碼包含的信息量更大,魯棒性更強(qiáng)[33].同時(shí),隨著磁性隧道結(jié)數(shù)目的增加,輸入數(shù)據(jù)將被投影到更高維的空間,該組磁性隧道結(jié)的發(fā)放脈沖包含的信息隨之增加,輸出層神經(jīng)元能夠解碼出更多的信息,包含了數(shù)據(jù)的更多細(xì)節(jié),因此磁性隧道結(jié)數(shù)目的增加有助于提高網(wǎng)絡(luò)的性能.圖2(d)展示了隨著用于編碼每個(gè)變量的磁性隧道結(jié)的增加,網(wǎng)絡(luò)性能逐漸增強(qiáng),當(dāng)磁性隧道結(jié)數(shù)目達(dá)到12 個(gè)時(shí),無(wú)監(jiān)督聚類(lèi)的正確率也達(dá)到飽和.

本文還探究了輸出層神經(jīng)元對(duì)網(wǎng)絡(luò)性能的影響.執(zhí)行無(wú)監(jiān)督聚類(lèi)的網(wǎng)絡(luò)事先并不知道樣本數(shù)據(jù)種類(lèi)數(shù)量,因此輸出層神經(jīng)元的數(shù)量應(yīng)當(dāng)大于或等于數(shù)據(jù)種類(lèi)的數(shù)量.輸出層神經(jīng)元的標(biāo)簽由引起它發(fā)放次數(shù)最多的鳶尾花類(lèi)別決定,因此,每一類(lèi)鳶尾花由一組輸出層神經(jīng)元共同標(biāo)注.當(dāng)輸出層的神經(jīng)元達(dá)到20 個(gè)時(shí),正確率可以達(dá)到90%;當(dāng)輸出層的神經(jīng)元達(dá)到30 個(gè),正確率就可以達(dá)到92.6%,達(dá)到了網(wǎng)絡(luò)性能的極限.需要強(qiáng)調(diào),我們的無(wú)監(jiān)督學(xué)習(xí)中使用了STDP 的學(xué)習(xí)規(guī)則,在實(shí)際訓(xùn)練過(guò)程中表現(xiàn)出一定的不穩(wěn)定性,對(duì)權(quán)重初值較為敏感,而更多的輸出神經(jīng)元代表網(wǎng)絡(luò)有更大的初始參數(shù)空間,這給訓(xùn)練過(guò)程帶來(lái)了更多的可能性,更加有利于STDP 的學(xué)習(xí),從而避免參數(shù)落入局域最優(yōu)解導(dǎo)致訓(xùn)練失敗,這也解釋了為什么更多的輸出神經(jīng)元會(huì)提高網(wǎng)絡(luò)的性能.

盡管我們僅測(cè)試了樣本個(gè)數(shù)較少的鳶尾花數(shù)據(jù)集,但該網(wǎng)絡(luò)在軟件層面已經(jīng)成功應(yīng)用于大規(guī)模數(shù)據(jù)集的無(wú)監(jiān)督分類(lèi)[31,34].因此,基于磁性隧道結(jié)的群體編碼硬件網(wǎng)絡(luò)也同樣具有可擴(kuò)展性,能夠推廣到更大規(guī)模的數(shù)據(jù)分類(lèi)任務(wù).此外,本文探究了權(quán)重的精度對(duì)網(wǎng)絡(luò)性能的影響,模擬結(jié)果表明在鳶尾花聚類(lèi)的任務(wù)中,3 比特權(quán)重下網(wǎng)絡(luò)的性能就可以達(dá)到90%以上,這表明該網(wǎng)絡(luò)的權(quán)重可以映射到磁疇壁等自旋多態(tài)器件,有望實(shí)現(xiàn)全自旋脈沖神經(jīng)網(wǎng)絡(luò).

4 器件的非均一性與能耗

即使同一批生長(zhǎng)的材料和相同的刻蝕工藝制造的磁性隧道結(jié)器件通常也會(huì)有所差異,這種器件的非均一性是類(lèi)腦計(jì)算硬件不可避免的問(wèn)題.具體到超順磁隧道結(jié),其非均一性表現(xiàn)在器件兩個(gè)參數(shù)的差別,即勢(shì)壘高度ΔE和臨界電流Ic.這兩個(gè)參數(shù)的差別導(dǎo)致隧道結(jié)調(diào)諧曲線的高度和寬度都會(huì)發(fā)生改變[27].為了探究器件的不均一性對(duì)網(wǎng)絡(luò)性能的影響,我們測(cè)試了磁性隧道結(jié)的勢(shì)壘ΔE存在0—10%漲落范圍下無(wú)監(jiān)督聚類(lèi)的準(zhǔn)確性.測(cè)試中的群體編碼均采用每組8 個(gè)隧道結(jié),輸出層包含50個(gè)神經(jīng)元.ΔE增大(減小)會(huì)降低(升高)磁性隧道結(jié)的翻轉(zhuǎn)頻率,因此ΔE的漲落影響器件調(diào)諧曲線的高度.例如勢(shì)壘過(guò)高的器件翻轉(zhuǎn)1 次所需的時(shí)間很長(zhǎng),因此平均發(fā)放速率相對(duì)要低很多.圖3(a)插圖展示了ΔE的漲落為6%時(shí)一組磁性隧道結(jié)的調(diào)諧曲線.將這組器件放入網(wǎng)絡(luò)中進(jìn)行群體編碼,最終實(shí)現(xiàn)無(wú)監(jiān)督分類(lèi)的正確率達(dá)到80%.整體上隨著器件勢(shì)壘高度漲落增大,網(wǎng)絡(luò)的性能略有降低[27],如圖3(a)所示.

圖3 磁性隧道結(jié)(a)勢(shì)壘和(b)翻轉(zhuǎn)臨界電流的不均一性對(duì)網(wǎng)絡(luò)性能的影響Fig.3.Population coding using the magnetic tunnel junctions with a fluctuation in their (a) energy barriers and(b) critical currents for switching.

我們進(jìn)一步測(cè)試了磁性隧道結(jié)的臨界電流Ic存在0—80%漲落時(shí)網(wǎng)絡(luò)的性能,結(jié)果如圖3(b)所示.Ic的變化會(huì)影響調(diào)諧曲線的寬度,圖3(b)的插圖展示了Ic存在80%漲落時(shí)的一組器件的調(diào)諧曲線,此時(shí)網(wǎng)絡(luò)的正確率依然能夠達(dá)到90%.因此不同器件臨界電流并不會(huì)影響網(wǎng)絡(luò)的魯棒性,勢(shì)壘高度的變化對(duì)網(wǎng)絡(luò)性能的影響更加顯著.

上述測(cè)試結(jié)果與生物系統(tǒng)中群體編碼的特征一致.在生物系統(tǒng)中,不同神經(jīng)元在收到相同的刺激時(shí)響應(yīng)也不是完全相同的,這種異質(zhì)性神經(jīng)元的群體編碼并不影響生物神經(jīng)系統(tǒng)的正常工作.

磁性隧道結(jié)的發(fā)放在每個(gè)采樣時(shí)間窗口內(nèi)是隨機(jī)的,我們可以改變觀測(cè)時(shí)間,在1 個(gè)觀測(cè)時(shí)間內(nèi)對(duì)磁性隧道結(jié)進(jìn)行多次采樣,然后將多次采樣的結(jié)果轉(zhuǎn)換為1 次脈沖,這樣可以在統(tǒng)計(jì)意義上消除一定的隨機(jī)性,從而提高網(wǎng)絡(luò)的性能.但隨著觀測(cè)時(shí)間的增加,每次運(yùn)行時(shí)器件能耗也會(huì)隨之增加.為了探究器件耗能和網(wǎng)絡(luò)性能的關(guān)系,我們使用每組群體編碼包含了16 個(gè)磁性隧道結(jié),模擬觀測(cè)時(shí)間與采樣時(shí)間的比值對(duì)網(wǎng)絡(luò)性能的影響.在一個(gè)采樣時(shí)間內(nèi)磁性隧道結(jié)的最大輸入電流為100 μΑ,電阻取高阻態(tài)與低阻態(tài)的均值2.016 kΩ,因此最大能耗為6.58×10-9J.將其乘以觀測(cè)時(shí)間與采樣時(shí)間的比值,就可得到觀測(cè)時(shí)間對(duì)應(yīng)的最大能耗.圖4 給出了不同觀測(cè)時(shí)間的聚類(lèi)正確率,其中上軸表示每個(gè)觀測(cè)時(shí)間對(duì)應(yīng)的能耗.當(dāng)觀測(cè)時(shí)間為10 次采樣時(shí)間時(shí)網(wǎng)絡(luò)達(dá)到正確率的飽和值,對(duì)應(yīng)的最大能耗為為6.58×10-8J.隨著實(shí)驗(yàn)工藝的進(jìn)步,降低采樣時(shí)間可以有效地降低器件能耗,目前實(shí)驗(yàn)上報(bào)道的隧道結(jié)采樣時(shí)間可以低至8 ns[35],相比于CMOS 的群體編碼系統(tǒng)[25],采樣速度提高了3 個(gè)量級(jí),采用該器件實(shí)現(xiàn)群體編碼有望將能耗降到4×10-12J.在系統(tǒng)集成方面,磁性隧道結(jié)將連續(xù)信號(hào)直接轉(zhuǎn)換為二值信號(hào),有利于后續(xù)數(shù)字信號(hào)的處理,而基于CMOS 的群體編碼需要設(shè)計(jì)額外的數(shù)模轉(zhuǎn)換電路.因此,基于自旋電子器件的群體編碼在面積、能耗和速度方面都有突出的優(yōu)勢(shì).

圖4 不同觀測(cè)時(shí)間(以采樣時(shí)間dt 為單位)對(duì)網(wǎng)絡(luò)執(zhí)行無(wú)監(jiān)督聚類(lèi)正確率的影響(上軸表示每個(gè)觀測(cè)時(shí)間對(duì)應(yīng)的能耗)Fig.4.Classification accuracy of unsupervised clustering performed by the network as a function of the different observation time (The upper axis shows the energy consumption corresponding to each observation time).

5 結(jié)論

本文提出了一種使用超順磁隧道結(jié)的群體編碼方案,利用熱擾動(dòng)下超順磁隧道結(jié)的隨機(jī)翻轉(zhuǎn)過(guò)程及其自旋轉(zhuǎn)移力矩的調(diào)控,可以用帶有偏置力矩的若干隧道結(jié)的偏好刺激編碼整個(gè)神經(jīng)元的感受野.作為一個(gè)簡(jiǎn)單且典型的例子,我們把該群體編碼方案應(yīng)用到一個(gè)三層的神經(jīng)網(wǎng)絡(luò)中,實(shí)現(xiàn)了對(duì)鳶尾花數(shù)據(jù)集的無(wú)監(jiān)督聚類(lèi),探究了用于群體編碼的隧道結(jié)個(gè)數(shù)等網(wǎng)絡(luò)參數(shù)對(duì)聚類(lèi)正確率的影響.群體編碼方案在應(yīng)用中可以很好地克服器件非均一性等技術(shù)和工藝問(wèn)題,并且能夠有效地降低神經(jīng)網(wǎng)絡(luò)的能耗.