盧潁霞， 王如彬

(上海華東理工大學(xué) 認知神經(jīng)動力研究所, 上海 200237)

稀疏性是一個令人感興趣的內(nèi)容，部分是因為它為后期的處理提供一個簡單的編碼。早期雖然有皮層稀疏編碼(對于作用于同一刺激的神經(jīng)元集群來說，并不是所有的神經(jīng)元都被激活，只有少數(shù)神經(jīng)元被激活)的實驗結(jié)果[1-6],但同時也有許多神經(jīng)元同時發(fā)放的實驗[8]。

所以沒有一個絕對的標準去評價皮層神經(jīng)元的相對稀疏性。神經(jīng)生理研究已表明：初級視皮層中單個神經(jīng)元僅對處于其感受野中的刺激作出反應(yīng)，其空間感受野被描述為具有局部性、方向性和帶通特性的信號編碼濾波器。而每個神經(jīng)元對這些刺激的表達則采用了稀疏編碼原則，將圖像在邊緣，端點，條紋等方面的特性以稀疏編碼的形式進行描述。

自然圖像的稀疏編碼算法能夠準確預(yù)測視皮層神經(jīng)元的特點，從而我們可以通過計算自然圖像的稀疏表達來研究V1區(qū)簡單細胞的感受野。Olshausen等[9-10]建立了一些自然圖像的稀疏編碼模型，但缺點是缺乏局部突觸可塑性的生理學(xué)依據(jù)，無法全面的說明初級視皮層V1區(qū)神經(jīng)細胞采用稀疏編碼的形式來有效表示自然場景。

生物神經(jīng)網(wǎng)絡(luò)中存在一種競爭現(xiàn)象，即一個神經(jīng)細胞興奮后，通過它的分支會抑制周圍其它細胞的發(fā)放，這種抑制作用使細胞之間出現(xiàn)競爭。模型表明由于競爭學(xué)習(xí)，齒狀回的發(fā)放活動是稀疏的，但是該模型沒有研究競爭學(xué)習(xí)對V1區(qū)簡單細胞發(fā)放活動的影響[11]。

STDP(Spike Trigger Dependent Plastic)是一個簡單有效的學(xué)習(xí)規(guī)則[13-14]，并且在我們大腦神經(jīng)元的連接方式的改變中扮演著重要的角色[12]。STDP是一個突觸學(xué)習(xí)規(guī)則，只與突觸前神經(jīng)和突觸后神經(jīng)有關(guān)，突觸前神經(jīng)元和突觸后神經(jīng)元之間的動作電位的相對時間決定了突觸可塑性的強度。最近Clopath等[15]利用了STDP的一種形式，但是沒有發(fā)現(xiàn)和V1區(qū)類似的Gabor類感受野。Rehn等[16]建立的SSC(Sparse-Set Coding)模型，雖然通過STDP和發(fā)放神經(jīng)元來研究V1區(qū)簡單細胞的感受野，但沒有進一步討論網(wǎng)絡(luò)中細胞數(shù)量對網(wǎng)絡(luò)稀疏表達的影響，而在大多數(shù)神經(jīng)網(wǎng)絡(luò)中，興奮細胞和抑制細胞的數(shù)量比約為4∶1[19]。

為了改進以上模型，我們利用STDP的一種學(xué)習(xí)規(guī)則，基于局部競爭的生理學(xué)現(xiàn)象建立了一個整合發(fā)放LIF(Leaky Intergate-and-Fire)的神經(jīng)網(wǎng)絡(luò)動力學(xué)模型。通過我們的模型得到了和獼猴V1區(qū)簡單細胞類似的Gabor類感受野，并且利用細胞脈沖光柵圖給出了細胞在不同時間步的稀疏發(fā)放活動。由于在大多數(shù)神經(jīng)網(wǎng)絡(luò)中，興奮性細胞和抑制性細胞的數(shù)量比約為4∶1，從而我們考慮了不同數(shù)量的興奮性細胞和抑制性細胞對網(wǎng)絡(luò)稀疏表達的影響，發(fā)現(xiàn)由于細胞間的競爭學(xué)習(xí)，隨著細胞數(shù)量的增加，細胞的抑制連接權(quán)重增加。模型中細胞的脈沖輸出構(gòu)成了圖像的稀疏表示，并且利用它們的線性組合可以實現(xiàn)圖像重構(gòu)，通過對重構(gòu)殘差的討論，發(fā)現(xiàn)在細胞數(shù)量比為4∶1的情況下，可以利用較少的細胞實現(xiàn)圖像重構(gòu)。

1 稀疏編碼模型

首先介紹一下簡化的整合發(fā)放神經(jīng)元的電路圖(見圖1)，其中Iinput代表輸入電流，電容器模擬膜電壓，當電壓超過閾值θi時，二極管打開，發(fā)放一個脈沖或動作電位，R模擬膜電阻，Vout模擬輸出。

圖1 簡化的整合發(fā)放神經(jīng)元的電路圖Fig.1 Diagram of simplified integration of neurons

我們的模型由156個興奮性細胞和40個抑制性細胞兩部分組成，其中細胞之間是全連接，所有的細胞接收自然場景的白化的10×10像素(每個圖像塊)的圖像(Olshausen, Field, 1996)輸入，這些細胞的脈沖輸出構(gòu)成圖像的稀疏表示，見圖2。

圖2 新的整合發(fā)放神經(jīng)元網(wǎng)絡(luò)模型Fig.2 New integrated release of the neural network model

對于每個時間步t，每個神經(jīng)元i的狀態(tài)按下面的規(guī)則變化：

(1)

式中：p(c)表示c類神經(jīng)元的目標平均發(fā)放率，對于每個時間單位p(E)=0.02,p(I)=0.04,τ(E)=1,τ(I)=0.5。

興奮性細胞和抑制性細胞的權(quán)重變化依據(jù)赫布可塑性規(guī)則[23]。圖像對于細胞的權(quán)重變化W(in→E/I)根據(jù)赫布規(guī)則“HO(Hebbian-Oja)”，興奮性細胞對興奮性細胞W(E→E)和興奮性細胞對抑制性細胞W(E→I)的權(quán)重變化根據(jù)相關(guān)度準則“CM(Correlation Measuring)”，即：

方程中xj代表突觸前神經(jīng)元j的發(fā)放率，yi代表突觸后神經(jīng)元i的發(fā)放率。

當10 000個訓(xùn)練樣本的權(quán)重的RMS不再下降即ΔWij=0，網(wǎng)絡(luò)達到平衡狀態(tài)：

式中：nj和mk分別代表興奮性細胞j和抑制性細胞k關(guān)于短時間窗Δt的輸出脈沖。

2 結(jié) 果

利用我們的模型不僅可以得到V1區(qū)簡單細胞的稀疏編碼以及細胞數(shù)量對網(wǎng)絡(luò)稀疏表達的影響，而且討論了興奮性細胞和抑制性細胞的數(shù)量對重構(gòu)殘差的影響。

在推理階段，LIF神經(jīng)元接收外界白化的圖像刺激，這個時期網(wǎng)絡(luò)的細胞脈沖輸出構(gòu)成圖像的稀疏表示，該階段的推理主要通過脈沖進行，當神經(jīng)元發(fā)放一個脈沖時，在下個時間步，它抑制或興奮突觸后神經(jīng)元。在學(xué)習(xí)階段，神經(jīng)元權(quán)重的更新主要是根據(jù)相關(guān)度準則(CM)，只跟突觸前神經(jīng)元和突觸后神經(jīng)元的發(fā)放活動有關(guān)。

圖3(a)是獼猴的感受野[24]，圖3(b)是我們得到的156個興奮性細胞的感受野，每個方塊代表一個神經(jīng)元的感受野，其中灰色代表零，亮色代表正值，暗色代表負值，從圖中可以看出，模型得到的簡單細胞的感受野和獼猴初級視皮層簡單細胞的感受野類似(見附錄)，具有空間局部性，方向性和頻域的帶通性。

圖3 我們的模型得到的初級視皮層簡單細胞的感受野和獼猴初級視皮層簡單細胞的感受野Fig.3 Our model obtained by the primary visual cortex of simple cells of the receptive field and the rhesus monkey primary visual cortex of simple cells of the receptive field

當網(wǎng)絡(luò)的所有細胞接收同一ZCA白化的自然圖像的輸入時，神經(jīng)元的發(fā)放活動由圖4給出，從圖中我們可以看到并不是所有的細胞在任何時間都是發(fā)放的即細胞的發(fā)放是稀疏的。

圖4 細胞脈沖光柵圖。圖中的每一行都表示不同的細胞IDFig.4 Cell pulse grating. Each row in the figure represents a different cell ID, green indicates excitatory cells, and red indicates inhibition of cells

細胞的脈沖輸出構(gòu)成了圖像的稀疏表示，并且利用它們的線性組合可以實現(xiàn)圖像的重構(gòu)，圖5(a)，從Olshausen和Field中選取的圖像，圖5(b)，模型得到的以(a)作為輸入的重構(gòu)圖像，可以看出我們得到的重構(gòu)圖像和原圖像類似。

圖5 模型得到的細胞的發(fā)放活動可以實現(xiàn)網(wǎng)絡(luò)的圖像重構(gòu)Fig.5 Model of the cell release activities can be achieved on the network image reconstruction

由于在大多數(shù)神經(jīng)網(wǎng)絡(luò)中，興奮性細胞和抑制性細胞的數(shù)量比約為4∶1，從而我們考慮了不同數(shù)量的興奮性細胞和抑制性細胞對網(wǎng)絡(luò)稀疏表達的影響。圖6(a)，對于10×10的圖像塊輸入，改變興奮性細胞和抑制性細胞的數(shù)量時，重構(gòu)誤差的變化。從圖(b)中可以看出增加興奮性細胞，重構(gòu)誤差是先減小后增大，并且繼續(xù)增加細胞的數(shù)量時，誤差沒有出現(xiàn)減少的現(xiàn)象。圖6(b)，改變興奮性細胞和抑制性細胞數(shù)量時，細胞抑制連接權(quán)重的變化，發(fā)現(xiàn)由于細胞間的競爭學(xué)習(xí)，隨著細胞數(shù)量的增加，細胞的抑制連接權(quán)重增加，其結(jié)果具有一定的生理學(xué)依據(jù)，即細胞之間的競爭學(xué)習(xí)能夠抑制V1區(qū)細胞的發(fā)放，進而增加了細胞的稀疏性質(zhì)。

我們的模型主要是通過細胞之間的競爭學(xué)習(xí)形成稀疏編碼。圖6(a)給出了不同數(shù)量的興奮性細胞和抑制性細胞對重構(gòu)誤差和細胞抑制連接權(quán)重的影響。當興奮性細胞為156個，抑制細胞為40個時(此時興奮性細胞和抑制性細胞的比例大約為4∶1)，圖像的重構(gòu)誤差達到最小。圖6(c)是繼續(xù)增加細胞的數(shù)量時，抑制性細胞開始出現(xiàn)冗余的現(xiàn)象(粗實線標出)。從圖6(b)，我們可以看出發(fā)現(xiàn)由于細胞間的競爭學(xué)習(xí)，隨著細胞數(shù)量的增加，細胞的抑制連接權(quán)重增加。

圖6改變興奮性細胞和抑制性細胞的數(shù)量時，重構(gòu)誤差，細胞抑制連接權(quán)重和抑制細胞感受野的變化Fig.6 When changing the number of excitatory and inhibitory cells, changes in the reconstructed errors, the cell-dependent link weights, the plots of the RF of the I cells

圖7給出了模型的網(wǎng)絡(luò)動力學(xué)行為，粗實線代表細胞的抑制反饋，細實線代表細胞的發(fā)放率，水平虛線代表平均值。網(wǎng)絡(luò)接收圖像輸入(橫坐標表示網(wǎng)絡(luò)輸入)，當達到閾值時，細胞開始發(fā)放(細實線)，此時細胞之間的抑制作用增加(粗實線)。從圖中可以看出，只有達到一定閾值時，細胞才開始發(fā)放。其中對于細胞的圖像輸入形成高斯分布(虛線)。

圖7 網(wǎng)絡(luò)動力學(xué)Fig.7 Network dynamics

3 討 論

本文利用細胞之間的競爭學(xué)習(xí)，使網(wǎng)絡(luò)的動力學(xué)行為表達在性質(zhì)上具有稀疏性。

結(jié)論如下：

(1) 首先通過Matlab仿真得到了和獼猴初級視皮層簡單細胞類似的Gabor類感受野，并且利用細胞脈沖光柵圖給出了細胞在不同時間步的稀疏發(fā)放活動。

(2)其次討論了不同數(shù)量的興奮性細胞和抑制性細胞對網(wǎng)絡(luò)稀疏表達的影響，發(fā)現(xiàn)由于細胞間的競爭學(xué)習(xí)，隨著細胞數(shù)量的增加，細胞的抑制連接權(quán)重增加，即細胞之間的競爭學(xué)習(xí)能夠抑制V1區(qū)細胞的發(fā)放，進而增加了細胞的稀疏性質(zhì)[20]。

(3)最后通過稀疏重構(gòu)系數(shù)，討論了不同數(shù)量的興奮性細胞和抑制性細胞對重構(gòu)殘差的影響，發(fā)現(xiàn)我們可以利用較少的細胞數(shù)量實現(xiàn)圖像的重構(gòu)。此時興奮性細胞和抑制性細胞的比例接近4∶1。

我們模型中權(quán)重的變化不同于以前的模型[26-28]，它依據(jù)突觸可塑性準則，只與到達當前突觸的脈沖數(shù)和突觸后神經(jīng)元生成的脈沖數(shù)有關(guān)。盡管模型比較簡單，但是利用該模型可以發(fā)現(xiàn)V1區(qū)神經(jīng)元的許多特點，例如細胞的競爭學(xué)習(xí)、神經(jīng)元的稀疏發(fā)放、突觸可塑性。我們希望這些發(fā)現(xiàn)可以幫助揭示視皮層的一些編碼準則。