石季平

摘 要：針對(duì)神經(jīng)網(wǎng)絡(luò)中信息傳遞的研究在生物、醫(yī)學(xué)以及人工智能方面具有重要的意義。通過對(duì)神經(jīng)元工作機(jī)理的簡化，我們建立了描述該問題的數(shù)學(xué)模型，并提出了激勵(lì)函數(shù)等相關(guān)概念?；趯?shí)例分析，我們發(fā)現(xiàn)了神經(jīng)元的排布拓?fù)湟约鞍w的激勵(lì)函數(shù)形式會(huì)極大地影響神經(jīng)網(wǎng)絡(luò)中信息傳遞的特性，比如信號(hào)持續(xù)時(shí)間、幅值等；并由此提出了多種降低目標(biāo)神經(jīng)元興奮程度的方法。

關(guān)鍵詞：神經(jīng)元；神經(jīng)網(wǎng)絡(luò)；信息傳遞；激勵(lì)函數(shù)

中圖分類號(hào)：Q42 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1671-2064（2017）07-0027-02

1 概述

隨著生命科學(xué)的發(fā)展，人們逐漸利用數(shù)學(xué)、物理、化學(xué)等手段去試圖揭開生命體中各個(gè)組織器官的工作奧妙。然而，作為最重要的器官的大腦，由于其高度的復(fù)雜性，人們對(duì)于它工作原理的認(rèn)識(shí)還遠(yuǎn)遠(yuǎn)不夠。大腦巧妙的生物學(xué)構(gòu)造使得生物能夠在很短時(shí)間內(nèi)對(duì)特定的刺激做出判斷。雖然對(duì)人工智能的研究已開展多年，但在很多方面其還是難以達(dá)到人腦的工作效率。因此，對(duì)于神經(jīng)系統(tǒng)的深入理解和研究不僅在生物、醫(yī)學(xué)領(lǐng)域具有重要的意義，還極具工程實(shí)踐價(jià)值。目前為止，人們對(duì)神經(jīng)系統(tǒng)的構(gòu)造和工作機(jī)理已有一定的理解[1]。例如，人們發(fā)現(xiàn)組成神經(jīng)網(wǎng)絡(luò)的基本單位是神經(jīng)元，如圖1（a）所示，每個(gè)神經(jīng)元主要由胞體，樹突和軸突三個(gè)部分組成[2]。在神經(jīng)元工作的過程中，樹突主要負(fù)責(zé)接收激勵(lì)信息，并把信號(hào)發(fā)送到胞體；胞體對(duì)信息進(jìn)行一定的處理后通過軸突傳遞到下一個(gè)目標(biāo)神經(jīng)元。

基于上述基本原理，本文對(duì)神經(jīng)元中信息傳遞以及處理的過程進(jìn)行了數(shù)學(xué)建模。利用該模型，我們進(jìn)一步研究了神經(jīng)網(wǎng)絡(luò)的工作特性，并發(fā)現(xiàn)了影響信息傳播的若干因素。

2 神經(jīng)元的工作原理建模

記輸入信號(hào)為xi（i=1，2…n）。如圖1（b）所示，我們將神經(jīng)元中的軸突、樹突和胞體的結(jié)構(gòu)分別進(jìn)行簡化。其中，軸突可以等效為將xi信號(hào)進(jìn)行輸入的有向鏈（紅色帶箭頭的線段）。樹突的作用可以由圖中藍(lán)色的連接權(quán)系數(shù)ωi代表，其意味著第i個(gè)有向鏈上信息的權(quán)重，生物學(xué)的意義是相鄰軸突-樹突之間作用的強(qiáng)弱。胞體主要有兩大功能（用綠色字符示意）：第一，將傳遞到胞體上的信號(hào)進(jìn)行加法集成（Σ求和），并用閾值θ調(diào)整加法集成后的信號(hào)強(qiáng)度；第二，將上述過程中處理好的信號(hào)進(jìn)行進(jìn)一步的處理（f（*）函數(shù)），最終將信號(hào)釋放到下一個(gè)神經(jīng)元。

根據(jù)以上描述，我們可以給出信號(hào)在通過一個(gè)神經(jīng)元前后輸入輸出的關(guān)系式：當(dāng)胞體完成其第一個(gè)功能后，我們有

（1）

式（1）其中s為進(jìn)行了加法集成后超出閾值θ的信號(hào)強(qiáng)度。更進(jìn)一步，最終從胞體輸出的信號(hào)y的強(qiáng)度可以表示為，其中f被稱為變換函數(shù)，或者激勵(lì)函數(shù)。不同的胞體的f的表達(dá)形式可能不同。常用的激勵(lì)函數(shù)f的形式可以有如下幾種[3]：

（2）

或者

（3）

如果設(shè)k=1，以及T=1，那么式（2）和（3）中的f（s）的變化規(guī)律分別如圖2（a）、（b）所示。可以發(fā)現(xiàn)如下兩點(diǎn)規(guī)律：第一，不同的激勵(lì)函數(shù)對(duì)于相同的輸入信號(hào)的處理結(jié)果是不同的，這就意味著，某些細(xì)胞可能對(duì)于信號(hào)更加敏感；第二，輸入信號(hào)和輸出信號(hào)的強(qiáng)度之間大致呈正相關(guān)關(guān)系。

此外，完整描述一段信號(hào)不僅需要強(qiáng)度量，還需要強(qiáng)度隨時(shí)間的變化規(guī)律。在下一小節(jié)中，通過引入信息傳遞速度的概念，我們可以給出輸出信號(hào)y在時(shí)間上的變化規(guī)律。

3 神經(jīng)網(wǎng)絡(luò)信息傳遞實(shí)例分析

在本小節(jié)中，我們通過幾個(gè)具體事例來探索神經(jīng)元信息傳遞的奧秘。如圖2（a）、（b）所示，我們分別考慮神經(jīng)網(wǎng)絡(luò)具有兩種不同拓?fù)涞那闆r。圖2（a）中共有四個(gè)神經(jīng)元胞體，標(biāo)號(hào)分別為1～4，其中1～3號(hào)胞體為4號(hào)胞體的輸入源，且它們排列在一個(gè)以4號(hào)胞體為中心、半徑為l的圓弧上。與圖2（a）不同的是，圖2（b）中1～3號(hào)胞體的排列在一個(gè)等腰三角形的底邊上，其中三角形頂角為120°，腰長為l，2號(hào)胞體在底邊中點(diǎn)的位置。

必須要注意的是，神經(jīng)元之間的信號(hào)傳遞是需要時(shí)間的。因此，我們引入信號(hào)傳遞速度v的概念。換言之，如果相鄰胞體之間的距離為l，那么信號(hào)傳遞所需的時(shí)間即為l/v。此外，我們還認(rèn)為胞體處理信號(hào)的速度遠(yuǎn)遠(yuǎn)快于信號(hào)在有向鏈上的傳遞速度，即信號(hào)處理的時(shí)間可以忽略不計(jì)。

對(duì)于圖2（a）、（b）中的拓?fù)浣Y(jié)構(gòu)，我們認(rèn)為1～3號(hào)胞體在t=0時(shí)刻同時(shí)發(fā)出了一個(gè)如圖2（c）所示的激勵(lì)信號(hào)，信號(hào)的最大幅值為1，持續(xù)時(shí)間為0.66μs。取每條有向鏈上的權(quán)重ω=1，長度l為0.1 mm，傳輸速度v為100 m/s，4號(hào)胞體的閾值θ為1.5。

圖2（a）神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)一；（b）神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)二；（c）輸入信號(hào)x隨時(shí)間t的變化；（d）對(duì)應(yīng)于（a）圖結(jié)構(gòu)的輸出信號(hào)y，其中4號(hào)胞體的激勵(lì)函數(shù)由式（2）給出；（e）對(duì)應(yīng)于（b）圖結(jié)構(gòu)的輸出信號(hào)y，其中4號(hào)胞體的激勵(lì)函數(shù)由式（2）給出；（f）對(duì)應(yīng)于（a）圖結(jié)構(gòu)的輸出信號(hào)y，其中4號(hào)胞體的激勵(lì)函數(shù)由式（3）給出。

基于以上參數(shù)選擇，我們給出三組算例，其結(jié)果分別如圖2（d）、（e）和（f）所示。算例選用的拓?fù)浣Y(jié)構(gòu)以及激勵(lì)函數(shù)的形式在圖例中給出，正文不再贅述?；谟?jì)算結(jié)果，我們可以發(fā)現(xiàn)如下規(guī)律：

（1）輸入信號(hào)以及其他參數(shù)保持不變時(shí)，神經(jīng)網(wǎng)絡(luò)的幾何拓?fù)鋾?huì)極大地影響輸出的響應(yīng)。對(duì)比圖2（d）和（e），我們發(fā)現(xiàn)在兩種網(wǎng)絡(luò)內(nèi)信號(hào)的持續(xù)時(shí)間以及幅值都完全不同。這是因?yàn)樵趫D2（a）結(jié)構(gòu)中，三個(gè)輸入信號(hào)同時(shí)達(dá)到4號(hào)胞體；而圖2（b）結(jié)構(gòu)中，2號(hào)胞體發(fā)出的信號(hào)相對(duì)于1、3號(hào)的信號(hào)提前0.5μs到達(dá)，導(dǎo)致信號(hào)的持續(xù)時(shí)間增長，但是平均幅值降低。（2）激勵(lì)函數(shù)的形式對(duì)于輸出有極大的影響。對(duì)比圖2（d）和（f），我們發(fā)現(xiàn)信號(hào)的持續(xù)時(shí)間相同但幅值差異很大。這是因?yàn)樵谙嗤妮斎胄盘?hào)下，激勵(lì)函數(shù)的形式會(huì)直接影響響應(yīng)的大小。

如果需要人為地影響甚至控制神經(jīng)網(wǎng)絡(luò)中的信號(hào)傳遞，基于數(shù)學(xué)模型和計(jì)算結(jié)果，我們可以給出如下幾點(diǎn)經(jīng)驗(yàn)。比如，從原理上，我們可以采用至少四種手段來降低目標(biāo)神經(jīng)元的興奮程度：第一，通過外科手術(shù)改變神經(jīng)網(wǎng)絡(luò)的幾何結(jié)構(gòu)或者神經(jīng)元之間的相互連接關(guān)系，但是這種做法可能具有很高風(fēng)險(xiǎn)；第二，通過外界的干預(yù)，改變胞體的信號(hào)處理模式，即修改激勵(lì)函數(shù)f的形式；第三，控制胞體化學(xué)反應(yīng)，調(diào)高信號(hào)閾值θ，使其傳遞強(qiáng)度更低的信號(hào)；最后，我們還可以采用物理或者化學(xué)的方法降低軸突-樹突之間的連接權(quán)系數(shù)ω，切斷減弱胞體間的相互作用關(guān)系。這些建議可能對(duì)臨床醫(yī)學(xué)或者仿生學(xué)有一定的啟發(fā)意義。

4 結(jié)語

通過對(duì)神經(jīng)元的組成以及工作原理進(jìn)行簡化，本文得到了信息在神經(jīng)元間傳遞的數(shù)學(xué)模型，并提出了描述該過程的一些重要變量，如閾值θ，連接權(quán)系數(shù)ω以及激勵(lì)函數(shù)f等?；趯?shí)例分析，我們發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)對(duì)于信號(hào)傳遞具有重要影響，此外，改變胞體的激勵(lì)函數(shù)f也可以實(shí)現(xiàn)相似的效果。最后，根據(jù)數(shù)學(xué)模型，我們提出了一些改變神經(jīng)網(wǎng)絡(luò)中信號(hào)傳遞的方法，比如調(diào)整網(wǎng)絡(luò)幾何、胞體工作機(jī)制等。

參考文獻(xiàn)

[1]吳慧玲.兩類神經(jīng)元模型的動(dòng)力學(xué)分析[D].華南理工大學(xué)，2012.

[2]徐國麗.神經(jīng)元模型的動(dòng)力學(xué)特性研究[D].蘭州交通大學(xué)，2013.

[3]胡瑞敏，徐正金.人工神經(jīng)元網(wǎng)絡(luò)的智能神經(jīng)元模型[J].電子學(xué)報(bào)，1996（4）： 86-90.