李源浩

摘? 要： M-P模型是人類歷史上第一個神經(jīng)元模型，源自1943年麥卡洛克和皮茨所發(fā)表的研究論文。這篇論文主要的基礎(chǔ)是當(dāng)時(shí)的神經(jīng)元生理知識、數(shù)理邏輯分析方法以及圖靈等人的研究成果。上述論文及相關(guān)內(nèi)容構(gòu)成了M-P模型的背景，通過對其進(jìn)行梳理和分析，可了解麥卡洛克和皮茨的研究思路，認(rèn)識M-P模型的歷史地位、作用以及更多技術(shù)細(xì)節(jié)。

關(guān)鍵詞： M-P模型; 神經(jīng)元; 神經(jīng)網(wǎng)絡(luò)

中圖分類號：TP18? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A? ? ?文章編號：1006-8228（2022）02-08-04

Study on the background of M-P model

Li Yuanhao

（School of Computer & Communication Engineering， University of Science and Technology Beijing， Beijing 100084， China）

Abstract： M-P model is the first neuron model originated from the research paper of the nervous activity made by McCulloch and Pitts in 1943. The basis of the research paper is mainly the physiological knowledge of neurons， analysis method of mathematical logic and the research results of Turing et al. at that time， which constitutes the background of M-P model. By analyzing the research paper and the background， the ideas and methods used by McCulloch and Pitts in the research can be captured to realize the historical role， influence and more technical details of M-P model.

Key words： M-P model; neuron; neural network

0 引言

M-P模型，又稱為麥卡洛克-皮茨模型，是1943年美國科學(xué)家麥卡洛克（McCulloch）和皮茨（Pitts）首先提出的一種人工神經(jīng)元模型。

圖1的M-P模型中，x（i=1，2，…，n）表示來自與當(dāng)前神經(jīng)元相連的其他神經(jīng)元傳遞的輸入信號，w代表從神經(jīng)元j到神經(jīng)元[i]的連接強(qiáng)度或權(quán)值，θ為神經(jīng)元的激活閾值或偏置，稱作激活函數(shù)或轉(zhuǎn)移函數(shù)。神經(jīng)元的輸出y可以表示如下：

麥卡洛克和皮茨根據(jù)神經(jīng)元傳遞中的“0，1律”和神經(jīng)傳遞中信號不但有不同的強(qiáng)度，而且有興奮和抑制兩種情況，將神經(jīng)元看成是一個有n個輸入和一個輸出的元件，該模型從邏輯功能元件的角度來描述神經(jīng)元，為神經(jīng)網(wǎng)絡(luò)的理論研究開辟了道路。

作為人類首個神經(jīng)元模型，M-P模型具有特殊的歷史地位，但由于時(shí)間久遠(yuǎn)，其背景容易被人們忽視。M-P模型的背景探究，就是對麥卡洛克和皮茨發(fā)表于1943年的論文進(jìn)行梳理和分析。

1 論述

1943年，麥卡洛克和皮茨在《數(shù)理生物學(xué)通報(bào)》（Bulletin of Mathematical Biology）刊物上，發(fā)表了一篇名為《神經(jīng)活動中所蘊(yùn)含思想的邏輯演算》（A logical calculus of the ideas immanent in nervous activity）的論文[1]，首次提出了M-P模型。

1.1 論文的相關(guān)背景

《神經(jīng)活動中所蘊(yùn)含思想的邏輯演算》（以下簡稱《神經(jīng)》）引用的文獻(xiàn)只有以下三份。

⑴ 卡納普（Carnap）的《語言的邏輯句法》（The Logical Syntax of Language）。

⑵ 希爾伯特（Hilbert）和阿克曼（Ackermann）的《數(shù)理輯邏基礎(chǔ)》（Gtundz ge der Theoretischen Logik）。

⑶ 羅素（Russell）和懷特海的（Whitehead）的《數(shù)學(xué)原理》（Principa Mathematica）。

《神經(jīng)》發(fā)表的時(shí)期，正是數(shù)理邏輯發(fā)展日臻成熟的時(shí)期，涌現(xiàn)出了一大批像羅素、懷特海這樣的代表人物。他們的著作和思想，廣泛而深刻地影響著同時(shí)代的科學(xué)家。利用數(shù)理邏輯在不同的領(lǐng)域開展研究，在當(dāng)時(shí)屢見不鮮，一些科學(xué)家更是取得了開創(chuàng)性的成果。1937年，香農(nóng)完成了他的碩士論文《繼電器和開關(guān)電路的符號分析》[2]。香農(nóng)在論文中提出，任何電路都可以用一組表達(dá)式表示，表達(dá)式的演算方法類似于符號邏輯中命題演算。1936年，圖靈完成了他的碩士論文《論可計(jì)算數(shù)及其在判定性問題上的應(yīng)用》[3]，在理論上構(gòu)造出了圖靈機(jī)，證明了圖靈機(jī)可以完成人類在計(jì)算時(shí)所能做到的一切工作。任何可以計(jì)算的，圖靈機(jī)都可以計(jì)算。圖靈還設(shè)想了可以模仿其他任何圖靈機(jī)的通用圖靈機(jī)。上述研究成果自然也影響著麥卡洛克和皮茨，并構(gòu)成了《神經(jīng)》的研究基礎(chǔ)。

1.2 論文的內(nèi)容

《神經(jīng)》共計(jì)17頁，分為摘要、正文和文獻(xiàn)三個部分。

摘要部分，麥卡洛克和皮茨直接寫道，由于神經(jīng)活動具有“全”或“無”的特性，神經(jīng)系統(tǒng)的事件及內(nèi)部關(guān)系可以用命題邏輯來處理?！叭被颉盁o”是指神經(jīng)元興奮或抑制這兩種狀態(tài)。神經(jīng)元的狀態(tài)也能與邏輯中的真、假對應(yīng)。更進(jìn)一步，基于神經(jīng)元相互聯(lián)結(jié)組成的神經(jīng)網(wǎng)絡(luò)，就可以用數(shù)理邏輯來表示和演算。其文內(nèi)容分為四個部分。第一部分是引言，麥卡洛克和皮茨介紹了關(guān)于神經(jīng)元的基本認(rèn)識、前期工作和遇到的問題。

1875年意大利科學(xué)家高爾基（Golgi）采用染色體方法對單個神經(jīng)細(xì)胞標(biāo)識，標(biāo)志著神經(jīng)生理學(xué)的誕生。1889年西班牙科學(xué)家卡哈爾（Cajal）從形態(tài)上和結(jié)構(gòu)上對神經(jīng)細(xì)胞或生物神經(jīng)元進(jìn)行了詳細(xì)的研究，創(chuàng)立了神經(jīng)元學(xué)說。自那之后，關(guān)于神經(jīng)元的生物學(xué)特性和相關(guān)的電學(xué)性質(zhì)逐漸被人們所認(rèn)識。但是在二十世紀(jì)四十年代，人們對神經(jīng)元的認(rèn)識還只是停留在動物實(shí)驗(yàn)的基礎(chǔ)上。雖然發(fā)現(xiàn)了神經(jīng)元存在興奮和抑制的不同電位差，但對神經(jīng)元的內(nèi)在機(jī)理并不完全掌握。在《神精》正文的引言部分中，麥卡洛克和皮茨坦言某些認(rèn)識并沒有得到科學(xué)證實(shí)，還有某些認(rèn)識只是猜想和假設(shè)，例如下文提到的“絕對抑制”。

M-P模型被詬病的最大問題就是神經(jīng)元的輸入權(quán)重不能夠變化，也就是不具備學(xué)習(xí)能力。在M-P模型之后出現(xiàn)的其他具有里程碑意義的神經(jīng)網(wǎng)絡(luò)模型是權(quán)重可以變化的，也就是能夠?qū)W習(xí)。缺乏學(xué)習(xí)能力一直是M-P模型給予人的印象。然而事實(shí)上，麥卡洛克和皮茨在論文中闡述了神經(jīng)元的學(xué)習(xí)功能。麥卡洛克和皮茨認(rèn)為神經(jīng)元的學(xué)習(xí)，主要依靠神經(jīng)元閾值的調(diào)整和聯(lián)結(jié)的改變。換句話說，在麥卡洛克和皮茨看來，M-P模型的神經(jīng)元是可以學(xué)習(xí)的，只是不基于變化的權(quán)重，而是基于變化的閾值和聯(lián)結(jié)。

“絕對抑制”則是另一個后來被證明錯誤的觀點(diǎn)。絕對抑制是指抑制突觸的活動，在任何時(shí)間都可以絕對抑制神經(jīng)元的興奮。換句話說，就是對神經(jīng)元的興奮擁有“一票否決權(quán)”?，F(xiàn)在的M-P模型中，已經(jīng)完全看不到絕對抑制的影子了。如果把絕對抑制寫進(jìn)今天的M-P模型，那么它的數(shù)學(xué)表達(dá)式⑵應(yīng)該被改寫成：

這是《神經(jīng)》論文關(guān)于神經(jīng)元的描述，與現(xiàn)在M-P模型最顯著的區(qū)別。需要注意的是，在接下來有關(guān)《神經(jīng)》論文的介紹中，會經(jīng)常出現(xiàn)絕對抑制。

在《神經(jīng)》引言部分的結(jié)尾處，麥卡洛克和皮茨談到了神經(jīng)網(wǎng)絡(luò)的復(fù)雜性給研究工作帶來的困難。由神經(jīng)元相互聯(lián)結(jié)構(gòu)成的網(wǎng)狀神經(jīng)系統(tǒng)中，通常會有許多的聯(lián)結(jié)回路，這導(dǎo)致了脈沖傳導(dǎo)的循環(huán)，使問題變得復(fù)雜。麥卡洛克和皮茨把復(fù)雜的神經(jīng)網(wǎng)絡(luò)分成無回路和有回路的神經(jīng)網(wǎng)絡(luò)，并在正文的第二部分和第三部分作分別研究。正文第二部分的研究開始前，麥卡洛克和皮茨首先給出了以下假定。

⑴ 神經(jīng)元的活動是一個“全或無”的過程。

⑵ 只有一定數(shù)量的興奮突觸刺激才可使神經(jīng)元興奮。

⑶ 神經(jīng)系統(tǒng)中的延遲只考慮突觸延遲。

⑷ 任何抑制突觸的活動都會絕對地避免神經(jīng)元興奮。

⑸ 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)不會隨著時(shí)間而改變。

在這些假設(shè)的基礎(chǔ)上，麥卡洛克和皮茨定義了各種邏輯符號與神經(jīng)活動的對應(yīng)關(guān)系以及一種時(shí)態(tài)命題表達(dá)式，并對一些符號的使用做了必要說明。

麥卡洛克和皮茨首先推導(dǎo)出了第1個定理—任何網(wǎng)絡(luò)都可以表示為下面的時(shí)態(tài)命題表達(dá)式。

N（z）表示神經(jīng)元在z時(shí)的活動，這種活動要么是1，對應(yīng)興奮;要么是0，對應(yīng)抑制。等價(jià)符號后面，可以拆分成兩個部分。前一部分表示抑制突觸的活動，注意“否”的邏輯符號使用的是“～”。后一部分表示興奮突觸的活動，其中[ki]是指合計(jì)超過閾值的興奮突觸數(shù)量。這兩個部分實(shí)際上就是公式⑶中y=1時(shí)的兩個條件判斷，既興奮輸入的累加超過閾值且抑制性輸入為0。當(dāng)然，這是指N（z）等于1時(shí)，如果是其他情況，則其為0。反之亦然，每個時(shí)態(tài)命題表達(dá)式也可以用神經(jīng)網(wǎng)絡(luò)表示，這就是第二個定理。在定理1、2之上，麥卡洛克和皮茨又研究了一些較特殊的情況，例如相對抑制與絕對抑制是否等價(jià)、聯(lián)結(jié)的改變等，并由此演算推導(dǎo)出了另外五個定理。

注意圖2（c）中，第一、二個神經(jīng)元與第三個神經(jīng)元分別只有一個聯(lián)結(jié)點(diǎn)。由前述假定中所列第二條可知，單獨(dú)一個聯(lián)結(jié)是不能使第三個神經(jīng)元興奮的，需要第一和第二個神經(jīng)元同時(shí)輸出狀態(tài)是1。

這些特定聯(lián)結(jié)的神經(jīng)元通過進(jìn)一步的組合，又可以構(gòu)成更復(fù)雜的、實(shí)現(xiàn)更多功能的神經(jīng)網(wǎng)絡(luò)，相應(yīng)的邏輯表達(dá)式也可以演算得到。論文中舉了這樣一個例子：如果一個冷的物體，在一段時(shí)間內(nèi)貼在皮膚表面，隨后又被移開，皮膚會感覺到熱;但如果冷的物體過久地貼在皮膚表面，那么即使移開后，皮膚也不會有熱的感覺了?，F(xiàn)在假設(shè)有二個感知器，分別用于感知熱和冷，并用N和N代表。另外二個神經(jīng)元的活動N和N分別對應(yīng)了對熱和冷的神經(jīng)感覺。對應(yīng)上例的神經(jīng)元聯(lián)結(jié)關(guān)系如圖3所示。

第三部分分析了“有回路的神經(jīng)網(wǎng)絡(luò)”。通過遞歸函數(shù)和更復(fù)雜的邏輯演算，同樣證明了“有回路的神經(jīng)網(wǎng)絡(luò)”也能夠與相應(yīng)的邏輯表達(dá)式對應(yīng)。麥卡洛克和皮茨還特別指出了，如果給神經(jīng)網(wǎng)絡(luò)裝配上紙帶或是掃描設(shè)備的話，它可以像圖靈機(jī)一樣工作。圖靈機(jī)能夠計(jì)算的數(shù)，神經(jīng)網(wǎng)絡(luò)也可以計(jì)算。麥卡洛克和皮茨認(rèn)為他們的研究從心理學(xué)的角度，再次證明了圖靈等人的學(xué)說。

第四部分是結(jié)論，麥卡洛克和皮茨基于對神經(jīng)網(wǎng)絡(luò)的研究，嘗試去解釋人類認(rèn)知方面存在的缺陷以及各種精神疾病可能的原因。麥卡洛克和皮茨還討論了研究成果對相關(guān)學(xué)科的影響，認(rèn)為論文中的神經(jīng)網(wǎng)絡(luò)學(xué)說對心理學(xué)、神經(jīng)生物學(xué)、神經(jīng)醫(yī)學(xué)等都起到了推動作用。

麥卡洛克和皮茨指出，適當(dāng)?shù)纳窠?jīng)聯(lián)結(jié)和神經(jīng)元閾值，使大腦內(nèi)神經(jīng)元的活動成為被感知的外部世界一切初始命題的有限的邏輯組合。

2 結(jié)論

通過M-P模型的背景探究，可以得出下面的結(jié)論和啟示。

麥卡洛克和皮茨的研究思路是，依據(jù)神經(jīng)元“全”或“無”的特點(diǎn)，將其等同于電路中的邏輯元件，并構(gòu)建出能夠用數(shù)理邏輯表達(dá)和演算的神經(jīng)網(wǎng)絡(luò)，并在此基礎(chǔ)上，解釋和模擬人類的神經(jīng)活動。

麥卡洛克和皮茨利用了當(dāng)時(shí)已經(jīng)被證明是功能強(qiáng)大的并廣泛應(yīng)用于各個研究領(lǐng)域的數(shù)理邏輯這一工具，借鑒了圖靈等人在信息技術(shù)領(lǐng)域的研究成果，并創(chuàng)造性地將它們應(yīng)用到神經(jīng)生理學(xué)的研究中。

麥卡洛克和皮茨的研究工作，開啟了神經(jīng)網(wǎng)絡(luò)研究的先河，為之后的神經(jīng)網(wǎng)絡(luò)模型發(fā)展打下了基礎(chǔ)。他們的研究工作，也引發(fā)了那個時(shí)代的公眾對神經(jīng)科學(xué)的熱情，影響了許多不同領(lǐng)域的科學(xué)家，為后續(xù)的人工智能發(fā)展創(chuàng)造了環(huán)境。論文中涉及到的研究方法和思路，對后來的計(jì)算神經(jīng)科學(xué)、信息論、有限狀態(tài)機(jī)等都起到了推動作用。

《神經(jīng)》論文涉及了多個學(xué)科的研究領(lǐng)域，也體現(xiàn)出了跨學(xué)科交流與融合的重要性。正如前蘇聯(lián)科學(xué)家阿利特舒列爾（Altschuller），在1946年通過大量研究分析后得出的結(jié)論：解決本領(lǐng)域技術(shù)難題的最有效的原理與方法，往往來自于其他領(lǐng)域的科學(xué)知識[4]。麥卡洛克和皮茨借鑒、吸收了那個時(shí)代前沿的學(xué)術(shù)成果，應(yīng)用到神經(jīng)生物學(xué)領(lǐng)域中，最終促成了創(chuàng)新性的突破。神經(jīng)科學(xué)家麥卡洛克和數(shù)學(xué)家皮茨之間的合作也再次證明了學(xué)術(shù)合作的重要性。

通過對M-P模型的背景探究，也了解到了更多M-P模型的細(xì)節(jié)，如學(xué)習(xí)能力、相對抑制、神經(jīng)聯(lián)結(jié)等，從而使對M-P模型的認(rèn)識更加深刻、更加全面。M-P模型最大的特點(diǎn)是簡單，但這種簡單也是相對的，正如下一代神經(jīng)網(wǎng)絡(luò)模型——感知機(jī)的提出者羅森布拉特（Rosenblatt）所說：麥卡洛克和皮茨留下的最重要的思想是，神經(jīng)元是簡單的，然而，適當(dāng)聯(lián)結(jié)并嵌入神經(jīng)系統(tǒng)后卻能獲得強(qiáng)大的計(jì)算能力[5]。

M-P模型自1943年提出之后，至今已經(jīng)出現(xiàn)了幾百種不同的神經(jīng)元模型[6]，而影響最大的仍然是M-P模型。這也說明M-P模型較準(zhǔn)確地反應(yīng)了神經(jīng)元的本質(zhì)特征。

參考文獻(xiàn)（References）：

[1] Warren S. McCulloch， Walter Pitts. A logical calculus of the

ideas immanent in nervous activity[J].Bulletin of Mathematical Biology，1990.52：99-115

[2] Claude Shannon， A Symbolic Analysis of Relay and

Switching Circuits[J]. Transactions of the American Institute of Electrical Engineers，57（1938）

[3] A. M. Turing. On Computable Numbers， With an

Application to the Entscheidungsproblem[J].Proceedings of the London Mathematical Society， Volume s2-42， Issue 1，1937：230-265

[4] 周蘇，張麗娜，陳敏玲.創(chuàng)新思維與TRIZ創(chuàng)新方法（第二版）[M].

清華大學(xué)出版社，2018.7

[5] 阮曉鋼.神經(jīng)計(jì)算科學(xué)-在細(xì)胞的水平上模擬腦功能[M].

國防工業(yè)出版社，2006：233

[6] 王萬良.人工智能通識教程[M].清華大學(xué)出版社，2020