王存宇　古衛(wèi)明　吳翀　周晨

摘 要： 研究了神經(jīng)網(wǎng)絡(luò)的模型和算法。神經(jīng)網(wǎng)絡(luò)是由簡單處理單元構(gòu)成的大規(guī)模并行分布式處理器，是對(duì)人腦的抽象、簡化和模擬，反映人腦的基本特性。它是根植于神經(jīng)科學(xué)、數(shù)學(xué)、統(tǒng)計(jì)學(xué)、物理學(xué)、計(jì)算機(jī)科學(xué)等學(xué)科的一種技術(shù)。目前，神經(jīng)網(wǎng)絡(luò)主要應(yīng)用于網(wǎng)絡(luò)的軟硬件實(shí)現(xiàn)研究、各個(gè)領(lǐng)域特定問題的研究等。

關(guān)鍵詞： 神經(jīng)網(wǎng)絡(luò)； 分布式處理器； 人腦； 神經(jīng)元模型

中圖分類號(hào)：TP391.9 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1006-8228（2016）10-08-03

Study on neural network algorithm

Wang Cunyu， Gu Weiming， Wu Chong， Zhou Chen

（Zhejiang Topcheer Information Technology Co.，Ltd.， Hangzhou， Zhejiang 310006， China）

Abstract： The model and algorithm of neural network are studied in this paper. Neural network is a massive parallel and distributed processor which is composed of the simple processing units. It is an abstraction， simplification and simulation of the human brain， and reflects the basic characteristics of the human brain. It is a kind of technology rooted in the neural science， mathematics， statistics， physics， and computer science and so on. At present， the neural network is mainly used as a study in network hardware and software implementation and in the specific issues in various fields.

Key words： neural network； distributed processor； human brain； neuron model

0 引言

隨著人工智能技術(shù)的發(fā)展，神經(jīng)網(wǎng)絡(luò)與模糊邏輯、專家系統(tǒng)、遺傳算法、小波、混沌、粗集、分形、證據(jù)理論、灰色系統(tǒng)等技術(shù)的融合已經(jīng)成為智能技術(shù)的一個(gè)重要發(fā)展趨勢，有著很好的發(fā)展前景[2]。研究神經(jīng)網(wǎng)絡(luò)的算法，最終實(shí)現(xiàn)與其他算法的結(jié)合是非常有意義的。

1 神經(jīng)網(wǎng)絡(luò)特點(diǎn)

1.1 一般特點(diǎn)[3]

⑴ 由于神經(jīng)網(wǎng)絡(luò)模仿人的大腦，采用自適應(yīng)算法。使它較之專家系統(tǒng)的固定的推理方式及傳統(tǒng)計(jì)算機(jī)的指令程序方式更能夠適應(yīng)環(huán)境的變化。總結(jié)規(guī)律，完成某種運(yùn)算、推理、識(shí)別及控制任務(wù)，使其具有更高的智能水平，更接近人的大腦。

⑵ 較強(qiáng)的容錯(cuò)能力，使神經(jīng)網(wǎng)絡(luò)能夠和人工視覺系統(tǒng)一樣，根據(jù)對(duì)象的主要特征去識(shí)別對(duì)象。

⑶ 自學(xué)習(xí)、自組織功能及歸納能力。

1.2 自組織的特點(diǎn)

自組織特征映射神經(jīng)網(wǎng)絡(luò)的固有特點(diǎn)決定了神經(jīng)網(wǎng)絡(luò)相對(duì)傳統(tǒng)方法的優(yōu)點(diǎn)：

⑴ 自組織特性，減少人為的干預(yù)，減少人的建模工作，這一點(diǎn)對(duì)于數(shù)學(xué)模型不清楚的物探數(shù)據(jù)處理尤為重要，減少不精確的甚至存在錯(cuò)誤的模型給結(jié)果帶來的負(fù)面影響。

⑵ 強(qiáng)大的自適應(yīng)能力大大減少了工作人員的編程工作，使得被解放出來的處理人員有更多的精力去考慮參數(shù)的調(diào)整對(duì)結(jié)果的影響，使得更快的改進(jìn)方法成為可能。

⑶ 網(wǎng)絡(luò)工作過程中考慮數(shù)據(jù)和網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的問題，更類似人類大腦思考問題的方式，問題的解決更符合人的特點(diǎn)，使得結(jié)果的可信程度加大。

⑷ 無導(dǎo)師學(xué)習(xí)機(jī)制，不需要教師信號(hào)。對(duì)于地球物理勘探這類的很少有準(zhǔn)確的教師信號(hào)作為指導(dǎo)的問題而言，這一點(diǎn)很有優(yōu)勢，很好的模仿人腦，所得結(jié)果是其他方法處理結(jié)果的很好的參考。

2 人類大腦

人的神經(jīng)系統(tǒng)可看作三階段系統(tǒng)，如圖1（Arbib， 1987）所描繪的框圖所示。系統(tǒng)的中央是人腦，由神經(jīng)網(wǎng)絡(luò)表示，它持續(xù)地接收信息，感知它并做出適當(dāng)?shù)臎Q定。圖中有兩組箭頭，從左到右的箭頭表示攜帶信息的信號(hào)通過系統(tǒng)向前傳輸，從右到左的箭頭表示系統(tǒng)中的反債。感受器把來自人體或外界環(huán)境的刺激轉(zhuǎn)換成電沖擊，對(duì)神經(jīng)網(wǎng)絡(luò)（大腦）傳送信息。神經(jīng)網(wǎng)絡(luò)的效應(yīng)器會(huì)將神經(jīng)網(wǎng)絡(luò)產(chǎn)生的電沖擊轉(zhuǎn)換為可識(shí)別的響應(yīng)從而作為系統(tǒng)的輸出。

3 神經(jīng)網(wǎng)絡(luò)

3.1 神經(jīng)元模型

⑴ 突觸或連接鏈集，每一個(gè)都由其權(quán)值或者強(qiáng)度作為特征。具體來說，在連到神經(jīng)元k的突觸j上的輸人信號(hào)被乘以k的突觸權(quán)值。第一個(gè)下標(biāo)指正在研究的這個(gè)神經(jīng)元，第二個(gè)下標(biāo)指權(quán)值所在的突觸的輸入端。和人腦中的突觸不一樣，人工神經(jīng)元的突觸權(quán)值有一個(gè)范圍，可以取正值也可以取負(fù)值。

⑵ 加法器，用于求輸人信號(hào)被神經(jīng)元的相應(yīng)突觸加權(quán)的和。這個(gè)操作構(gòu)成一個(gè)線性組合器。

⑶ 激活函數(shù)，用來限制神經(jīng)元輸出振幅。由于它將輸出信號(hào)限制到允許范圍之內(nèi)的一定值，故而激活函數(shù)也稱為壓制函數(shù)。通常，一個(gè)神經(jīng)元輸出的正常幅度范圍可寫成單位閉區(qū)間[0，1]或者另一種區(qū)間[-1，+1]。

偏置bk的作用是根據(jù)其為正或?yàn)樨?fù)，相應(yīng)地增加或降低激活函數(shù)的網(wǎng)絡(luò)輸人。偏置bk的作用是對(duì)輸出作仿射變換，如下所示：

特別地，根據(jù)偏置bk取正或取負(fù)，神經(jīng)元k的誘導(dǎo)局部域vk和線性組合器輸出uk的關(guān)系如圖3所示。若bk取正，則稱神經(jīng)元處于激活狀態(tài)或興奮狀態(tài)，若bk取負(fù)，則稱神經(jīng)元處于抑制狀態(tài)。這種“閾值加權(quán)和”的神經(jīng)元模型稱為M-P模型，也稱為神經(jīng)網(wǎng)絡(luò)的一個(gè)處理單元（PE）。

3.2 激活函數(shù)

激活函數(shù)的選擇是構(gòu)建神經(jīng)網(wǎng)絡(luò)過程中的重要環(huán)節(jié)。

由于S形函數(shù)與雙極S形函數(shù)都是可導(dǎo)的，因此適合用在BP神經(jīng)網(wǎng)絡(luò)中。

3.3 神經(jīng)網(wǎng)絡(luò)模型

神經(jīng)網(wǎng)絡(luò)是由大量的神經(jīng)元互聯(lián)而構(gòu)成的網(wǎng)絡(luò)。根據(jù)網(wǎng)絡(luò)中神經(jīng)元的互聯(lián)方式，常見網(wǎng)絡(luò)結(jié)構(gòu)主要可以分為下面3類：

⑴ 前饋神經(jīng)網(wǎng)絡(luò)

前饋網(wǎng)絡(luò)也稱前向網(wǎng)絡(luò)。在分層網(wǎng)絡(luò)中，神經(jīng)元以層的形式組織。在最簡單的分層網(wǎng)絡(luò)中，源節(jié)點(diǎn)構(gòu)成輸入層，直接投射到神經(jīng)元輸出層（計(jì)算節(jié)點(diǎn)）上，反之則不然。感知機(jī)（ perceptron）與BP神經(jīng)網(wǎng)絡(luò)就屬于前饋網(wǎng)絡(luò)。

圖4中是一個(gè)三層的前饋神經(jīng)網(wǎng)絡(luò)，其中第一層是輸入單元，第二層稱為隱含層，第三層稱為輸出層（輸入單元不是神經(jīng)元，因此圖中有兩層神經(jīng)元）。

⑵ 反饋神經(jīng)網(wǎng)絡(luò)

反饋型神經(jīng)網(wǎng)絡(luò)是一種從輸出到輸入具有反饋連接的神經(jīng)網(wǎng)絡(luò)，其結(jié)構(gòu)比前饋網(wǎng)絡(luò)要復(fù)雜得多。典型的反饋型神經(jīng)網(wǎng)絡(luò)有：Elman網(wǎng)絡(luò)和Hopfield網(wǎng)絡(luò)。

⑶ 遞歸網(wǎng)絡(luò)

遞歸網(wǎng)絡(luò)和前饋網(wǎng)絡(luò)的區(qū)別在于它至少有一個(gè)反饋環(huán)。如圖6所示，遞歸網(wǎng)絡(luò)可以由單層神經(jīng)元組成，單層網(wǎng)絡(luò)的每一個(gè)神經(jīng)元的輸出都反饋到所有其他神經(jīng)元的輸人中。這個(gè)圖中描繪的結(jié)構(gòu)沒有自反饋環(huán)；自反饋環(huán)表示神經(jīng)元的輸出反饋到它自己的輸人上。圖6也沒有隱藏層。

4 結(jié)束語

神經(jīng)網(wǎng)絡(luò)理論已在信號(hào)處理、人工智能[5]、模式識(shí)別、自動(dòng)控制、輔助決策等眾多研究領(lǐng)域取得了廣泛的應(yīng)用[6]，但其發(fā)展還不十分成熟，比如：神經(jīng)計(jì)算的基礎(chǔ)理論框架以及生理層面的研究仍需深入。新的模型和結(jié)構(gòu)的研究；神經(jīng)網(wǎng)絡(luò)的可理解性問題；神經(jīng)網(wǎng)絡(luò)技術(shù)與其他技術(shù)更好的結(jié)合等。

今后的研究應(yīng)在充分利用神經(jīng)網(wǎng)絡(luò)優(yōu)點(diǎn)的基礎(chǔ)上，關(guān)注各個(gè)領(lǐng)域的新方法、新技術(shù)，發(fā)現(xiàn)他們之間的結(jié)合點(diǎn)，取長補(bǔ)短，并進(jìn)行有效的融合，從而獲得比單一方法更好的效果。除此之外，還應(yīng)當(dāng)加強(qiáng)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)理論方面的研究和在實(shí)際應(yīng)用方面的研究，使其在工程應(yīng)用中發(fā)揮越來越大的作用。

參考文獻(xiàn)（References）：

[1] 樊振宇.BP神經(jīng)網(wǎng)絡(luò)模型與學(xué)習(xí)算法[J].軟件導(dǎo)刊，2011.10（7）：

66-68

[2] 陳祥光，裴旭東.人工神經(jīng)網(wǎng)絡(luò)技術(shù)及應(yīng)用[M].中國電力出版

社，2003.

[3] 郭志安等著.神經(jīng)計(jì)算機(jī)：概念、原理、算法、能力[M].四川教

育出版社，2001.

[4] 毛健，趙紅東，姚婧婧.人工神經(jīng)網(wǎng)絡(luò)的發(fā)展及應(yīng)用[J].電子設(shè)

計(jì)工程，2011.19（24）：62-65

[5] 虞和濟(jì)等著.基于神經(jīng)網(wǎng)絡(luò)的智能[M].冶金工業(yè)出版社，2000.

[6] 王洪元，史國棟.人工神經(jīng)網(wǎng)絡(luò)技術(shù)及其應(yīng)用[M].中國石化

出版社，2002.

[7] Li Minyiang. Xu Boyi. Kou Jisong. On the cotnhinalion of

genetic algorithms and neural networks[J]. Systems Engineering-Theory $. Practice，1999.2：65-69