（山西藥科職業(yè)學(xué)院，山西太原 030031）

人工神經(jīng)網(wǎng)絡(luò)作為人工智能的核心技術(shù)，在人臉識(shí)別、語(yǔ)音識(shí)別、圖像識(shí)別、自動(dòng)駕駛等領(lǐng)域得到廣泛應(yīng)用，隨著人工智能技術(shù)的發(fā)展，其重要性日益凸顯，值得深入研究。

1 人工神經(jīng)網(wǎng)絡(luò)含義

人工神經(jīng)網(wǎng)絡(luò)（artificial neural networks，ANN）是一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。人工神經(jīng)網(wǎng)絡(luò)利用計(jì)算機(jī)技術(shù)，參考動(dòng)物大腦神經(jīng)網(wǎng)絡(luò)進(jìn)行信息處理的系統(tǒng)，其核心是數(shù)學(xué)算法，通過(guò)計(jì)算機(jī)軟、硬件實(shí)現(xiàn)。

人工神經(jīng)單元的數(shù)學(xué)模型：

式中：a——激活函數(shù)；wi——第i個(gè)輸入的權(quán)重，i∈［1，n］；xi——第i個(gè)輸入，i∈［1，n］；b——神經(jīng)單元對(duì)信號(hào)的反應(yīng)靈敏度；y——神經(jīng)單元的輸出。

大腦神經(jīng)細(xì)胞如圖1所示，神經(jīng)系統(tǒng)如圖2所示。

圖1 大腦神經(jīng)細(xì)胞

圖2 大腦神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)如圖3所示。

圖3 人工神經(jīng)網(wǎng)絡(luò)

由圖1～圖3可知，人工神經(jīng)單元的運(yùn)作方式模擬了大腦神經(jīng)細(xì)胞的運(yùn)作方式，大腦神經(jīng)網(wǎng)絡(luò)的組織結(jié)構(gòu)也是人工神經(jīng)網(wǎng)絡(luò)產(chǎn)生的重要靈感來(lái)源[1]。

2 人工神經(jīng)網(wǎng)絡(luò)應(yīng)用

人工神經(jīng)網(wǎng)絡(luò)能夠解決較多問(wèn)題，主要是回歸和分類(lèi)兩大類(lèi)問(wèn)題。分類(lèi)是按照某種特定規(guī)則，將數(shù)據(jù)劃分為若干類(lèi)，與傳統(tǒng)分類(lèi)不同的是，人工神經(jīng)網(wǎng)絡(luò)能夠自行尋找規(guī)則，不需要事先指定?；貧w是進(jìn)行數(shù)據(jù)擬合，尋找數(shù)據(jù)變化的規(guī)律，進(jìn)行未知數(shù)據(jù)的預(yù)測(cè)。

常見(jiàn)的人臉識(shí)別、圖像分割、垃圾電子郵件標(biāo)注、自動(dòng)垃圾分類(lèi)等屬于分類(lèi)問(wèn)題，通過(guò)人臉判斷年齡、通過(guò)前幾次的比賽成績(jī)預(yù)測(cè)下一次的成績(jī)、通過(guò)一只股票的歷史數(shù)據(jù)預(yù)測(cè)未來(lái)的走勢(shì)屬于回歸問(wèn)題。

現(xiàn)階段，人工神經(jīng)網(wǎng)絡(luò)還應(yīng)用于語(yǔ)音識(shí)別翻譯、圖像識(shí)別、文本分析、智能機(jī)器人、企業(yè)管理、市場(chǎng)分析、決策優(yōu)化、自動(dòng)駕駛等方面。

3 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史

人工神經(jīng)網(wǎng)絡(luò)的發(fā)展過(guò)程從1943誕生以來(lái)經(jīng)歷過(guò)若干次的高潮與低谷。

3.1 誕生

1943年，沃倫·麥卡洛克和沃爾特·皮茨發(fā)表了名為《神經(jīng)活動(dòng)中內(nèi)在思想的邏輯演算》的論文，在論文中提出了人工神經(jīng)網(wǎng)絡(luò)的概念以及人工神經(jīng)元的數(shù)學(xué)模型（MP模型）[2]。普遍認(rèn)為，MP模型是人工神經(jīng)網(wǎng)絡(luò)的起點(diǎn)，為了紀(jì)念，MP模型以麥卡洛克和皮茨的單詞首字母命名。

最初的MP模型沒(méi)有調(diào)整權(quán)值的算法。1949年，赫布出版了《行為的組織》一書(shū)，在書(shū)中提出了神經(jīng)網(wǎng)絡(luò)中的信息是通過(guò)連接權(quán)值進(jìn)行存儲(chǔ)的。自此之后，權(quán)值的調(diào)整算法的研究得以展開(kāi)，目前的神經(jīng)網(wǎng)絡(luò)，其不同功能的實(shí)現(xiàn)是通過(guò)調(diào)整人工神經(jīng)網(wǎng)絡(luò)的權(quán)值實(shí)現(xiàn)的。

3.2 第一次研究熱潮

1957年，羅森布拉特提出了“感知器”的概念。本質(zhì)上，感知器仍然是MP模型，但引入了學(xué)習(xí)的概念，通過(guò)誤差學(xué)習(xí)算法由人工調(diào)整權(quán)值，不斷優(yōu)化感知器的輸出，使預(yù)測(cè)結(jié)果與實(shí)際結(jié)果逐漸接近，直至一致。可以認(rèn)為感知器是第一個(gè)真正意義上的人工神經(jīng)網(wǎng)絡(luò)。感知器的提出，掀起了20世紀(jì)60年代的神經(jīng)網(wǎng)絡(luò)研究熱潮。當(dāng)時(shí)人們認(rèn)為只要將大量的神經(jīng)單元組合在一起就可以解決任何問(wèn)題。

3.3 第一次低潮

1969年，明斯基和佩珀特出版了《感知器》一書(shū)，在書(shū)中明斯基指出，感知器只能解決簡(jiǎn)單的線性問(wèn)題，解決非線性問(wèn)題必須使用多層網(wǎng)絡(luò)，而多層網(wǎng)絡(luò)的實(shí)際作用無(wú)法證明。由于明斯基在人工智能領(lǐng)域的巨大影響力，這一觀點(diǎn)對(duì)人工神經(jīng)網(wǎng)絡(luò)的研究造成了直接沖擊，相關(guān)研究迅速進(jìn)入低潮。

3.4 第二次研究熱潮

1982年，霍普菲爾德提出了Hopfield神經(jīng)網(wǎng)絡(luò)（HNN），并于1984年設(shè)計(jì)出了該網(wǎng)絡(luò)的電子線路，為模型的可用性提供了物理證明。

1985年，辛頓和塞諾夫斯基提出了玻爾茲曼機(jī)（BM），并于1986年提出了改進(jìn)后的受限玻爾茲曼機(jī)（RBM）。RBM實(shí)際上是兩層的神經(jīng)網(wǎng)絡(luò)，在此基礎(chǔ)上又發(fā)展出了深度玻爾茲曼機(jī)（DBM，堆疊的受限玻爾茲曼機(jī)）和深度置信網(wǎng)絡(luò)（DBN，堆疊的受限玻爾茲曼機(jī)加BP算法）。

1986年，魯梅爾哈特、辛頓和威廉姆斯發(fā)表了《利用誤差反向傳播進(jìn)行學(xué)習(xí)表征》，重新發(fā)現(xiàn)了BP算法（誤差反向傳播算法）[3]。誤差反向傳播算法目前仍是人工神經(jīng)網(wǎng)絡(luò)中非?；A(chǔ)的算法之一，在現(xiàn)有人工神經(jīng)網(wǎng)絡(luò)模型中得到了廣泛應(yīng)用。

3.5 第二次低潮

BP算法使人工神經(jīng)網(wǎng)絡(luò)具有了自學(xué)能力和概括能力，但也存在明顯的缺陷，即在網(wǎng)絡(luò)層數(shù)較多時(shí)，容易陷入局部最優(yōu)解，也容易產(chǎn)生過(guò)擬合，并且當(dāng)時(shí)的計(jì)算機(jī)系統(tǒng)也不能支持龐大的數(shù)據(jù)集運(yùn)算。

1995年，科琳娜·科爾特斯和弗拉基米爾·瓦普尼克提出了支持向量機(jī)（SVM），該方法沒(méi)有局部最優(yōu)問(wèn)題，并且可以在樣本數(shù)量較少的情況下，也能獲得較為理想的結(jié)果，因此在BP算法發(fā)展遇到瓶頸時(shí)，部分研究人員轉(zhuǎn)向了SVM的研究。

3.6 第三次研究熱潮

2006年，杰夫·辛頓（即之前提出BP算法的辛頓）研究小組提出了深度網(wǎng)絡(luò)（deep network）和深度學(xué)習(xí)（deep learning）概念，深度網(wǎng)絡(luò)即多層次的人工神經(jīng)網(wǎng)絡(luò)。隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，計(jì)算機(jī)的計(jì)算速度有了極大提高，大數(shù)據(jù)、云計(jì)算成為現(xiàn)實(shí)。

實(shí)際上在人工神經(jīng)網(wǎng)絡(luò)發(fā)展的低潮期，還有很多研究者在堅(jiān)持相關(guān)的研究工作。卷積神經(jīng)網(wǎng)絡(luò)的發(fā)明人楊立昆堅(jiān)持研究人工神經(jīng)網(wǎng)絡(luò)，并于1998年發(fā)表了《基于梯度學(xué)習(xí)的文件識(shí)別》[4]，也因此被稱(chēng)為卷積神經(jīng)網(wǎng)絡(luò)之父。

目前，已經(jīng)提出的深度網(wǎng)絡(luò)模型主要有卷積神經(jīng)網(wǎng)絡(luò)CNN、循環(huán)神經(jīng)網(wǎng)絡(luò)RNN及LSTM、遞歸張量神經(jīng)網(wǎng)絡(luò)RNTN、自動(dòng)編碼器AutoEncoder、生成對(duì)抗網(wǎng)絡(luò)GAN、圖神經(jīng)網(wǎng)絡(luò)（GNN）等。深度網(wǎng)絡(luò)模型都可以應(yīng)用于生產(chǎn)實(shí)際，并取得了良好的效果，如人臉支付、自動(dòng)門(mén)禁、自動(dòng)駕駛等各類(lèi)應(yīng)用。根據(jù)目前的情況分析，此次研究熱潮還將持續(xù)一段時(shí)間。

4 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展方向

（1）現(xiàn)有人工神經(jīng)網(wǎng)絡(luò)在神經(jīng)單元的激活與抑制中處于靜態(tài)，即網(wǎng)絡(luò)參數(shù)確定之后，對(duì)于同樣的輸入，神經(jīng)單元的輸出是固定的。但從人腦的神經(jīng)系統(tǒng)運(yùn)行過(guò)程分析，神經(jīng)元的激活與抑制是動(dòng)態(tài)的，在不同的狀態(tài)下，即使輸入相同，神經(jīng)元的激活與抑制也會(huì)發(fā)生變化，產(chǎn)生不同的結(jié)果。人工神經(jīng)網(wǎng)絡(luò)下一步也應(yīng)實(shí)現(xiàn)動(dòng)態(tài)的激活與抑制機(jī)制，以實(shí)現(xiàn)更完善的功能。

（2）由于大腦神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，目前神經(jīng)科學(xué)研究仍未能揭示大腦神經(jīng)網(wǎng)絡(luò)的詳細(xì)工作機(jī)理，因此人工神經(jīng)網(wǎng)絡(luò)并不是對(duì)大腦神經(jīng)網(wǎng)絡(luò)的全真模擬，而是利用數(shù)學(xué)技術(shù)結(jié)合計(jì)算機(jī)編程所建立的智能系統(tǒng)，能夠在某一方面產(chǎn)生類(lèi)似大腦神經(jīng)網(wǎng)絡(luò)的功能。

神經(jīng)科學(xué)的研究會(huì)為人工神經(jīng)網(wǎng)絡(luò)的構(gòu)建提供靈感，人工神經(jīng)網(wǎng)絡(luò)技術(shù)也會(huì)為神經(jīng)科學(xué)的研究提供一些思路或啟發(fā)，兩者相輔相成，互相促進(jìn)發(fā)展。

（3）人工神經(jīng)網(wǎng)絡(luò)發(fā)展已有近80年歷史，近年來(lái)人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用呈現(xiàn)出爆發(fā)式增長(zhǎng)的態(tài)勢(shì)，但并沒(méi)有產(chǎn)生過(guò)多的創(chuàng)新算法。目前使用的算法多數(shù)都是多年前提出的，是在經(jīng)典模型上的擴(kuò)展設(shè)計(jì)而來(lái)，全新模型的建立比較少。未來(lái)應(yīng)在人工神經(jīng)網(wǎng)絡(luò)模型創(chuàng)新方面進(jìn)一步研究。