張曉艷 陳曉豐 游星星 曾星昀 劉書(shū)近 劉小軍/重慶交通大學(xué)

神經(jīng)網(wǎng)絡(luò)介紹及其應(yīng)用

張曉艷 陳曉豐 游星星 曾星昀 劉書(shū)近 劉小軍/重慶交通大學(xué)

本文介紹了神經(jīng)網(wǎng)絡(luò)發(fā)展歷史、結(jié)構(gòu)、特點(diǎn)、以及應(yīng)用范圍，對(duì)神經(jīng)網(wǎng)絡(luò)的發(fā)展前景進(jìn)行了展望，最后簡(jiǎn)述脈沖控制與脈沖復(fù)變神經(jīng)網(wǎng)絡(luò)。

神經(jīng)元；神經(jīng)網(wǎng)絡(luò)；應(yīng)用與研究前沿；脈沖控制；脈沖復(fù)變神經(jīng)網(wǎng)絡(luò)

1.引言

人工神經(jīng)網(wǎng)絡(luò)是近幾年發(fā)展起來(lái)的交叉學(xué)科，它是用物理或數(shù)學(xué)方法實(shí)現(xiàn)的系統(tǒng)來(lái)模擬人腦神經(jīng)細(xì)胞的功能，其涉及生物、電子、計(jì)算機(jī)、數(shù)學(xué)和物理等學(xué)科，有著非常廣泛的應(yīng)用前景。人工神經(jīng)網(wǎng)絡(luò)不僅僅是一種算法，而且也可由電子器件組為硬件實(shí)現(xiàn)其功能，即它可用軟件或軟件均可實(shí)現(xiàn)，它可解決大量復(fù)雜的或至今人類無(wú)法找出的及未知的函數(shù)關(guān)系的擬合，可作類似人類的模式識(shí)別能力，是由于在構(gòu)造它的時(shí)候，對(duì)其進(jìn)行了大量的訓(xùn)練，使它積累了有關(guān)知識(shí)，學(xué)會(huì)了這種判別能力。

2.神經(jīng)網(wǎng)絡(luò)

2.1神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介[1]：

神經(jīng)網(wǎng)絡(luò)，即是以人腦的生理研究成果為基礎(chǔ)的，也是生物神經(jīng)網(wǎng)絡(luò)系統(tǒng)高度簡(jiǎn)化后的一種近似，它可以在不同程度、不同層次上模擬人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)及其信息處理、存儲(chǔ)和檢索等功能。在過(guò)去三十年中發(fā)展活躍，由于它擁有良好的非線性映射能力、自學(xué)習(xí)適應(yīng)能力和并行信息處理能力，可以處理不確定非線性系統(tǒng)問(wèn)題，因此具有較高的智能水平和實(shí)用價(jià)值，在眾多領(lǐng)域內(nèi)得到了廣泛的應(yīng)用。

2.2神經(jīng)網(wǎng)絡(luò)的更迭：

神經(jīng)網(wǎng)絡(luò)自誕生以來(lái)，歷時(shí)半個(gè)世紀(jì)，經(jīng)歷了5個(gè)階段：

奠基階段，上世紀(jì)40年代，1943年，美國(guó)神經(jīng)生物學(xué)家Mcculloch和數(shù)理邏輯學(xué)家Pitts從人腦信息處理的立場(chǎng)上出發(fā)，運(yùn)用數(shù)理模型研究了腦細(xì)胞的動(dòng)作和結(jié)構(gòu)及生物元的一些基本生理特性，提出了第一個(gè)神經(jīng)計(jì)算模型，即神經(jīng)元的閾值元件模型(M-P型)，他們從原理上證明了人工神經(jīng)網(wǎng)絡(luò)可以計(jì)算任何算數(shù)和邏輯函數(shù)，邁出了人工神經(jīng)網(wǎng)絡(luò)研究的第一步，該模型有興奮和抑制兩種狀態(tài)，可以完成有限的邏輯運(yùn)算，雖然簡(jiǎn)單卻沿用至今，并直接影響這一領(lǐng)域研究的進(jìn)展，成為人工神經(jīng)網(wǎng)絡(luò)研究的先驅(qū)。

第一次高潮階段，50年代后期，計(jì)算機(jī)科學(xué)家F·Rosenblatt設(shè)計(jì)制作了“感知機(jī)”--一種多層的神經(jīng)網(wǎng)絡(luò)模型，它由閾值型神經(jīng)元組成，用以模擬動(dòng)物和人腦的感知和學(xué)習(xí)能力，適用于模式識(shí)別、聯(lián)想記憶等人們感興趣的實(shí)用技術(shù)，包含了現(xiàn)代神經(jīng)計(jì)算機(jī)的基本原理。這項(xiàng)工作首次把人工神經(jīng)網(wǎng)絡(luò)的研究從理論探討付諸工程實(shí)踐，掀起了人工神經(jīng)網(wǎng)絡(luò)的第一次研究熱潮。

堅(jiān)持階段，1960年Bernard Widrow和Ted Hoff提出自適應(yīng)線性元件網(wǎng)絡(luò)，這是一種連續(xù)取值的線性加權(quán)求和閾值網(wǎng)絡(luò)，在后來(lái)的誤差反向傳播和自適應(yīng)信號(hào)處理系統(tǒng)中得到了廣泛應(yīng)用。在1969年，Marvin Minsky和Seymour Papert論證了簡(jiǎn)單的線性感知器功能是有限的，并斷言這種感知器無(wú)科學(xué)價(jià)值可言。經(jīng)管如此，仍有不少學(xué)者在極端艱難的條件下致力于神經(jīng)網(wǎng)絡(luò)的研究，如美國(guó)學(xué)者Stephen Grossberg等提出了自適應(yīng)共振理論（ART模型），并在之后的若干年發(fā)展了ART1、ART2和ART3三種神經(jīng)網(wǎng)絡(luò)模型；芬蘭學(xué)者Kohonen提出了自適應(yīng)映射理論模型，這些工作為以后的神經(jīng)網(wǎng)絡(luò)的研究和發(fā)展奠定了理論基礎(chǔ)。

第二次高潮階段，Kohonen提出了自組織映射網(wǎng)絡(luò)模型，并在計(jì)算機(jī)上進(jìn)行了模擬。80年代初期，模擬與數(shù)字混合的超大規(guī)模集成電路制作技術(shù)提高到新的水平。美國(guó)的物理學(xué)家Hopfield于1982年和1984年在美國(guó)科學(xué)院院刊上發(fā)表了兩篇關(guān)于人工神經(jīng)網(wǎng)絡(luò)研究的論文，引起了巨大的反響，人們重新認(rèn)識(shí)到神經(jīng)網(wǎng)絡(luò)的威力以及付諸應(yīng)用的現(xiàn)實(shí)性。隨即，一大批學(xué)者和研究人員圍繞著 Hopfield提出的方法展開(kāi)了進(jìn)一步的工作，形成了80年代中期以來(lái)人工神經(jīng)網(wǎng)絡(luò)的研究熱潮[2]。

新發(fā)展階段，90年代初，對(duì)神經(jīng)網(wǎng)絡(luò)的發(fā)展產(chǎn)生了很大的影響是諾貝爾獎(jiǎng)獲得者 Edelman提出了Darwinism模型，建立了一種神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論。1994年廖曉昕對(duì)細(xì)胞神經(jīng)網(wǎng)絡(luò)建立了新的數(shù)學(xué)理論與基礎(chǔ)，得出了一系列結(jié)果，如耗散性、平衡位置的數(shù)目及表示，平衡態(tài)的全局穩(wěn)定性、區(qū)域穩(wěn)定性、周期解的存在性和吸引性等，使這個(gè)領(lǐng)域取得了新的進(jìn)展。

2.3神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與特點(diǎn)：

神經(jīng)網(wǎng)絡(luò)是一個(gè)復(fù)雜的互聯(lián)系統(tǒng)，單元之間的互聯(lián)模式將對(duì)網(wǎng)絡(luò)的性能與功能產(chǎn)生影響，其由許多相互連接的神經(jīng)元（也稱為單元或節(jié)點(diǎn)）以及外部環(huán)境輸入組成，每一個(gè)神經(jīng)元都執(zhí)行兩個(gè)功能：把來(lái)自其他神經(jīng)元的輸入施以不同的連接權(quán)并對(duì)外部輸入進(jìn)行疊加，同時(shí)對(duì)這個(gè)疊加的輸入進(jìn)行非線性變換產(chǎn)生一個(gè)輸出，該輸出又通過(guò)連接權(quán)刺激其他神經(jīng)元相連。要設(shè)計(jì)一個(gè)神經(jīng)網(wǎng)絡(luò)，必須包含神經(jīng)元間的連接模式、激勵(lì)函數(shù)、連接權(quán)值和神經(jīng)元個(gè)數(shù)這四個(gè)方面。

按照其連接方式的不同的特點(diǎn)，神經(jīng)網(wǎng)絡(luò)可以分為兩種，即前饋神經(jīng)網(wǎng)絡(luò)和反饋（遞歸）神經(jīng)網(wǎng)絡(luò)，前饋神經(jīng)網(wǎng)絡(luò)主要是函數(shù)映射，其各神經(jīng)元接收前一層的輸入，并輸出到下一層，沒(méi)有反饋。在沒(méi)有反饋的神經(jīng)網(wǎng)絡(luò)中，信號(hào)一旦通過(guò)某個(gè)神經(jīng)元，過(guò)程就結(jié)束了，而在遞歸神經(jīng)網(wǎng)絡(luò)中，信號(hào)要在神經(jīng)元之間反復(fù)往返傳遞，神經(jīng)網(wǎng)絡(luò)處在一種不斷改變狀態(tài)的動(dòng)態(tài)過(guò)程中。因?yàn)橛蟹答伒拇嬖?，所以遞歸神經(jīng)網(wǎng)絡(luò)是一個(gè)非線性動(dòng)力系統(tǒng)，可用來(lái)實(shí)現(xiàn)聯(lián)想記憶和求解優(yōu)化等問(wèn)題[3]。

利用激勵(lì)函數(shù)的形式多樣化的特點(diǎn)，并根據(jù)其不同特性可以構(gòu)造功能各異的神經(jīng)網(wǎng)絡(luò)，典型的激勵(lì)函數(shù)包括階梯函數(shù)、線性作用函數(shù)和Sigmoid函數(shù)等。研究表明，選擇適當(dāng)?shù)募?lì)函數(shù)可以大大改善神經(jīng)網(wǎng)絡(luò)的性能，因此推廣可使用的激勵(lì)函數(shù)范圍，在更加廣泛的意義下研究神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性與混沌同步不僅可以推動(dòng)神經(jīng)網(wǎng)絡(luò)的完善與發(fā)展，而且能為神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用奠定堅(jiān)實(shí)的基礎(chǔ)。

2.4神經(jīng)網(wǎng)絡(luò)的應(yīng)用與研究前沿

神經(jīng)網(wǎng)絡(luò)系統(tǒng)是一個(gè)高度非線性的超大規(guī)模連續(xù)時(shí)間動(dòng)力學(xué)系統(tǒng)，具備大規(guī)模的并行處理和分布式的信息存儲(chǔ)能力，擁有良好的自適應(yīng)、自組織性以及很強(qiáng)的學(xué)習(xí)功能、聯(lián)想功能和容錯(cuò)功能，其突破了傳統(tǒng)的以線性處理為基礎(chǔ)的數(shù)字電子計(jì)算機(jī)的局限，標(biāo)志著人類智能信息處理能力和模擬人腦智能行為能力的一大飛躍。

目前大批學(xué)者圍繞神經(jīng)網(wǎng)絡(luò)展開(kāi)了進(jìn)一步的研究工作，大量的神經(jīng)網(wǎng)絡(luò)模型相繼被提出，如競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)模型、憶阻器神經(jīng)網(wǎng)絡(luò)模型、分?jǐn)?shù)階神經(jīng)網(wǎng)絡(luò)模型等。由于神經(jīng)網(wǎng)絡(luò)獨(dú)特的結(jié)構(gòu)和處理信息的方法，使其在最優(yōu)化計(jì)算、自動(dòng)控制、信號(hào)處理、模式識(shí)別、故障診斷、海洋遙控、時(shí)間序列分析、機(jī)器人運(yùn)動(dòng)學(xué)等許多實(shí)際領(lǐng)域表現(xiàn)出良好的智能特性和潛在的應(yīng)用前景。神經(jīng)網(wǎng)絡(luò)的研究前沿領(lǐng)域還包括以下幾個(gè)方面：智能和機(jī)器（機(jī)器智能化）、神經(jīng)計(jì)算和進(jìn)化計(jì)算（相互促進(jìn)）、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和神經(jīng)元芯片（高科技領(lǐng)域中的神經(jīng)計(jì)算機(jī)與神經(jīng)元芯片）等[3]。

神經(jīng)網(wǎng)絡(luò)成功應(yīng)用的前提是動(dòng)力學(xué)行為，由于其非線性的特征，神經(jīng)網(wǎng)絡(luò)往往具有非常復(fù)雜的動(dòng)力學(xué)性態(tài)，如平衡點(diǎn)、周期解、分支、行波解和混沌等，在時(shí)滯神經(jīng)網(wǎng)絡(luò)（一種復(fù)雜的動(dòng)態(tài)系統(tǒng)）中適當(dāng)?shù)倪x擇系統(tǒng)的參數(shù)和時(shí)滯可使其表現(xiàn)出復(fù)雜的動(dòng)態(tài)行為，甚至混沌特征。目前，時(shí)滯神經(jīng)網(wǎng)絡(luò)的混沌同步在保密通信、圖像處理等應(yīng)用方面取得了可喜的進(jìn)展，并通過(guò)對(duì)耦合混沌神經(jīng)網(wǎng)絡(luò)系統(tǒng)的大量理論研究、數(shù)值模擬和電路實(shí)驗(yàn)，提出了許多同步控制方案，如自適應(yīng)控制、脈沖控制等。

3.脈沖復(fù)變神經(jīng)網(wǎng)絡(luò)

3.1脈沖控制

通過(guò)對(duì)耦合混沌神經(jīng)網(wǎng)絡(luò)系統(tǒng)的研究，提出了許多同步控制方案，包括線性狀態(tài)誤差反饋控制、樣本點(diǎn)控制、脈沖控制、間歇控制等，而在實(shí)際的應(yīng)用中，使用連續(xù)控制消耗巨大，實(shí)用性不強(qiáng)，脈沖控制恰好用來(lái)降低成本并減少消耗。

脈沖控制是基于脈沖微分方程的控制方法，其僅僅在某些時(shí)點(diǎn)上施加控制，具有控制器結(jié)構(gòu)簡(jiǎn)單、易于實(shí)現(xiàn)，控制系統(tǒng)的魯棒性比較強(qiáng)（適于解決強(qiáng)非線性、實(shí)變、復(fù)變等問(wèn)題）等優(yōu)點(diǎn)，并在混沌控制、混沌同步、復(fù)雜網(wǎng)絡(luò)同步等領(lǐng)域得到了越來(lái)越廣泛的應(yīng)用。

3.2脈沖復(fù)變神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)類型的劃分有多種方法，根據(jù)其處理數(shù)據(jù)的類型，神經(jīng)網(wǎng)絡(luò)可分為兩類：實(shí)值神經(jīng)網(wǎng)絡(luò)和復(fù)值神經(jīng)網(wǎng)絡(luò)。復(fù)值神經(jīng)網(wǎng)絡(luò)神經(jīng)元的狀態(tài)、輸出以及網(wǎng)絡(luò)的權(quán)值都是復(fù)值，它能直接處理復(fù)值數(shù)據(jù)，既自然又方便，另外，由于復(fù)值信號(hào)能夠攜帶振幅和相位信息，因此能夠直接處理復(fù)值數(shù)據(jù)的復(fù)值神經(jīng)網(wǎng)絡(luò)，具有獨(dú)特的優(yōu)勢(shì)[4]。結(jié)合脈沖既能使穩(wěn)定的神經(jīng)網(wǎng)絡(luò)不穩(wěn)定，也能讓不穩(wěn)定的神經(jīng)網(wǎng)絡(luò)穩(wěn)定的特點(diǎn)，將脈沖控制引入到復(fù)值神經(jīng)網(wǎng)絡(luò)中，建立脈沖復(fù)值神經(jīng)網(wǎng)絡(luò)并研究其穩(wěn)定性具有重要的理論和使用價(jià)值。

[1]鐘守銘，劉碧森.神經(jīng)網(wǎng)絡(luò)穩(wěn)定性理論[M].科學(xué)出版社，2008.

[2]劉永紅，http://www.cppblog.com/guijie/archive/2015/02/20/4882.html，2016.4.

[3]甘勤濤，徐瑞.時(shí)滯神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性與同步控制[M].科學(xué)出版社，2016.2.

[4]閆歡，宋乾坤，趙振江.時(shí)間標(biāo)度上時(shí)滯脈沖復(fù)值神經(jīng)網(wǎng)絡(luò)的全局穩(wěn)定性[D].應(yīng)用數(shù)學(xué)和力學(xué)，2015.11，36(11):1000-0887.