毛健,趙紅東,姚婧婧
(河北工學(xué)大學(xué) 信息工程學(xué)院,天津 300401)
人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,即ANN),是20世紀80年代以來人工智能領(lǐng)域興起的研究熱點。它從信息處理角度對人腦神經(jīng)元網(wǎng)絡(luò)進行抽象,建立某種簡單模型,按不同的連接方式組成不同的網(wǎng)絡(luò)[1]。最近十多年來,人工神經(jīng)網(wǎng)絡(luò)的研究工作不斷深入,已經(jīng)取得了很大的進展,其在模式識別、智能機器人、自動控制、預(yù)測估計、生物、醫(yī)學(xué)、經(jīng)濟等領(lǐng)域已成功地解決了許多現(xiàn)代計算機難以解決的實際問題,表現(xiàn)出了良好的智能特性。
現(xiàn)在關(guān)于人工神經(jīng)網(wǎng)絡(luò)的定義還不統(tǒng)一,按國際著名神經(jīng)網(wǎng)絡(luò)研究專家Hecht Nielsen的觀點,神經(jīng)網(wǎng)絡(luò)的定義是:人工神經(jīng)網(wǎng)絡(luò)是由人工建立的、以有向圖為拓撲結(jié)構(gòu)的動態(tài)系統(tǒng),它通過對連續(xù)或斷續(xù)的輸入作狀態(tài)響應(yīng)而進行信息處理。我們綜合來源、特點和各種解釋,神經(jīng)網(wǎng)絡(luò)可簡單地表述為:人工神經(jīng)網(wǎng)絡(luò)是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng)[2]。
人工神經(jīng)網(wǎng)絡(luò)的整個發(fā)展過程,大致可以分為4個階段:形成時期,低谷時期,復(fù)興時期,發(fā)展時期。
1943年,生理學(xué)家McCulloch和數(shù)學(xué)家Pitts發(fā)表文章,提出了第一個神經(jīng)元模型(M-P模型),他們的努力奠定了網(wǎng)絡(luò)模型和以后神經(jīng)網(wǎng)絡(luò)開發(fā)的基礎(chǔ),開啟了人們對人工神經(jīng)網(wǎng)絡(luò)的研究。1951年,心理學(xué)家Donala O.Hebb提出了連接權(quán)值強化的Hebb法則:在神經(jīng)網(wǎng)絡(luò)中,信息存儲在連接權(quán)中,神經(jīng)元之間突觸的聯(lián)系強度是可變的,這種變化建立起神經(jīng)元之間的連接。Hebb法則為構(gòu)造有學(xué)習(xí)功能的神經(jīng)網(wǎng)絡(luò)模型奠定了基礎(chǔ)。1954年,生物學(xué)家Eccles提出了真實突觸的分流模型,這一模型通過突觸的電生理實驗得到證實,因而為神經(jīng)網(wǎng)絡(luò)模擬突觸的功能提供了原型和生理學(xué)的證據(jù)。1956年,Uttley發(fā)明了一種由處理單元組成的推理機,用于模擬行為及條件反射。70年代中期,他把該推理機用于自適應(yīng)模式識別,并認為該模型能反映實際神經(jīng)系統(tǒng)的工作原理。1960年,Widrow和Hoff提出了自適應(yīng)線性元件Adaline網(wǎng)絡(luò)模型,這是一種連續(xù)取值的自適應(yīng)線性神經(jīng)元網(wǎng)絡(luò)模型,他們對分段線性網(wǎng)絡(luò)的訓(xùn)練有一定作用,此方法速度較快且具有較高的精度。
在第一次神經(jīng)網(wǎng)絡(luò)研究熱潮中,人們忽視了其本身的局限性。1969年Minskyh和Papert經(jīng)過多年的研究,提出了對當(dāng)前成果的質(zhì)疑,指出當(dāng)前的網(wǎng)絡(luò)只能應(yīng)用于簡單的線性問題,卻不能有效地應(yīng)用于多層網(wǎng)絡(luò),由此開始了神經(jīng)網(wǎng)絡(luò)的低谷期。1972年,芬蘭的Kohonen教授,提出了自組織映射(SOM)理論;同時美國的神經(jīng)生理學(xué)家和心理學(xué)家Anderson,提出了一個與之類似的神經(jīng)網(wǎng)絡(luò),稱為“交互存儲器”。現(xiàn)在的神經(jīng)網(wǎng)絡(luò)主要是根據(jù)Kohonen的工作來實現(xiàn)的[3]。1980年福島邦彥發(fā)表的“新認知機”(Neocognitron)是視覺模式識別機制模型,它與生物視覺理論結(jié)合,綜合出一種神經(jīng)網(wǎng)絡(luò)模型,使它像人類一樣具有一定模式識別能力。在低谷時期,許多重要研究成果都為日后神經(jīng)網(wǎng)絡(luò)理論研究打下了堅實的基礎(chǔ)。
1982年,美國物理學(xué)家Hopfield博士提出了Hopfield模型理論,他證明了在一定條件下,網(wǎng)絡(luò)可以達到穩(wěn)定的狀態(tài)。在他的影響下,大量學(xué)者又重新開始了對神經(jīng)網(wǎng)絡(luò)的研究。1986年,由美國的Rumelhart和 McCkekkand提出了 PDP(Parallel Distributed Processing)網(wǎng)絡(luò)思想,再一次推動了神經(jīng)網(wǎng)絡(luò)的發(fā)展。20世紀90年代中后期,神經(jīng)網(wǎng)絡(luò)研究步入了一個新的時期,在已有理論不斷深化的同時,新的理論和方法也不斷涌現(xiàn)。1995年,Jenkins等人開始研究光學(xué)神經(jīng)網(wǎng)絡(luò)(PNN),建立了光學(xué)二維并行互連與電子學(xué)混合的光學(xué)神經(jīng)網(wǎng)絡(luò)系統(tǒng)。經(jīng)過多年的發(fā)展,目前已有上百種的神經(jīng)網(wǎng)絡(luò)模型被提出與應(yīng)用。
20世紀80年代,隨著人工神經(jīng)網(wǎng)絡(luò)在世界范圍內(nèi)的復(fù)蘇,我國也逐步掀起了對其的研究熱潮。1990年2月由國內(nèi)8個頂尖學(xué)會(生物物理學(xué)會和心理學(xué)會、人工智能學(xué)會、自動化學(xué)會、中國電子學(xué)會、中國計算機學(xué)會、通信學(xué)會、物理學(xué)會)聯(lián)合在北京召開“中國神經(jīng)網(wǎng)絡(luò)首屆學(xué)術(shù)會議”。這次大會的主題是“八學(xué)會聯(lián)盟,探智能奧秘”,并且收到300多篇學(xué)術(shù)論文,開創(chuàng)了中國人工神經(jīng)網(wǎng)絡(luò)及神經(jīng)計算機方面科學(xué)研究的新紀元。經(jīng)過十幾年的不斷發(fā)展,中國學(xué)術(shù)界和工程界在人工神經(jīng)網(wǎng)絡(luò)的理論研究和應(yīng)用方面取得了豐碩成果。與此同時,國外人工神經(jīng)網(wǎng)絡(luò)也在迅速發(fā)展著。1987年,在美國加州召開了第一屆國際神經(jīng)網(wǎng)絡(luò)學(xué)會。此后每年召開兩次國際聯(lián)合神經(jīng)網(wǎng)絡(luò)大會(IJCNN)。同時也創(chuàng)建了很多相關(guān)刊物。至此,神經(jīng)網(wǎng)絡(luò)理論研究在國內(nèi)國外學(xué)術(shù)領(lǐng)域已經(jīng)受到了相當(dāng)?shù)年P(guān)注。
90年代,國內(nèi)外許多學(xué)者進一步完善和發(fā)展了神經(jīng)網(wǎng)絡(luò)領(lǐng)域。特別是通過神經(jīng)網(wǎng)絡(luò)方法來解決非線性系統(tǒng)的控制問題,并取得了突出的成果。1991年在南京召開了中國神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)大會 (第二屆),并成立了中國神經(jīng)網(wǎng)絡(luò)學(xué)會。我國“863”高技術(shù)研究計劃和“攀登”計劃、相關(guān)基金、年會、期刊等都把神經(jīng)網(wǎng)絡(luò)的研究列入重要課題范圍。這些都為我國發(fā)展神經(jīng)網(wǎng)絡(luò)創(chuàng)造了良好的條件,INNS開始重視我國。1992年,在北京召開由國際神經(jīng)網(wǎng)絡(luò)學(xué)會、IEEE神經(jīng)網(wǎng)絡(luò)委員主辦的國際性學(xué)術(shù)會議IJCNN。Wunsch在90OSA年會提出一種Annual Meeting,用光電執(zhí)行ART,主要計算強度由光學(xué)硬件完成,它的學(xué)習(xí)過程有自適應(yīng)濾波和推理功能,具有快速和穩(wěn)定的學(xué)習(xí)特點。1995年Jenkins等人研究了光學(xué)神經(jīng)網(wǎng)絡(luò)(PNN),建立了光學(xué)神經(jīng)網(wǎng)絡(luò)系統(tǒng),用光學(xué)二維并行互連與電子學(xué)混合實現(xiàn)了光學(xué)神經(jīng)元,意味著應(yīng)用新的方法來解決光學(xué)實現(xiàn)相減和取閾的問題。充分發(fā)揮了光學(xué)強大的互連能力和并行處理能力,提高神經(jīng)網(wǎng)絡(luò)的實現(xiàn)規(guī)模,從而加強了網(wǎng)絡(luò)的自適應(yīng)功能和學(xué)習(xí)功能。Albus在1975年提出了小腦模型關(guān)節(jié)控制器(CMAC)。依此,Miller等人進一步研究了非線性動態(tài)系統(tǒng)控制問題,它具有局部逼近和修改權(quán)極小的特點,但采用間斷超平面對非線性超曲逼近時,會出現(xiàn)精度不夠,也有可能得不到相應(yīng)的導(dǎo)數(shù)估計的情況。1992年Lane對它作了改進,使逼近超平面的光滑性更好,逼近精度有一定提高。1993年Bulsari[4]提出了以乘積Sigmoid函數(shù)作為激發(fā)函數(shù),并給出非線性系統(tǒng)用神經(jīng)網(wǎng)絡(luò)逼近的構(gòu)造性描述,得到了節(jié)點數(shù)目的上界估計。1997年羅忠等人[5]對CMAC的收斂性以及hash編碼對它的影響作了矩陣分析和證明。
2000年,Setiono提出了快速規(guī)則抽取算法。所謂快速是相對于其他的基于結(jié)構(gòu)的規(guī)則抽取算法而言,去掉不重要的連接,但要對網(wǎng)絡(luò)進行訓(xùn)練,保證神經(jīng)網(wǎng)絡(luò)的精度,這增加了算法的消耗,降低了效率。所以,Setiono[6]又提出來了FERNN算法,該算法不用對神經(jīng)網(wǎng)絡(luò)進行多次的訓(xùn)練,可以抽取MOFN規(guī)則或DNF規(guī)則。幾年來混沌神經(jīng)網(wǎng)絡(luò)也得到很好的發(fā)展,Aihara等提出了混沌神經(jīng)網(wǎng)絡(luò)模型,之后出現(xiàn)多種改進模型[7],2004年,提出了用于計算混沌神經(jīng)網(wǎng)絡(luò)最大Lyapunov指數(shù)的一種算法,基于最大指數(shù)的計算,研究網(wǎng)絡(luò)混沌區(qū)域的分布和特征,可以合理的選擇網(wǎng)絡(luò)參數(shù)。2004年,武妍、王守覺等人提出了一種基于結(jié)果反饋的神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法[8],其將輸入調(diào)整與權(quán)值調(diào)整的BP算法結(jié)合起來,通過雙重調(diào)整來最小化誤差函數(shù)。該方法是通過對輸入樣本集的模糊化處理來避免學(xué)習(xí)過程中的過擬合,提高了網(wǎng)絡(luò)的泛化能力。2011年第12屆國際語音通信協(xié)會上,微軟研究人員發(fā)布了人工神經(jīng)網(wǎng)絡(luò)進行大詞匯語音識別的論文,其利用深度網(wǎng)絡(luò)模型(DNNs)建立因素模型用于語音識別實驗,此法與常規(guī)方法相比誤差較小,這是神經(jīng)網(wǎng)絡(luò)應(yīng)用的一大進步。
經(jīng)過幾十年的發(fā)展,神經(jīng)網(wǎng)絡(luò)理論在模式識別、自動控制、信號處理、輔助決策、人工智能等眾多研究領(lǐng)域取得了廣泛的成功。下面介紹神經(jīng)網(wǎng)絡(luò)在一些領(lǐng)域中的應(yīng)用現(xiàn)狀。
在處理許多問題中,信息來源既不完整,又包含假象,決策規(guī)則有時相互矛盾,有時無章可循,這給傳統(tǒng)的信息處理方式帶來了很大的困難,而神經(jīng)網(wǎng)絡(luò)卻能很好的處理這些問題,并給出合理的識別與判斷。
3.1.1 信息處理
現(xiàn)代信息處理要解決的問題是很復(fù)雜的,人工神經(jīng)網(wǎng)絡(luò)具有模仿或代替與人的思維有關(guān)的功能,可以實現(xiàn)自動診斷、問題求解,解決傳統(tǒng)方法所不能或難以解決的問題[9]。人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)具有很高的容錯性、魯棒性及自組織性,即使連接線遭到很高程度的破壞,它仍能處在優(yōu)化工作狀態(tài),這點在軍事系統(tǒng)電子設(shè)備中得到廣泛的應(yīng)用?,F(xiàn)有的智能信息系統(tǒng)有智能儀器、自動跟蹤監(jiān)測儀器系統(tǒng)、自動控制制導(dǎo)系統(tǒng)、自動故障診斷和報警系統(tǒng)等。
3.1.2 模式識別
模式識別是對表征事物或現(xiàn)象的各種形式的信息進行處理和分析,來對事物或現(xiàn)象進行描述、辨認、分類和解釋的過程。該技術(shù)以貝葉斯概率論和申農(nóng)的信息論為理論基礎(chǔ),對信息的處理過程更接近人類大腦的邏輯思維過程。現(xiàn)在有兩種基本的模式識別方法,即統(tǒng)計模式識別方法和結(jié)構(gòu)模式識別方法。人工神經(jīng)網(wǎng)絡(luò)是模式識別中的常用方法,近年來發(fā)展起來的人工神經(jīng)網(wǎng)絡(luò)模式的識別方法逐漸取代傳統(tǒng)的模式識別方法。經(jīng)過多年的研究和發(fā)展,模式識別已成為當(dāng)前比較先進的技術(shù),被廣泛應(yīng)用到文字識別、語音識別、指紋識別、遙感圖像識別、人臉識別、手寫體字符的識別、工業(yè)故障檢測、精確制導(dǎo)等方面[10]。
由于人體和疾病的復(fù)雜性、不可預(yù)測性,在生物信號與信息的表現(xiàn)形式上、變化規(guī)律(自身變化與醫(yī)學(xué)干預(yù)后變化)上,對其進行檢測與信號表達,獲取的數(shù)據(jù)及信息的分析、決策等諸多方面都存在非常復(fù)雜的非線性聯(lián)系,適合人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用。目前的研究幾乎涉及從基礎(chǔ)醫(yī)學(xué)到臨床醫(yī)學(xué)的各個方面,主要應(yīng)用在生物信號的檢測與自動分析,醫(yī)學(xué)專家系統(tǒng)等。
3.2.1 生物信號的檢測與分析
大部分醫(yī)學(xué)檢測設(shè)備都是以連續(xù)波形的方式輸出數(shù)據(jù)的,這些波形是診斷的依據(jù)。人工神經(jīng)網(wǎng)絡(luò)是由大量的簡單處理單元連接而成的自適應(yīng)動力學(xué)系統(tǒng),具有巨量并行性,分布式存貯,自適應(yīng)學(xué)習(xí)的自組織等功能,可以用它來解決生物醫(yī)學(xué)信號分析處理中常規(guī)法難以解決或無法解決的問題。神經(jīng)網(wǎng)絡(luò)在生物醫(yī)學(xué)信號檢測與處理中的應(yīng)用主要集中在對腦電信號的分析,聽覺誘發(fā)電位信號的提取、肌電和胃腸電等信號的識別,心電信號的壓縮,醫(yī)學(xué)圖像的識別和處理等。
3.2.2 醫(yī)學(xué)專家系統(tǒng)
傳統(tǒng)的專家系統(tǒng),是把專家的經(jīng)驗和知識以規(guī)則的形式存儲在計算機中,建立知識庫,用邏輯推理的方式進行醫(yī)療診斷。但是在實際應(yīng)用中,隨著數(shù)據(jù)庫規(guī)模的增大,將導(dǎo)致知識“爆炸”,在知識獲取途徑中也存在“瓶頸”問題,致使工作效率很低。以非線性并行處理為基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)為專家系統(tǒng)的研究指明了新的發(fā)展方向,解決了專家系統(tǒng)的以上問題,并提高了知識的推理、自組織、自學(xué)習(xí)能力,從而神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)專家系統(tǒng)中得到廣泛的應(yīng)用和發(fā)展。
在麻醉與危重醫(yī)學(xué)等相關(guān)領(lǐng)域的研究中,涉及到多生理變量的分析與預(yù)測,在臨床數(shù)據(jù)中存在著一些尚未發(fā)現(xiàn)或無確切證據(jù)的關(guān)系與現(xiàn)象,信號的處理,干擾信號的自動區(qū)分檢測,各種臨床狀況的預(yù)測等,都可以應(yīng)用到人工神經(jīng)網(wǎng)絡(luò)技術(shù)。
3.3.1 市場價格預(yù)測
對商品價格變動的分析,可歸結(jié)為對影響市場供求關(guān)系的諸多因素的綜合分析。傳統(tǒng)的統(tǒng)計經(jīng)濟學(xué)方法因其固有的局限性,難以對價格變動做出科學(xué)的預(yù)測,而人工神經(jīng)網(wǎng)絡(luò)容易處理不完整的、模糊不確定或規(guī)律性不明顯的數(shù)據(jù),所以用人工神經(jīng)網(wǎng)絡(luò)進行價格預(yù)測是有著傳統(tǒng)方法無法相比的優(yōu)勢。從市場價格的確定機制出發(fā),依據(jù)影響商品價格的家庭戶數(shù)、人均可支配收入、貸款利率、城市化水平等復(fù)雜、多變的因素,建立較為準(zhǔn)確可靠的模型。該模型可以對商品價格的變動趨勢進行科學(xué)預(yù)測,并得到準(zhǔn)確客觀的評價結(jié)果。
3.3.2 風(fēng)險評估
風(fēng)險是指在從事某項特定活動的過程中,因其存在的不確定性而產(chǎn)生的經(jīng)濟或財務(wù)的損失、自然破壞或損傷的可能性[11]。防范風(fēng)險的最佳辦法就是事先對風(fēng)險做出科學(xué)的預(yù)測和評估。應(yīng)用人工神經(jīng)網(wǎng)絡(luò)的預(yù)測思想是根據(jù)具體現(xiàn)實的風(fēng)險來源,構(gòu)造出適合實際情況的信用風(fēng)險模型的結(jié)構(gòu)和算法,得到風(fēng)險評價系數(shù),然后確定實際問題的解決方案。利用該模型進行實證分析能夠彌補主觀評估的不足,可以取得滿意效果。
人工神經(jīng)網(wǎng)絡(luò)由于其獨特的模型結(jié)構(gòu)和固有的非線性模擬能力,以及高度的自適應(yīng)和容錯特性等突出特征,在控制系統(tǒng)中獲得了廣泛的應(yīng)用。其在各類控制器框架結(jié)構(gòu)的基礎(chǔ)上,加入了非線性自適應(yīng)學(xué)習(xí)機制,從而使控制器具有更好的性能?;镜目刂平Y(jié)構(gòu)有監(jiān)督控制、直接逆模控制、模型參考控制、內(nèi)??刂?、預(yù)測控制、最優(yōu)決策控制等。
今年來人們對神經(jīng)網(wǎng)絡(luò)在交通運輸系統(tǒng)中的應(yīng)用開始了深入的研究。交通運輸問題是高度非線性的,可獲得的數(shù)據(jù)通常是大量的、復(fù)雜的,用神經(jīng)網(wǎng)絡(luò)處理相關(guān)問題有它巨大的優(yōu)越性。應(yīng)用范圍涉及到汽車駕駛員行為的模擬、參數(shù)估計、路面維護、車輛檢測與分類、交通模式分析、貨物運營管理、交通流量預(yù)測、運輸策略與經(jīng)濟、交通環(huán)保、空中運輸、船舶的自動導(dǎo)航及船只的辨認、地鐵運營及交通控制等領(lǐng)域并已經(jīng)取得了很好的效果。
從神經(jīng)網(wǎng)絡(luò)模型的形成開始,它就與心理學(xué)就有著密不可分的聯(lián)系。神經(jīng)網(wǎng)絡(luò)抽象于神經(jīng)元的信息處理功能,神經(jīng)網(wǎng)絡(luò)的訓(xùn)練則反映了感覺、記憶、學(xué)習(xí)等認知過程。人們通過不斷地研究,變化著人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)模型和學(xué)習(xí)規(guī)則,從不同角度探討著神經(jīng)網(wǎng)絡(luò)的認知功能,為其在心理學(xué)的研究中奠定了堅實的基礎(chǔ)。近年來,人工神經(jīng)網(wǎng)絡(luò)模型已經(jīng)成為探討社會認知、記憶、學(xué)習(xí)等高級心理過程機制的不可或缺的工具。人工神經(jīng)網(wǎng)絡(luò)模型還可以對腦損傷病人的認知缺陷進行研究,對傳統(tǒng)的認知定位機制提出了挑戰(zhàn)。
雖然人工神經(jīng)網(wǎng)絡(luò)已經(jīng)取得了一定的進步,但是還存在許多缺陷,例如:應(yīng)用的面不夠?qū)掗煛⒔Y(jié)果不夠精確;現(xiàn)有模型算法的訓(xùn)練速度不夠高;算法的集成度不夠高;同時我們希望在理論上尋找新的突破點,建立新的通用模型和算法。需進一步對生物神經(jīng)元系統(tǒng)進行研究,不斷豐富人們對人腦神經(jīng)的認識。
人工神經(jīng)網(wǎng)絡(luò)或許無法代替人類的大腦,但是它拓展了人們對外部環(huán)境的認識與控制能力。它特有的非線性適應(yīng)性信息處理能力[12],使之在智能控制、組合優(yōu)化、預(yù)測等領(lǐng)域得到成功應(yīng)用,成為一門獨具特色的信息處理學(xué)科。
人工神經(jīng)網(wǎng)絡(luò)的發(fā)展有如下趨勢:人工神經(jīng)網(wǎng)絡(luò)正向模擬人類認知的道路上深入發(fā)展,與模糊系統(tǒng)、遺傳算法、進化機制等結(jié)合,形成計算智能,成為人工智能的一個重要方向;在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上,試圖用模擬神經(jīng)網(wǎng)絡(luò)加工、記憶信息的方式,制造各種智能機器;神經(jīng)元網(wǎng)絡(luò)的實現(xiàn)是其廣泛應(yīng)用的前提,是軟件與硬件的有效結(jié)合,可以針對網(wǎng)絡(luò)材料和功能結(jié)構(gòu),研究更簡潔高效的網(wǎng)絡(luò)結(jié)構(gòu),同時擴大神經(jīng)元芯片的作用范圍;利用光電結(jié)合的神經(jīng)計算機,創(chuàng)造出功能更全,應(yīng)用更廣的人工神經(jīng)網(wǎng)絡(luò),提高其信息處理能力,進一步優(yōu)化從理論到實際的實現(xiàn);人類與計算機的自然口譯、流暢的談話、音頻檢索甚至用自然語言與計算機對話也是其發(fā)展實現(xiàn)的方向之一。
文中首先對人工神經(jīng)網(wǎng)絡(luò)的發(fā)展作了階段性的回顧;其次介紹了網(wǎng)絡(luò)的特性和其在信息、醫(yī)學(xué)等主要領(lǐng)域的應(yīng)用現(xiàn)狀;最后在此基礎(chǔ)上對人工神經(jīng)網(wǎng)絡(luò)的發(fā)展作了一定的展望。人工神經(jīng)網(wǎng)絡(luò)具有非線性、適應(yīng)性等特點,其與現(xiàn)有研究方法的結(jié)合,將使人工神經(jīng)網(wǎng)絡(luò)理論被不斷的完善、應(yīng)用面也日趨廣泛。
[1]韓立群.人工神經(jīng)網(wǎng)絡(luò)[M].北京:北京郵電大學(xué)出版社,2006.
[2]董軍,胡上序.混沌神經(jīng)網(wǎng)絡(luò)研究進展和展望[J].信息與控制,1997,26(5):360-368.DONG Jun,HU Shang-xu.The progress and prospects of neural network research[J].Information and Control,1997,26(5):360-368.
[3]Jenkins B K,Tanguay A R.Handbook of Neural Computing and Neural Networks[M].Boston:MIT Press,1995.
[4]Bnlsabi A.Some analytical solutions to the general approximation problem for feed forward neural networks[J].Neural Networks 1993(6):991-996.
[5]羅忠,謝永斌,朱重光.CMAC學(xué)習(xí)過程收斂性研究[J].自動化學(xué)報,1997,23(4):455-461.LUO ZHong,XIE Yong-bin,ZHU Chong-guang.The study of convergence of CMAC learning process[J].Acta Automatic Sinica,1997,23(4):455-461.
[6]Setiono R,Leow W K.FERNN:An algorithm for fast extraction of rules from neural networks[J].Applied Intelligence,2000,12(1-2):15-25.
[7]何國光,朱萍,曹志彤,等.混沌神經(jīng)網(wǎng)絡(luò)的Lyapunov指數(shù)與混沌區(qū)域[J].浙江大學(xué)學(xué)報,2004,31(7):387-390.HE Guo-guang,ZHU Ping,CAO Zhi-tong,et al.Lyapunov exponents and chaotic regions of chaotic neural networks[J].Journal of Zhejiang University,2004,31(7):387-390.
[8]武妍,王守覺.一種通過反饋提高神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)性能的新算法[J].計算機研究與發(fā)展,2004,41(9):1488-1492.WU Yan,WANG Shou-jue.A new algorithm of improving the learning performance of neural network by feedback[J].Journal of Computer Research and Development,2004,41(9):1488-1492.
[9]XIA Min,F(xiàn)ANG Jian-an,TANG Yang,et al.Dynamic depression control of chaotic neural networks for associative memory[J].Neurocomputing, 2010(73),776-783.
[10]OZ C,LEU M C.American sign language word recognition with a sensory glove using artificial neural networks[J].Engineering Applications of Artificial Intelligence,2011(4):1204-1213.
[11]Singhal D,Swarup K S.Electricity price forecasting using artificial neural networks[J].Electrical Power and Energy Systems,2011(3):550-555.
[12]WU Wei,WANG Jian,CHENG Ming-song,et al.Convergence analysis of online gradient method for BP neural networks[J].Neural Networks , 2011(24):91-98.