亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        神經(jīng)網(wǎng)絡(luò)BP算法改進及其性能分析

        2017-11-02 11:31:45陳智軍李洋瑩
        軟件導刊 2017年10期
        關(guān)鍵詞:神經(jīng)網(wǎng)絡(luò)

        陳智軍++李洋瑩

        摘要:傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)BP算法具有強大的自學習、自適應(yīng)及非線性映射能力,但算法具有收斂緩慢、易陷入局部極優(yōu)等缺點。針對傳統(tǒng)BP算法的不足提出改進方法,并用于解決異或問題和字符識別問題。實驗表明,改進算法能提高網(wǎng)絡(luò)學習速度、減小網(wǎng)絡(luò)誤差,具有更好的收斂性和魯棒性,各方面都明顯優(yōu)于傳統(tǒng)BP算法。

        關(guān)鍵詞:神經(jīng)網(wǎng)絡(luò);BP算法;學習速率

        DOIDOI:10.11907/rjdk.171726

        中圖分類號:TP312文獻標識碼:A文章編號:16727800(2017)010003903

        0引言

        人工神經(jīng)網(wǎng)絡(luò)是由大量處理單元互聯(lián)組成的非線性、自適應(yīng)信息處理系統(tǒng),它是在現(xiàn)代神經(jīng)科學研究成果的基礎(chǔ)上提出的,通過模擬大腦神經(jīng)網(wǎng)絡(luò)處理、記憶信息的方式進行信息處理。截至目前,已有大量的訓練算法和網(wǎng)絡(luò)模型[17]被提出,其中BP神經(jīng)網(wǎng)絡(luò)應(yīng)用最為廣泛。BP神經(jīng)網(wǎng)絡(luò)的核心是“誤差反向傳播”學習算法。BP算法系統(tǒng)地解決了網(wǎng)絡(luò)中連接權(quán)值的學習問題,使BP網(wǎng)絡(luò)成為目前應(yīng)用最廣泛的網(wǎng)絡(luò)模型[8]。BP算法的基本思想是:學習過程由正向傳播和反向傳播組成。在正向傳播中,樣本從輸入層輸入,然后經(jīng)過隱層處理后傳播到輸出層。如果輸出與預(yù)期結(jié)果不一致,學習過程轉(zhuǎn)為反向傳播;在反向傳播中,誤差通過隱層被反饋到輸入層,成為網(wǎng)絡(luò)連接權(quán)值修改的基礎(chǔ)。網(wǎng)絡(luò)根據(jù)誤差調(diào)整各層的連接權(quán)值以減小誤差。這兩個傳播過程是權(quán)值調(diào)整的周期循環(huán)過程,即網(wǎng)絡(luò)的學習過程。然而,傳統(tǒng)的BP算法存在缺點:收斂速度慢,容易收斂到局部最優(yōu)而不是全局最優(yōu)解,這極大地阻礙了神經(jīng)網(wǎng)絡(luò)的進一步應(yīng)用。本文根據(jù)網(wǎng)絡(luò)學習過程分析這些問題產(chǎn)生的原因,并提出改進方法。改進后的算法可以提高學習速度,減小網(wǎng)絡(luò)誤差,并具有更好的收斂性和魯棒性。

        1BP神經(jīng)網(wǎng)絡(luò)

        1.1BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

        BP神經(jīng)網(wǎng)絡(luò)模型[9]是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型,它屬于多層網(wǎng)絡(luò),包括輸入層、隱含層和輸出層。相鄰層中的所有神經(jīng)元都連接,而同一層的神經(jīng)元之間沒有連接。神經(jīng)元之間的連接權(quán)值可以通過學習過程調(diào)整。輸入信號從輸入層神經(jīng)元,依次通過各隱含層神經(jīng)元,最后傳遞到輸出層神經(jīng)元。

        1.2BP算法

        BP算法步驟如下:

        (1)初始化權(quán)值。

        (2)提供學習樣本,輸入Xi=x1,x2,,…,xm(i=1,…,L,表示學習樣本的數(shù)量;m表示輸入神經(jīng)元的個數(shù));對應(yīng)的期望輸出為Di=d1,d2,…,dn(n表示輸出神經(jīng)元的個數(shù))。

        (3)計算實際輸出Yi=y1,y2,…,yn。

        (4)計算誤差E=1L∑Lp=1Ep;Ep=∑ni=1(di-yi)2。

        (5)調(diào)整權(quán)重Δwij=-ηEwij,η表示學習速率。

        (6)如果網(wǎng)絡(luò)誤差足夠小或迭代步數(shù)溢出,停止算法;否則轉(zhuǎn)到步驟(2)。

        2BP算法缺點及改進

        2.1BP算法缺點

        BP算法優(yōu)勢明顯,但在實際中有以下缺點[8,10]:

        (1)收斂速度太慢。誤差減小太慢使得權(quán)值調(diào)整的時間太長,迭代步數(shù)太多。由于梯度逐漸變?yōu)?,越接近局部最優(yōu),收斂速度越慢。為了保證算法的收斂性,學習速率不能過大,否則會出現(xiàn)振蕩。

        (2)算法往往收斂到局部最優(yōu)。BP算法調(diào)整權(quán)值的基礎(chǔ)是誤差梯度下降,而局部最優(yōu)的梯度和全局最優(yōu)的梯度均為0,因此算法不能將局部最優(yōu)與全局最優(yōu)區(qū)分開。

        (3)隱層數(shù)和隱層神經(jīng)元的數(shù)目往往取決于經(jīng)驗而非理論指導。因此,網(wǎng)絡(luò)往往有很大冗余,這導致學習時間增加。

        2.2BP算法改進

        BP算法的突出問題是算法收斂速度太慢。為了提高收斂性能,傳統(tǒng)方法是在學習過程中添加動量項,即:

        Δw(k+1)=-ηEw(k)+αΔw(k)(1)

        在式(1)中,α表示動量項,η表示學習速率。

        仿真實驗表明,該方法對提高收斂速度有一定效果,但還不夠好,主要問題是學習速率的選擇比較困難。從BP算法公式可以看出,學習速率決定了收斂速度。一般而言,學習速率越大,收斂速度越快。然而,如果學習速率過大,就會出現(xiàn)振蕩現(xiàn)象。如果學習速率保持不變,在誤差表面的平坦區(qū)域因為梯度小,收斂將非常緩慢。而在誤差表面曲率大的區(qū)域,因為梯度大,將會在局部最優(yōu)附近發(fā)生振蕩。

        從上述分析可以看出,無論在平坦區(qū)域還是陡峭區(qū)域,如果學習速率能自適應(yīng)變化,收斂速度和收斂性能都會得到提高。文中本次迭代的誤差將與上一次迭代的誤差進行比較。如果誤差減小,意味著結(jié)果在逼近最優(yōu),學習速率應(yīng)增加;如果誤差加大,且超過一定的百分比,則意味著結(jié)果在偏離最優(yōu),最近一次的調(diào)整將被中止,并且學習速率將被降低。公式如下:

        η(t+1)=(1+α)η(t)Et+1(1+ξ)Etη(t)Et

        在式(2)中,α和ξ都是正小數(shù)。

        除了自適應(yīng)學習率的方法,本文同時還采用了以下幾項改進方法:

        (1)累積誤差校正。傳統(tǒng)的BP算法在每次輸入后對權(quán)值進行修正,而累積誤差校正積累所有樣本的誤差。如果有n個樣本,輸入后將有n個誤差。這n個誤差將被累積,并作為反向傳播調(diào)整權(quán)值的基礎(chǔ)。與傳統(tǒng)BP算法相比,權(quán)值調(diào)整的頻率明顯降低(每個學習過程減少n-1次調(diào)整),因此,收斂速度相應(yīng)增加。

        (2)訓練樣本重組。傳統(tǒng)的BP算法中,如果在每個訓練步驟時樣本順序不變,則在上一步訓練中誤差較大的樣本在本步中仍會有較大誤差,這也是傳統(tǒng)BP算法收斂速度慢的另一個原因。在改進算法中,樣本的順序?qū)⒈恢亟M,以避免這種問題。

        (3)隱含層數(shù)量選擇。神經(jīng)網(wǎng)絡(luò)的許多特點是由于隱含層的存在。然而,如何選擇隱含層的數(shù)量不得知。原則上,任何問題都可以由三層BP網(wǎng)絡(luò)解決,因此,為了簡化網(wǎng)絡(luò)結(jié)構(gòu)和提高速度,本文提出三層網(wǎng)絡(luò)結(jié)構(gòu)。

        (4)隱含神經(jīng)元數(shù)量選擇。BP網(wǎng)絡(luò)的函數(shù)逼近能力與隱含神經(jīng)元數(shù)量有很大關(guān)系。如果隱含神經(jīng)元數(shù)量太小,網(wǎng)絡(luò)不能很好地訓練,則精度不會很高。隨著隱含神經(jīng)元數(shù)量的增加,網(wǎng)絡(luò)性能會得到改善,但同時收斂速度和魯棒性會降低。在實踐中,一個好的結(jié)果只能根據(jù)經(jīng)驗通過大量的實驗獲得。經(jīng)驗公式如下:

        N=n+m(3)

        式中,N表示隱層神經(jīng)元的數(shù)目,n表示輸入單元的個數(shù),m表示輸出單元的個數(shù)。

        3實驗分析

        3.1異或問題

        根據(jù)異或問題的特點,輸入層和隱含層的神經(jīng)元個數(shù)為2,輸出層神經(jīng)元數(shù)為1。傳統(tǒng)BP算法和改進BP算法的學習結(jié)果對比如表1、表2所示。

        從表1、表2可以看出,改進BP算法性能明顯優(yōu)于傳統(tǒng)BP算法,它能以更少的迭代步驟獲得更小的誤差。

        3.2字符識別問題

        將改進的BP算法應(yīng)用于字符識別問題,從另一方面驗證其性能。6個字符:A、B、C、D、E、F用5×7點陣表示作為實驗對象,如圖1所示。

        圖1字符點陣

        圖1中的每個字符點陣用一個數(shù)組表示,數(shù)組中“1”表示陰影點,“0”表示空白點。例如,字符“A”的點陣表示為數(shù)組{0,0,1,0,0,0,1,0,1,0,0,1,0,1,0,1,1,1,1,1,1,0,0,0,1,1,0,0,0,1,1,0,0,0,1 } 。

        網(wǎng)絡(luò)有35個輸入單元(每個單元對應(yīng)點陣中的1個點)、7個隱含神經(jīng)元和6個輸出單元(每個單元對應(yīng)1個字符)。

        傳統(tǒng)BP算法和改進BP算法在字符識別問題中的比較如表3所示。

        從表3可以看出,改進BP算法的輸出比傳統(tǒng)BP算法更接近期望輸出“1”,并且與傳統(tǒng)BP算法相比,改進BP算法能以較少的步驟獲得較小的誤差。這些都表明,改進BP算法性能明顯優(yōu)于傳統(tǒng)BP算法。

        此外,為了更充分地比較傳統(tǒng)BP算法和改進BP算法,將噪聲加入輸入數(shù)據(jù)。加入噪聲后,0~0.2都可以代表“0”,0.8~1都可以代表“1”。學習結(jié)果對比如表4所示。

        從表4可以看出,當噪聲加入后,改進BP算法仍然明顯優(yōu)于傳統(tǒng)BP算法。將表3、表4相比較可以看出,當噪聲加入后,傳統(tǒng)BP算法的迭代步驟和誤差顯著增加,而改進BP算法的迭代步驟和誤差變化很小。這表明改進BP算法比傳統(tǒng)BP算法具有更好的魯棒性,也更適合在實踐中應(yīng)用。

        4結(jié)語

        綜上所述,本文提出的改進BP 算法在各方面均優(yōu)于傳統(tǒng)BP算法。從XOR問題和字符識別問題中可以看出,改進BP 算法具有3方面的優(yōu)勢:①可以明顯提高學習速度;②可以明顯減少網(wǎng)絡(luò)誤差;③具有更好的魯棒性。未來如果能在隱層數(shù)和隱層神經(jīng)元數(shù)量的選擇上取得突破,BP神經(jīng)網(wǎng)絡(luò)將有著更為廣闊的應(yīng)用前景。

        參考文獻:

        [1]邱天宇,申富饒,趙金熙.自組織增量學習神經(jīng)網(wǎng)絡(luò)綜述[J].軟件學報,2016,27(9):22302247.

        [2]劉智斌,曾曉勤,劉惠義,等.基于BP神經(jīng)網(wǎng)絡(luò)的雙層啟發(fā)式強化學習方法[J].計算機研究與發(fā)展,2015,52(3):579587.

        [3]徐昕,賀漢根.神經(jīng)網(wǎng)絡(luò)增強學習的梯度算法研究[J].計算機學報,2003,26(2):227233.

        [4]胡伍生,迪達爾,王昭斌.神經(jīng)網(wǎng)絡(luò)BP改進算法及其性能分析[J].現(xiàn)代測繪,2016,39(6):14.

        [5]丁碩,常曉恒,巫慶輝,等.數(shù)值優(yōu)化改進的BP神經(jīng)網(wǎng)絡(luò)逼近性能對比研究[J].山東科學,2014,27(1):6891.

        [6]李康順,李凱,張文生.一種基于改進BP神經(jīng)網(wǎng)絡(luò)的PCA人臉識別算法[J].計算機應(yīng)用與軟件,2014,31(1):158161.

        [7]關(guān)學忠,張璐.基于改進的BP神經(jīng)網(wǎng)絡(luò)車牌識別的研究[J].自動化技術(shù)與應(yīng)用,2015,34(7):6668.

        [8]鄧萬宇,鄭慶華,陳琳,等.神經(jīng)網(wǎng)絡(luò)極速學習方法研究[J].計算機學報,2010,33(2):279286.

        [9]李道倫,盧德唐,孔祥言,等.基于BP神經(jīng)網(wǎng)絡(luò)的隱式曲面構(gòu)造方法[J].計算機研究與發(fā)展,2007,44(3):467472.

        [10]王磊,王汝涼,曲洪峰,等.BP神經(jīng)網(wǎng)絡(luò)算法改進及應(yīng)用[J].軟件導刊,2016,15(5):3840.

        責任編輯(責任編輯:孫娟)endprint

        猜你喜歡
        神經(jīng)網(wǎng)絡(luò)
        BP神經(jīng)網(wǎng)絡(luò)在路標識別上的應(yīng)用研究
        基于HPSO-BP神經(jīng)網(wǎng)絡(luò)的個人信用評估
        神經(jīng)網(wǎng)絡(luò)抑制無線通信干擾探究
        電子制作(2019年19期)2019-11-23 08:42:00
        基于神經(jīng)網(wǎng)絡(luò)的中小學生情感分析
        電子制作(2019年24期)2019-02-23 13:22:36
        基于Q-Learning算法和神經(jīng)網(wǎng)絡(luò)的飛艇控制
        基于神經(jīng)網(wǎng)絡(luò)的拉矯機控制模型建立
        重型機械(2016年1期)2016-03-01 03:42:04
        復(fù)數(shù)神經(jīng)網(wǎng)絡(luò)在基于WiFi的室內(nèi)LBS應(yīng)用
        基于支持向量機回歸和RBF神經(jīng)網(wǎng)絡(luò)的PID整定
        基于神經(jīng)網(wǎng)絡(luò)分數(shù)階控制的逆變電源
        基于GA-BP神經(jīng)網(wǎng)絡(luò)的光伏陣列MPPT研究
        電測與儀表(2014年2期)2014-04-04 09:04:04
        久久洲Av无码西西人体| 在线天堂www中文| 精品麻豆国产色欲色欲色欲www| 无码国产精品一区二区免| 中文字幕日本熟妇少妇| 久久精品国产亚洲av麻豆床戏| 亚洲国产精品无码av| 亚洲日韩中文字幕一区| 国产成人8x视频网站入口| 久久人妻精品中文字幕一区二区| 日本熟女中文字幕在线| 国产激情视频一区二区三区| 久青草国产在线观看| 国产av普通话对白国语| 少妇下面好爽好紧好湿一区二区| 亚洲日产一线二线三线精华液| 亚洲狠狠网站色噜噜| 加勒比亚洲视频在线播放| 在线观看日本一区二区三区四区| 极品少妇一区二区三区四区| 日本一本久道| 人妻av不卡一区二区三区| 妃光莉中文字幕一区二区| 麻豆国产原创视频在线播放| 国产精品白浆一区二区免费看| 视频一区中文字幕在线观看| 天天做天天爱夜夜爽毛片毛片| 国产乱人伦av在线a| 爆乳无码AV国内| 二区三区日本高清视频| 欧美一区二区三区视频在线观看| 日韩爱爱网站| 蜜桃av噜噜噜一区二区三区| 妺妺窝人体色www在线| 国产av无码专区亚洲av琪琪| 高清一级淫片a级中文字幕| 久久热免费最新精品视频网站| 中文字幕日韩人妻不卡一区| 在线观看视频亚洲| 亚洲综合在线一区二区三区| 国产精品毛片va一区二区三区|