亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        BP神經(jīng)網(wǎng)絡初始化方法研究

        2013-10-26 12:09:04范業(yè)仙葉茂枝
        韶關學院學報 2013年12期
        關鍵詞:傳遞函數(shù)層間權值

        范業(yè)仙,葉茂枝

        (寧德師范學院 計算機系,福建 寧德 352100)

        在人工神經(jīng)網(wǎng)絡的使用中,絕大部分是基于BP算法的,但BP算法的收斂性能存在諸多的局限.事實證明影響B(tài)P算法收斂性能的因素很多,包括訓練樣本的選取、學習速率的設定、隱含層層數(shù)及神經(jīng)元數(shù)的確定、以及權值和閾值的初始化等[1].其中關于權值和閾值的初值設置方法已有一定的研究成果.例如,Nguyen-Widrow算法,Matlab中BP神經(jīng)網(wǎng)絡默認權值和閾值的初值就基于此算法隨機產(chǎn)生的[2];歸一化初始化,利用隨機函數(shù)生成[0,1)區(qū)間的隨機數(shù)做為權值和閾值的初值[3];用遺傳算法得到的最優(yōu)個體作為BP神經(jīng)網(wǎng)絡的權值[4];采用粒子群算法[5]、蟻群算法[6]等優(yōu)化BP神經(jīng)網(wǎng)絡的權值;將動物視覺系統(tǒng)中感受野的空間結構形式用于初始權值的設計[7];綜合考慮學習速度、隱含層神經(jīng)元數(shù)設計權值的均勻設計法[8]等.方法雖多,但都有局限性,實際應用中權值和閾值的初值設定一般憑借經(jīng)驗,采用試湊法選定.本文提出了一種等比例系數(shù)型權值和閾值的初始化方法,利用BP神經(jīng)網(wǎng)絡輸入向量的元素個數(shù)計算出一個等比例系數(shù),將S型傳遞函數(shù)的自變量轉化到區(qū)間[0,1)上.實驗證明該方法用于BP神經(jīng)網(wǎng)絡能加快其收斂速度.

        1 BP算法

        人工神經(jīng)網(wǎng)絡模型由人工神經(jīng)元的連接方式和學習算法構成.BP神經(jīng)網(wǎng)絡的連接方式通常為一個或多個隱含層,隱含層中的神經(jīng)元均采用S型傳遞函數(shù),輸出層的神經(jīng)元采用線性傳遞函數(shù);BP神經(jīng)網(wǎng)絡的學習算法即BP算法.以典型的單隱含層BP神經(jīng)網(wǎng)絡為例,假設輸入向量元素個數(shù)為R,隱含層含S個神經(jīng)元,輸出層含K個神經(jīng)元.BP算法由兩部分組成:①信息的正向傳遞,式(1)、(2);②誤差反向傳播,式(3)~(6).

        O1s是隱含層中第s個神經(jīng)元的輸出,f1是S型傳遞函數(shù),IWsr是輸入與隱含層間的權值,Pr是第r個輸入元素,bIs是輸入與隱含層間的閾值.

        O2k是輸出層中第k個神經(jīng)元的輸出,f2是線性傳遞函數(shù),LWks是隱含層與輸出層間的權值,bLk是隱含層與輸出層間的閾值.

        △LWKS、△bLK分別是隱含層與輸出層間權值和閾值的變化量,η是學習率,ek是O2k與期望值的誤差.f2′是f2的導數(shù),因為f2為線性傳遞函數(shù),所以f2′=1.

        △IWsr、△bIs分別是輸入與隱含層間權值和閾值的變化量,f1′是f1的導數(shù).

        式(1)、(2)中輸入信息經(jīng)傳遞函數(shù)和權值、閾值的作用得到輸出;式(3)~(6)當網(wǎng)絡輸出即O2k沒有達到期望值時,計算出誤差ek,從輸出層開始往前反向傳遞,求得逐層權值和閾值的變化量調整權值和閾值,使ek逐步減小,直到滿足要求.

        2 等比例系數(shù)型初始化方法

        由式(3)~(6)可看出權值和閾值的變化量計算,特別是式(5)中△IWsr的計算,除與誤差 ek、學習率 η、輸入元素Pr等相關外,還與S型傳遞函數(shù)f1的導數(shù)f1′關系密切.S型傳遞函數(shù)通常用logsig函數(shù)和tansig函數(shù),它們及其導數(shù)如圖1.由圖1可看出當f1(x)的自變量x位于[-1,1]時,S型傳遞函數(shù)的切線斜率最大也就是導數(shù)值 f1′(x)最大,那么根據(jù)式(5),當 f1(x)中的 x∈[-1,1]時輸入與隱含層間的權值變化最大,調節(jié)速度最快,網(wǎng)絡收斂速度也就加快了.在BP神經(jīng)網(wǎng)絡權值和閾值初始化時,可以將函數(shù)f1(x)的自變量x轉化到區(qū)間[-1,1]上以保證網(wǎng)絡訓練時的收斂速度.由式(1)知函數(shù) f1(x)的 x=IWsrPr+BIs,由圖 1(b)(d)知 f1′(x)的值關于x=0對稱.因此,提出了等比例系數(shù)型初始化方法,將IWsrPr+BIs的值轉化到區(qū)間[0,1)上,能夠使BP神經(jīng)網(wǎng)絡訓練時的收斂速度加快.

        圖1 S型傳遞函數(shù)及其導數(shù)

        為取消各維數(shù)據(jù)間數(shù)量級差別,常對輸入數(shù)據(jù)做歸一化處理,使0≤Pr≤1.為使0≤IWsrPr+BIs<1,網(wǎng)絡各權值和閾值取初值如下:

        IWsr=rand()*1/(R+1) //rand() 函數(shù)可隨機產(chǎn)生一個位于區(qū)間[0,1)的數(shù)

        bIs=rand()*1/(R+1) //R 是輸入向量的元素個數(shù).

        LWks=rand()

        bLk=rand()

        證明:

        3 基于Matlab的仿真分析

        為驗證等比例系數(shù)型BP神經(jīng)網(wǎng)絡權值和閾值的初始化方法,對網(wǎng)絡收斂性能的影響.利用Matlab軟件對非線性函數(shù)y=x12+x22做基于BP神經(jīng)網(wǎng)絡的擬合.該函數(shù)有兩個輸入?yún)?shù),一個輸出參數(shù),所以BP神經(jīng)網(wǎng)絡的結構為:輸入節(jié)點兩個;隱含層一個,含5個神經(jīng)元,采用tansig傳遞函數(shù);輸出層含一個神經(jīng)元,采用purelin傳遞函數(shù).網(wǎng)絡相關參數(shù)設定為:最大學習次數(shù)epochs=100;學習率lr=0.1;目標為goal=0.000 03.權值和閾值的初始化,網(wǎng)絡net1采用Matlab中newff函數(shù)默認的基于Nguyen-Widrow算法的方法;網(wǎng)絡net2采用本文所述的等比例系數(shù)型初始化方法.進行了10次的實驗,每次隨機抽取訓練數(shù)據(jù)1 900組,測試數(shù)據(jù)100組,實驗結果見表1.表1中網(wǎng)絡net2收斂學習次數(shù)的平均值27.2明顯小于網(wǎng)絡net1收斂學習次數(shù)的平均值46.1,而網(wǎng)絡的平均預測誤差相差不大.可見在該例中采用等比例系數(shù)型初始化方法使網(wǎng)絡的收斂性能有明顯提高.

        表1 兩種初始化方法的對比

        4 結語

        影響B(tài)P算法收斂性能的因素眾多,等比例系數(shù)型初始化方法與其他權值和閾值的初始化方法一樣沒有普適性.在對BP神經(jīng)網(wǎng)絡權值和閾值進行初始化時,應綜合考慮訓練樣本的特性、學習速率、網(wǎng)絡結構等因素,嘗試多種初始化方法,以便確定最合適的初值.

        [1]張德豐.MATLAB神經(jīng)網(wǎng)絡編程[M].北京:化學工業(yè)出版社,2011.

        [2]劉鯖潔,陳桂明,劉小方,等.BP神經(jīng)網(wǎng)絡權重和閾值初始化方法研究[J].西南師范大學學報:自然科學版,2010,35(6):137-141.

        [3]史峰,王小川,郁磊,等.MATLAB神經(jīng)網(wǎng)絡30個案例分析[M].北京:北京航空航天大學出版社,2010.

        [4]陳琳,何嘉.基于遺傳神經(jīng)算法優(yōu)化的漢語分詞模型[J].西南師范大學學報:自然科學版,2007,32(4):90-93.

        [5]李娜,李郁俠.基于粒子群-BP 神經(jīng)網(wǎng)絡算法的電價預測[J].武漢大學學報:工學版,2008,41(4):102-105.

        [6]范瑛.改進蟻群算法結合 BP 網(wǎng)絡用于入侵檢測[J].遼寧工程技術大學學報:自然科學版,2010,29(5):?966-969?.?

        [7]汪云九,崔翯,齊翔林.BP學習網(wǎng)絡中權值的感受野型初始化研究——Ⅰ.對收斂速度的影響[J].自然科學進展,1996(3):92-96.

        [8]方千山,王永初.均勻設計的神經(jīng)網(wǎng)絡[J].儀器儀表學報,2003,24(5): 509-511.

        猜你喜歡
        傳遞函數(shù)層間權值
        一種融合時間權值和用戶行為序列的電影推薦模型
        基于超聲檢測的構件層間粘接缺陷識別方法
        測控技術(2021年10期)2021-12-21 07:10:08
        CONTENTS
        基于LabVIEW的火焰?zhèn)鬟f函數(shù)測量系統(tǒng)
        測控技術(2018年7期)2018-12-09 08:58:46
        基于層間接觸的鋼橋面鋪裝力學分析
        上海公路(2018年3期)2018-03-21 05:55:40
        基于權值動量的RBM加速學習算法研究
        自動化學報(2017年7期)2017-04-18 13:41:02
        結合多分辨率修正曲率配準的層間插值
        紅外成像系統(tǒng)的調制傳遞函數(shù)測試
        大段合采油井層間干擾主控因素研究
        基于傳遞函數(shù)自我優(yōu)化的BP網(wǎng)絡算法改進
        色哟哟最新在线观看入口| 毛片av在线尤物一区二区| 国产美女一区三区在线观看| 免费观看91色国产熟女| 无码人妻av免费一区二区三区| 天天躁日日躁狠狠躁| 欧美老妇与禽交| 高潮社区51视频在线观看| 丝袜美腿亚洲综合第一页| 久久99精品久久久久婷婷| 熟妇的荡欲色综合亚洲| 亚洲色图综合免费视频| 精品国产a毛片久久久av| 欧美性受xxxx黑人猛交| 欧美日韩中文国产一区发布 | 亚洲一区二区三区四区精品在线| 人人妻人人做人人爽| 亚洲成av人片在线观看无码| 亚洲国产一区二区三区最新| 亚洲中文乱码在线视频| 国产中文三级全黄| 亚洲人成人77777网站| 超清无码AV丝袜片在线观看| 深夜一区二区三区视频在线观看 | 天堂av国产一区二区熟女人妻| 丰满少妇被猛进去高潮| 午夜毛片不卡免费观看视频| 在线欧美精品二区三区| 日韩精品资源在线观看免费| 老鸭窝视频在线观看| 一本无码人妻在中文字幕免费| 欧美日韩亚洲国产千人斩| 日日麻批视频免费播放器| 亚洲国产精品无码久久一线| a级毛片毛片免费观看久潮喷| 亚洲中文av一区二区三区| 成人免费视频在线观看| 国产精品一区成人亚洲| 免费视频无打码一区二区三区| 成人一区二区免费中文字幕视频| 亚洲av永久无码精品一区二区 |