亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        BP神經(jīng)網(wǎng)絡(luò)分步賦初值算法的研究

        2013-03-29 05:44:52池凱莉董林璽
        機(jī)電工程 2013年2期
        關(guān)鍵詞:隱層初值賦值

        池凱莉,董林璽

        (杭州電子科技大學(xué)電子信息工程學(xué)院,浙江杭州310018)

        0 引言

        工程中遇到的問(wèn)題多數(shù)是非線性關(guān)系,很難用數(shù)學(xué)模型來(lái)計(jì)算,而神經(jīng)網(wǎng)絡(luò)具有高度非線性映射的性能特點(diǎn),只要構(gòu)建合適的網(wǎng)絡(luò),就可以以任意的精度逼近任何的非線性映射,所以神經(jīng)網(wǎng)絡(luò)有著十分廣泛的應(yīng)用前景,在網(wǎng)絡(luò)監(jiān)測(cè)以及交通、醫(yī)療、農(nóng)業(yè)等方面獲得了廣泛的應(yīng)用。該算法的思想是通過(guò)梯度下降法修正各層神經(jīng)元之間的權(quán)值,使誤差不斷下降以達(dá)到期望誤差的目的。從本質(zhì)上說(shuō),這種算法是一種迭代過(guò)程,迭代算法一般都與初值的選擇密切相關(guān),如果初值選擇不當(dāng),則算法的收斂速度會(huì)很慢甚至不收斂,在訓(xùn)練過(guò)程中也容易陷入局部極小值。研究者一直致力于算法的改進(jìn)[1],目前已有很多BP網(wǎng)絡(luò)改進(jìn)算法產(chǎn)生,如:批處理、增加動(dòng)量項(xiàng)、變學(xué)習(xí)效率等,然而,這些改進(jìn)方法都是基于隨機(jī)初始化權(quán)值進(jìn)行訓(xùn)練仿真的,所以不能解決對(duì)初始權(quán)值的依賴問(wèn)題。

        本研究將采用分步賦值的方法設(shè)置初始權(quán)值。輸入到最后一級(jí)隱層的權(quán)值矩陣對(duì)網(wǎng)絡(luò)的影響不是很大,只要保證網(wǎng)絡(luò)的抗干擾性和容錯(cuò)性,使網(wǎng)絡(luò)處于一個(gè)很好的狀態(tài)即可,本研究采用敏感區(qū)賦值,通過(guò)矩陣相乘來(lái)計(jì)算各級(jí)的權(quán)值。最后一層的輸出權(quán)值直接作用于輸出,對(duì)算法的影響最大,筆者進(jìn)行單獨(dú)賦值,利用期望值作為實(shí)際輸出構(gòu)成線性方程組,以方程組的解作為輸出層的權(quán)矩陣的初始值,這樣不僅可以避免陷入局部最小點(diǎn),同時(shí)也可大大地縮短訓(xùn)練的時(shí)間。

        1 BP神經(jīng)網(wǎng)絡(luò)

        傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)的思想是:學(xué)習(xí)過(guò)程由信號(hào)的正向傳播與誤差的反向傳播兩個(gè)過(guò)程組成[2]。正向傳播是將樣本經(jīng)過(guò)逐層處理后傳向輸出層,誤差反傳是將輸出誤差以某種形式通過(guò)隱層向輸入層逐層反傳,并將誤差分?jǐn)偨o各層的所有單元,從而獲得各層單元的誤差信號(hào),該信號(hào)即作為修正各單元權(quán)值的依據(jù)。信號(hào)正傳后誤差信號(hào)反傳,周而復(fù)始地進(jìn)行,該過(guò)程就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過(guò)程。該過(guò)程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度,或進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。

        筆者以3層的神經(jīng)網(wǎng)絡(luò)為例來(lái)闡述神經(jīng)網(wǎng)絡(luò)的工作原理[3],其結(jié)構(gòu)圖如圖1所示。

        圖13 層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

        網(wǎng)絡(luò)參數(shù)如下:輸入樣本數(shù)為k,輸入層節(jié)點(diǎn)數(shù)為n,隱層節(jié)點(diǎn)數(shù)為v,隱層加權(quán)和向量為net,輸出層節(jié)點(diǎn)數(shù)是m,輸入層到隱層的權(quán)值矩陣為Wij,輸出層權(quán)值矩陣是Vjk,教師向量是tk,學(xué)習(xí)效率為η,動(dòng)量項(xiàng)為ε,輸入和隱層之間的激勵(lì)函數(shù)是f1,輸出層的激勵(lì)函數(shù)是函數(shù)f2,通常激活函數(shù)取單極性S變換函數(shù)。

        2.1 正向傳播

        定義網(wǎng)絡(luò)輸出和期望輸出不等時(shí),輸出誤差E可以表示為:

        第1隱層加權(quán)和netj如下所示:

        第1隱層輸出hj如下所示:

        第2隱層的加權(quán)和與輸出層的輸出計(jì)算方法同上。

        2.2 反向傳播

        輸出層的權(quán)值Δvjk變化如下:

        隱層的權(quán)值Δwij變化表示為:

        2 BP神經(jīng)網(wǎng)絡(luò)賦初值算法

        傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)算法采用的反向迭代逐步調(diào)整各層權(quán)值,最終得到最優(yōu)權(quán)值矩陣,研究者利用該矩陣對(duì)樣本進(jìn)行訓(xùn)練校準(zhǔn),得到更準(zhǔn)確的信號(hào)數(shù)據(jù)。但是這種標(biāo)準(zhǔn)的BP算法在應(yīng)用中暴露了不少內(nèi)在的缺陷。網(wǎng)絡(luò)是在權(quán)初值基礎(chǔ)上展開(kāi)訓(xùn)練的,因此權(quán)值的初值是網(wǎng)絡(luò)訓(xùn)練的最根本的影響因素,有些文獻(xiàn)提出了新的賦初值算法[3-4],主要過(guò)程如下。

        輸入和隱層之間的激勵(lì)函數(shù)是線性分段函數(shù)f1,輸出層的激勵(lì)函數(shù)采用的是sigmoid函數(shù)f2。其中:p=1,2,3…k。輸入層和隱層、隱層和輸出層的權(quán)值矩陣分別是:

        輸入層與輸出層的隱層分別采用不同的賦初值方法來(lái)賦值,方法如下:首先對(duì)輸入層到隱層的權(quán)值賦初值,前層對(duì)輸出的影響很小,主要考慮的是網(wǎng)絡(luò)的抗干擾性,使網(wǎng)絡(luò)處于一個(gè)良好的狀態(tài),該賦值方法已經(jīng)被驗(yàn)證是切實(shí)可行的。

        為了使前層穩(wěn)定,最后網(wǎng)絡(luò)收斂到設(shè)定精度,本研究選擇的激勵(lì)函數(shù)是已經(jīng)研究很成熟的單極性的S函數(shù),如下所示:

        該函數(shù)保證隱層的輸出和樣本保持一致的相關(guān)性。其賦值原理可總結(jié)如下:

        f1的反函數(shù)如下所示:

        某隱層節(jié)點(diǎn)的輸出值是a(-1

        一個(gè)隱節(jié)點(diǎn)的輸出值為a的等值超平面定義為等值超平面Pa,隱層節(jié)點(diǎn)的起始節(jié)點(diǎn)為P0,具體計(jì)算公式如下:

        式中:hw—隱層節(jié)點(diǎn)權(quán)向量w的單位向量,稱為隱層節(jié)點(diǎn)方向。

        一個(gè)隱層節(jié)點(diǎn)的a水平敏感區(qū)域Aa被本研究定義為節(jié)點(diǎn)輸出在(0,a)范圍內(nèi)輸入?yún)^(qū)域,敏感區(qū)域?qū)挾仁怯呻[層節(jié)點(diǎn)的權(quán)值和閥值來(lái)決定的,從公式(2,3)可以得到a水平敏感區(qū)域的寬度Ga可表示為:

        本研究采集多組數(shù)據(jù),取數(shù)據(jù)集中的點(diǎn)作為特殊樣本輸入,該樣本是:X=(x1x2x3…xq),其中,q?n。本研究隨機(jī)選取兩個(gè)不同的樣本點(diǎn)(xh1xh2)作為輸入,如果該兩樣本點(diǎn)對(duì)應(yīng)的輸出相同則重新選擇樣本點(diǎn)。其中前層隱層的賦初值方法可總結(jié)如下:

        (1)激勵(lì)函數(shù)的敏感區(qū)如下:

        (2)設(shè)隱層節(jié)點(diǎn)輸出為a(-1

        (3)隱層的第i個(gè)節(jié)點(diǎn)(i

        (4)重復(fù)以上3步選擇不同的樣本值,求出n對(duì)權(quán)值,這樣就可以求出隱層權(quán)值矩陣Wij的初值,Wij=(w1w2…wn)T。

        如果不只一個(gè)隱層,后面的隱層和輸出的權(quán)值矩陣求解可以表示為:

        針對(duì)后層隱層權(quán)值矩陣這樣計(jì)算,使得后層的權(quán)值矩陣小于前層,保證了網(wǎng)絡(luò)的抗干擾性。

        這種方法雖然在一定程度上避免了局部極小的問(wèn)題,但是采集樣本難度大,并且沒(méi)有考慮到輸出層的獨(dú)特性和重要性。輸出層權(quán)值矩陣直接作用于實(shí)際輸出,直接決定網(wǎng)絡(luò)訓(xùn)練結(jié)果的好壞,所以本研究在前層的賦值基礎(chǔ)上,提出了新的賦初值算法,對(duì)輸出層進(jìn)行單獨(dú)的全新賦值。

        3 BP神經(jīng)網(wǎng)絡(luò)新算法

        第1層的權(quán)值賦值使用的特殊樣本,由最能反映對(duì)象規(guī)律的數(shù)據(jù)組成,緊接其后的采集到的數(shù)據(jù)應(yīng)該與前面的數(shù)據(jù)出入不大,此時(shí)對(duì)后面的權(quán)值賦值和前面的賦值連續(xù),是可行的[5]。在此本研究對(duì)輸出層采用新的方法進(jìn)行求解,為使輸出的數(shù)值在一定的范圍內(nèi),采集k組樣本Xp=(x1px2px3p…xnp),其中,p

        本研究使用的f2也是單極性的S函數(shù),使輸出限制在(0,1)之內(nèi),求解線性方程。

        其輸出層權(quán)值矩陣的賦值步驟可總結(jié)如下:

        (1)求取隱層的輸出hi,激勵(lì)函數(shù)為f1=x(-1

        利用輸出期望值tk,求解f2的反函數(shù)得到netq,可以表示為:

        (2)隱層加權(quán)和為netq,求取輸出層第q節(jié)點(diǎn)的權(quán)值矩陣Vjk,如下所示:

        該方程在vk時(shí)有解,為了使網(wǎng)絡(luò)結(jié)果簡(jiǎn)單,本研究取v=k方程有唯一解。同時(shí)第一隱層采取上述方法賦值的理由是:

        (1)第一層隱層的矩陣賦值方法可以提高網(wǎng)絡(luò)的抗干擾性。在求解輸出層權(quán)值矩陣時(shí),前層隱層的輸出h矩陣必須是滿秩,才能保證公式(16)有解。由于第一層權(quán)值舉證已經(jīng)固定,不再變化,本研究多次選擇樣本輸入求解,就可以得到公式(16)的解。

        (2)重復(fù)上述賦值步驟(1)、(2),輸出層剩下的節(jié)點(diǎn)對(duì)應(yīng)的權(quán)值也可以得到,解得m個(gè)k階方程組即可。通過(guò)線性方程組的解和前面得到的輸入到隱層的初值就得到了整個(gè)網(wǎng)絡(luò)的權(quán)值矩陣。

        方程的解是輸出層的權(quán)矩陣初值,在初值基礎(chǔ)上,通過(guò)輸入樣本對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練就可以得到最優(yōu)的權(quán)值矩陣。本研究利用期望輸出來(lái)得到初值,十分接近最優(yōu)權(quán)值,通過(guò)輸入新的樣本訓(xùn)練,不僅降低了訓(xùn)練的時(shí)間,也解決了局部極小的問(wèn)題[6-7]。

        本研究采用上述方法對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行賦值,輸出層需要求解線性方程組即A X=b,輸入大量不同樣本來(lái)求解,然而通常情況下系數(shù)矩陣A是不可逆矩陣,所以就不存在根,得不到相應(yīng)的輸出層的權(quán)值矩陣。本研究采用一種Gause-Jardon消元法來(lái)解方程組[8],將這個(gè)方法解得的輸出層權(quán)值矩陣和前層的權(quán)值矩陣結(jié)合在一起,通過(guò)仿真驗(yàn)證可知其大大地提高了訓(xùn)練后續(xù)樣本的速度,是可行的。以下就簡(jiǎn)要地?cái)⑹鲞@種消元法的原理。

        線性系統(tǒng)A X=b在生產(chǎn)實(shí)踐和科學(xué)研究中會(huì)經(jīng)常遇到,該矩陣方程的解分為兩種情況:當(dāng)系數(shù)矩陣A的行數(shù)大于或者等于列數(shù)的時(shí)候,方程有解,當(dāng)行數(shù)小于列數(shù)的時(shí)候,方程無(wú)解。

        當(dāng)方程無(wú)解的時(shí)候,即方陣A沒(méi)有可逆矩陣的時(shí)候,一般研究者可以在Frobenius范數(shù)意義下,找到一時(shí)本研究還要借助廣義矩陣[9],來(lái)求解此時(shí)的逆矩陣。利用廣義矩陣求解的矩陣方程A X=b的極小范數(shù)最小二乘解的表達(dá)式可所示為:

        本研究依據(jù)的定理是:

        按照該方法就可以求出線性方程A X=b的系數(shù)矩陣A的廣義矩陣,繼而可以得到要求的極小范數(shù)的最小二乘解。

        4 Matlab仿真分析與結(jié)果

        該實(shí)驗(yàn)構(gòu)建的是3層2-4-1的神經(jīng)網(wǎng)絡(luò),訓(xùn)練算法函數(shù)選擇是傳統(tǒng)的梯度最降法,隱層和輸出層的激勵(lì)函數(shù)是單極性S函數(shù),如公式(7)所示。訓(xùn)練次數(shù)設(shè)為30 000,學(xué)習(xí)效率為0.05,誤差精度為0.001。本研究用傳感器采集溫度數(shù)據(jù),選擇樣本集中的點(diǎn)利用敏感區(qū)賦值,計(jì)算出前層的隱層權(quán)值。筆者分別利用兩種不同算法的賦初值的方式,對(duì)后續(xù)采集的溫度數(shù)據(jù)進(jìn)行驗(yàn)證。

        采用文獻(xiàn)[3]中的賦初值算法得到的仿真結(jié)果如圖2所示。

        圖2 賦初值算法仿真圖

        筆者利用本研究提出的分步賦初值算法訓(xùn)練網(wǎng)絡(luò),得到的仿真圖如圖3所示。

        圖3 分步賦初值算法仿真圖

        圖2中顯示的是BP賦初值算法的誤差曲線和訓(xùn)練過(guò)程,其誤差曲線平滑緩慢的下降,在訓(xùn)練了75次誤差接近設(shè)定精度的時(shí)候,曲線幾乎不再變化,整個(gè)訓(xùn)練過(guò)程歷時(shí)13 s,平均迭代次數(shù)123次。

        圖3中顯示的是采用分步賦初值算法訓(xùn)練的結(jié)果,誤差訓(xùn)練曲線是直線,誤差一直呈直線下降,整個(gè)訓(xùn)練小于1 s,迭代2次。

        由上述的分析結(jié)果可以看出,優(yōu)化賦初值算法不僅大大地提高了訓(xùn)練的速度,而且使誤差函數(shù)的下降趨勢(shì)變得陡峭,在一定程度上避免了陷入局部極小的現(xiàn)象。

        5 結(jié)束語(yǔ)

        本研究分別利用傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)算法和優(yōu)化的分步賦值算法對(duì)樣本進(jìn)行訓(xùn)練,可以看出,優(yōu)化賦值方法使訓(xùn)練時(shí)間縮短到1 s之內(nèi),這樣就大大地縮短了數(shù)據(jù)的處理時(shí)間,提高了收斂速度;同時(shí)訓(xùn)練過(guò)程沒(méi)有出現(xiàn)振蕩,誤差幾乎呈直線下降,克服了傳統(tǒng)BP算法的收斂易陷入局部極小的問(wèn)題。

        計(jì)算機(jī)仿真結(jié)果表明該算法是有效的。

        ):

        [1]李良,吳紅娉,陳瑜.基于BP神經(jīng)網(wǎng)絡(luò)算法及推導(dǎo)的研究[J].中國(guó)水運(yùn),2008,8(1):161-162.

        [2]韓力群.人工神經(jīng)網(wǎng)絡(luò)教程[M].北京:北京郵電大學(xué)出版社,2006.

        [3]侯媛彬.提高神經(jīng)網(wǎng)絡(luò)收斂速度的一種賦初值算法研究[J].模式識(shí)別與人工智能,2001,14(4):385-389.

        [4]宋紹云,仲濤.BP人工神經(jīng)網(wǎng)絡(luò)的新型算法[J].電腦知識(shí)與技術(shù),2009,5(5):1197-1198.

        [5]陳樺,程云艷.BP神經(jīng)網(wǎng)絡(luò)算法的改進(jìn)及在Matlab中的實(shí)現(xiàn)[J].陜西科技大學(xué)學(xué)報(bào),2004,22(4):44-47.

        [6]MENG J E.Face recognition with radial basics function(rbf)neural network[J].IEEE Transactions on Neural Networks,2003,3(3):697-710.

        [7]張潛,武強(qiáng).基于BP神經(jīng)網(wǎng)絡(luò)的一種傳感器溫度補(bǔ)償方法[J].電子設(shè)計(jì)工程,2011,19(9):152-154.

        [8]SYEDA M,ZHANG Y,PAN Y.Parallel Granular Neural Network forFast Credit Card Fraud Detection[C]//Proceedings of the 2002 IEEE Internatinal Conference on Fuzzy Systerm.2002:572-577.

        [9]張大志.用Gause-Jardon消去法求解線性方程AX=b的極小范數(shù)最小二乘解[J].阜陽(yáng)師范學(xué)院學(xué)報(bào),2007,24(3):21-23.

        猜你喜歡
        隱層初值賦值
        關(guān)于1 1/2 … 1/n的一類初等對(duì)稱函數(shù)的2-adic賦值
        L-代數(shù)上的賦值
        具非定常數(shù)初值的全變差方程解的漸近性
        一種適用于平動(dòng)點(diǎn)周期軌道初值計(jì)算的簡(jiǎn)化路徑搜索修正法
        基于RDPSO結(jié)構(gòu)優(yōu)化的三隱層BP神經(jīng)網(wǎng)絡(luò)水質(zhì)預(yù)測(cè)模型及應(yīng)用
        人民珠江(2019年4期)2019-04-20 02:32:00
        三維擬線性波方程的小初值光滑解
        強(qiáng)賦值幺半群上的加權(quán)Mealy機(jī)與加權(quán)Moore機(jī)的關(guān)系*
        利用賦值法解決抽象函數(shù)相關(guān)問(wèn)題オ
        基于近似結(jié)構(gòu)風(fēng)險(xiǎn)的ELM隱層節(jié)點(diǎn)數(shù)優(yōu)化
        最優(yōu)隱層BP神經(jīng)網(wǎng)絡(luò)的滾動(dòng)軸承故障診斷
        亚欧免费无码aⅴ在线观看| 日韩国产一区二区三区在线观看| 国产精品老熟女乱一区二区| 中文人妻熟女乱又乱精品| 国产精品久久久久久无码| 综合色天天久久| 中文字幕人妻在线少妇完整版| 国产免费av手机在线观看片| 亚洲色婷婷一区二区三区| 最新国产在线精品91尤物| 日韩av在线不卡一二三区| 国产剧情一区二区三区在线| 亚洲av无码专区在线播放| 亚洲国产18成人中文字幕久久久久无码av | 无码人妻久久一区二区三区不卡| 国产一区二区精品尤物| 精品亚亚洲成av人片在线观看| 国产av剧情一区二区三区| 人妻丝袜av中文系列先锋影音| av中文字幕不卡无码| 国语对白三级在线观看| 国产精品毛片无遮挡高清| 亚洲熟女乱色综合亚洲图片| 亚洲午夜精品久久久久久抢 | 国产成+人+综合+亚洲专| 女同欲望一区二区三区| 国产av熟女一区二区三区| 疯狂做受xxxx高潮欧美日本| 大屁股少妇一区二区无码| 久久亚洲乱码中文字幕熟女| 亚洲av无码av在线播放| 亚洲V日韩V精品v无码专区小说| 狼人av在线免费观看| 91久久精品色伊人6882| 色屁屁www影院免费观看入口| 国内精品国产三级国产av另类| 久久精品国产自产对白一区| 正在播放老肥熟妇露脸| 毛片免费在线播放| 亚洲美女av二区在线观看| 最新欧美精品一区二区三区|