亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于貝葉斯算法的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法研究

        2018-01-03 07:06:12曾國斌冉兆春海口經(jīng)濟學院
        數(shù)碼世界 2017年12期
        關(guān)鍵詞:后驗先驗貝葉斯

        曾國斌 冉兆春 ??诮?jīng)濟學院

        基于貝葉斯算法的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法研究

        曾國斌 冉兆春 海口經(jīng)濟學院

        貝葉斯算法是一種近似建模的前饋網(wǎng)絡(luò)訓練方法,這一算法可以對未知量的具體構(gòu)造進行分布驗證,從而得到對應(yīng)于后驗分布的最大值的權(quán)值向量,其建立的模型穩(wěn)定、精度高。對于人工神經(jīng)網(wǎng)絡(luò)而言,其具有很好的非線性逼近特點,具有良好的并行式分布結(jié)構(gòu)在很多領(lǐng)域都能應(yīng)用。下面就分析貝葉斯算法的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法,該方法的成功使用可以有效提高網(wǎng)絡(luò)建設(shè)效率。

        貝葉斯算法 神經(jīng)網(wǎng)絡(luò) 優(yōu)化方法

        當前人工神經(jīng)網(wǎng)絡(luò)應(yīng)用范圍非常廣,在應(yīng)用中BP算法是前饋網(wǎng)絡(luò)的重要學習方法,操作簡單,計算量小,因此在實際使用中使用頻率最多。但是這一算法存在致命的缺點,例如其實際收斂速度非常慢,容易陷入局部極小掉等缺陷,為了解決這一問題,相關(guān)技術(shù)人員引入了貝葉斯算法,這一算法以BP算法為基礎(chǔ),對其加以改進和優(yōu)化,下面就對其進行深入的分析。

        1 分析神經(jīng)網(wǎng)絡(luò)

        對于神經(jīng)網(wǎng)絡(luò)而言,其含有隱層前饋神經(jīng)網(wǎng)絡(luò),因此能夠作為一個函數(shù)逼近器,當其具有足夠的隱層單元時,這一網(wǎng)絡(luò)就可以通過任何精度逼近所有的連續(xù)函數(shù),當其隱層越多時,在網(wǎng)絡(luò)中需要的隱單元就越少,為了深入了解這方面的內(nèi)容,可以參考下圖進行分析。對于當前使用的前饋神經(jīng)網(wǎng)絡(luò)訓練算法而言,反向傳播是是以最廣泛的一種算法,假設(shè)從n個輸入,m個輸出節(jié)點的BP網(wǎng)絡(luò),其實際輸入和輸出的關(guān)系可以視為一個n維歐氏空間到m維歐氏空間的映射,具體關(guān)系是F:Y=f(x),在這一公式中,XY是輸出和輸入的向量。但是這種BP網(wǎng)絡(luò)算法有一定的缺點,收斂速度很慢,而且還存在局部極小點,相關(guān)人員對其進行了改進,但是只增加其收斂速度,導致網(wǎng)絡(luò)建模精度無法保證。下面就深入對網(wǎng)絡(luò)模型進行研究,分析不同算法的優(yōu)點和缺點,進而提出了一種貝葉斯模型算法。

        圖1 :含有兩個隱層的前饋網(wǎng)絡(luò)結(jié)構(gòu)模型權(quán)

        2 深入分析貝葉斯算法

        2.1 分析其理論要點

        貝葉斯算法也是一種概率算法,是ThomasBayes創(chuàng)建的,其主要應(yīng)用到了自我學習的智能技術(shù),使用貝葉斯算法時需要考慮權(quán)值,了解權(quán)值在權(quán)空間內(nèi)的具體分布情況,當沒有足夠的數(shù)據(jù)作為支撐時,這一分布屬于先驗分布P(w),當存在數(shù)據(jù)之后,分布就屬于后驗分布。通過下圖可以了解貝葉斯具體的學習過程,當沒有足夠的數(shù)據(jù)時,權(quán)分布情況只有很少的知識,由此可見,先驗分布時一個非常寬的分布,其表示在網(wǎng)絡(luò)中非?;A(chǔ)的性質(zhì),但是當有了相關(guān)數(shù)據(jù)之后,就能夠?qū)⑵滢D(zhuǎn)化為后驗分布P(w|D),后驗分布是非常緊湊的,表明只能在很小的范圍內(nèi)的權(quán)值才能夠和網(wǎng)絡(luò)映射達成一致。

        圖2 :貝葉斯先驗分布和后驗分布情況

        2.2 分析建立模型的方法

        先建立一組模型,其可以是結(jié)構(gòu)大小不同的前饋網(wǎng)絡(luò),或者是RBF網(wǎng)絡(luò),通過貝葉斯定理就能夠?qū)懗鼋o定的數(shù)據(jù)后模型的后驗概率。P(Hi|D)=P(D/Hi)P(Hi),P(D|Hi)P(D|H2)P(D|H3)DD0,通過下圖可以了解貝葉斯模型的選擇情況。研究人員一定要清楚,P(Hi)屬于模型Hi的先驗概率,P(D Hi)則可以稱之為模型的顯著度,這一模型的選擇思路就是設(shè)H1、H2、H3分別表示越來越復雜的模型,其顯著度開始增加,當模型越復雜時,能夠描述的數(shù)據(jù)范圍就越廣泛,但具體的分布必須要歸一化.對于模型的顯著度而言,可以通過公式p(D| Hi)=∫p(D| w,Hi)p(w |Hi)dw.進行表示,需要考慮某一個權(quán)限制,當w.在一個權(quán)空間中時,這一權(quán)的后驗分布將會集中在最可能值WMP的附近,那么上述公式就可以寫成p(D |Hi)≈p(D|wMP,Hi)p(wMP |Hi)Δw后驗.當認為先驗分布存在一個較大的范圍內(nèi),而且屬于均勻分布時,上述的公式就可以寫成p(D/Hi)≈p(D|WMP,Hi){Δw后驗/Δw先驗},在這一公式中,第一個因子在最可能權(quán)值位置的似然值,其中第二個因子稱之為“奧克姆因子”,這一數(shù)值總小于1,主要作用是對過于復雜的模型進行懲罰,如果一個模型包括很多個參數(shù)時,其中的每一個參數(shù)會包含很多參數(shù),而其中的每個參數(shù)都會產(chǎn)生一個奧克姆因子,這樣使顯著度下降.因此模型應(yīng)在較大似然值和相對大的奧克姆因子間取合理折中,為了求解顯著度的最大值,可以將這一公式寫為:p(D |Hi)=p(D|α,β,Hi)p(α,β|Hi)dαdβ,在這一公式中,α和β屬于超參數(shù),p(D|α,β,Hi)是α和β的顯著度,使用高斯分布近似為p(D|α,β,Hi)對β積分,同時可以認為Inβ在圍繞βMP并包含β的概率分布中主要區(qū)域的一個很廣區(qū)間。這些結(jié)論都可以應(yīng)用到不同的模型中,各個模型可以是結(jié)構(gòu)不同的網(wǎng)絡(luò),輸出也是所有單個模型輸出的線性組合,還可以不使用各個模型輸出的組合,可以結(jié)合后驗概率的大小選擇一個最可能的輸出作為結(jié)果。

        圖3:貝葉斯模型的選擇

        2.3 分析實際應(yīng)用情況

        對于貝葉斯算法在神經(jīng)網(wǎng)絡(luò)中的應(yīng)用而言,主要是對模型當中的未知量構(gòu)造其后驗分布,實際操作中可以利用積分求取待求變量的邊際分布,這些待求變量可以是對變量的預(yù)測值,或者是模型中的參數(shù)θ,設(shè)模型為:P(θ|D)=P(D|θ)P(θ)/∫P(θ)P(D|θ)dθ.為了得到一般化,將x設(shè)置為某個隨機的向量,其具體分布是π(x),x是模型參數(shù)或要預(yù)測的變量,這樣就能夠?qū)栴}進行簡化,這樣就得到E[f(x)]=∫f(x)π(x)dx/∫π(x)dx,這種MCMC逼近原理中,在各態(tài)經(jīng)歷中馬爾可夫的性質(zhì)和初始狀態(tài)沒有關(guān)系,最后一個將會收斂在一個靜態(tài)的極限分布中,在這種情況下只要隨機給定一個初態(tài),通過一段時間的跳轉(zhuǎn)之后,這一馬爾可夫鏈采到的樣本就一定服從于靜態(tài)分布π(x),同時還滿足下面的平衡方程:P(x′|x)π(x)=P(x |x′)π(x),這一公式中x和x′分別是當前和下一時刻的狀態(tài),因此絕大部分馬爾可夫蒙特卡羅方法都遵循上述平衡方程,這為選擇轉(zhuǎn)移概率提供了依據(jù),傳統(tǒng)的分析問題轉(zhuǎn)化為概率模型,利用隨機模擬的計算方法得到概率意義下的近似最優(yōu)解。

        2.4 仿真實驗分析

        對一個兩輸入單輸出的非線性函數(shù)進行建摸,respo nse(p1,p2)=[c1r+c2sin(c3πr)][c4sin(c5θ)],在 這 一 公 式 中,r=(p1+p2)1/2,θ=arctan(p2/p1),c1= 0.8,c2= 0.35,c3= 1.2,c4=1.5,c5= 1.3。結(jié)合試驗設(shè)計25個樣本,將其作為訓練樣本,使用BP算法和貝葉斯算法訓練神經(jīng)網(wǎng)絡(luò),非線性神經(jīng)元數(shù)目可以設(shè)置為12,建立模型仿真圖如下,BP算法訓練的過程中,將最大訓練步數(shù)設(shè)置為500,在貝葉斯算法中,以50步作為訓練過程,演化了1000代,對比分析發(fā)現(xiàn)貝葉斯算法需要的時間長,下圖近似模型顯然更接近于原始的非線性函數(shù)。

        圖4:基于貝葉斯算法近似模型

        3 總結(jié)

        通過以上分析發(fā)現(xiàn)傳統(tǒng)的BP算法的神經(jīng)網(wǎng)絡(luò)具有收斂速度慢的缺陷,通過仿真試驗結(jié)果可以了解,當網(wǎng)絡(luò)結(jié)構(gòu)復雜度相同時,貝葉斯算法的收斂速度快,改進之后神經(jīng)網(wǎng)絡(luò)收斂速度有了很大的提高。

        [1]徐建偉,劉桂芬.基于貝葉斯正規(guī)化算法的BP神經(jīng)網(wǎng)絡(luò)泛化能力研究[J].數(shù)理醫(yī)藥學雜志,2017,20(3):293-295.

        [2]徐剛,黃先玖.一種粒子群優(yōu)化的神經(jīng)網(wǎng)絡(luò)綜合訓練算法研究[J]. 計算機工程與應(yīng)用,2011,47(11):37-38.

        [3]楊春生,牛紅濤,隋良紅,等.基于貝葉斯正則化算法BP神經(jīng)網(wǎng)絡(luò)釩電池SOC預(yù)測[J].現(xiàn)代電子技術(shù),2016,39(8):158-161.

        曾國斌(1980.9--),男,漢族,湖南平江,碩士研究生,副教授,研究方向:教學方法論與數(shù)學模型設(shè)計,工作單位:??诮?jīng)濟學院;冉兆春(1970-),男,漢族,陜西西安,碩士研究生,副教授,研究方向:系統(tǒng)分析算法設(shè)計,工作單位:??诮?jīng)濟學院。

        海南省自然科學基金項目,項目編號:20156231。

        猜你喜歡
        后驗先驗貝葉斯
        基于對偶理論的橢圓變分不等式的后驗誤差分析(英)
        基于無噪圖像塊先驗的MRI低秩分解去噪算法研究
        貝葉斯統(tǒng)計中單參數(shù)后驗分布的精確計算方法
        基于自適應(yīng)塊組割先驗的噪聲圖像超分辨率重建
        自動化學報(2017年5期)2017-05-14 06:20:44
        貝葉斯公式及其應(yīng)用
        一種基于最大后驗框架的聚類分析多基線干涉SAR高度重建算法
        雷達學報(2017年6期)2017-03-26 07:53:04
        基于貝葉斯估計的軌道占用識別方法
        一種基于貝葉斯壓縮感知的說話人識別方法
        電子器件(2015年5期)2015-12-29 08:43:15
        基于平滑先驗法的被動聲信號趨勢項消除
        先驗的廢話與功能的進路
        東南法學(2015年2期)2015-06-05 12:21:36
        麻豆人妻性色av专区0000| 91自国产精品中文字幕| 国产av无码专区亚洲av中文| 国产三级av在线播放| 国产放荡对白视频在线观看| 18禁黄污吃奶免费看网站| 香蕉视频在线精品视频| 青青草97国产精品免费观看| 久久久久亚洲精品无码网址色欲| 亚洲AV日韩AV无码A一区| 欧美日韩区1区2区3区| 日本中文字幕不卡在线一区二区| 成人在线免费视频亚洲| 日韩国产欧美成人一区二区影院| 亚洲最稳定资源在线观看| 日本成熟妇人高潮aⅴ| 扒下语文老师的丝袜美腿| 中文字幕你懂的一区二区| 翘臀诱惑中文字幕人妻| 国产精品女同av在线观看| 国产在线观看视频一区二区三区| 亚洲乱码中文字幕在线| 多毛小伙内射老太婆| 亚洲av永久无码精品古装片| 国产精品三级av及在线观看| 久久久久久免费毛片精品| vr成人片在线播放网站| 天天躁日日操狠狠操欧美老妇| 国产一区二区三区四区色| 在线视频精品少白免费观看| 久久久精品国产亚洲av网深田| 久久婷婷人人澡人人喊人人爽 | 亚洲av调教捆绑一区二区三区| 日本系列有码字幕中文字幕| 免费久久久一本精品久久区| 午夜熟女插插xx免费视频| 男人女人做爽爽18禁网站| 久久久国产精品免费a片3d| 越猛烈欧美xx00动态图| 久久婷婷色综合一区二区| 亚洲国产精品久久九色|