亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        加權(quán)隨機匯池網(wǎng)絡(luò)中遞歸最小二乘算法研究

        2020-05-07 12:32:38耿金花段法兵
        關(guān)鍵詞:均方權(quán)值穩(wěn)態(tài)

        韓 博,劉 佳,耿金花,段法兵

        (青島大學(xué)復(fù)雜性科學(xué)研究所,山東 青島 266071)

        0 引言

        生物信息處理和多傳感器信息融合是目前信息處理技術(shù)研究的熱點問題,這些自然或人工系統(tǒng)中匯池函數(shù)的功能是對多源信息進行歸納推理。2007年Zozor等[1]將超閾值隨機共振模型[2-3]擴展到耳蝸神經(jīng)網(wǎng)絡(luò)、分布式傳感網(wǎng)絡(luò)等匯池網(wǎng)絡(luò)中,提出了隨機匯池網(wǎng)絡(luò)模型,網(wǎng)絡(luò)節(jié)點不再局限于簡單的量化器,將隨機擾動加入到匯池網(wǎng)絡(luò)各個節(jié)點,利用隨機噪聲增強和優(yōu)化網(wǎng)絡(luò)響應(yīng)性能,即隨機共振現(xiàn)象[4-5],隨機匯池網(wǎng)絡(luò)擴大了經(jīng)典的隨機共振機制應(yīng)用范圍,在人工傳感器、通信網(wǎng)絡(luò)、生物神經(jīng)網(wǎng)絡(luò)、模數(shù)轉(zhuǎn)換器電路和數(shù)字化波束形成等[1,6]領(lǐng)域取得重要進展。2015年許麗艷等[7-9]提出了一種基于隨機匯池網(wǎng)絡(luò)的最優(yōu)加權(quán)譯碼方案,與非加權(quán)方案相比,此方案可以得到更小的均方誤差性能,在非穩(wěn)態(tài)輸入情況下,結(jié)合卡爾曼濾波和最小均方算法,許麗艷等[7-9]推導(dǎo)了自適應(yīng)權(quán)值遞推算法[9]。文獻[10-11]中給出了最優(yōu)加權(quán)隨機匯池網(wǎng)絡(luò)下的隨機參數(shù)估計理論分析和自適應(yīng)加權(quán)隨機匯池網(wǎng)絡(luò)模型下的最小均方算法,揭示了自適應(yīng)加權(quán)隨機匯池網(wǎng)絡(luò)在信號參數(shù)估計領(lǐng)域具有很好的應(yīng)用前景。但是文獻[10-11]中的自適應(yīng)算法還需要知道信號的統(tǒng)計知識,在實際應(yīng)用中還存在著很大缺陷,本文在文獻[10-11]的基礎(chǔ)上對最優(yōu)加權(quán)隨機匯池網(wǎng)絡(luò)下的自適應(yīng)遞歸最小二乘算法進行了深入的探究,進一步豐富了該網(wǎng)絡(luò)下自適應(yīng)算法基礎(chǔ)。

        實際應(yīng)用中,我們往往知道信號模型但是缺乏信號和背景噪聲的先驗統(tǒng)計知識,系統(tǒng)性能指標(biāo)無法求取集平均意義下的理論均值,最小二乘估計方法通過使給定的數(shù)據(jù)和假定的期望信號之差的平方和最小化來對信號參數(shù)進行估計,其中數(shù)據(jù)是由含有未知參數(shù)的模型產(chǎn)生的,這種方法不需要預(yù)先知道輸入信號和期望信號的統(tǒng)計信息,而是通過輸入信號和期望信號的測量值去逼近實際參數(shù)的一種估計方法[12]。由于最小二乘法沒有對觀測數(shù)據(jù)做任何假設(shè),因此在系統(tǒng)辨識、信號處理、人工智能等大量社會和工程領(lǐng)域[13-15]中應(yīng)用范圍十分廣泛。遞歸最小二乘是最小二乘方法的一種自然推廣,它隨著接收到的數(shù)據(jù)增多,按照數(shù)據(jù)順序進行處理而實時得到參數(shù)的估計,并且大量減少了計算的復(fù)雜度。在自適應(yīng)加權(quán)隨機匯池網(wǎng)絡(luò)中,由于輸入信號在同一時刻由多條支路噪聲進行了擾動并經(jīng)過了非線性變換,關(guān)于遞歸最小二乘算法的有效性和性能研究還未見報道。本文推導(dǎo)了自適應(yīng)加權(quán)隨機匯池網(wǎng)絡(luò)下的遞歸最小二乘算法,對其收斂性和性能進行了理論分析,并與文獻[11]的最小均方(LMS)算法在仿真中做了對比。理論和實驗表明,在穩(wěn)態(tài)和非穩(wěn)態(tài)輸入環(huán)境下,該算法都能夠快速收斂,學(xué)習(xí)曲線與理論分析較為符合,同時隨著噪聲強度的改變,還觀測到超閾值隨機共振現(xiàn)象,本文提出的遞歸最小二乘算法對于隨機匯池網(wǎng)絡(luò)的實際應(yīng)用和所涌現(xiàn)的復(fù)雜特征具有重要的理論意義。

        圖1 自適應(yīng)加權(quán)隨機匯池網(wǎng)絡(luò)模型Fig.1 Adaptive weighted stochastic pooling networks model

        1 模型與算法

        1.1 加權(quán)隨機匯池網(wǎng)絡(luò)模型

        1.2 遞歸最小二乘法算法

        最小二乘法算法的代價函數(shù)采用累積誤差平方和

        (1)

        (2)

        (3)

        引入指數(shù)加權(quán)因子的累積誤差平方和[16]

        (4)

        (5)

        代入式(3)可以得到權(quán)向量遞推公式為

        wk=wk-1+gkεk

        (6)

        (7)

        由以上分析,基于先驗誤差的遞歸最小二乘算法步驟為

        4)權(quán)系數(shù)更新:wk=wk-1+gkεk。

        1.3 遞歸最小二乘法收斂性和性能分析

        (8)

        (9)

        (10)

        用遞歸的方法可以得到上式的解為[16]:

        (11)

        (12)

        考慮數(shù)據(jù)時刻k→,由于依賴于過去所有的輸入信號分量,當(dāng)?shù)螖?shù)增加時,對任何單個的貢獻可以忽略,另外由于正交原理,ei可以認為與所有元素不相關(guān)。這意味著式(12)右面最后一項會很小可以近似為零。當(dāng)λ=1時,相關(guān)矩陣服從復(fù)數(shù)Wishatr分布[17],則其中C為節(jié)點輸出信號集平均自相關(guān)矩陣,在k→時上式為0,式(12)右邊第一項趨于0,而在0<λ<1時,式(12)右邊第一項也是趨于0。我們還可以看出權(quán)值w-1和時間自相關(guān)矩陣的初始化對權(quán)誤差均值的影響隨著k的增大而減小,在k→時式(12)趨于0。因此遞歸最小二乘法在統(tǒng)計平均意義上收斂。

        雖然權(quán)系數(shù)wk的估計隨著數(shù)據(jù)增加漸近收斂到wo,我們需要將所有權(quán)的誤差作為一個整體進行分析,這里定義權(quán)向量協(xié)方差矩陣

        (13)

        下面對于λ=1和0<λ<1兩種情況分別進行討論。利用式(7),可得[18]:

        (14)

        把式(14)代入式(13)可以得到

        (15)

        (16)

        其中,σi是C-1的特征值。由式(16)可知,k→時隨著時間的增長逐漸減小,Dk趨向于0。當(dāng)0<λ<1時,由式(11)可得[18]

        (17)

        (18)

        (19)

        (20)

        瞬時超量均方誤差為

        (21)

        2 實驗結(jié)果

        圖2 遺忘因子λ取值對MSE學(xué)習(xí)曲線的影響Fig.2 Learning curve of MSE versus the factor λ

        圖3 噪聲強度對MSE學(xué)習(xí)曲線的影響Fig.3 Effect of noise levels on the learning curve

        圖4 噪聲強度對MSE的影響Fig.4 Effects of noise levels on Mean Square Error

        圖5 非穩(wěn)態(tài)輸入信號下權(quán)值w收斂過程Fig.5 Convergence process of weightsfor nonstationary signals

        在圖5中對比了遞歸最小二乘算法和LMS算法在非穩(wěn)態(tài)隨機過程中權(quán)值收斂表現(xiàn),設(shè)輸入隨機信號xk的標(biāo)準差σx在n/2時刻由0.2突變?yōu)?.5,噪聲強度ση=0.2,選取遞歸最小二乘算法的遺忘因子λ=0.999,LMS算法的步長μ=0.001。由于相同節(jié)點函數(shù)下各節(jié)點權(quán)值wi,k相同[10],我們只給出了其中任一個節(jié)點權(quán)值隨著數(shù)據(jù)量的變化。如圖5所示,可以看出在兩種節(jié)點函數(shù)下(上面為雙曲正切函數(shù),下面為閾值函數(shù)),遞歸最小二乘算法都能夠使得權(quán)系數(shù)很快收斂到穩(wěn)態(tài)最優(yōu)值,即使輸入信號統(tǒng)計性質(zhì)發(fā)生改變,也能夠有效的跟蹤信號的變化。LMS算法在開始的穩(wěn)態(tài)條件下收斂速度明顯慢于遞歸最小二乘法,尤其是在節(jié)點函數(shù)為雙曲正切函數(shù)的情況下需要迭代步數(shù)很大才能達到收斂狀態(tài),雖然輸入信號xk發(fā)生突變后能更快跟蹤信號的變化,但權(quán)值波動較大,不如遞歸最小二乘法穩(wěn)定。

        3 結(jié)論

        本文研究了加權(quán)隨機匯池網(wǎng)絡(luò)中隨機參數(shù)估計的遞歸最小二乘算法,理論證明了算法的收斂性,即權(quán)系數(shù)平均意義上收斂到最優(yōu)權(quán)值,并對算法性能表現(xiàn)進行了詳細分析:在平穩(wěn)的輸入信號下,均方偏差和超量均方誤差隨著數(shù)據(jù)的增加而逐漸減小,最終趨向于零,而在非平穩(wěn)的輸入信號下,引入遺忘因子后,均方偏差和超量均方誤差常常不收斂到零,對比來說,在統(tǒng)計意義上后者權(quán)系數(shù)不如前者精確。通過實驗分析得出,在平穩(wěn)和非穩(wěn)態(tài)輸出信號下,遞歸最小二乘算法都能夠快速達到收斂狀態(tài)并且有效跟蹤信號的變化,同時隨著噪聲強度的變化,實驗證實了此模型下的噪聲有益性,并觀測到了超閾值隨機共振現(xiàn)象。以上研究為加權(quán)隨機匯池網(wǎng)絡(luò)在實際中的應(yīng)用奠定了理論基礎(chǔ),對該網(wǎng)絡(luò)下非平穩(wěn)信號的估計性能的研究具有實際意義。但是,遞歸最小二乘算法中的噪聲有益性研究還有一些待解決問題,比如如何獲得網(wǎng)絡(luò)估計性能最佳的時噪聲強度或分布,以及如何進一步理論分析非穩(wěn)態(tài)信號下的遞歸最小二乘算法跟蹤性能等問題,這些都值得我們以后繼續(xù)深入研究。

        猜你喜歡
        均方權(quán)值穩(wěn)態(tài)
        一類隨機積分微分方程的均方漸近概周期解
        可變速抽水蓄能機組穩(wěn)態(tài)運行特性研究
        一種融合時間權(quán)值和用戶行為序列的電影推薦模型
        碳化硅復(fù)合包殼穩(wěn)態(tài)應(yīng)力與失效概率分析
        電廠熱力系統(tǒng)穩(wěn)態(tài)仿真軟件開發(fā)
        煤氣與熱力(2021年4期)2021-06-09 06:16:54
        CONTENTS
        Beidou, le système de navigation par satellite compatible et interopérable
        元中期歷史劇對社會穩(wěn)態(tài)的皈依與維護
        中華戲曲(2020年1期)2020-02-12 02:28:18
        基于權(quán)值動量的RBM加速學(xué)習(xí)算法研究
        基于抗差最小均方估計的輸電線路參數(shù)辨識
        免费网站看av片| 亚洲综合精品一区二区| 国产亚洲熟妇在线视频| 成人无码av一区二区| 成年女人毛片免费视频| 无码8090精品久久一区| 国产蜜桃传媒在线观看| 强开少妇嫩苞又嫩又紧九色| 日日av拍夜夜添久久免费| 亚洲嫩草影院久久精品| 美女被内射很爽的视频网站| 日本a片大尺度高潮无码| 国产95在线 | 欧美| 吃下面吃胸在线看无码| 日韩av在线不卡一区二区 | 亚欧中文字幕久久精品无码| 午夜家庭影院| 熟女人妻中文字幕一区| 少妇被粗大进猛进出处故事| 亚洲另类欧美综合久久图片区| 精品亚洲日韩国产一二三区亚洲| 免费女同毛片在线不卡| 寂寞人妻渴望被中出中文字幕| 午夜精品久久久久久| 91亚洲人成手机在线观看| 亚洲天堂一区二区三区| 中文字幕亚洲精品无码| 99这里只有精品| 国产麻豆放荡av激情演绎| 国产一区二区视频免费在线观看| 在线人成免费视频69国产| 色欲AV成人无码精品无码| 丝袜美腿诱惑区在线播放| 少妇性俱乐部纵欲狂欢电影| 无码AV高潮喷水无码专区线| 久久色悠悠亚洲综合网| 国产精品毛片无遮挡高清| 国产日韩精品中文字无码| 精品日韩欧美| 精品人妻久久一日二个| 国产一区二区女内射|