韓 博，景文騰，耿金花，段法兵

(青島大學復雜性科學研究所，山東 青島 266071)

0 引言

圖1 自適應加權(quán)隨機匯池網(wǎng)絡模型

圖2 兩種自適應算法迭代過程中信息的交換

1 模型與自適應算法

1.1 模型

1.2 自適應LMS算法

經(jīng)典的最速下降法自適應過程中，設每一步權(quán)值向量的更新為

wk+1=wk-μJ(wk)

(1)

其中，μ為調(diào)整步長的常數(shù)，它控制著算法的自適應速度和穩(wěn)定性，J(wk) 為均方誤差的梯度。LMS算法利用瞬時誤差的平方作為J(wk)的估計，均方誤差的梯度為式(1)可以寫成

(2)

(3)

對式(3)兩邊求期望，得到

(4)

(5)

(6)

1.3 自適應Kalman-LMS算法

LMS算法只是注意到了權(quán)向量更新的方向，沒有控制每一步權(quán)均方偏差值的大小，注意到輸出誤差又可以寫為

(7)

均方誤差可以重新表示為

(8)

(9)

最速下降法每一次迭代形式都遵循局部最優(yōu)路徑，但沒有遵循全局最優(yōu)路徑的解決方案。這里我們借鑒Kalman濾波，將標量步長2μk換成學習增益矩陣Gk[20]，這樣能夠既控制梯度下降的幅值還能控制其方向。因此權(quán)遞推公式(2)另寫為

(10)

(11)

那么權(quán)誤差協(xié)方差矩陣

(12)

(13)

為使得每一步的Dk最小，求偏導?Dk/?gk并令其等于零可得[17]

(14)

把式(14)帶入式(12)可以得到權(quán)誤差協(xié)方差矩陣迭代公式：

(15)

上述Kalman-LMS算法總結(jié)如下：在當前時間k，給定觀測量{yk,xk}，計算

1)最優(yōu)學習增益。由于權(quán)誤差協(xié)方差矩陣Pk為半正定矩陣，為了防止gk出現(xiàn)分母為零而產(chǎn)生錯誤停止的情況，改進為

其中，正則參數(shù)δ為一個大于零的很小的任意常數(shù)；

2)權(quán)向量

3)權(quán)誤差協(xié)方差矩陣

2 實驗結(jié)果

為了具體地比較上述兩種自適應算法，實驗中選取輸入信號xk服從零均值高斯分布，網(wǎng)絡噪聲ηi選用均值為零的高斯白噪聲，節(jié)點的系統(tǒng)函數(shù)選取

并考慮異質(zhì)的系統(tǒng)節(jié)點函數(shù)[23]，平均分為兩組分別具有閾值θ=0和θ=0.5，每組的節(jié)點數(shù)目為M/2，這里注意的是上述分組方式可以是任意的。

圖3 LMS算法和Kalman-LMS算法權(quán)值w收斂過程

圖4 不同內(nèi)部噪聲強度下均方誤差變化情況

圖4給出隨著噪聲強度的變化，不同節(jié)點數(shù)目下兩種算法均方誤差的變化情況，可以看出，隨著噪聲強度的改變都出現(xiàn)了超閾值隨機共振現(xiàn)象，在一定的噪聲強度范圍內(nèi)均方誤差隨著噪聲強度的增大反而減小，均方誤差的最優(yōu)值出現(xiàn)在了非零噪聲強度處，即節(jié)點噪聲能夠改善加權(quán)隨機匯池網(wǎng)絡輸出性能。還可以看出，當節(jié)點數(shù)目M較少時，Kalman-LMS算法(紅色實線)的均方誤差整體低于LMS算法(藍色虛線)的均方誤差，但隨著節(jié)點數(shù)目M的增加，兩種算法得到的均方誤差性能趨于一致，這是由于隨著節(jié)點數(shù)目增加，網(wǎng)絡結(jié)構(gòu)性能大幅度提升，算法間的差距變得不那么明顯。

3 結(jié)論

本文研究了最優(yōu)加權(quán)隨機匯池網(wǎng)絡中的兩類自適應算法：LMS算法和Kalman-LMS算法，探究了非平穩(wěn)信號下自適應加權(quán)隨機匯池網(wǎng)絡的估計性能。數(shù)值實驗研究發(fā)現(xiàn)兩種算法是收斂的，并有效跟蹤信號的變化， 在不同節(jié)點數(shù)目的情況下，兩種自適應算法的均方誤差都存在超閾值隨機共振現(xiàn)象，但是Kalman-LMS算法比LMS算法權(quán)值收斂速度更快且更穩(wěn)定，比較兩者的均方誤差發(fā)現(xiàn)Kalman-LMS算法的穩(wěn)健性較好。本文對于Kalman-LMS算法的收斂性理論證明沒有給出，對于輸入信號的許多非穩(wěn)態(tài)特性也沒有考慮，這些問題值得進一步探究。