韓 博，劉 佳，耿金花，段法兵

(青島大學(xué)復(fù)雜性科學(xué)研究所，山東 青島 266071)

0 引言

生物信息處理和多傳感器信息融合是目前信息處理技術(shù)研究的熱點(diǎn)問(wèn)題，這些自然或人工系統(tǒng)中匯池函數(shù)的功能是對(duì)多源信息進(jìn)行歸納推理。2007年Zozor等[1]將超閾值隨機(jī)共振模型[2-3]擴(kuò)展到耳蝸神經(jīng)網(wǎng)絡(luò)、分布式傳感網(wǎng)絡(luò)等匯池網(wǎng)絡(luò)中，提出了隨機(jī)匯池網(wǎng)絡(luò)模型，網(wǎng)絡(luò)節(jié)點(diǎn)不再局限于簡(jiǎn)單的量化器，將隨機(jī)擾動(dòng)加入到匯池網(wǎng)絡(luò)各個(gè)節(jié)點(diǎn)，利用隨機(jī)噪聲增強(qiáng)和優(yōu)化網(wǎng)絡(luò)響應(yīng)性能，即隨機(jī)共振現(xiàn)象[4-5]，隨機(jī)匯池網(wǎng)絡(luò)擴(kuò)大了經(jīng)典的隨機(jī)共振機(jī)制應(yīng)用范圍，在人工傳感器、通信網(wǎng)絡(luò)、生物神經(jīng)網(wǎng)絡(luò)、模數(shù)轉(zhuǎn)換器電路和數(shù)字化波束形成等[1,6]領(lǐng)域取得重要進(jìn)展。2015年許麗艷等[7-9]提出了一種基于隨機(jī)匯池網(wǎng)絡(luò)的最優(yōu)加權(quán)譯碼方案，與非加權(quán)方案相比，此方案可以得到更小的均方誤差性能，在非穩(wěn)態(tài)輸入情況下，結(jié)合卡爾曼濾波和最小均方算法，許麗艷等[7-9]推導(dǎo)了自適應(yīng)權(quán)值遞推算法[9]。文獻(xiàn)[10-11]中給出了最優(yōu)加權(quán)隨機(jī)匯池網(wǎng)絡(luò)下的隨機(jī)參數(shù)估計(jì)理論分析和自適應(yīng)加權(quán)隨機(jī)匯池網(wǎng)絡(luò)模型下的最小均方算法，揭示了自適應(yīng)加權(quán)隨機(jī)匯池網(wǎng)絡(luò)在信號(hào)參數(shù)估計(jì)領(lǐng)域具有很好的應(yīng)用前景。但是文獻(xiàn)[10-11]中的自適應(yīng)算法還需要知道信號(hào)的統(tǒng)計(jì)知識(shí)，在實(shí)際應(yīng)用中還存在著很大缺陷，本文在文獻(xiàn)[10-11]的基礎(chǔ)上對(duì)最優(yōu)加權(quán)隨機(jī)匯池網(wǎng)絡(luò)下的自適應(yīng)遞歸最小二乘算法進(jìn)行了深入的探究，進(jìn)一步豐富了該網(wǎng)絡(luò)下自適應(yīng)算法基礎(chǔ)。

實(shí)際應(yīng)用中，我們往往知道信號(hào)模型但是缺乏信號(hào)和背景噪聲的先驗(yàn)統(tǒng)計(jì)知識(shí)，系統(tǒng)性能指標(biāo)無(wú)法求取集平均意義下的理論均值，最小二乘估計(jì)方法通過(guò)使給定的數(shù)據(jù)和假定的期望信號(hào)之差的平方和最小化來(lái)對(duì)信號(hào)參數(shù)進(jìn)行估計(jì)，其中數(shù)據(jù)是由含有未知參數(shù)的模型產(chǎn)生的，這種方法不需要預(yù)先知道輸入信號(hào)和期望信號(hào)的統(tǒng)計(jì)信息，而是通過(guò)輸入信號(hào)和期望信號(hào)的測(cè)量值去逼近實(shí)際參數(shù)的一種估計(jì)方法[12]。由于最小二乘法沒(méi)有對(duì)觀測(cè)數(shù)據(jù)做任何假設(shè)，因此在系統(tǒng)辨識(shí)、信號(hào)處理、人工智能等大量社會(huì)和工程領(lǐng)域[13-15]中應(yīng)用范圍十分廣泛。遞歸最小二乘是最小二乘方法的一種自然推廣，它隨著接收到的數(shù)據(jù)增多，按照數(shù)據(jù)順序進(jìn)行處理而實(shí)時(shí)得到參數(shù)的估計(jì)，并且大量減少了計(jì)算的復(fù)雜度。在自適應(yīng)加權(quán)隨機(jī)匯池網(wǎng)絡(luò)中，由于輸入信號(hào)在同一時(shí)刻由多條支路噪聲進(jìn)行了擾動(dòng)并經(jīng)過(guò)了非線性變換，關(guān)于遞歸最小二乘算法的有效性和性能研究還未見(jiàn)報(bào)道。本文推導(dǎo)了自適應(yīng)加權(quán)隨機(jī)匯池網(wǎng)絡(luò)下的遞歸最小二乘算法，對(duì)其收斂性和性能進(jìn)行了理論分析，并與文獻(xiàn)[11]的最小均方(LMS)算法在仿真中做了對(duì)比。理論和實(shí)驗(yàn)表明，在穩(wěn)態(tài)和非穩(wěn)態(tài)輸入環(huán)境下，該算法都能夠快速收斂，學(xué)習(xí)曲線與理論分析較為符合，同時(shí)隨著噪聲強(qiáng)度的改變，還觀測(cè)到超閾值隨機(jī)共振現(xiàn)象，本文提出的遞歸最小二乘算法對(duì)于隨機(jī)匯池網(wǎng)絡(luò)的實(shí)際應(yīng)用和所涌現(xiàn)的復(fù)雜特征具有重要的理論意義。

圖1 自適應(yīng)加權(quán)隨機(jī)匯池網(wǎng)絡(luò)模型Fig.1 Adaptive weighted stochastic pooling networks model

1 模型與算法

1.1 加權(quán)隨機(jī)匯池網(wǎng)絡(luò)模型

1.2 遞歸最小二乘法算法

最小二乘法算法的代價(jià)函數(shù)采用累積誤差平方和

(1)

(2)

(3)

引入指數(shù)加權(quán)因子的累積誤差平方和[16]

(4)

(5)

代入式(3)可以得到權(quán)向量遞推公式為

wk=wk-1+gkεk

(6)

(7)

由以上分析，基于先驗(yàn)誤差的遞歸最小二乘算法步驟為

4)權(quán)系數(shù)更新：wk=wk-1+gkεk。

1.3 遞歸最小二乘法收斂性和性能分析

(8)

(9)

(10)

用遞歸的方法可以得到上式的解為[16]：

(11)

(12)

考慮數(shù)據(jù)時(shí)刻k→，由于依賴于過(guò)去所有的輸入信號(hào)分量，當(dāng)?shù)螖?shù)增加時(shí)，對(duì)任何單個(gè)的貢獻(xiàn)可以忽略，另外由于正交原理，ei可以認(rèn)為與所有元素不相關(guān)。這意味著式(12)右面最后一項(xiàng)會(huì)很小可以近似為零。當(dāng)λ=1時(shí)，相關(guān)矩陣服從復(fù)數(shù)Wishatr分布[17]，則其中C為節(jié)點(diǎn)輸出信號(hào)集平均自相關(guān)矩陣，在k→時(shí)上式為0，式(12)右邊第一項(xiàng)趨于0，而在0<λ<1時(shí)，式(12)右邊第一項(xiàng)也是趨于0。我們還可以看出權(quán)值w-1和時(shí)間自相關(guān)矩陣的初始化對(duì)權(quán)誤差均值的影響隨著k的增大而減小，在k→時(shí)式(12)趨于0。因此遞歸最小二乘法在統(tǒng)計(jì)平均意義上收斂。

雖然權(quán)系數(shù)wk的估計(jì)隨著數(shù)據(jù)增加漸近收斂到wo，我們需要將所有權(quán)的誤差作為一個(gè)整體進(jìn)行分析，這里定義權(quán)向量協(xié)方差矩陣

(13)

下面對(duì)于λ=1和0<λ<1兩種情況分別進(jìn)行討論。利用式(7)，可得[18]：

(14)

把式(14)代入式(13)可以得到

(15)

(16)

其中，σi是C-1的特征值。由式(16)可知，k→時(shí)隨著時(shí)間的增長(zhǎng)逐漸減小，Dk趨向于0。當(dāng)0<λ<1時(shí)，由式(11)可得[18]

(17)

(18)

(19)

(20)

瞬時(shí)超量均方誤差為

(21)

2 實(shí)驗(yàn)結(jié)果

圖2 遺忘因子λ取值對(duì)MSE學(xué)習(xí)曲線的影響Fig.2 Learning curve of MSE versus the factor λ

圖3 噪聲強(qiáng)度對(duì)MSE學(xué)習(xí)曲線的影響Fig.3 Effect of noise levels on the learning curve

圖4 噪聲強(qiáng)度對(duì)MSE的影響Fig.4 Effects of noise levels on Mean Square Error

圖5 非穩(wěn)態(tài)輸入信號(hào)下權(quán)值w收斂過(guò)程Fig.5 Convergence process of weightsfor nonstationary signals

在圖5中對(duì)比了遞歸最小二乘算法和LMS算法在非穩(wěn)態(tài)隨機(jī)過(guò)程中權(quán)值收斂表現(xiàn)，設(shè)輸入隨機(jī)信號(hào)xk的標(biāo)準(zhǔn)差σx在n/2時(shí)刻由0.2突變?yōu)?.5，噪聲強(qiáng)度ση=0.2，選取遞歸最小二乘算法的遺忘因子λ=0.999，LMS算法的步長(zhǎng)μ=0.001。由于相同節(jié)點(diǎn)函數(shù)下各節(jié)點(diǎn)權(quán)值wi,k相同[10]，我們只給出了其中任一個(gè)節(jié)點(diǎn)權(quán)值隨著數(shù)據(jù)量的變化。如圖5所示，可以看出在兩種節(jié)點(diǎn)函數(shù)下(上面為雙曲正切函數(shù)，下面為閾值函數(shù))，遞歸最小二乘算法都能夠使得權(quán)系數(shù)很快收斂到穩(wěn)態(tài)最優(yōu)值，即使輸入信號(hào)統(tǒng)計(jì)性質(zhì)發(fā)生改變，也能夠有效的跟蹤信號(hào)的變化。LMS算法在開(kāi)始的穩(wěn)態(tài)條件下收斂速度明顯慢于遞歸最小二乘法，尤其是在節(jié)點(diǎn)函數(shù)為雙曲正切函數(shù)的情況下需要迭代步數(shù)很大才能達(dá)到收斂狀態(tài)，雖然輸入信號(hào)xk發(fā)生突變后能更快跟蹤信號(hào)的變化，但權(quán)值波動(dòng)較大，不如遞歸最小二乘法穩(wěn)定。

3 結(jié)論

本文研究了加權(quán)隨機(jī)匯池網(wǎng)絡(luò)中隨機(jī)參數(shù)估計(jì)的遞歸最小二乘算法，理論證明了算法的收斂性，即權(quán)系數(shù)平均意義上收斂到最優(yōu)權(quán)值，并對(duì)算法性能表現(xiàn)進(jìn)行了詳細(xì)分析：在平穩(wěn)的輸入信號(hào)下，均方偏差和超量均方誤差隨著數(shù)據(jù)的增加而逐漸減小，最終趨向于零，而在非平穩(wěn)的輸入信號(hào)下，引入遺忘因子后，均方偏差和超量均方誤差常常不收斂到零，對(duì)比來(lái)說(shuō)，在統(tǒng)計(jì)意義上后者權(quán)系數(shù)不如前者精確。通過(guò)實(shí)驗(yàn)分析得出，在平穩(wěn)和非穩(wěn)態(tài)輸出信號(hào)下，遞歸最小二乘算法都能夠快速達(dá)到收斂狀態(tài)并且有效跟蹤信號(hào)的變化，同時(shí)隨著噪聲強(qiáng)度的變化，實(shí)驗(yàn)證實(shí)了此模型下的噪聲有益性，并觀測(cè)到了超閾值隨機(jī)共振現(xiàn)象。以上研究為加權(quán)隨機(jī)匯池網(wǎng)絡(luò)在實(shí)際中的應(yīng)用奠定了理論基礎(chǔ)，對(duì)該網(wǎng)絡(luò)下非平穩(wěn)信號(hào)的估計(jì)性能的研究具有實(shí)際意義。但是，遞歸最小二乘算法中的噪聲有益性研究還有一些待解決問(wèn)題，比如如何獲得網(wǎng)絡(luò)估計(jì)性能最佳的時(shí)噪聲強(qiáng)度或分布，以及如何進(jìn)一步理論分析非穩(wěn)態(tài)信號(hào)下的遞歸最小二乘算法跟蹤性能等問(wèn)題，這些都值得我們以后繼續(xù)深入研究。