， ，，，

(青島大學(xué) a.復(fù)雜性科學(xué)研究所；b.電子信息學(xué)院，山東 青島 266071)

0 引言

信息處理中經(jīng)常面臨兩種難題：隨機(jī)噪聲和有損壓縮。隨機(jī)噪聲經(jīng)常被視為信號(hào)處理的不利因素加以抑制，有損壓縮是允許信息壓縮過程中損失一定的信息，而這部分信息通常是冗余的或不相關(guān)的[1]。Zozor和McDonnell通過隨機(jī)網(wǎng)絡(luò)方法可以同時(shí)實(shí)現(xiàn)有損壓縮和降噪，并在該領(lǐng)域進(jìn)行了一系列研究，提出了隨機(jī)匯池網(wǎng)絡(luò)概念[2-4]。隨機(jī)匯池網(wǎng)絡(luò)是一種由多個(gè)并聯(lián)傳感器組成并接收同一個(gè)信號(hào)源饋入的網(wǎng)絡(luò)，輸入信號(hào)和測(cè)量過程噪聲同時(shí)被傳感器非線性壓縮，最后匯集至一個(gè)物理信道，網(wǎng)絡(luò)輸出為一維的參數(shù)估計(jì)響應(yīng)，此網(wǎng)絡(luò)也是冗余信息、有損壓縮和噪聲相互作用的一種網(wǎng)絡(luò)。隨機(jī)匯池網(wǎng)絡(luò)廣泛地存在于噪聲數(shù)模轉(zhuǎn)換器[3,5]，受體細(xì)胞、平行神經(jīng)元等生物傳感處理[6-8]、納米電子[9]、通信網(wǎng)絡(luò)[10]等系統(tǒng)中。Zozor和McDonnell等詳細(xì)研究了隨機(jī)匯池網(wǎng)絡(luò)中噪聲引起的超閾值隨機(jī)共振現(xiàn)象[2-4]，即隨機(jī)噪聲能夠使信號(hào)傳輸質(zhì)量或某些性能指標(biāo)提高的一種反直覺效應(yīng)。由于隨機(jī)匯池網(wǎng)絡(luò)本質(zhì)上是一種隨機(jī)信號(hào)估計(jì)器，因此超閾值隨機(jī)共振現(xiàn)象在信號(hào)估計(jì)、檢測(cè)和傳輸?shù)阮I(lǐng)域都得到了廣泛的關(guān)注，在生物醫(yī)學(xué)方面的耳蝸植入研究[16]、非線性檢測(cè)器[17]以及模數(shù)轉(zhuǎn)換電路設(shè)計(jì)[18-19]等方面取得了非常有實(shí)際應(yīng)用價(jià)值的進(jìn)展。

隨機(jī)匯池網(wǎng)絡(luò)的研究[2-4,11-19]局限于平穩(wěn)的隨機(jī)信號(hào)和噪聲環(huán)境，其譯碼方案需要知道輸入信號(hào)的先驗(yàn)知識(shí)和噪聲的統(tǒng)計(jì)性能。而實(shí)際信號(hào)處理中，由于輸入信號(hào)的統(tǒng)計(jì)特性一般是未知的，這給隨機(jī)匯池網(wǎng)絡(luò)的應(yīng)用研究帶來巨大困難。本文建立一種更加廣泛的隨機(jī)匯池網(wǎng)絡(luò)模型，網(wǎng)絡(luò)節(jié)點(diǎn)并不局限于閾值型激活函數(shù)，同時(shí)考慮權(quán)系數(shù)和噪聲對(duì)信號(hào)譯碼性能的影響，以均方誤差[19]作為性能指標(biāo)，求得此模型的最優(yōu)權(quán)系數(shù)[21]，并進(jìn)一步以噪聲強(qiáng)度為變量進(jìn)行優(yōu)化，推導(dǎo)了自適應(yīng)最優(yōu)權(quán)系數(shù)以及估計(jì)信號(hào)與真實(shí)信號(hào)之間均方誤差的理論表達(dá)式。同時(shí)，考慮到統(tǒng)計(jì)信息在實(shí)際工程中經(jīng)常是未知的，本文給出了基于觀測(cè)數(shù)據(jù)的最優(yōu)權(quán)向量和均方誤差的最小二乘估計(jì)算法。理論和實(shí)驗(yàn)都驗(yàn)證了隨著隨機(jī)匯池網(wǎng)中節(jié)點(diǎn)數(shù)目的增加，該網(wǎng)絡(luò)的估計(jì)性能隨之提高，且均方誤差不斷逼近最小均方誤差估計(jì)器，充分反映了隨機(jī)噪聲優(yōu)化能力和自適應(yīng)最優(yōu)加權(quán)隨機(jī)匯池網(wǎng)絡(luò)的估計(jì)性能，在實(shí)際的非線性信號(hào)估計(jì)中具有重要的應(yīng)用價(jià)值。

圖1 博弈主體間的概念模型Fig.1 Model of adaptive weighted stochastic pooling network

1 模型與方法

1.1 隨機(jī)匯池網(wǎng)絡(luò)模型

1.2 理論分析

1.2.1 最優(yōu)權(quán)向量和均方誤差

將權(quán)系數(shù)wi,k表示為wk=w1,k,w2,k,…,wM,kT，列向量yk=y1,k,y2,k,…,yM,kT來表示系統(tǒng)函數(shù)g處理的隨機(jī)輸出信號(hào)。那么，隨機(jī)匯池網(wǎng)絡(luò)的輸出可以表示為

(1)

(2)

(3)

(4)

代入式(3)得到有關(guān)權(quán)向量的最小均方誤差

(5)

由于本文均考慮當(dāng)前時(shí)刻k且考慮穩(wěn)態(tài)的輸入信號(hào)和網(wǎng)絡(luò)噪聲，因此下面理論分析將k省略。在輸入輸出的相關(guān)向量為Pxy中Exyi可以計(jì)算為

(6)

協(xié)方差矩陣Cyy矩陣中的對(duì)角元素Cii可以表示為

非對(duì)角元素Cij可以表示為

Cyy=QΛQH

(7)

那么最優(yōu)權(quán)向量可表示為

(8)

(9)

(10)

當(dāng)M=情況下，均方誤差可以計(jì)算為

(11)

1.2.2 網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)對(duì)模型性能的影響

Cyy為正定對(duì)稱矩陣，可被唯一地分解為一個(gè)下三角矩陣、一個(gè)對(duì)角陣和一個(gè)上角矩陣的積，即Cyy=LDLH，L是一個(gè)單位下三角矩陣，D=diagξ1,ξ2,…,ξM為一個(gè)對(duì)角陣，其元素必為正實(shí)數(shù)?？紤]到網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)對(duì)矩陣階數(shù)的影響，對(duì)LDLH分解以階數(shù)遞歸的形式進(jìn)行分析，為方便接下來的論證，令C=Cyy，P=Pxy。將網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)由m增加為m+1，相關(guān)矩陣

(12)

(13)

(14)

LmDmkm=Pm

(15)

可得km同樣具有最佳嵌套性質(zhì)。由式(15)得出最小均方誤差

(16)

由于矩陣L和矩陣D具有最佳嵌套性質(zhì)，式(16)可寫為

(17)

由式(17)可得，由于ξm>0，隨著模型節(jié)點(diǎn)數(shù)增大，使最小均方誤差減小，得到更好的估計(jì)精度。

2 實(shí)驗(yàn)分析

在實(shí)際信號(hào)處理中，需要考慮到信號(hào)或噪聲的先驗(yàn)知識(shí)可能是未知的情況，因此對(duì)于Pxy和Cyy的理論值需要利用觀測(cè)數(shù)據(jù)進(jìn)行估計(jì)。在可以獲得充分多的輸入信號(hào)xk和節(jié)點(diǎn)輸出yi,k的觀測(cè)數(shù)據(jù)的條件下，本文對(duì)自協(xié)方差Cyy中每一元素估計(jì)如下

(18)

(19)

(20)

實(shí)驗(yàn)選取輸入信號(hào)xk服從高斯分布，其均值為零，標(biāo)準(zhǔn)差σx為1。噪聲ηi選用均值為零，標(biāo)準(zhǔn)差ση可調(diào)諧的高斯白噪聲，并且所有節(jié)點(diǎn)取相同的閾值函數(shù)

(21)

圖2 不同節(jié)點(diǎn)數(shù)目情況下均方誤差隨著輸入噪聲強(qiáng)度變化曲線Fig.2 Mean Square Error verus the noise level for different numbers of nodes

利用式(10)～(11)和(18)～(21)進(jìn)行計(jì)算，得出理論和實(shí)驗(yàn)的均方誤差如圖2所示。

圖2中，虛線表示理論值，實(shí)線表示估計(jì)值，橫坐標(biāo)σ=ση/σx，可以清晰地看到，M≠1的情況下在一定噪聲強(qiáng)度內(nèi)MSE隨著噪聲的增加反而減小，產(chǎn)生了隨機(jī)共振現(xiàn)象。從圖2中還可以看出，本模型在輸入信號(hào)先驗(yàn)知識(shí)未知的情況下，利用數(shù)據(jù)進(jìn)行估計(jì)的實(shí)驗(yàn)結(jié)果和理論結(jié)果是一致的。圖2還給出了不同隨機(jī)匯池網(wǎng)絡(luò)的節(jié)點(diǎn)數(shù)目情況下，均方誤差隨著加入噪聲強(qiáng)度變化的曲線。1個(gè)節(jié)點(diǎn)下，沒有發(fā)生隨機(jī)共振現(xiàn)象。在多個(gè)節(jié)點(diǎn)下，如圖2所示，從5個(gè)，10個(gè)，100個(gè)的均方誤差變化情況中，可以發(fā)現(xiàn)這3組的均方誤差最優(yōu)值都位于非零噪聲強(qiáng)度處，即都出現(xiàn)了隨機(jī)共振現(xiàn)象。另外，從圖2中還可以明顯看出均方誤差的大小隨著節(jié)點(diǎn)數(shù)目的增加而減小，即節(jié)點(diǎn)數(shù)目越多，網(wǎng)絡(luò)的性能越好。依據(jù)式(11)，本文還給出了無窮大節(jié)點(diǎn)數(shù)目(M=)情況下均方誤差隨著噪聲強(qiáng)度的理論變化曲線，實(shí)驗(yàn)數(shù)據(jù)是無法得到的，但是此理論結(jié)果告訴我們總可以利用具有充分大的節(jié)點(diǎn)數(shù)目的隨機(jī)匯池網(wǎng)絡(luò)來逼近這一極限。

3 結(jié)論

本文建立了一般的自適應(yīng)加權(quán)隨機(jī)匯池網(wǎng)絡(luò)模型，理論分析了權(quán)系數(shù)與噪聲兩個(gè)優(yōu)化因素下的均方誤差性能，得出自適應(yīng)最優(yōu)權(quán)系數(shù)及最小均方誤差的表達(dá)形式?？紤]了信號(hào)和噪聲統(tǒng)計(jì)性未知的情況，實(shí)驗(yàn)中利用最小二乘算法驗(yàn)證理論分析。探究了網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)目對(duì)模型均方誤差性能的影響，理論和實(shí)驗(yàn)都證明了隨著節(jié)點(diǎn)數(shù)增加均方誤差性能能夠不斷提高。本文只對(duì)輸入平穩(wěn)信號(hào)的情況下隨機(jī)匯池網(wǎng)絡(luò)性能進(jìn)行了初步研究，對(duì)于非平穩(wěn)隨機(jī)信號(hào)和關(guān)于有色噪聲對(duì)隨機(jī)匯池網(wǎng)絡(luò)模型性能的影響等問題值得進(jìn)一步研究。