陳偉康，翟其清，王友國*

（1.南京郵電大學(xué) 通信與信息工程學(xué)院，南京 210003；2.南京郵電大學(xué) 理學(xué)院，南京 210023）

0 引言

自從1982 年Hopfield［1］提出了 經(jīng)典的Hopfield 神經(jīng)網(wǎng)絡(luò)，聯(lián)想記憶網(wǎng)絡(luò)開始成為神經(jīng)網(wǎng)絡(luò)的重要分支，它的理論研究和應(yīng)用在近幾十年取得了長足的發(fā)展。許多新型的神經(jīng)元模型以及組成的神經(jīng)網(wǎng)絡(luò)被提出。神經(jīng)網(wǎng)絡(luò)采用并行計(jì)算和分布式數(shù)據(jù)處理，在圖像處理、模式識別、故障診斷、信息傳輸、人工智能等方面［2-7］有非常成功的應(yīng)用。

在通信與信號處理領(lǐng)域，Zhang等［7］在幅值相位型離散Hopfield 神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上引入混沌神經(jīng)網(wǎng)絡(luò)算法，提高了盲檢測多進(jìn)制相移鍵控（Multiple Phase Shift Keying，MPSK）信號的性能。劉玉龍等［8］發(fā)現(xiàn)利用Hopfield 神經(jīng)網(wǎng)絡(luò)可以在一定條件下解決多用戶正交頻分復(fù)用（Orthogonal Frequency Division Multiplexing，OFDM）通信系統(tǒng)的子載波分配和比特自適應(yīng)加載的資源分配最優(yōu)化問題。Duan等［9］在研究基于Hopfield 神經(jīng)網(wǎng)絡(luò)的信號傳輸系統(tǒng)時(shí)發(fā)現(xiàn)，適量的噪聲可以改善系統(tǒng)的性能，并且當(dāng)信號被重尾噪聲破壞時(shí)，具有大量神經(jīng)元的系統(tǒng)在每比特輸入信噪比較低時(shí)優(yōu)于匹配濾波器。于海斌等［10］提出一種基于雙向聯(lián)想記憶（Bidirectional Associative Memory，BAM）神經(jīng)網(wǎng)絡(luò)的按位加權(quán)編碼策略，使網(wǎng)絡(luò)對不滿足連續(xù)性的樣本模式集具有良好的聯(lián)想能力。

在圖像識別與處理領(lǐng)域，Zhang等［6］改變激活函數(shù)以提高基于Hopfield 神經(jīng)網(wǎng)絡(luò)的盲檢測算法的性能，以解決無人機(jī)運(yùn)動(dòng)模糊圖像恢復(fù)的問題。潘園園等［11］利用Hopfield 神經(jīng)網(wǎng)絡(luò)進(jìn)行手寫數(shù)字識別，并發(fā)現(xiàn)適量噪聲有助于數(shù)字圖像恢復(fù)得更清晰。蔡利梅等［12］研究了基于BAM 神經(jīng)網(wǎng)絡(luò)的車型識別問題。Cheng等［13］提出一種基于競爭性Hopfield 神經(jīng)網(wǎng)絡(luò)的并行無監(jiān)督方法進(jìn)行醫(yī)學(xué)圖像分割，取得了更優(yōu)的效果。王元莉［14］提出了一種基于BAM 神經(jīng)網(wǎng)絡(luò)的快速增強(qiáng)算法識別帶噪聲污染的字符，具有很好的實(shí)時(shí)性和容錯(cuò)性。

神經(jīng)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)聯(lián)想記憶，因?yàn)橄到y(tǒng)在一定條件下存在穩(wěn)定的平衡點(diǎn)或周期解，吸引域中的任意初始狀態(tài)都將收斂到相應(yīng)的平衡點(diǎn)或周期解。將穩(wěn)定的平衡點(diǎn)或周期解稱為記憶模式，初始狀態(tài)收斂到相應(yīng)平衡點(diǎn)或周期解的過程稱為聯(lián)想并恢復(fù)記憶的過程。為了探究和利用聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)的這種性質(zhì)，本文基于BAM 神經(jīng)網(wǎng)絡(luò)構(gòu)建了一種多元通信系統(tǒng)以傳輸多元信號。多元信號被調(diào)制為帶有幅值的初始狀態(tài)向量，在碼元持續(xù)時(shí)間里，不斷輸入系統(tǒng)中，經(jīng)過神經(jīng)網(wǎng)絡(luò)的循環(huán)迭代和以碼元間隔為周期的采樣，假定是在無噪無損的信道中傳輸，最終在接收端判決譯碼。在文獻(xiàn)［9］中的基于Hopfield 神經(jīng)網(wǎng)絡(luò)的二元通信系統(tǒng)中，向系統(tǒng)神經(jīng)元加入適量高斯噪聲有助于提升傳輸性能，還展示出了聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)中的隨機(jī)共振現(xiàn)象［15-17］。因此本文也嘗試向神經(jīng)元中加入高斯噪聲，并研究噪聲對該通信系統(tǒng)譯碼性能的影響。最后，將本文系統(tǒng)應(yīng)用于傳輸圖像壓縮編碼，并通過圖像相似度這一指標(biāo)，探究噪聲對系統(tǒng)譯碼恢復(fù)圖像的影響。

1 BAM神經(jīng)網(wǎng)絡(luò)多元通信系統(tǒng)

1.1 BAM神經(jīng)網(wǎng)絡(luò)

BAM 神經(jīng)網(wǎng)絡(luò)由Kosko［18］于1987 年提出，在各種聯(lián)想記憶網(wǎng)絡(luò)中比較常用。不同于Hopfield 神經(jīng)網(wǎng)絡(luò)的自聯(lián)想，BAM 神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)雙向異聯(lián)想。BAM 是一種雙層雙向網(wǎng)絡(luò)［19］，如圖1 所示。當(dāng)向其中一層輸入信號時(shí)，另一層可得到輸出。初始輸入可以作用于網(wǎng)絡(luò)的任一層，信息可以雙向傳播，沒有明確的輸入或輸出層。

圖1 BAM網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)Fig.1 Topological structure of BAM network

BAM 網(wǎng)絡(luò)聯(lián)想的過程是網(wǎng)絡(luò)從動(dòng)態(tài)到穩(wěn)態(tài)的過程。對給定權(quán)值矩陣的BAM 網(wǎng)絡(luò)，當(dāng)?shù)趐個(gè)網(wǎng)絡(luò)的記憶向量Xp作用于輸入層時(shí)，t=1 時(shí)刻該層的輸出X(1)=Xp通過加權(quán)矩陣W傳到輸出層，由該側(cè)神經(jīng)元的激活函數(shù)fy(·)進(jìn)行非線性變換后得到t=1 時(shí)刻該層的輸出Y(1)=fy[WX(1) ]；再將該輸出通過加權(quán)矩陣WΤ從輸出層傳回輸入層作為下一時(shí)刻的輸入，通過輸入層神經(jīng)元的激活函數(shù)fx(·)進(jìn)行非線性變換后得到t=2 時(shí)刻該層的輸出X(2)=fx[WΤY(1) ]=fx{WΤ[fy(WX(1))]}。這個(gè)過程一直進(jìn)行到所有神經(jīng)元的狀態(tài)不再發(fā)生變化為止，此時(shí)的網(wǎng)絡(luò)狀態(tài)稱為穩(wěn)態(tài)，對應(yīng)的輸出層輸出向量Yp是記憶向量Xp經(jīng)雙向聯(lián)想后所得的結(jié)果；反之，將記憶向量Yp作用于輸出層，最終也能在輸入層聯(lián)想出Xp。

1.2 系統(tǒng)定義與參數(shù)說明

本文基于圖1 的BAM 網(wǎng)絡(luò)構(gòu)建了如圖2 所示的多元通信系統(tǒng)，由信號映射器、BAM 神經(jīng)網(wǎng)絡(luò)、采樣器、無損信道和判決器組成，其中Z-1為時(shí)延單元。BAM 網(wǎng)絡(luò)的輸入層有n個(gè)神經(jīng)元，輸出層有m個(gè)神經(jīng)元，共計(jì)N=n+m個(gè)神經(jīng)元。輸入層到輸出層的權(quán)值矩陣為W，輸出層到輸入層的權(quán)值矩陣為WΤ。令神經(jīng)元激活函數(shù)為雙曲正切函數(shù)f(·)=tanh(·)，輸入層的網(wǎng)絡(luò)狀態(tài)向量為X(t)，輸出層的網(wǎng)絡(luò)狀態(tài)向量為Y(t)，狀態(tài)向量的分量xi(t)、yj(t)表示神經(jīng)元i、j在t時(shí)刻的狀態(tài)，狀態(tài)向量及其分量定義如下：

圖2 基于BAM神經(jīng)網(wǎng)絡(luò)的多元通信系統(tǒng)Fig.2 BAM neural network based multivariate communication system

其中：ε為陡度參數(shù)；Wij是神經(jīng)元i到j(luò)的突觸權(quán)重；θi是神經(jīng)元i的激活閾值，若閾值為0，網(wǎng)絡(luò)的能量函數(shù)定義為E=-XΤWΤY；si(t)為輸入層的輸入信號；ηi(t)是均值為0 且獨(dú)立同分布的高斯噪聲分量。網(wǎng)絡(luò)具有M對記憶向量(Xμ，Yμ)，μ=1，2，…，M，x∈{ -1，1}n，y∈{ -1，1}m，分別對應(yīng)M進(jìn)制信號，假設(shè)用于設(shè)計(jì)網(wǎng)絡(luò)的M對記憶向量相互正交：

其中，p和k代表記憶向量的索引標(biāo)號。

采用Hebb 規(guī)則，即外積和法設(shè)計(jì)網(wǎng)絡(luò)的權(quán)值矩陣W：

在接收端，設(shè)計(jì)一個(gè)判決規(guī)則，網(wǎng)絡(luò)輸出端狀態(tài)向量Y(t)和記憶向量Yμ之間的重疊量mμ定義為：

通過該重疊量mμ(t)可以將狀態(tài)向量Y(t)的m維空間V劃分為M個(gè)子集V0，V1，…，VM-1，Vμ={Y|mμ(t) ≥mj(t) }表示記憶向量Yμ對應(yīng)的吸引域，當(dāng)調(diào)制向量AXμ輸入網(wǎng)絡(luò)時(shí)，網(wǎng)絡(luò)狀態(tài)向量Y(t)在統(tǒng)計(jì)意義上將主要落入吸引域Vμ。然后，在采樣時(shí)間t=jTb處，通過觀察網(wǎng)絡(luò)狀態(tài)向量Y(t)落入哪個(gè)子集Vμ來解碼M進(jìn)制數(shù)字。相當(dāng)于計(jì)算重疊量mμ(jTb)來解碼，如果Y(t)∈Vμ，就解碼為與Yμ對應(yīng)的碼元。根據(jù)上述判決規(guī)則，本文通過計(jì)算差錯(cuò)概率Pe來度量系統(tǒng)傳輸?shù)淖g碼性能，Pe定義如下：

其中：p(i)為M元信號中數(shù)字i的先驗(yàn)概率，由實(shí)驗(yàn)的信號集經(jīng)過統(tǒng)計(jì)得到，本文使用先驗(yàn)概率等概的多元信號集表示當(dāng)輸入數(shù)字為i時(shí)，解碼為j的概率，由系統(tǒng)的譯碼結(jié)果和原始輸入信號集比較，然后統(tǒng)計(jì)錯(cuò)誤碼元得到。

2 BAM多元通信系統(tǒng)的譯碼性能分析

2.1 傳輸二元信號的譯碼情況

首先，探究系統(tǒng)傳輸二元信號時(shí)的譯碼情況，該信號序列由{0，1}組成。假設(shè)輸入層神經(jīng)元個(gè)數(shù)n=4，輸出層神經(jīng)元個(gè)數(shù)m=2，取兩對記憶向量(X0，Y0)、(X1，Y1)，其中：X0=[1，-1，1，-1]Τ；X1=[ 1，1，-1，-1]Τ；Y0=[ 1，-1]Τ；Y1=[ 1，1]Τ；權(quán)值矩陣W由這兩對記憶向量生成。如圖2 所示，攜帶數(shù)字0 和1 的先驗(yàn)概率為p(0)和p(1)的二元信號，被調(diào)制為在時(shí)間間隔jTb≤t≤(j+1)Tb上持續(xù)的向量AX0和AX1作為輸入信號，其中：A是調(diào)制幅度；Tb是碼元間隔。系統(tǒng)的其他參數(shù)設(shè)置如下：陡度參數(shù)ε=0.03，神經(jīng)元閾值θ=0，碼元間隔Tb=1。

圖3 給出了不同參數(shù)下系統(tǒng)的譯碼差錯(cuò)概率Pe曲線。從圖3（a）可以看出：在碼元間隔不變時(shí)，對于A＜1.0 的二元信號，即弱調(diào)制信號，系統(tǒng)傳輸?shù)淖g碼效果較差；但是向系統(tǒng)神經(jīng)元添加高斯噪聲時(shí)，隨著噪聲強(qiáng)度增加，差錯(cuò)概率Pe先減小后增加，出現(xiàn)隨機(jī)共振現(xiàn)象，最佳噪聲強(qiáng)度范圍為0.4～0.5。隨機(jī)共振現(xiàn)象的出現(xiàn)對A的值有要求，當(dāng)A≥1.0 時(shí)，雖然系統(tǒng)Pe在降低，但噪聲對系統(tǒng)的消極作用占主導(dǎo)地位，這是由于A的增大也導(dǎo)致了輸入信號的能量增大，此時(shí)信號的傳輸效果比較好，而噪聲只會影響傳輸效果。因?yàn)殡S機(jī)共振往往對弱的信號有積極功效，隨著信號幅值的增加，隨機(jī)共振的功效逐漸減弱直至消失。

在A=0.8 時(shí)，嘗試增大信號的碼元間隔Tb，如圖3（b）所示。可以看出，隨著Tb增大，系統(tǒng)的Pe進(jìn)一步降低，隨機(jī)共振現(xiàn)象更加明顯，最佳噪聲強(qiáng)度在0.3 左右。對于較大的Tb，網(wǎng)絡(luò)的輸出狀態(tài)向量有較長的時(shí)間收斂到對應(yīng)記憶模式的吸引域內(nèi)，導(dǎo)致判決時(shí)對應(yīng)的重疊量mμ(t)最大，從而進(jìn)行正確的譯碼判決。

圖3 不同噪聲下A與Tb對系統(tǒng)Pe的影響Fig.3 Influence of A and Peon Pe of system under different noise intensities

2.2 傳輸多元信號的譯碼情況

由于BAM 網(wǎng)絡(luò)的存儲容量不大于min(n，m)，所以對網(wǎng)絡(luò)取輸入層n=32 個(gè)神經(jīng)元、輸出層m=16 個(gè)神經(jīng)元，以滿足對所選進(jìn)制數(shù)M=2、3、4、8、16 中最高16 的條件。對于M元信號，網(wǎng)絡(luò)選取M對記憶向量。設(shè)置碼元間隔Tb=1，調(diào)制幅度A=0.5，其他參數(shù)不變，仿真結(jié)果如圖4 所示。可以看出，對于多元信號，該系統(tǒng)仍然出現(xiàn)了隨機(jī)共振現(xiàn)象，但是隨著M的增加，Pe也在增加。當(dāng)BAM 網(wǎng)絡(luò)存儲更多的記憶向量時(shí)，網(wǎng)絡(luò)平衡點(diǎn)對應(yīng)的吸引域個(gè)數(shù)也隨之增加，在有限的時(shí)間里，系統(tǒng)輸出端狀態(tài)向量Y(t)很難快速地在不同吸引域之間跳轉(zhuǎn)并落到正確的吸引域內(nèi)，從而導(dǎo)致接收端的誤判，導(dǎo)致差錯(cuò)概率Pe增加。

圖4 不同噪聲下傳輸不同進(jìn)制信號時(shí)系統(tǒng)的PeFig.4 Pe of system when transmitting signals with different radix numbers under different noise intensities

為了探究神經(jīng)元數(shù)量對系統(tǒng)傳輸多元信號的影響，用(n，m)表示n個(gè)輸入層神經(jīng)元、m個(gè)輸出層神經(jīng)元，具體?。?6，8）、（32，16）、（64，32）、（128，64）、（256，128）、（512，256）這6 組，對三元信號進(jìn)行仿真，其他參數(shù)與圖4 一致，仿真結(jié)果如圖5 所示。隨著神經(jīng)元數(shù)量的增加，系統(tǒng)的Pe大幅降低，并且隨機(jī)共振現(xiàn)象非常明顯，在神經(jīng)元數(shù)量為(512，256)、噪聲強(qiáng)度為0.75 時(shí)，Pe約為0.002。結(jié)果表明增加神經(jīng)元數(shù)量可以顯著降低傳輸多元信號的系統(tǒng)差錯(cuò)概率，原因如下：1）隨著神經(jīng)元數(shù)量的增加，網(wǎng)絡(luò)的平衡點(diǎn)對應(yīng)的吸引域范圍變大，輸出端狀態(tài)向量更容易落在正確的吸引域內(nèi)，所以判決時(shí)的錯(cuò)誤率減?。?）從通信的角度來看，信號的傳輸功率NA2Tb和每比特輸入信噪比NA2Tb/σ2η也隨著神經(jīng)元數(shù)N的增加而增加。

圖5 不同噪聲下傳輸三元信號時(shí)不同神經(jīng)元數(shù)的系統(tǒng)Pe Fig.5 Pe of system with different neuron numbers when transmitting ternary signals under different noise intensities

同時(shí)，討論了碼元間隔Tb對系統(tǒng)傳輸多元信號的譯碼性能影響，取圖4 中進(jìn)制數(shù)M=4 和神經(jīng)元數(shù)(128，64)進(jìn)行仿真，得到如圖6 所示的結(jié)果。發(fā)現(xiàn)Tb對多元信號的傳輸仍然具有影響，當(dāng)Tb逐漸增大時(shí)，系統(tǒng)的差錯(cuò)概率Pe在相應(yīng)的最佳噪聲強(qiáng)度下越來越小。比如當(dāng)Tb=5 時(shí)，在噪聲強(qiáng)度0.25～0.5 范圍內(nèi)，Pe可以達(dá)到0 的最佳情況；當(dāng)Tb較大時(shí)，系統(tǒng)的計(jì)算復(fù)雜度會增加，影響傳輸效率。實(shí)際系統(tǒng)中可能會在傳輸效果和傳輸效率之間采取一種折中的方法。

圖6 不同噪聲下碼元間隔對系統(tǒng)傳輸多元信號的影響Fig.6 Influence of code element interval on system transmission of multivariate signals under different noise intensities

3 BAM神經(jīng)網(wǎng)絡(luò)在圖像壓縮中的應(yīng)用

本文以圖像壓縮為例，采用哈夫曼壓縮編碼方式。如果直接用二進(jìn)制碼元表示灰度圖像，每個(gè)像素點(diǎn)需要8 位，直接傳輸?shù)男侍?，因此先進(jìn)行信源編碼。為了探究基于BAM 的通信系統(tǒng)傳輸多元信號的效果，選擇三元哈夫曼編碼，碼元由{0，1，2}組成，對圖7（a）所示的灰度圖像Lena 進(jìn)行壓縮編碼。圖像大小為512× 512，取系統(tǒng)神經(jīng)元數(shù)量為(512，256)，其他參數(shù)和圖4 一致。首先根據(jù)哈夫曼編碼得到的碼字，將圖像轉(zhuǎn)換為由{0，1，2}組成的碼元集，作為系統(tǒng)的輸入信號集；然后向系統(tǒng)中加入不同強(qiáng)度的高斯噪聲，經(jīng)過系統(tǒng)傳輸?shù)玫捷敵鲂盘柤?；最后通過譯碼恢復(fù)圖像。

從直觀感受和圖像相似度對實(shí)驗(yàn)結(jié)果進(jìn)行分析，采用均值哈希算法評估圖像的相似度。不同噪聲強(qiáng)度下的仿真結(jié)果如圖7 所示，當(dāng)ση=0.25 時(shí)，譯碼效果最差，恢復(fù)的圖像根本無法識別；當(dāng)ση=0.50 時(shí)，譯碼的圖像可以識別；當(dāng)ση=0.75 時(shí)，恢復(fù)的圖像效果最佳；ση=1.00 時(shí)效果與0.75 類似；隨著ση進(jìn)一步增加到1.50，譯碼效果又開始變差。從圖8 可以看出，ση=0.75 時(shí)，圖像相似度最低，效果最優(yōu)。實(shí)驗(yàn)結(jié)果表明噪聲在BAM 神經(jīng)網(wǎng)絡(luò)通信系統(tǒng)傳輸圖像中有積極功效，進(jìn)一步驗(yàn)證了BAM 通信系統(tǒng)和隨機(jī)共振在實(shí)際應(yīng)用中的可實(shí)現(xiàn)性。

圖7 不同噪聲強(qiáng)度下的譯碼圖像Fig.7 Decoded images under different noise intensities

圖8 不同噪聲強(qiáng)度下譯碼圖像相似度Fig.8 Decoded image similarity under different noise intensities

4 結(jié)語

本文基于已有的對Hopfield 網(wǎng)絡(luò)通信系統(tǒng)的研究，進(jìn)一步利用離散BAM 神經(jīng)網(wǎng)絡(luò)構(gòu)建了一種用于多元信號傳輸?shù)耐ㄐ畔到y(tǒng)。考慮隨機(jī)共振這一在非線性系統(tǒng)中可能存在的現(xiàn)象，在一定條件下，向系統(tǒng)神經(jīng)元加入適量的高斯噪聲，使系統(tǒng)的傳輸效果得到一定改善；同時(shí)，改變輸入信號的幅值和碼元間隔也會對系統(tǒng)傳輸產(chǎn)生影響。進(jìn)一步研究了系統(tǒng)傳輸不同進(jìn)制的信號，發(fā)現(xiàn)對高進(jìn)制信號的傳輸效果不佳，于是采用增加系統(tǒng)神經(jīng)元數(shù)量的方式，發(fā)現(xiàn)可以有效降低系統(tǒng)的差錯(cuò)概率。最后，結(jié)合實(shí)際應(yīng)用，研究了本文系統(tǒng)傳輸圖像壓縮編碼時(shí)噪聲對圖像解碼質(zhì)量的改善的問題，體現(xiàn)了隨機(jī)共振的實(shí)用性，為進(jìn)一步研究BAM 神經(jīng)網(wǎng)絡(luò)以及其他聯(lián)想記憶網(wǎng)絡(luò)做了基礎(chǔ)工作。此外，關(guān)于噪聲對系統(tǒng)起增益作用的臨界幅值、實(shí)際系統(tǒng)中碼元間隔和神經(jīng)元數(shù)量的折中選取，這些問題值得進(jìn)一步研究。