張建國,殷勤業(yè)

(西安交通大學(xué)電子與信息工程學(xué)院,陜西西安 710049）

Kosko型雙向聯(lián)想記憶與Hop field神經(jīng)網(wǎng)絡(luò)的關(guān)系

張建國,殷勤業(yè)

(西安交通大學(xué)電子與信息工程學(xué)院,陜西西安 710049）

深入理解Kosko型雙向聯(lián)想記憶(BAM)網(wǎng)絡(luò)是學(xué)習(xí)使用其它雙向聯(lián)想記憶的基礎(chǔ)。如果我們按照傳統(tǒng)的方法介紹BAM網(wǎng)絡(luò),學(xué)生很容易產(chǎn)生兩個疑問:能量函數(shù)為什么是定義的?BAM網(wǎng)絡(luò)與H opfield網(wǎng)絡(luò)的內(nèi)在聯(lián)系是什么?本文在說明Kosko型BAM網(wǎng)絡(luò)就是一種特殊的 Hopfield網(wǎng)絡(luò)后,從H opfield網(wǎng)絡(luò)的能量函數(shù)出發(fā)推導(dǎo)出BAM網(wǎng)絡(luò)的能量函數(shù),從而揭示了它與Hopfield網(wǎng)絡(luò)之間的內(nèi)在聯(lián)系。

Hopfield神經(jīng)網(wǎng)絡(luò);雙向聯(lián)想記憶;能量函數(shù)

0 引言

“神經(jīng)網(wǎng)絡(luò)”是一門重要的研究生課程,部分高校也為高年級本科生開設(shè)。Hopfield神經(jīng)網(wǎng)絡(luò)[1]是一種應(yīng)用廣泛的單層反饋神經(jīng)網(wǎng)絡(luò),可以用于優(yōu)化計算和聯(lián)想記憶。聯(lián)想記憶在信號處理和模式識別等方面都有廣泛的應(yīng)用。Kosko型雙向聯(lián)想記憶(BAM)網(wǎng)絡(luò)[2,3]是Hop field網(wǎng)絡(luò)的一種典型應(yīng)用,讓學(xué)生深入理解它是正確理解其它雙向聯(lián)想記憶網(wǎng)絡(luò)的基礎(chǔ)。

大多數(shù)教材[4-6]都沿用了Kosko在文獻[2]中的介紹方法,即直接給出BAM網(wǎng)絡(luò)能量函數(shù)的定義,而不展開論述這樣定義的理由是什么,且通過構(gòu)造一個大的零塊對角陣(即分塊矩陣對角線上的方陣是零矩陣),可以將任意連接權(quán)矩陣對稱化,這樣雙向聯(lián)想過程就能轉(zhuǎn)換為對一組增廣狀態(tài)向量的自聯(lián)想記憶過程。但由于這些并非是文獻[2]討論的重點,因此教材都未進一步展開討論。

按照傳統(tǒng)的方法介紹Kosko型BAM網(wǎng)絡(luò),學(xué)生無法理解能量函數(shù)定義的理由,因此很難理解它的基本原理及其與H op field神經(jīng)網(wǎng)絡(luò)之間的內(nèi)在聯(lián)系。

本文從結(jié)構(gòu)上說明Kosko型BAM網(wǎng)絡(luò)就是一種特殊的Hop field神經(jīng)網(wǎng)絡(luò)從Hopfield網(wǎng)絡(luò)能量函數(shù)出發(fā),直接推出它的能量函數(shù)。從而揭示了二者之間的內(nèi)在聯(lián)系,使學(xué)生在學(xué)習(xí)后理解地更為深刻。而且,不需要證明BAM網(wǎng)絡(luò)的能量在聯(lián)想過程中的遞減性。

1 BAM網(wǎng)絡(luò)的傳統(tǒng)介紹方法

設(shè)雙向聯(lián)想記憶網(wǎng)絡(luò)需存儲M對矢量,分別用(a i,b i),i=1,…,M表示,其中a i∈{-1,1}為N維列矢量,而b i∈{-1,1}P為P維列矢量。

Kosko型BAM 網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示。其中,下層的N個神經(jīng)元與矢量a相對應(yīng),而上層P個神經(jīng)元與矢量b對應(yīng)。圖中的W表示由矢量b聯(lián)想矢量a時的突觸權(quán)重矩陣,而WT為矢量a聯(lián)想矢量b時的突觸權(quán)重矩陣,它是W的轉(zhuǎn)置。W與WT是按Hebb規(guī)則學(xué)習(xí)得到的,即:

圖1 雙向聯(lián)想記憶網(wǎng)絡(luò)結(jié)構(gòu)示意圖

當由矢量b聯(lián)想矢量a時,網(wǎng)絡(luò)的演變過程為

直到a、b均為穩(wěn)定狀態(tài),演變過程結(jié)束。

定義Kosko型BAM網(wǎng)絡(luò)的能量函數(shù)為

其中 ,θ=[θ0,θ1,…θN-1] 、μ=[μ0,μ1,…,μP-1]T分別表示與矢量 a、b對應(yīng)的神經(jīng)元的閾值(偏置電流)。

接下來,再給出描述BAM網(wǎng)絡(luò)聯(lián)想過程動態(tài)特性的差分方程。以b聯(lián)想a為例,對應(yīng)a向量的神經(jīng)元的凈輸入為

則有

其中,符號函數(shù)sgn(·)為神經(jīng)元功能函數(shù)。從式(4)可見,如果聯(lián)想過程中神經(jīng)元ai的輸出發(fā)生了變化,則 Δa i=a i(t+1)-a i(t)與u i具有相同的符號。

不失一般性,假設(shè)從t時刻到t+1時刻,網(wǎng)絡(luò)由矢量b聯(lián)想矢量a,則聯(lián)想前后網(wǎng)絡(luò)的能量變化為

若聯(lián)想過程中神經(jīng)元ai的輸出保持不變,則Δa i=0;若發(fā)生變化,由前述可知Δa i與u i有相同的符號,因此ΔE ≤0。當且僅當所有神經(jīng)元輸出都不變時,ΔE=0,此時網(wǎng)絡(luò)穩(wěn)定,輸出即為聯(lián)想結(jié)果。

按照上述方法講解Kosko型BAM網(wǎng)絡(luò),學(xué)生通常問的第一個問題是如此定義能量函數(shù)的理由是什么?而第二個容易問到的問題是 BAM網(wǎng)絡(luò)與Hop field網(wǎng)絡(luò)之間有什么內(nèi)在的聯(lián)系?

2 從Hop field神經(jīng)網(wǎng)絡(luò)到BAM網(wǎng)絡(luò)

Hop field利用模擬電子線路構(gòu)造了單層反饋型人工神經(jīng)網(wǎng)絡(luò)的電路模型,并建立了電路的能量函數(shù)[1]。Hopfield網(wǎng)絡(luò)的特點是每個神經(jīng)元的輸出要反饋給除自身外的其它所有神經(jīng)元。其基本結(jié)構(gòu)示意圖如圖2所示。圖中神經(jīng)元輸入端的連接點表示各神經(jīng)元的輸出通過一個連接電導(dǎo)(突觸)反饋到神經(jīng)元的輸入端。

圖2 Hopfield網(wǎng)絡(luò)結(jié)構(gòu)示意圖

如果突觸連接滿足對稱條件,且忽略變化較小的積分項,Hopfield網(wǎng)絡(luò)的能量函數(shù)可以表示為

設(shè)L=N+P,則我們可以將L個神經(jīng)元分成兩組,分別含有N個和P個神經(jīng)元。如果組內(nèi)的任意神經(jīng)元的輸出都僅反饋到另一組神經(jīng)元的輸入端,而不反饋到本組任何神經(jīng)元(包括該神經(jīng)元本身)的輸入端,如圖3所示。顯然,按此方式組成的網(wǎng)絡(luò)仍然是一種對稱Hop field神經(jīng)網(wǎng)絡(luò)。沒有反饋意味著對應(yīng)的突觸連接系數(shù)等于零,因此該Hopfield網(wǎng)絡(luò)的突觸連接權(quán)矩陣可以表示為如下的分塊形式:

其中,ON×N表示N×N維零矩陣,而W為N×P維矩陣。

圖3 雙向聯(lián)想記憶網(wǎng)絡(luò)結(jié)構(gòu)的變形

比較圖3和圖1可以發(fā)現(xiàn),兩者的神經(jīng)元具有相同的連接形式。圖1僅給出了兩組神經(jīng)元之間的反饋方式。而與圖1相比,圖3把兩組神經(jīng)元的輸入、輸出以及反饋連接表述得更為清楚一些。

如圖3所示,我們用一組N個神經(jīng)元表示BAM的a矢量,而用另一組的 P個神經(jīng)元表示BAM 的b矢量。顯然,式(7)中的W是P個神經(jīng)元對N個神經(jīng)元的反饋連接系數(shù),它是由b聯(lián)想a的突觸權(quán)重矩陣,即W=W。與此類似,式(7)中的WT是由a聯(lián)想b的突觸權(quán)重矩陣,即WT=WT。所以

網(wǎng)絡(luò)的輸出矢量可以用BAM中定義的矢量表示為

類似地,閾值向量可表示為

因此,Kosko型BAM網(wǎng)絡(luò)是一種特殊的Hop field神經(jīng)網(wǎng)絡(luò)。

下面,我們從Hopfield網(wǎng)絡(luò)的能量函數(shù)出發(fā)推導(dǎo)Kosko型BAM網(wǎng)絡(luò)的能量函數(shù)。將式(8)～式(10)代入式(6),可得

令閾值為零,即可得齊次BAM網(wǎng)絡(luò)的能量函數(shù)為

至此,我們從對稱Hopfield網(wǎng)絡(luò)的能量函數(shù)出發(fā)推出了Kosko型雙向聯(lián)想記憶網(wǎng)絡(luò)的能量函數(shù),闡明了能量函數(shù)定義的理由。

3 需要進一步說明的問題

1)能量函數(shù)中閾值項的符號問題

將推導(dǎo)出的式(11)和BAM能量函數(shù)的定義式式(2)比較,我們發(fā)現(xiàn)兩者閾值項的符號正好相反。這是由于兩種情況下的偏置電流(即閾值)的參考方向正好相反的緣故。

從式(3)可以看出,在討論BAM 網(wǎng)絡(luò)時,神經(jīng)元的輸入是反饋信號的加權(quán)和減去偏置電流,說明此時偏置電流的參考方向是流出節(jié)點的。

Hopfield根據(jù)KCL列出了如下節(jié)點電流方程:

上式右側(cè)的后兩項說明神經(jīng)元的輸入是反饋信號的加權(quán)和加上閾值,這說明偏置電流的參考方向是流入節(jié)點的。因此,推導(dǎo)出的能量函數(shù)與BAM能量函數(shù)的定義式是一致的,二者并無矛盾。

2)網(wǎng)絡(luò)聯(lián)想時的初始化與迭代過程

我們知道,Hopfield網(wǎng)絡(luò)也可以用于自聯(lián)想記憶。基于上述理解,Kosko型BAM可以看作是對N+P維的矢量進行自聯(lián)想記憶,從而把BAM與自聯(lián)想記憶統(tǒng)一起來。下面,我們通過具體的例子說明網(wǎng)絡(luò)的初始化與迭代過程。

假設(shè)從矢量b聯(lián)想矢量a,BAM網(wǎng)絡(luò)的初始輸入記為b。在初始時刻,我們把b對應(yīng)施加于代表矢量b的神經(jīng)元的輸入端對網(wǎng)絡(luò)進行初始化,得到網(wǎng)絡(luò)零時刻的輸出為[O1×N,bT(0)]T。接下來,b(0)會反饋到矢量a神經(jīng)元的輸入端,在突觸權(quán)矩陣的作用下,這個神經(jīng)元的輸出會變?yōu)?a(1)=sgn[Wb(0)],而代表矢量b的P個神經(jīng)元的輸出不變,我們將其記為b(1)=b(0)。到此為止,所有的神經(jīng)元都有了初始輸出,初始化過程完成。因此撤除加在矢量b輸入端的b,網(wǎng)絡(luò)開始進入迭代階段。

根據(jù)Hop field網(wǎng)絡(luò)的迭代方程,可以得到下一時刻網(wǎng)絡(luò)的輸出為

根據(jù)初始化過程,在結(jié)束時有:a(1)=sgn[Wb(0)]及b(1)=b(0),因此,上式中的a(2)=a(1),即從第1時刻到第2時刻相當于由矢量a聯(lián)想矢量b,對應(yīng)矢量a的神經(jīng)元的輸出不變。同理,下一次迭代實際上是由矢量b聯(lián)想矢量a,對應(yīng)矢量b的神經(jīng)元的輸出不變,即b(3)=b(2)。

如此循環(huán)迭代,直到所有神經(jīng)元的輸出不再改變,即Hop field網(wǎng)絡(luò)達到穩(wěn)定狀態(tài)。此時輸出的矢量a和b即為由輸入b開始聯(lián)想得到的矢量對。

3)網(wǎng)絡(luò)迭代過程中能量的遞減性

前面已經(jīng)說明了Kosko型BAM網(wǎng)絡(luò)實際上是一種特殊的 Hopfield神經(jīng)網(wǎng)絡(luò)。Hop field已經(jīng)證明了,隨著時間的推移,Hop field網(wǎng)絡(luò)在狀態(tài)空間中總是朝著能量函數(shù)減小的方向運動,當網(wǎng)絡(luò)到達穩(wěn)定狀態(tài)時能量函數(shù)取極小值。這就說明BAM網(wǎng)絡(luò)的能量隨著時間的推移也是減小的,穩(wěn)定時取極小值。因此,不需要再次證明能量函數(shù)的遞減性。

4 結(jié)語

本文給出了一種Kosko型雙向聯(lián)想記憶網(wǎng)絡(luò)的講授方法。該方法揭示了Kosko型BAM網(wǎng)絡(luò)與Hop field網(wǎng)絡(luò)之間的內(nèi)在聯(lián)系,同時闡明了 BAM網(wǎng)絡(luò)能量函數(shù)定義的原因,有助于學(xué)生深入理解這兩種網(wǎng)絡(luò)。近幾年在對本校研究生的授課中采用了該方法,從學(xué)生的答疑和考試情況來看,均說明學(xué)生對BAM網(wǎng)絡(luò)有了更深入的理解。

[1] J.J.Hopfield.Neu rons with graded response have collective compu tational p roperties like those of two-state neurons[J].Proc.Natl.Acad.Sci.1984,81(5):3088-3092

[2] Bart Kosko.Adaptive bidirectional associativememories[J].Applied Optics.1987,26(23):4949-4960

[3] Bart Kosko.Bidirectional associative mem ories[J].IEEE T rans on systems,MAN and cybernetics.1988,18(1):49-59

[4] 楊行峻,鄭君里.人工神經(jīng)網(wǎng)絡(luò)[M].北京:機械工業(yè)出版社,1992

[5] 高雋.人工神經(jīng)網(wǎng)絡(luò)原理及仿真實例[M].北京:機械工業(yè)出版社,2003

[6] 韓力群.人工神經(jīng)網(wǎng)絡(luò)教程[M].北京:北京郵電大學(xué)出版社,2006

Relation between Kosko Bidirectional Associative Memories and Hop field Networks

ZHANG Jian-guo,YIN Qin-ye

(School of Electronic and In formation Eng ineer ing,X i'an Jiaotong University,X i'an 710049,Ch ina)

Kosko Bidirectional Associative Memory(BAM)network is one of the most fundamental BAM networks.When it is introduced w ith the traditional descrip tion,students usually have tw o questions,why theenergy function is given asa definition and what is the relation between Kosko BAM and Hopfield networks.In this paper it is show n at that first Kosko BAM network is just one type of Hopfield neural networks,and then the energy function of BAM is naturally acquired based on the energy function of Hopfield netw ork.Thereby the relation of themis exposed.

Hop field artificial neuralnetworks;bidirectionalassociativememories;energy function

TP183

A

1008-0686(2011)02-0098-04

2010-08-14;

2011-02-21

張建國(1971-),男,碩士,講師,主要從事信號處理方面的教學(xué)和科研工作,E-m ail:jgzhang@mail.xjtu.edu.cn

殷勤業(yè)(1950-),男,博士,教授,主要從事神經(jīng)網(wǎng)絡(luò)理論及其應(yīng)用和移動通信系統(tǒng)等方面的教學(xué)和科研工作。