劉 亮，徐蔚鴻

長(zhǎng)沙理工大學(xué) 計(jì)算機(jī)與通信工程學(xué)院，長(zhǎng)沙 410114

模糊Hopfield網(wǎng)絡(luò)的收斂性與魯棒性分析

劉 亮，徐蔚鴻

長(zhǎng)沙理工大學(xué) 計(jì)算機(jī)與通信工程學(xué)院，長(zhǎng)沙 410114

1 引言

模糊Hopfield神經(jīng)是模糊神經(jīng)網(wǎng)絡(luò)的一個(gè)基本類(lèi)別，是模糊系統(tǒng)和Hopfield神經(jīng)網(wǎng)絡(luò)的互補(bǔ)式結(jié)合。模糊神經(jīng)網(wǎng)絡(luò)的主要研究方向包括學(xué)習(xí)方法的設(shè)計(jì)、網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化、容錯(cuò)性、穩(wěn)定性及魯棒性等方面[1-6]。

近年來(lái)，眾多學(xué)者對(duì)模糊神經(jīng)網(wǎng)絡(luò)進(jìn)行了廣泛研究，如劉普寅研究了Max-min模糊Hopfield神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性與容錯(cuò)性及學(xué)習(xí)算法[7]；徐蔚鴻研究了訓(xùn)練模式對(duì)的攝動(dòng)對(duì)模糊雙向聯(lián)想記憶網(wǎng)絡(luò)的影響及其控制[8]；Mehrnoosh Davanipoor提出了一種模糊小波神經(jīng)網(wǎng)絡(luò)的加速混合學(xué)習(xí)算法[9]；翟東海等提出了一種基于模糊神經(jīng)網(wǎng)絡(luò)的非線(xiàn)性系統(tǒng)的模型辨識(shí)方法[10]等。然而很少有對(duì)帶閾值模糊神經(jīng)網(wǎng)絡(luò)情況的相關(guān)問(wèn)題進(jìn)行研究。

本次首次引入了帶閾值的Max-T模糊Hopfield網(wǎng)

T 是映射 T:[0，1]2→[0，1]，T稱(chēng)為T(mén)-模，是指其滿(mǎn)足以下4個(gè)條件：

（1）邊界性：?a∈[0，1]，aT1=a；

（2）交換律：?a，b∈[0，1]，aTb=bTa；

（3）結(jié)合律：?a，b，c∈[0，1]，aT(bTc)=(aTb)Tc；

（4）單調(diào)增：?a，b，c，d∈[0，1]，若 a≤c，b≤d ，則aTb≤cTd。

“?”是常規(guī)模糊關(guān)系合成運(yùn)算，“?T”是∨-T型模絡(luò)模型，即將 n 個(gè)神經(jīng)元1，2，…，n 互聯(lián)，wij∈[0，1]表示神經(jīng)元i至 j的連接權(quán)值，在每個(gè)神經(jīng)元i處的閾值為ci。當(dāng)輸入模式運(yùn)行此網(wǎng)絡(luò)后，X(0)=(x1(0)，x2(0)，…，xn(0))∈[0，1]n網(wǎng)絡(luò)按下式演化：糊關(guān)系合成運(yùn)算，W=(wij)n×n是[0，1]上的階連接權(quán)矩陣，wij為第i個(gè)和第 j個(gè)神經(jīng)元之間的連接權(quán)。

2 相關(guān)概念及引理

定義2.6[8]當(dāng)模式對(duì)(A，B)發(fā)生攝動(dòng)后被變?yōu)?A+ΔA，B)，且 H(A+ΔA，B)≤γ時(shí)，稱(chēng)該模式對(duì)發(fā)生了最大前件γ攝動(dòng)。當(dāng)模式對(duì)(A,B)被變?yōu)?A,B+ΔB)，且H(A，B+ΔB)≤γ時(shí)，稱(chēng)模式對(duì)發(fā)生了后件最大γ攝動(dòng)；當(dāng)模式 (A,B)被變?yōu)?(A+ΔA,B+ΔB)且 H(A+ΔA，A)∨H(B+ΔB，B)≤γ時(shí)，稱(chēng)該模式對(duì)發(fā)生了最大γ攝動(dòng)。

由于Hopfield網(wǎng)絡(luò)的本身特點(diǎn)，它的訓(xùn)練模式不是成對(duì)出現(xiàn)的，因此它的訓(xùn)練模式的攝動(dòng)可以這樣定義：

定義2.7[12]當(dāng)神經(jīng)網(wǎng)絡(luò)模型為模糊Hopfield網(wǎng)絡(luò)時(shí)，若模式 (A)攝動(dòng)后變?yōu)?(A+ΔA)，且 H(A+ΔA，A)≤γ時(shí)，稱(chēng)該模式發(fā)生了最大γ攝動(dòng)。

定義2.8若對(duì)一切輸入 X∈[0，1]n，由式（1）定義的Max-T-C FHNN能經(jīng)過(guò)有限步迭代進(jìn)入平衡點(diǎn)，則稱(chēng)網(wǎng)絡(luò)具有良好的收斂性。

定義2.9假設(shè)Max-T-C模糊Hopfield神經(jīng)網(wǎng)絡(luò)采用學(xué)習(xí)算法 f，如果存在常數(shù)h＞0，對(duì)任意訓(xùn)練模式集，set={Ak|k=1，2，…，p}和 γk＞0，k=1，2，…，p，當(dāng)各模式(Ak)發(fā)生任意最大γ攝動(dòng)致使set變成新訓(xùn)練模式集合new_set，若對(duì)一切輸入 X∈[0，1]n，基于原訓(xùn)練模式集該Max-T-C FHNN產(chǎn)生的輸出 ft(X，set)∈{[0，1]m|t∈T}，和基于攝動(dòng)后的訓(xùn)練模式集Max-T-C FHNN產(chǎn)生的輸出 ft(X，new_set)∈{[0，1]m|t∈T}總滿(mǎn)足 H(ft(X，set)，稱(chēng)采用學(xué)習(xí)算法 f的該Max-T-C FHNN對(duì)訓(xùn)練模式集全局擁有好的魯棒性（即Max-T-C FHNN不放大訓(xùn)練模式集的最大攝動(dòng)幅度）。其中 p代表任意模式數(shù)目。

引理2.1數(shù)學(xué)分析中Lipschitz條件是指：設(shè)g(a，b)是一個(gè)二元函數(shù)，D為定義域，若存在常數(shù)h＞0使得?X1=(a1，b1)，?X2=(a2，b2)∈D ，不等式 |g(X1)-g(X2)|≤h||X1-X2||則稱(chēng) g(a，b)在D上滿(mǎn)足Lipschitz條件（其中||·||是范數(shù)，它提示了函數(shù)值的變化與自變量的變化之間的一種關(guān)系）。

顯然若a,b,c,d在其定義域D上滿(mǎn)足|θ(a,b)-θ(c,d)|≤h(|a-c|∨|b-d|)成立，那么θ(a，b)在 D上滿(mǎn)足系數(shù)為h的Lipschitz條件。

3 Max-T-C模糊Hopfield網(wǎng)絡(luò)的收斂性及魯棒性分析

文獻(xiàn)[13]中提出了一種Max-T模糊Hopfield神經(jīng)網(wǎng)絡(luò)的通用的最大權(quán)值矩陣學(xué)習(xí)算法。

設(shè) B={Bk|k∈K，Bk∈[0，1]n}是 Max-T FHNN 的穩(wěn)定態(tài)集，通用的最大權(quán)值矩陣學(xué)習(xí)算法步驟為：

第一步：對(duì)第k個(gè)模式Bk，計(jì)算臨時(shí)連接權(quán)矩陣；

第二步：用模糊交運(yùn)算整合以上臨時(shí)矩陣，得到最終權(quán)值矩陣；

性質(zhì)1 設(shè) set={Bk|k∈K，Bk∈[0，1]n}是模式集，則根據(jù)此學(xué)習(xí)算法所確定的連接權(quán)值學(xué)習(xí)矩陣W滿(mǎn)足：

性質(zhì)2 任意 set={Bk|k∈K，Bk∈[0，1]n}都可以成為Max-T-C FHNN網(wǎng)絡(luò)的平衡點(diǎn)集合。

定理3.1采用最大權(quán)值矩陣學(xué)習(xí)算法時(shí)，Max-T-C FHNN系統(tǒng)具有良好的收斂性。

設(shè)采用最大權(quán)值矩陣學(xué)習(xí)算法訓(xùn)練網(wǎng)絡(luò)所得的權(quán)值矩陣為W ，C為閾值向量，A為初始狀態(tài)，系統(tǒng)在迭代一步后得到D，系統(tǒng)在迭代二步以后得到B。

顯然系統(tǒng)在迭代一步之后便進(jìn)入了平衡狀態(tài)，所以Max-T-C FHNN具有良好的收斂性。

定理3.2采用最大權(quán)值學(xué)習(xí)算法時(shí)當(dāng)T模及其蘊(yùn)含算子R滿(mǎn)足Lipschitz條件時(shí)，Max-T-C FHNN對(duì)訓(xùn)練模式集攝動(dòng)全局擁有好的魯棒性。

證明由于T模及其蘊(yùn)含算子R滿(mǎn)足Lipschitz條件，故有：

4 實(shí)驗(yàn)

以下給出了基于最大權(quán)值矩陣學(xué)習(xí)算法訓(xùn)練Max-T-C模糊Hopfield神經(jīng)網(wǎng)絡(luò)進(jìn)行自聯(lián)想實(shí)驗(yàn)，驗(yàn)證該模型的收斂性及分析采用最大權(quán)值矩陣學(xué)習(xí)算法時(shí)，訓(xùn)練模式集的攝動(dòng)對(duì)網(wǎng)絡(luò)的影響。實(shí)驗(yàn)采用大小為256×256的灰度圖像，選用直積(П)T-模，顯然此模滿(mǎn)足Lipschitz條件，其運(yùn)算為T(mén)П(a，b)=ab，相應(yīng)的模糊蘊(yùn)涵算子根據(jù)定義有 aRПb=1，a≤b；aRПb=b/a，a＞b。

實(shí)驗(yàn)步驟：

（1）取標(biāo)準(zhǔn)庫(kù)灰度圖像 Lena（見(jiàn)圖 1（a）），大小為256×256作為攝動(dòng)前訓(xùn)練模式集。把每h個(gè)像素的灰度值在歸一化處理后構(gòu)成n個(gè)訓(xùn)練模式，n=256/h×256?；谶@些模式訓(xùn)練網(wǎng)絡(luò)得到FHNN1。

圖1 訓(xùn)練、輸入圖像

（2）將圖1（a）的某些像素點(diǎn)減去一個(gè)微小量，且在頂部及底部增加一條比較小的黑色線(xiàn)條，得到攝動(dòng)后的圖像（見(jiàn)圖1（b））。同樣作為訓(xùn)練模式集，訓(xùn)練網(wǎng)絡(luò)得到FHNN2。

（3）取一幅不同于圖1（a）與圖1（b）的新圖像（見(jiàn)圖1（c）），將其分割成n個(gè)子圖像，并分別作為FHNN1的輸入，得到n個(gè)輸出，將其構(gòu)成圖2（a），并記錄總的迭代次數(shù) I1；同樣將圖1（b）分割后作為Max-T-C FHNN2的輸入圖像，分別得到n個(gè)輸出，將其構(gòu)成圖2（b），記錄總的迭代次數(shù)I2。

（4）圖3（a）為兩個(gè)訓(xùn)練模式集圖像的差異，圖3（b）為兩個(gè)輸出結(jié)果的差異，越黑的點(diǎn)表示在相應(yīng)點(diǎn)處的灰度值差異越小，此處取h=128。

圖2 輸出圖像

圖3 比較圖像

實(shí)驗(yàn)采用了相同的網(wǎng)絡(luò)模型、相同的學(xué)習(xí)方法以及相同的輸入，只有訓(xùn)練模式集存在小幅的差異。由實(shí)驗(yàn)結(jié)果可知，F(xiàn)HNN1與FHNN2的迭代次數(shù)均為512，時(shí)間復(fù)雜度亦均為O(n)，驗(yàn)證了所提出的網(wǎng)絡(luò)模型具有良好的收斂性。根據(jù)圖3可知，訓(xùn)練模式集的攝動(dòng)引起了模型的輸出差異，同時(shí)輸出差異小于訓(xùn)練模式集的攝動(dòng)差異，驗(yàn)證了該網(wǎng)絡(luò)模型對(duì)訓(xùn)練模式的攝動(dòng)具有全局不放大性質(zhì)。

5 結(jié)論與展望

不確定性知識(shí)環(huán)境下獲取的模式容易出現(xiàn)小幅誤差。訓(xùn)練模式的攝動(dòng)和輸入模式的攝動(dòng)將引起模糊神經(jīng)網(wǎng)絡(luò)的輸出攝動(dòng)甚至大幅變化，從而對(duì)網(wǎng)絡(luò)多種性能和實(shí)用性可能產(chǎn)生嚴(yán)重副作用。嚴(yán)格證明了Max-T-C FHNN模型具有良好的收斂性及訓(xùn)練模式攝動(dòng)全局不放大性質(zhì)，對(duì)不確定知識(shí)環(huán)境下獲取模式具有重要指導(dǎo)意義。

同時(shí)，在Max-T-C FHNN聯(lián)想過(guò)程中，特別是在輸入模式存在誤差或畸變的條件下，分析模型能否聯(lián)想出正確的模式是接下來(lái)值得研究的非常有意義的課題。

[1]Pizzileo B，Li Kang.Improved structure optimization for fuzzy-neural networks[J].IEEE Transactions on Fuzzy Systems，2012，20（6）：1076-1089.

[2]Zhang Huaguang，Liu Jinhai.Data-core-based fuzzy Min-Max neural network for pattern classification[J].IEEE Transactions on Neural Networks，2011，22（12）：2339-2352.

[3]Li Hongyi，Chen Bing，Zhou Qi.Robust stability for uncertain delayed fuzzy Hopfield neural networks with Markovian jumping parameters[J].IEEE Transactions on Systems Man and Cybernetics，2009，39（1）：94-102.

[4]張義榮，劉普寅，鮮明，等.基于一類(lèi)T-模的模糊Hopfield網(wǎng)絡(luò)的穩(wěn)定性分析[J].電子學(xué)報(bào)，2002，30（1）：30-33.

[5]徐蔚鴻，陳國(guó)平，楊靜宇，等.規(guī)則攝動(dòng)時(shí)模糊蘊(yùn)涵算子對(duì)模糊推理的魯棒性的影響[J].計(jì)算機(jī)學(xué)報(bào)，2005，28（10）：1700-1707.

[6]舒桂清，肖平.模糊聯(lián)想記憶網(wǎng)絡(luò)的增強(qiáng)學(xué)習(xí)算法[J].電子學(xué)報(bào)，2003，8（1）：84-89.

[7]Liu Puyin.Max-min fuzzy Hopfield neural networks and an efficient learning algorithm[J].Fuzzy Sets and Systems，2000，112（20）：41-49.

[8]徐蔚鴻，宋鸞姣，李?lèi)?ài)華.訓(xùn)練模式對(duì)的攝動(dòng)對(duì)模糊雙向聯(lián)想記憶網(wǎng)絡(luò)的影響和控制[J].計(jì)算機(jī)學(xué)報(bào)，2006，29（2）：337-344.

[9]Davanipoor M，Zekri M，Sheikholeslam F.Fuzzy wavelet neural network with an accelerated hybrid learning algorithm[J].IEEE Transactions on Fuzzy Systems，2012，20（3）：463-469.

[10]翟東海，李力，靳蕃，等.一種基于模糊神經(jīng)網(wǎng)絡(luò)的非線(xiàn)性系統(tǒng)模型的辨識(shí)[J].計(jì)算機(jī)學(xué)報(bào)，2004，27（4）：561-565.

[11]張義榮，劉普寅.離散Hopfield神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性研究[J].電子學(xué)報(bào)，2002，30（1）：30-33.

[12]宋丹.一類(lèi)模糊Hopfield神經(jīng)網(wǎng)絡(luò)的攝動(dòng)性質(zhì)及其應(yīng)用[D].長(zhǎng)沙：長(zhǎng)沙理工大學(xué)，2007.

[13]曾水玲，楊靜宇，徐蔚鴻.一種模糊Hopfield網(wǎng)絡(luò)的學(xué)習(xí)算法及性質(zhì)[J].計(jì)算機(jī)科學(xué)，2010，37（12）：206-208.

[14]Repley B D.模式識(shí)別與神經(jīng)網(wǎng)絡(luò)[M].北京：人民郵電出版社，2009.

[15]王士同.神經(jīng)模糊系統(tǒng)及其應(yīng)用[M].北京：北京航空航天大學(xué)出版社，1998.

LIU Liang,XU Weihong

College of Computer&Communication Engineering,Changsha University of Science and Technology,Changsha 410114,China

Convergence and robustness are two important properties of fuzyy neural network.This paper analyses the convergence and robustness of Max-T fuzzy Hopfield neural network with threshold（called Max-T-C FHNN）in the condition of perturbations of training patterns,which is proved theoretically.It is discovered that Max-T-C FHNN using maximum weight matrix is of excellent convergence.Max-T-C FHNN holds good robustness globally to perturbations of training patterns in the case that T-norms and its implication operator satisfy the Lipschitz condition.The self-association experiment is given to testify the theoretical results.

threshold;fuzzy neural network;Max-T fuzzy Hopfield neural network;convergence;robustness

收斂性與魯棒性是模糊神經(jīng)網(wǎng)絡(luò)的兩個(gè)重要性質(zhì)。對(duì)帶閾值的Max-T模糊Hopfield神經(jīng)網(wǎng)絡(luò)（記為Max-T-C FHNN）的收斂性及在訓(xùn)練模式小幅攝動(dòng)情況下的魯棒性進(jìn)行了分析，從理論上給出了嚴(yán)格的證明。發(fā)現(xiàn)了采用最大權(quán)值矩陣學(xué)習(xí)算法時(shí)，Max-T-C FHNN具有良好的收斂性，同時(shí)當(dāng)T模及其蘊(yùn)含算子滿(mǎn)足Lipschitz條件時(shí)，Max-T-C FHNN對(duì)訓(xùn)練模式攝動(dòng)全局擁有好的魯棒性，用自聯(lián)想實(shí)驗(yàn)驗(yàn)證了理論的有效性。

閾值；模糊神經(jīng)網(wǎng)絡(luò)；Max-T模糊Hopfield神經(jīng)網(wǎng)絡(luò)；收斂性；魯棒性

A

TP18

10.3778/j.issn.1002-8331.1212-0246

LIU Liang,XU Weihong.Convergence and robustness analysis of fuzzy Hopfield neural network.Computer Engineering and Applications,2014,50（23）：73-76.

教育部重點(diǎn)科研項(xiàng)目（No.208098）；湖南省科技計(jì)劃項(xiàng)目（No.2012FJ30052）。

劉亮（1987—），男，碩士研究生，主要研究方向：計(jì)算智能、模式識(shí)別；徐蔚鴻（1963—），男，博士，教授，主要研究方向：智能系統(tǒng)、模式識(shí)別、軟件工程。E-mail：figolNew@163.com

2012-12-20

2013-02-21

1002-8331（2014）23-0073-04

CNKI網(wǎng)絡(luò)優(yōu)先出版：2013-03-21，http://www.cnki.net/kcms/detail/11.2127.TP.20130321.0939.002.html