連 捷， 張 凱

（大連理工大學(xué) 電子信息與電氣工程學(xué)部，遼寧 大連 116024）

0 引 言

混雜系統(tǒng)由于其在實(shí)際工程中的廣泛應(yīng)用而得到深入研究.切換系統(tǒng)作為一類特殊的混雜動態(tài)系統(tǒng)，由一組連續(xù)（或離散）時間子系統(tǒng)和一條決定子系統(tǒng)之間如何切換的切換規(guī)則組成，整個切換系統(tǒng)的運(yùn)行情況受控于這條切換規(guī)則.對于切換系統(tǒng)的研究近些年已經(jīng)出現(xiàn)了大量的成果[1～3]，包括穩(wěn)定性、能控性、能觀測性、控制器綜合等.

神經(jīng)網(wǎng)絡(luò)由于其特有的結(jié)構(gòu)與特點(diǎn)，早已成為很多學(xué)者重點(diǎn)研究的方向.又由于集成神經(jīng)網(wǎng)絡(luò)和切換神經(jīng)網(wǎng)絡(luò)的出現(xiàn)，神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了嶄新的階段.1990年Hansen等[4]開創(chuàng)性地提出了神經(jīng)網(wǎng)絡(luò)集成方法，并證明通過簡單地結(jié)合神經(jīng)網(wǎng)絡(luò)模型就可以顯著地提高模型泛化能力.近年來集成神經(jīng)網(wǎng)絡(luò)模型被廣泛應(yīng)用于各個領(lǐng)域，許多學(xué)者也根據(jù)不同的應(yīng)用情況，針對集成網(wǎng)絡(luò)模型的逼近精度和泛化性能進(jìn)行改進(jìn)[5～10].在文獻(xiàn)[11]中作者對多種集成神經(jīng)網(wǎng)絡(luò)做出了評價和比較.提出對神經(jīng)網(wǎng)絡(luò)集成實(shí)現(xiàn)方法的研究主要集中在兩個方面，即怎樣將多個神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果進(jìn)行結(jié)合以及如何生成集成中的個體網(wǎng)絡(luò).2005年Huang等[12]首次將切換的思想引入神經(jīng)網(wǎng)絡(luò)模型中，提出了切換Hopfield網(wǎng)絡(luò)模型，并給出了網(wǎng)絡(luò)在任意切換下穩(wěn)定的條件.此后，一些學(xué)者將此設(shè)計(jì)思想應(yīng)用于其他網(wǎng)絡(luò)[13、14]，也對其切換穩(wěn)定性進(jìn)行了分析證明.

本文主要工作是將切換思想與前向神經(jīng)網(wǎng)絡(luò)結(jié)合，構(gòu)造切換神經(jīng)網(wǎng)絡(luò)模型；利用模糊C均值（FCM）聚類方法和赤池信息準(zhǔn)則（AIC）將訓(xùn)練數(shù)據(jù)分類并為模型建立切換規(guī)則.

1 切換神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

基于AIC方法的切換神經(jīng)網(wǎng)絡(luò)模型（AICSNN）如圖1所示，它由多個神經(jīng)網(wǎng)絡(luò)和一條切換規(guī)則構(gòu)成.各個子網(wǎng)絡(luò)訓(xùn)練結(jié)束后，制定相應(yīng)的切換規(guī)則，此后模型的運(yùn)行方式由切換規(guī)則決定.

圖1 切換神經(jīng)網(wǎng)絡(luò)模型Fig.1 The model of switched neural networks

在對每個神經(jīng)網(wǎng)絡(luò)訓(xùn)練之前要對訓(xùn)練數(shù)據(jù)進(jìn)行聚類處理.在一些設(shè)計(jì)中，通常會選擇K均值聚類，聚類后再利用每一類的數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò).K均值聚類是將數(shù)據(jù)硬性劃分到某一類中，使用這種分類方法的缺點(diǎn)是在結(jié)束訓(xùn)練后，網(wǎng)絡(luò)在每類數(shù)據(jù)邊緣處的輸出達(dá)不到很高的逼近精度.盡管各個網(wǎng)絡(luò)加權(quán)求和輸出有可能減小誤差，但是在邊界處過大的誤差也會使權(quán)值的確定出現(xiàn)偏差.本文使用FCM聚類方法對輸入數(shù)據(jù)進(jìn)行聚類.FCM聚類方法是將數(shù)據(jù)劃分為n類，每個數(shù)據(jù)點(diǎn)用0～1的數(shù)表示屬于各個類的程度.與引入模糊劃分相適應(yīng)，隸屬度矩陣U中的元素取值范圍為（0，1），并且各數(shù)據(jù)集的隸屬度的和等于1.

式中：n為類別數(shù)；c為分類樣本數(shù)；uij表示第i個樣本屬于第j類的隸屬度.通過確定歸為某一類的隸屬度就可以將數(shù)據(jù)進(jìn)行分類，各類之間可以有重疊，所以利用FCM聚類方法對樣本數(shù)據(jù)分類可以解決K均值聚類導(dǎo)致邊緣精度下降的問題，而且FCM聚類方法還可以增加每類訓(xùn)練數(shù)據(jù)的個數(shù)，提高網(wǎng)絡(luò)訓(xùn)練精度.

2 切換規(guī)則設(shè)計(jì)

本文根據(jù)隸屬度與切換網(wǎng)絡(luò)訓(xùn)練誤差的關(guān)系設(shè)計(jì)切換規(guī)則.

2.1 隸屬度與網(wǎng)絡(luò)訓(xùn)練誤差的關(guān)系

在訓(xùn)練數(shù)據(jù)分類時首先要確定數(shù)據(jù)點(diǎn)歸為某一類的隸屬度，以作為數(shù)據(jù)分類的標(biāo)準(zhǔn)，即當(dāng)數(shù)據(jù)對于某一類的隸屬度大于時，則將數(shù)據(jù)歸為此類.假設(shè)類別數(shù)為n，則一定要小于1/n，以保證所有數(shù)據(jù)都能分到每一類中.分類結(jié)束后，分別使用每一類數(shù)據(jù)對相應(yīng)的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練.為了更好地設(shè)計(jì)切換規(guī)則，下面將分析隸屬度與切換網(wǎng)絡(luò)訓(xùn)練誤差的關(guān)系.

為了說明方便，將FCM聚類用圖2直觀地表示.圖中A統(tǒng)一表示非重疊部分，B統(tǒng)一表示重疊部分（圖2中只標(biāo)出了兩兩重疊部分）.每一類數(shù)據(jù)訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)，比較子網(wǎng)絡(luò)在不同區(qū)域的逼近精度.利用函數(shù)

作為測試函數(shù)，將A1中的訓(xùn)練數(shù)據(jù)輸入其他子網(wǎng)絡(luò)，發(fā)現(xiàn)輸出誤差遠(yuǎn)大于A1訓(xùn)練數(shù)據(jù)對應(yīng)的子網(wǎng)絡(luò)誤差.這一點(diǎn)也說明不同網(wǎng)絡(luò)通過不同區(qū)域數(shù)據(jù)訓(xùn)練后，網(wǎng)絡(luò)性能也會在不同區(qū)域有著明顯的差別.因此在非重疊區(qū)域可以用隸屬度確定需要運(yùn)行的子網(wǎng)絡(luò).

圖2 FCM聚類示意圖Fig.2 FCM clustering diagram

Bi（i＝1，2，3）區(qū)域?yàn)橹丿B區(qū)域，選擇某一 Bi區(qū)域進(jìn)行仿真，分析隸屬度與訓(xùn)練誤差的關(guān)系.圖3為隸屬度與誤差的曲線圖，x為Bi區(qū)域數(shù)據(jù)，e1（x）、e2（x）分別為x利用子網(wǎng)絡(luò)1和2測試時產(chǎn)生的誤差，u1（x）、u2（x）分別為x屬于分類組1和2的隸屬度，為了方便表示，將隸屬度的值除以40.從圖中可以看出重疊區(qū)域誤差與隸屬度沒有固定的關(guān)系，說明在此區(qū)域子網(wǎng)絡(luò)是否被激活不能由隸屬度確定.因此在重疊區(qū)域本文選擇應(yīng)用網(wǎng)絡(luò)加權(quán)求和輸出的形式對目標(biāo)函數(shù)進(jìn)行逼近.

圖3 隸屬度與誤差曲線Fig.3 The curves of membership and error

2.2 隱層節(jié)點(diǎn)和輸出權(quán)值確定

AIC方法由Akaike提出，是從一類競爭模型中確定一個最佳模型的信息標(biāo)準(zhǔn)，它可以改善由網(wǎng)絡(luò)復(fù)雜導(dǎo)致的過擬合現(xiàn)象.本文使用AIC方法[12]確定隱層節(jié)點(diǎn)數(shù)，并在重疊區(qū)域通過AIC的值確定子網(wǎng)絡(luò)的輸出權(quán)值，以提高重疊區(qū)域網(wǎng)絡(luò)逼近精度.

單一網(wǎng)絡(luò)的性能與隱層節(jié)點(diǎn)的數(shù)目有很大的聯(lián)系，過少的隱層節(jié)點(diǎn)會使網(wǎng)絡(luò)逼近精度達(dá)不到要求，過多的隱層節(jié)點(diǎn)又會導(dǎo)致過擬合.所以選擇合適的隱層節(jié)點(diǎn)數(shù)有助于改善網(wǎng)絡(luò)的性能.在確定隱層節(jié)點(diǎn)數(shù)時需要同時考慮測試數(shù)據(jù)均方誤差和AIC值，相對較小的測試數(shù)據(jù)均方誤差值和AIC值對應(yīng)的隱層節(jié)點(diǎn)數(shù)即為所選.

AIC值可通過下式計(jì)算：

其中Ni為神經(jīng)網(wǎng)絡(luò)輸入節(jié)點(diǎn)個數(shù)，Nh為隱層節(jié)點(diǎn)個數(shù)，No為輸出節(jié)點(diǎn)個數(shù)，NiNh＋NhNo即為所有權(quán)值個數(shù)，Nh＋No即為所有閾值個數(shù).

利用AIC方法確定重疊區(qū)域子網(wǎng)絡(luò)的輸出權(quán)值.用分類后的數(shù)據(jù)計(jì)算出每一類的AIC值，用Δj表示各子網(wǎng)絡(luò)與最優(yōu)網(wǎng)絡(luò)AIC值之間的差異，Δj＝AICj－minAIC，minAIC表示所有網(wǎng)絡(luò)計(jì)算AIC值中最優(yōu)的.定義

其中β值用來決定Δm的范圍，小的β值表示每個Δm差別不大，大的β值表示每個Δm有較大差別，這里β值由下式確定：

Divi＝為第i個網(wǎng)絡(luò)的輸出值為網(wǎng)絡(luò)輸出的平均值.由以上這些計(jì)算結(jié)果確定權(quán)值為

其中wi為第i個神經(jīng)網(wǎng)絡(luò)輸出的權(quán)值.

2.3 設(shè)計(jì)切換規(guī)則

根據(jù)上面的分析，設(shè)計(jì)相應(yīng)的切換規(guī)則，盡量使每個子網(wǎng)絡(luò)在最優(yōu)的區(qū)域工作.

假設(shè)訓(xùn)練數(shù)據(jù)被分為n類，聚類中心為C＝（c1c2…cn），ci為第i類聚類中心.有m組測試數(shù)據(jù)X＝（x1x2…xm），按照下式計(jì)算測試數(shù)據(jù)與每一類的隸屬度：

其中vij表示第i個測試數(shù)據(jù)與第j個聚類中心的隸屬度.

切換網(wǎng)絡(luò)的輸出為

式中：σ（xi）＝ ｛j｜vij＞，j＝1，2，…，n｝，為當(dāng)輸入數(shù)據(jù)為xi時的切換規(guī)則；σz∈σ（xi）表示σz為σ（xi）集合中的元素；fσz（xi）為被激活子網(wǎng)絡(luò)輸出；wσz為激活網(wǎng)絡(luò)對應(yīng)權(quán)值，通過AIC方法確定，且

從切換規(guī)則的形式可以看出，不同的輸入數(shù)據(jù)經(jīng)過切換規(guī)則后會激活不同的子網(wǎng)絡(luò)，同時會計(jì)算出激活網(wǎng)絡(luò)對應(yīng)的輸出權(quán)值.當(dāng)輸入數(shù)據(jù)在非重疊區(qū)域時，σ（xi）中僅有一個元素，表示此時僅有一個網(wǎng)絡(luò)被激活，相應(yīng)的輸出權(quán)值wσz＝1.當(dāng)輸入數(shù)據(jù)在重疊區(qū)域時，σ（xi）中會有多個元素，表示有多個子網(wǎng)絡(luò)被激活，切換規(guī)則會根據(jù)此時激活的子網(wǎng)絡(luò)計(jì)算出對應(yīng)的輸出權(quán)值，切換網(wǎng)絡(luò)輸出Y由σ（xi）中所有元素對應(yīng)的子網(wǎng)絡(luò)輸出加權(quán)求和得到.

3 切換神經(jīng)網(wǎng)絡(luò)仿真

仿真1 選擇Matlab中的peak函數(shù)進(jìn)行仿真測試，peak函數(shù)形式為

在peak函數(shù)中加入均值為0、方差為0.05的噪聲，選擇121組數(shù)據(jù)（x1，x2）作為訓(xùn)練數(shù)據(jù)，其中x1，x2∈[－3，3].另外生成100組數(shù)據(jù)（x1，x2）作為測試數(shù)據(jù)用來測試網(wǎng)絡(luò)性能.采用FCM方法將訓(xùn)練數(shù)據(jù)分為4類，對每一部分建立子網(wǎng)絡(luò)模型，選擇網(wǎng)絡(luò)模型為BP網(wǎng)絡(luò)，利用AIC方法選擇隱層節(jié)點(diǎn)數(shù)為15.每個子網(wǎng)絡(luò)訓(xùn)練30次.網(wǎng)絡(luò)訓(xùn)練完成后，根據(jù)訓(xùn)練數(shù)據(jù)隸屬度按照AIC方法生成切換規(guī)則，最后利用測試數(shù)據(jù)對網(wǎng)絡(luò)進(jìn)行測試.

將基于AIC方法的切換神經(jīng)網(wǎng)絡(luò)模型（AICSNN）與單一網(wǎng)絡(luò)模型和基于AIC方法的集成神經(jīng)網(wǎng)絡(luò)模型（AIC－ENN）進(jìn)行比較，表1列出了各模型均方誤差（MSE）在最小值、平均值和標(biāo)準(zhǔn)差三方面的比較結(jié)果，表中數(shù)據(jù)為進(jìn)行20次仿真后的計(jì)算結(jié)果.圖4給出了測試數(shù)據(jù)經(jīng)過AIC－SNN模型仿真后與期望值的比較結(jié)果（yp為期望值，ya為實(shí)際值）.

表1 模型比較結(jié)果（仿真1）Tab.1 The comparison result of different models（Simulation 1）

圖4 AIC－SNN對于測試數(shù)據(jù)的仿真結(jié)果（仿真1）Fig.4 The simulation results of AIC－SNN for the test data（Simulation 1）

從表1可以看出基于AIC方法的集成神經(jīng)網(wǎng)絡(luò)模型在逼近準(zhǔn)確性方面要比其他兩種模型效果好.圖4中數(shù)據(jù)點(diǎn)都在傾斜角為45°的直線附近分布，這也說明了測試數(shù)據(jù)經(jīng)過AIC－SNN模型仿真后，實(shí)際值較好地逼近了期望值.

仿真2 選擇Friedman＃1數(shù)據(jù)集作為仿真對象，數(shù)據(jù)集根據(jù)下式產(chǎn)生：

每個輸入向量含有5個分量，其中xi（i＝1，2，…，5）是0～1的隨機(jī)數(shù)，選取200組數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，在訓(xùn)練數(shù)據(jù)中加入均值為0、方差為1的高斯噪聲.選取不含噪聲的200個數(shù)據(jù)用來測試網(wǎng)絡(luò)性能.采用FCM方法將訓(xùn)練數(shù)據(jù)分為4類，對于每一部分建立子網(wǎng)絡(luò)模型，利用AIC方法選擇隱層節(jié)點(diǎn)數(shù)，子網(wǎng)絡(luò)選用隱層節(jié)點(diǎn)為10的BP網(wǎng)絡(luò)，每個子網(wǎng)絡(luò)訓(xùn)練30次.網(wǎng)絡(luò)訓(xùn)練完成后，根據(jù)訓(xùn)練數(shù)據(jù)隸屬度按照AIC方法生成切換規(guī)則，最后利用測試數(shù)據(jù)對網(wǎng)絡(luò)進(jìn)行測試.

表2給出了各模型均方誤差的比較結(jié)果，表中的數(shù)據(jù)為進(jìn)行20次仿真后的平均值.圖5給出了測試數(shù)據(jù)經(jīng)過AIC－SNN模型仿真后與期望值的比較結(jié)果.

表2 模型比較結(jié)果（仿真2）Tab.2 The comparison result of different models（Simulation 2）

從表2可以看出，AIC－SNN模型無論在訓(xùn)練數(shù)據(jù)準(zhǔn)確性還是測試數(shù)據(jù)準(zhǔn)確性方面都比AICENN模型效果好.圖5中數(shù)據(jù)點(diǎn)的分布情況也說明了測試數(shù)據(jù)經(jīng)過AIC－SNN模型仿真后，實(shí)際值較好地逼近了期望值.

圖5 AIC－SNN對于測試數(shù)據(jù)的仿真結(jié)果（仿真2）Fig.5 The simulation results of AIC－SNN for the test data（Simulation 2）

仿真3 利用UCI數(shù)據(jù)集中的Servo數(shù)據(jù)進(jìn)行仿真.該數(shù)據(jù)有167組，每組數(shù)據(jù)有4個類別屬性.利用130組數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，37組數(shù)據(jù)作為測試數(shù)據(jù).利用AIC方法選擇隱層節(jié)點(diǎn)數(shù)為15的BP網(wǎng)絡(luò)，每個子網(wǎng)絡(luò)訓(xùn)練30次.網(wǎng)絡(luò)訓(xùn)練完成后，根據(jù)訓(xùn)練數(shù)據(jù)隸屬度按照AIC方法生成切換規(guī)則，最后利用測試數(shù)據(jù)對網(wǎng)絡(luò)進(jìn)行測試.

表3為各模型均方誤差的比較結(jié)果，表中的數(shù)據(jù)為進(jìn)行20次仿真后的平均值.圖6給出了測試數(shù)據(jù)經(jīng)過AIC－SNN模型仿真后與期望值的比較結(jié)果.

從表3可以看出，AIC－SNN訓(xùn)練數(shù)據(jù)均方誤差在三方面比較中都優(yōu)于前兩個模型，測試數(shù)據(jù)均方誤差除了最小值稍高于AIC－ENN模型外，平均值和標(biāo)準(zhǔn)差都要優(yōu)于前兩個模型，說明AICSNN模型有較好的逼近精度，較前兩個模型還是有一定的改善.從圖6也可以看出實(shí)際值較好地逼近了期望值.

表3 模型比較結(jié)果（仿真3）Tab.3 The comparison result of different models（Simulation 3）

圖6 AIC－SNN對于測試數(shù)據(jù)的仿真結(jié)果（仿真3）Fig.6 The simulation results of AIC－SNN for the test data（Simulation 3）

4 結(jié) 論

本文構(gòu)建了切換神經(jīng)網(wǎng)絡(luò)模型，利用FCM聚類方法和AIC方法為模型建立了切換規(guī)則.將數(shù)據(jù)分區(qū)域考慮，盡量應(yīng)用子神經(jīng)網(wǎng)絡(luò)訓(xùn)練效果好的區(qū)域，增強(qiáng)了網(wǎng)絡(luò)的逼近能力.由于切換規(guī)則的使用，更好地利用了各個子網(wǎng)絡(luò)在特定區(qū)域具有較高逼近精度的特點(diǎn)，降低了模型工作復(fù)雜度，也改善了由于某些網(wǎng)絡(luò)訓(xùn)練效果不佳帶來的輸出偏差.仿真結(jié)果表明，基于AIC的切換神經(jīng)網(wǎng)絡(luò)模型不僅能降低訓(xùn)練數(shù)據(jù)的誤差，而且能較好地降低測試誤差，使網(wǎng)絡(luò)有較好的逼近性能.但是，網(wǎng)絡(luò)中還有一些需要人為設(shè)定的參數(shù)，比如分類隸屬度和分類數(shù)目，所以還需進(jìn)一步完善和深入研究.

[1] ZHAO Jun，HILL D J.On stability，and L2－gain andH∞control for switched systems[J].Automatica，2008，44（5）：1220－1232

[2] LIAN Jie，ZHAO Jun.Output feedback variable structure control for a class of uncertain switched systems[J].Asian Journal of Control，2009，11（1）：31－39

[3] 付主木，費(fèi)樹岷，龍 飛.一類線性切換系統(tǒng)H∞狀態(tài)反饋控制：LM I方法[J].控制與決策，2006，21（2）：197－200

[4] HANSEN L K，SALAMON P.Neural network ensembles[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1990，12（10）：993－1001

[5] ZHOU Zhi－h(huán)ua， WU Jian－xin， TANG Wei.Ensembling neural networks：Many could be better than all[J].Artificial Intelligence，2002，137（1－2）：239－263

[6] SRIDHAR D V，SEAGRAVE R C，BARTLETT E B.Process modeling using stacked neural networks[J].AIChE Journal，1996，42（9）：2529－2539

[7] ISLAM M M， YAO Xin， MURASE K. A constructive algorithm for training cooperative neural network ensembles[J].IEEE Transactions on Neural Networks，2003，14（4）：820－834

[8] YU Lean， LAI Kin－keung， WANG Shou－yang.Multistage RBF neural network ensemble learning for exchange rates forecasting[J]. Neurocomputing，2008，71（16－18）：3295－3302

[9] ZHAO Zhi－ye，ZHANG Yun，LIAO Hong－jian.Design of ensemble neural network using the Akaike information criterion[J].Engineering Applications of Artificial Intelligence，2008，21（8）：1182－1188

[10] 熊智華，王 雄，徐用懋.一種利用多神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)建立非線性軟測量模型的方法[J].控制與決策，2000，15（2）：173－176

[11] 周志華，陳世福.神經(jīng)網(wǎng)絡(luò)集成[J].計(jì)算機(jī)學(xué)報，2002，25（1）：1－8

[12] HUANG He， QU Yu－zhong， LI Han－xiong.Robust stability analysis of switched Hopfield neural networks with time－varying delay under uncertainty[J].Physics Letters A，2005，345（4－6）：345－354

[13] LI Ping，CAO Jin－de.Global stability in switched recurrent neural networks with time－varying delay via nonlinear measure[J].Nonlinear Dynamics，2007，49（1－2）：295－305

[14] LOU Xu－yang， CUI Bao－tong. Delay－dependent criteria for global robust periodicity of uncertain switched recurrent neural networks with timevarying delay [J].IEEE Transactions on Neural Networks，2008，19（4）：549－557