摘 要：傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)泛化能力較差，易于陷入局部最優(yōu)。為此，提出并將基于負(fù)相關(guān)學(xué)習(xí)法的神經(jīng)網(wǎng)絡(luò)集成應(yīng)用于模擬電路故障診斷的研究。實驗結(jié)果表明：基于負(fù)相關(guān)學(xué)習(xí)法的神經(jīng)網(wǎng)絡(luò)集成比單個子網(wǎng)和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)集成更能有效地泛化能力。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò) 負(fù)相關(guān)學(xué)習(xí) 分類 模擬電路故障診斷

中圖分類號：TP806.3 文獻(xiàn)標(biāo)識碼：A 文章編號：1672-3791（2012）12（a）-0127-01

BP神經(jīng)網(wǎng)絡(luò)是一種在分類和預(yù)測中應(yīng)用非常廣泛的方法，但是BP神經(jīng)網(wǎng)絡(luò)方法存在著泛化能力差，易于陷入局部最優(yōu)等缺點。而神經(jīng)網(wǎng)絡(luò)集成則是對多個子神經(jīng)網(wǎng)絡(luò)的結(jié)果進(jìn)行組合，而差異度較大的子網(wǎng)絡(luò)可以使集成具有很好的泛化能力，為此，本文引入負(fù)相關(guān)學(xué)習(xí)算法，旨在增大子神經(jīng)網(wǎng)絡(luò)的差異度以改善集成后網(wǎng)絡(luò)系統(tǒng)的性能。

1 神經(jīng)網(wǎng)絡(luò)集成算法

1.1 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)集成算法簡介

在1996年，Krogh為神經(jīng)網(wǎng)絡(luò)集成下了一個定義：即“神經(jīng)網(wǎng)絡(luò)集成是用有限個神經(jīng)網(wǎng)絡(luò)對同一個問題進(jìn)行學(xué)習(xí)，集成在某輸入示例下的輸出由構(gòu)成集成的各神經(jīng)網(wǎng)絡(luò)在該示例下的輸出共同決定”。

1.2 實現(xiàn)方法

對神經(jīng)網(wǎng)絡(luò)集成實現(xiàn)方法的研究主要集中在兩個方面：即怎樣將多個神經(jīng)網(wǎng)絡(luò)的輸出結(jié)論進(jìn)行結(jié)合以及如何生成集成中的個體網(wǎng)絡(luò)。

1.2.1 結(jié)論生成方法

當(dāng)神經(jīng)網(wǎng)絡(luò)集成用于分類器時，集成的輸出通常由個體網(wǎng)絡(luò)的輸出投票產(chǎn)生，通常采用絕對多數(shù)投票法或相對多數(shù)投票法。理論分析和大量試驗表明：后者優(yōu)于前者。因此，在對分類器進(jìn)行集成時目前大多采用相對多數(shù)投票法。

1.2.2 個體生成方法

在生成個體網(wǎng)絡(luò)的方面，最重要的兩個技術(shù)是Boosting和Baggaging。區(qū)別在于兩者的訓(xùn)練集的選擇方式的不同：前者的訓(xùn)練集選擇是獨立的，而后者訓(xùn)練集的選擇依賴于前一輪學(xué)習(xí)結(jié)果。

2 負(fù)相關(guān)神經(jīng)網(wǎng)絡(luò)集成算法

而負(fù)相關(guān)學(xué)習(xí)法則立足于通過在神經(jīng)網(wǎng)絡(luò)集成中各子神經(jīng)網(wǎng)絡(luò)的誤差函數(shù)中引入一個相關(guān)性懲罰項來并行訓(xùn)練這些子網(wǎng)絡(luò)。也就是說，每個子神經(jīng)網(wǎng)絡(luò)訓(xùn)練的目的是使得整個神經(jīng)網(wǎng)絡(luò)集成取得最好的訓(xùn)練結(jié)果。

負(fù)相關(guān)學(xué)習(xí)算法主要流程：設(shè)有一組訓(xùn)練數(shù)據(jù)和其對應(yīng)的期望輸出。選取第n個測試樣本以及對應(yīng)的期望輸出進(jìn)行學(xué)習(xí)。

Step1根據(jù)各子網(wǎng)絡(luò)輸出計算出集成神經(jīng)網(wǎng)絡(luò)的輸出

Step2定義帶有懲罰項的誤差函數(shù)

其中λ為調(diào)節(jié)懲罰強度的參數(shù)（0≤λ≤1）

Step3使用BP算法和Step2中提到的新的誤差函數(shù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)并調(diào)整權(quán)值。

3 實驗與分析

客觀世界信號的本質(zhì)決定了模擬電路無處不在和不可替代性。模擬電路測試和故障診斷無法回避，開展相關(guān)的理論和方法研究尤為重要。本文利用基于負(fù)相關(guān)學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)集成對采集的故障信息進(jìn)行了模式識別。

現(xiàn)對于采集有五組數(shù)據(jù)，分別是：r1p（實際值大于標(biāo)稱值），r1m（實際值小于標(biāo)稱值），c1p（實際值大于標(biāo)稱值），c1m（實際值小于標(biāo)稱值），normal（正常）。將上述數(shù)據(jù)送入負(fù)相關(guān)算法的神經(jīng)網(wǎng)絡(luò)中進(jìn)行分類。

表1分別是BP神經(jīng)網(wǎng)絡(luò)和λ=0.5時負(fù)相關(guān)神經(jīng)網(wǎng)絡(luò)的分類結(jié)果。

從實驗結(jié)果上看，負(fù)相關(guān)網(wǎng)絡(luò)的識別正確率要高于BP神經(jīng)網(wǎng)絡(luò)。

4 結(jié)論

本文通過分析傳統(tǒng)神經(jīng)網(wǎng)絡(luò)集成的不足，引出用負(fù)相關(guān)學(xué)習(xí)算法，并將其應(yīng)用于模擬電路故障診斷。實驗結(jié)果表明：基于負(fù)相關(guān)學(xué)習(xí)法的神經(jīng)網(wǎng)絡(luò)集成比單個子網(wǎng)和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)集成，能有效地提高其泛化能力。但負(fù)相關(guān)學(xué)習(xí)法中的懲罰系數(shù)的選取將影響神經(jīng)網(wǎng)絡(luò)集成的泛化能力。因此，如何快速選擇合適的懲罰系數(shù)是下一步要解決的問題。

參考文獻(xiàn)

[1]彭種，樊銳，劉強.基于人工神經(jīng)網(wǎng)絡(luò)的電路故障診斷專家系統(tǒng)[J].系統(tǒng)：幾程與電子技術(shù)，2002，24（10）：116-119.

[2]徐敏.神經(jīng)網(wǎng)絡(luò)集成在圖書剔舊分類中的應(yīng)用[J].計算機工程，2006，32（20）：210-212.

[3]Liu Yong，Yao Xin.Simultaneous Training of Negatively Correlated Neural Networks in an Ensemble[J].IEEE Transactions on Systems，Man and Cybe Metics-PartB，1999，26（6）：716-725.

[4]Liu Y，Yao X.Ensemble Learning via Negative Correlation[J].Neural Networks，1999，12（10）：1399-1404.

[5]閻平凡，張長水.人工神經(jīng)網(wǎng)絡(luò)與模擬進(jìn)化計算[M].北京：清華大學(xué)出版社，2000.