李大字，劉方，靳其兵

（北京化工大學(xué)信息科學(xué)與技術(shù)學(xué)院，北京 100029）

引 言

生物的神經(jīng)系統(tǒng)是自然進(jìn)化的結(jié)果，作為對(duì)神經(jīng)系統(tǒng)生物學(xué)規(guī)律模擬的人工神經(jīng)網(wǎng)絡(luò)，預(yù)先設(shè)計(jì)好的結(jié)構(gòu)往往使其功能存在一定的局限性。研究人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)自動(dòng)生成，不僅可以精簡(jiǎn)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和提高泛化性，也是對(duì)智能本源的探索。自增長(zhǎng)神經(jīng)網(wǎng)絡(luò)已經(jīng)在很多領(lǐng)域取得了進(jìn)展[1-3]。然而，大部分的自增長(zhǎng)神經(jīng)網(wǎng)絡(luò)存在著網(wǎng)絡(luò)結(jié)構(gòu)過(guò)于復(fù)雜、計(jì)算量大以及不能很好地利用自增長(zhǎng)的優(yōu)勢(shì)的缺陷。

Fanlman 等[4]提出了 Cascade-Correlation(CC)算法，不僅實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)自增長(zhǎng)而且還具有算法收斂快的優(yōu)點(diǎn)。CC神經(jīng)網(wǎng)絡(luò)已經(jīng)廣泛地應(yīng)用于不同的領(lǐng)域[5-7]，其激勵(lì)函數(shù)依然局限于普通基函數(shù)類型，如Sigmoid、Radias、Hyperbollc函數(shù)等。所有這些函數(shù)的輸入都是輸入向量的加權(quán)和。

乘算子[8]作為一種基于乘法的神經(jīng)元模型，在非線性逼近方面展現(xiàn)出了自身的優(yōu)越性。通過(guò)使用乘算子與常見(jiàn)的加算子共同構(gòu)造神經(jīng)網(wǎng)絡(luò)，可以提高CC神經(jīng)網(wǎng)絡(luò)的表達(dá)特性（即混合神經(jīng)網(wǎng)絡(luò)）[4,8-9]。本文提出了一種新的引導(dǎo)型粒子群算法來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)的結(jié)構(gòu)自增長(zhǎng)以及權(quán)值和閾值的求取。通過(guò)對(duì)一些經(jīng)典函數(shù)[10]以及對(duì)燃料電池電壓特性的建模的比較分析，證明了該神經(jīng)網(wǎng)絡(luò)的有效性。

1 CC神經(jīng)網(wǎng)絡(luò)及乘算子介紹

CC神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，即每次只添加一個(gè)隱節(jié)點(diǎn)，且該隱節(jié)點(diǎn)與以前的隱節(jié)點(diǎn)在位置上是級(jí)聯(lián)的。隱節(jié)點(diǎn)一旦添加后其位置和輸入權(quán)值將不再變化，只對(duì)其輸出權(quán)值進(jìn)行調(diào)節(jié)以逼近訓(xùn)練輸出。這種隱含層的訓(xùn)練方式使得權(quán)值的更新更加快捷與精確。

圖1 CC神經(jīng)網(wǎng)絡(luò)Fig. 1 CC neural network

網(wǎng)絡(luò)通過(guò)隱含層的候選節(jié)點(diǎn)輸出up與整個(gè)網(wǎng)絡(luò)的輸出節(jié)點(diǎn)o的現(xiàn)有殘差Ep,o(網(wǎng)絡(luò)輸出與期望輸出的差)之間相關(guān)性s來(lái)選擇添加的隱節(jié)點(diǎn)以最大程度地縮減誤差。相關(guān)性s的數(shù)學(xué)表達(dá)如下

式中，o為輸出節(jié)點(diǎn)，p為訓(xùn)練樣本，為候選節(jié)點(diǎn)輸出對(duì)所有樣本的均值，為上次添加隱節(jié)點(diǎn)后輸出節(jié)點(diǎn)o的殘差對(duì)所有樣本的均值。

一般的神經(jīng)元模型都通過(guò)基函數(shù)和激活函數(shù)來(lái)模擬神經(jīng)元的傳遞，而主要的基函數(shù)都是輸入向量的權(quán)值和函數(shù)[圖 2(a)]。乘算子則計(jì)算輸入向量的權(quán)值積，乘算子模型如圖2(b)所示。

其數(shù)學(xué)表達(dá)式為

式中，u為神經(jīng)元的輸出，z和ωi為神經(jīng)元的權(quán)值，θ為其閾值。

圖2 和算子與乘算子模型Fig.2 Summation neuron and multiplication neuron

2 混合神經(jīng)網(wǎng)絡(luò)

2.1 混合神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

本文提出的混合神經(jīng)網(wǎng)絡(luò)是在CC神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，在隱含層的生成中增加了乘算子的部分以提高神經(jīng)網(wǎng)絡(luò)非線性辨識(shí)能力。 乘算子和加算子結(jié)構(gòu)上的自增長(zhǎng)基本相互獨(dú)立，既保留了原CC神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)，同時(shí)也使得乘算子的特點(diǎn)得到發(fā)揮。

混合神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖3所示，網(wǎng)絡(luò)的隱含層由兩種不同類型的算子(乘算子和加算子)共同構(gòu)成。 這種混合隱含層根據(jù)構(gòu)成的算子類型分為加法部分和乘法部分。通過(guò)相關(guān)性s來(lái)確定其中一個(gè)隱含層部分增加節(jié)點(diǎn)，加法部分采用級(jí)聯(lián)結(jié)構(gòu)與原CC神經(jīng)網(wǎng)絡(luò)相同，乘法部分采用單層結(jié)構(gòu)避免其階數(shù)過(guò)高，最后兩個(gè)隱含層的輸出同時(shí)作為輸出節(jié)點(diǎn)的輸入進(jìn)行輸出。

2.2 引導(dǎo)型粒子群算法

圖3 混合神經(jīng)網(wǎng)絡(luò)Fig.3 Hybrid neural network

針對(duì)混合隱含層的結(jié)構(gòu)、權(quán)值和閾值的求取,本文提出了一種新的引導(dǎo)型粒子群算法（GQPSOI）。

GQPSOI通過(guò)控制粒子i和j之間的距離來(lái)保證粒子不會(huì)收斂得太快從而陷入局部極小值，同時(shí)根據(jù)各粒子p(i,:)和p(j,:)之間的距離D(i,j)以及粒子間平均距離來(lái)計(jì)算淘汰度Ew決定淘汰粒子并對(duì)其進(jìn)行量子化更新。其數(shù)學(xué)表達(dá)如

式中，m和n分別表示粒子的個(gè)數(shù)和維度。

式中，Sr和Ss分別表示粒子間的抑制度和刺激度，f(j)表示粒子的適應(yīng)度，zbest為全局最優(yōu)的粒子。具體量子化方法見(jiàn)文獻(xiàn)[11]。

為了算法能更好地跳出局部極小值，引入引導(dǎo)粒子GP

2.3 混合神經(jīng)網(wǎng)絡(luò)算法流程

混合神經(jīng)網(wǎng)絡(luò)的自增長(zhǎng)過(guò)程如圖4所示。

圖4 混合神經(jīng)網(wǎng)絡(luò)的自增長(zhǎng)過(guò)程Fig.4 Self-growing of hybrid neural network

網(wǎng)絡(luò)增長(zhǎng)的具體步驟如下。

（1）網(wǎng)絡(luò)結(jié)構(gòu)初始化。網(wǎng)絡(luò)中只有輸入層和輸出層，無(wú)隱含層，如圖4(a)所示。

（2）使用GQPSOI算法訓(xùn)練輸出權(quán)值。

（3）對(duì)網(wǎng)絡(luò)性能進(jìn)行判斷，如滿足要求，則算法結(jié)束，網(wǎng)絡(luò)停止增長(zhǎng)，如圖4(d)所示，否則轉(zhuǎn)到下一步。

（4）建立隱含層節(jié)點(diǎn)候選池(內(nèi)含一個(gè)乘算子和一個(gè)加算子)，分別將候選隱含層節(jié)點(diǎn)代入網(wǎng)絡(luò)結(jié)構(gòu)并使用GQPSOI算法以最大相關(guān)性原理訓(xùn)練兩個(gè)候選節(jié)點(diǎn)，分別計(jì)算兩個(gè)候選節(jié)點(diǎn)與現(xiàn)有殘差Ep,o的相關(guān)性s。

（5）選擇相關(guān)性s最大的候選節(jié)點(diǎn)，作為新的隱節(jié)點(diǎn)加入網(wǎng)絡(luò)結(jié)構(gòu)，如圖4(b)、(c)所示，并固定新隱節(jié)點(diǎn)的輸入權(quán)值。轉(zhuǎn)移到步驟（2），對(duì)整個(gè)網(wǎng)絡(luò)的輸出權(quán)值進(jìn)行調(diào)整。

3 混合神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)性能測(cè)試

3.1 GQPSOI算法性能測(cè)試

首先應(yīng)用幾個(gè)經(jīng)典函數(shù)[9]對(duì)GQPSOI算法的性能進(jìn)行了評(píng)價(jià)，并將實(shí)驗(yàn)結(jié)果與幾種常見(jiàn)的算法進(jìn)行了對(duì)比。這些函數(shù)包括：F1（Sphere函數(shù)）、F2(Rosenbrock 函數(shù))、F3(Rastrigin 函數(shù))、F4(Griewank函數(shù))、F5(Ackley函數(shù))，評(píng)價(jià)函數(shù)的維數(shù)為10。

經(jīng)過(guò) 30次獨(dú)立運(yùn)行實(shí)驗(yàn)，每次的函數(shù)評(píng)價(jià)次數(shù)（FEs）[12]為100000。表1給出了GQPSOI算法與離子群算法（PSO），遺傳算法（GA）以及差分進(jìn)化法（DE）在30次獨(dú)立運(yùn)行評(píng)價(jià)試驗(yàn)中得到最優(yōu)值的平均值和標(biāo)準(zhǔn)差。

表1 經(jīng)典函數(shù)的尋優(yōu)結(jié)果比較Table 1 Optimization results on five benchmark functions

從表1中可以看出，在F2的實(shí)驗(yàn)中GQPSOI算法在30次獨(dú)立運(yùn)行中的平均值為7.746×10?12，這一結(jié)果明顯優(yōu)于PSO算法的29.55和GA算法的 97.19，略優(yōu)于 DE 的 2.541×10?11。從 F1、F3、F4、F5的實(shí)驗(yàn)結(jié)果也都可以看出GQPSOI算法明顯優(yōu)于其他算法。實(shí)驗(yàn)證明了GQPSOI算法的有效性和適用性，能夠應(yīng)用于神經(jīng)網(wǎng)絡(luò)的參數(shù)和結(jié)構(gòu)調(diào)整。

3.2 燃料電池的建模實(shí)驗(yàn)

3.2.1 基于燃料電池輸出電壓的模型 質(zhì)子交換膜燃料電池[13-15]作為一種高效的清潔能源，在過(guò)去的幾十年里取得了巨大的進(jìn)展。在正常操作條件下，一片單電池可以輸出大約0.5～0.9 V電壓。為了應(yīng)用于實(shí)際能源供應(yīng)，有可能需要將多片單電池串聯(lián)在一起。具有級(jí)聯(lián)結(jié)構(gòu)的質(zhì)子交換膜燃料電池實(shí)驗(yàn)裝置如圖5所示。從圖5可以看出，電池引出電流I，電池溫度T，H2和 O2壓力PH2和PO2會(huì)影響電池電壓。將混合神經(jīng)網(wǎng)絡(luò)用于質(zhì)子交換膜燃料電池的軟測(cè)量建模，選用電池引出電流I，電池溫度T，H2和O2壓力PH2和PO2會(huì)影響電池電壓的變量作為輸入變量。將56片單電池的串聯(lián)輸出電壓作為其輸出，模型的目標(biāo)函數(shù)取實(shí)際輸出值與模型輸出值得均方根誤差(使其最小)。混合神經(jīng)網(wǎng)絡(luò)中加法部分以及輸出層的神經(jīng)元傳遞函數(shù)采用 S型函數(shù)，GQPSOI算法中設(shè)置種群數(shù) 30，最大迭代步長(zhǎng)為1000，引導(dǎo)粒子起作用的概率設(shè)置為2%。

圖6為5 kW質(zhì)子交換膜燃料電池堆的實(shí)驗(yàn)裝置。該實(shí)驗(yàn)系統(tǒng)采用增濕器與電池堆分體設(shè)置，參數(shù)檢測(cè)采用傳感器-直讀式儀表方式，氣體和水的流量測(cè)量采用轉(zhuǎn)子流量計(jì)，電堆采用電阻負(fù)載，可直接測(cè)量電堆的輸出電流、電壓或功率。電池堆參數(shù)見(jiàn)表2。

圖5 質(zhì)子交換膜燃料電池原理圖Fig.5 Schematic diagram of proton exchange membrane fuel cell

表2 電池堆參數(shù)Table 1 Battery parameters

圖6 質(zhì)子交換膜燃料電池Fig.6 Proton exchange membrane fuel cell

3.2.2 結(jié)果與分析 實(shí)驗(yàn)條件如表3所示。取燃料電池裝置輸出的前100個(gè)值作為訓(xùn)練樣本，后100個(gè)值作為測(cè)試樣本。分別用 CC神經(jīng)網(wǎng)絡(luò)，CC-GQPSOI和混合神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，當(dāng)訓(xùn)練目標(biāo)函數(shù)小于0.1或最大隱含層節(jié)點(diǎn)數(shù)達(dá)到30時(shí)網(wǎng)絡(luò)停止增長(zhǎng)，訓(xùn)練結(jié)束。表4給出了其最大相對(duì)誤差和均方根誤差的對(duì)比。圖7顯示了最終訓(xùn)練預(yù)測(cè)數(shù)據(jù)與輸出數(shù)據(jù)之間的對(duì)比。

表3 實(shí)驗(yàn)條件Table 3 Experimental conditions

表4 3種神經(jīng)網(wǎng)絡(luò)的結(jié)果比較Table 4 Three kinds of test error of neural network results compared

從表4可以看出CC-GQPSOI和混合神經(jīng)網(wǎng)絡(luò)分別在隱含層節(jié)點(diǎn)數(shù)為4和6時(shí)達(dá)到訓(xùn)練要求，相較于CC神經(jīng)網(wǎng)絡(luò)的30個(gè)隱含層節(jié)點(diǎn)具有較小的網(wǎng)絡(luò)結(jié)構(gòu)。同時(shí)CC-GQPSOI和混合神經(jīng)網(wǎng)絡(luò)的均方根誤差(3.0723×10?2和 3.8606×10?2)也相較于 CC神經(jīng)網(wǎng)絡(luò)的均方根誤差(1.0354)具有更高的精度。

從圖8和圖9的泛化結(jié)果來(lái)看，混合神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)誤差保持在0.7以內(nèi)，相對(duì)誤差(絕對(duì)誤差與被測(cè)量真值之比)保持在1.25%以內(nèi)。CC-GQPSOI的誤差在1以內(nèi)。相對(duì)誤差保持在3%以內(nèi)。從實(shí)驗(yàn)結(jié)果可以看出，混合神經(jīng)網(wǎng)絡(luò)可以精確地預(yù)測(cè)出燃料電池裝置的輸出，反映了實(shí)際工況，具有良好的應(yīng)用前景。

圖7 3種網(wǎng)絡(luò)的預(yù)測(cè)與輸出結(jié)果比較Fig.7 Three kinds of prediction results of neural network results compared（a—CC-GQPSOI；b—hybrid NN; c—CC NN）

圖8 3種網(wǎng)絡(luò)的輸出誤差比較Fig.8 Three kinds of test errors of neural network results compared（a—CC-GQPSOI；b—hybrid NN; c—CC NN）

圖9 3種網(wǎng)絡(luò)的相對(duì)誤差比較Fig.9 Relative test errors of different neural network results compared（a—CC-GQPSOI；b—hybrid NN; c—CC NN）

4 結(jié) 論

本文提出了一種新的自增長(zhǎng)混合神經(jīng)網(wǎng)絡(luò)的建模方法。利用該方法對(duì)燃料電池進(jìn)行了建模，結(jié)果證明了該方法的有效性。混合神經(jīng)網(wǎng)絡(luò)充分的利用了乘算子的優(yōu)勢(shì)，提高了神經(jīng)網(wǎng)絡(luò)的精確度并精簡(jiǎn)了網(wǎng)絡(luò)結(jié)構(gòu)。GQPSOI算法也體現(xiàn)了自身在尋找全局最優(yōu)值方面的價(jià)值。隱節(jié)點(diǎn)的選取及GQPSOI算法的簡(jiǎn)化是下一步努力的目標(biāo)。

[1]Ban Xiaojuan (班曉娟), Liu Hao (劉浩), Xu Zhuoran (徐卓然). An energy artificial neuron model based self-growing and self-organizing neural network [J].Acta Automatica Sinica(自動(dòng)化學(xué)報(bào)), 2011, 37(5):615-622

[2]Li Mantian (李滿天), Wang Chunlin (王春林), Wang Pengfei (王鵬飛),et al. An algorithm of self-growing neural network based on gravitation [J].Machinery & Electronics(機(jī)械與電子), 2013, 10: 3-5

[3]Qiao Junfei (喬俊飛), Han Honggui (韓紅桂). Optimal structure design for RBFNN structure [J].Acta Automatica Sinica(自動(dòng)化學(xué)報(bào)), 2010, 36(6): 865-872

[4]Fahlman S E, Lebiere C. The cascade-correlation learning architecture// Advances in Neural Information Processing Systems[M]. Los Altos, CA: Morgan Kaufmann, 1990∶ 524-532

[5]Tun H M. Analysis of neural network based photo to caricature transformation using MATLAB [J].Bahria University Journal of Information & Communication Technology, 2009, 2(1): 1-5

[6]Lee S W, Song H S. Emulation of spline networks through approximation of polynomials and step function of neural networks with cosine modulated symmetric exponential function[J].Wireless Personal Communications, 2014, 2(1): 1-16

[7]Chandra B, Paul Varghese P. Applications of cascade correlation neural networks for cipher system identification [J].Information Science and Engineering, 2007, 26∶ 210-213

[8]Li Dazi, Hirasawa Kotaro, Hu Jinglu, Murata Junichi. Universal learning networks with multiplication neurons and its representation ability //Proc. of International Joint Conference on Neural Networks[C]. 2001: 150-155

[9]Gao X Z, Wang X, Ovaska S J. Fusion of clonal selection algorithm and differential evolution method in training cascade-correlation neural network [J].Neurocomputing，2009, 72(10)：2483-2490

[10]Janson S, Middendorf M. A hierarchical partical swarm optimizer and its adaptive variant [J].IEEE Transactions on Systems, Man, and Cybernetics, 2005, 35(6)：1272-1282

[11]Luitel Bipul, Venayagamoorthy Ganesh Kumar.Quantum inspired PSO for the optimization of simultaneous recurrent neural networks as MIMO learning systems[J].Neural Networks，2010, 23(5)：583-586

[12]Dasgupta D, Yu S, Nino F. Recent advances in artificial immune systems: models and applications [J].Applied Soft Computing, 2011,11(2): 1574-1587

[13]Chen Yuehua (陳躍華), Cao Guangyi(曹廣益), Zhu Xinjian(朱新堅(jiān)).ELMAN neural network modeling and adaptive fuzzy control of PEMFC [J].Energy Technology(能源技術(shù))，2005，26(4)：146-149

[14]Tian Yudong (田玉冬), Zhu Xinjian (朱新堅(jiān)), Cao Guangyi (曹廣益).Artificial neural networks based fuzzy control of proton exchange membrane fuel cells//Proceedings of 2005 Chinese Control and Decision Conference [C]. 2005: 1116-1120

[15]Khan M J, Iqbal M T.Dynamic modeling and simulation of a small wind–fuel cell hybrid energy system [J].Renewable Energy，2005,30(3)：421-439