（福州理工學(xué)院，福建 福州，350002）

極限學(xué)習(xí)機(jī)（extreme learning machine，ELM）[1-3]是在單隱藏層網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上新近發(fā)展的機(jī)器學(xué)習(xí)技術(shù)，有處理快速、泛化精度高、結(jié)構(gòu)簡(jiǎn)單等優(yōu)點(diǎn)，但這種標(biāo)準(zhǔn)的極限學(xué)習(xí)機(jī)并不能在學(xué)習(xí)的同時(shí)也能對(duì)自身的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行自適應(yīng)調(diào)整，給極限學(xué)習(xí)機(jī)帶來了一定的局限性，并且當(dāng)隱藏節(jié)點(diǎn)過多時(shí)會(huì)導(dǎo)致ELM的過擬合的問題，反之過少的時(shí)候，則會(huì)導(dǎo)致ELM泛化精度降低。目前極限學(xué)習(xí)機(jī)的網(wǎng)絡(luò)結(jié)構(gòu)自適應(yīng)調(diào)整方法總體上分為3類：剪枝方法，增長(zhǎng)方法，混合方法。P-ELM[4]、OP-ELM[5]、ImSAP-ELM[6]和SVM-ELM[7]是屬于剪枝的方法，一般會(huì)初始化一個(gè)較大的單隱藏層網(wǎng)絡(luò)結(jié)構(gòu)，再按照一定的標(biāo)準(zhǔn)，對(duì)隱藏層中各個(gè)節(jié)點(diǎn)的重要性進(jìn)行分析，最后舍去非重要的節(jié)點(diǎn)從而達(dá)到對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化，但這些方法只能是單純對(duì)節(jié)點(diǎn)個(gè)數(shù)進(jìn)行優(yōu)化，并且無法應(yīng)用于在線的極限學(xué)習(xí)機(jī)（OSELM）。I-ELM[8]和CEOS-ELM[9]。是屬于增長(zhǎng)的方法，會(huì)從一個(gè)初始較小的網(wǎng)絡(luò)，然后逐步添加節(jié)點(diǎn)，一直到網(wǎng)絡(luò)的精度滿足期望的要求，在訓(xùn)練時(shí)，一般需要指定最高的訓(xùn)練精度與最大的網(wǎng)絡(luò)規(guī)模，但這兩個(gè)參數(shù)在實(shí)際當(dāng)中是難以預(yù)先估計(jì)。EOS-ELM[10]、VS-OSELM[11]和HOS-ELM[12]是屬于混合的方法，這類方法既有添加節(jié)點(diǎn)功能也包含節(jié)點(diǎn)刪除的功能，在實(shí)際中實(shí)現(xiàn)相對(duì)復(fù)雜，所需設(shè)置參數(shù)較多，因而增加了ELM的使用難度。

本文的方法屬于一種剪枝類方法，首先通過使用擴(kuò)展的傅里葉振幅敏感度測(cè)試（EFAST）[13-15]對(duì)OS-ELM的隱藏層各節(jié)點(diǎn)進(jìn)行敏感度分析，能更加準(zhǔn)確的分析各個(gè)隱藏節(jié)點(diǎn)對(duì)網(wǎng)絡(luò)輸出的重要性，從而能準(zhǔn)確的去除網(wǎng)絡(luò)中非必要的節(jié)點(diǎn)，并且設(shè)計(jì)了一種基于迭代最小二乘法的參數(shù)調(diào)整方法，可以對(duì)剪枝后的OS-ELM參數(shù)進(jìn)行調(diào)整，從而達(dá)到優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)的目的，最終在公開的數(shù)據(jù)集上驗(yàn)證了方法的有效性。

1 OS-ELM與EFAST

1.1 OS-ELM

在線極限學(xué)習(xí)機(jī)是一種單隱藏層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，它利用迭代的最小二乘法 （recursive least square，RLS）能實(shí)時(shí)的調(diào)整網(wǎng)絡(luò)的權(quán)值。如圖 1所示的OS-ELM有h個(gè)隱藏層節(jié)點(diǎn)和m個(gè)輸出層節(jié)點(diǎn)。對(duì)于OS-ELM它有一個(gè)初始化的過程，需要使用N0個(gè)輸入樣本對(duì)輸出層的權(quán)值進(jìn)行初始化，之后當(dāng)有新的訓(xùn)練樣本到時(shí)，OSELM會(huì)通過新來的訓(xùn)練樣本計(jì)算輸出層的參數(shù)，它的算法具體的實(shí)現(xiàn)如下：

圖1 OS-ELM基本結(jié)構(gòu)

（1）選取激勵(lì)函數(shù)f，采用隨機(jī)過程生成h個(gè)輸入層的映射向量W和偏置值B。

（2）OS-ELM網(wǎng)絡(luò)的初始化過程，需要利用輸入的N0個(gè)樣本得到隱藏層輸出矩陣H0和標(biāo)記矩陣T0，求解初始化的迭代更新量k0=H0TH0和輸出層β0=k0H0TT0。

（3）對(duì)于第i批次輸入的訓(xùn)練樣本，通過f、W和B可計(jì)算得相應(yīng)的隱藏層輸出矩陣Hi和標(biāo)記矩陣Ti，那么第i次訓(xùn)練得到的輸出層參數(shù)βi與迭代更新量ki可遞歸地表示為：

1.2 OS-ELM的傅立葉振幅敏感度測(cè)試

EFAS是用來檢測(cè)系統(tǒng)各個(gè)輸入量對(duì)系統(tǒng)的總體輸出方差的影響，其本質(zhì)的思想是當(dāng)一個(gè)輸入量對(duì)系統(tǒng)總體輸出方差產(chǎn)生的影響越大，那么輸入量對(duì)整個(gè)輸出的影響就越大，該輸入在系統(tǒng)中的重要性就越大。如果把OS-ELM結(jié)構(gòu)分成輸入層到隱藏層和隱藏層到輸出層兩個(gè)部分。第一部分使用隨機(jī)映射方式，把輸入空間的向量隨機(jī)映射到OS-ELM的特征空間。第二部分由于隱藏層的輸出與系統(tǒng)輸出的關(guān)系可以描述為函數(shù)：

該函數(shù)可以用傅里葉級(jí)數(shù)展開如式（4）：

其中Aj和Bj可以如下表示：

對(duì)于準(zhǔn)確衡量輸入zi對(duì)總體輸出的影響，EFAST通過計(jì)算公式 (7)描述輸入zi對(duì)總體輸出的影響。

這里M為敏感分析系統(tǒng)的干擾因素（一般設(shè)為4或6）。其中w～i表示輸入z～i=zi,z2，…zi-1,zi+1,…,zh的頻率值，當(dāng)要計(jì)算sti時(shí)，就把zi頻率設(shè)置為wi=max(wk=1,2,…，h)。同時(shí)也需要滿足下面的兩個(gè)等式：

2 FOS-ELM模型

2.1 FOS-ELM的網(wǎng)絡(luò)參數(shù)調(diào)整方法

當(dāng)利用FAST算法對(duì)OS-ELM的節(jié)點(diǎn)敏感度分析，對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行剪枝優(yōu)化后，需要重新調(diào)整OSELM權(quán)值，基于標(biāo)準(zhǔn)的OS-ELM算法，本文設(shè)計(jì)了一種對(duì)剪枝后權(quán)值進(jìn)行調(diào)整的算法。假設(shè)OS-ELM通過第n-1批樣本訓(xùn)練，得到的輸出層參數(shù)為β0，迭代更新量為k0。對(duì)于第n批的訓(xùn)練樣本，通過EFAST敏感度測(cè)對(duì)各個(gè)隱藏層節(jié)點(diǎn)進(jìn)行分析，刪除網(wǎng)絡(luò)中敏感度低于指定閾值的節(jié)點(diǎn)(不失一般性，假設(shè)被刪除節(jié)點(diǎn)編號(hào)是{1,2,3..，t})，并且定義為隱藏層輸出矩陣H0刪除第{1,2,3,t}列向量得到的矩陣：

與OS-ELM一樣，需要求解剪枝后的輸出權(quán)值β1和迭代更新量k1，對(duì)于在線的OS-ELM學(xué)習(xí)算法，需要將 β1表示為的函數(shù)：

在式(12)中，

其中k1和β1分別可以表示為：

2.2 FOS-ELM的隱藏節(jié)點(diǎn)剪枝方法

選取一個(gè)含足夠多個(gè)隱藏層節(jié)點(diǎn)的單隱藏層神經(jīng)網(wǎng)絡(luò)作為FOS-ELM的初始結(jié)構(gòu)，選取隱藏層節(jié)點(diǎn)激活函數(shù)f，并隨機(jī)生成輸入層的權(quán)值W和隱藏層節(jié)點(diǎn)的偏置值B來進(jìn)行初始化網(wǎng)絡(luò)，并且計(jì)算輸出層的初始化權(quán)值β0和 k0，對(duì)于接下來每一批次的樣本數(shù)據(jù)，首先利用傅里葉振幅測(cè)試，對(duì)隱藏層節(jié)點(diǎn)的敏感度進(jìn)行計(jì)算，當(dāng)節(jié)點(diǎn)的敏感度小于閾值δ時(shí)，就從當(dāng)前的網(wǎng)絡(luò)中移除該節(jié)點(diǎn)，然后并通過本文中設(shè)計(jì)的權(quán)值調(diào)整方法來調(diào)整結(jié)構(gòu)優(yōu)化后的OS-ELM的輸出層權(quán)值βi與迭代更新量ki。具體的FOS-ELM剪枝的流程。

3 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證設(shè)計(jì)的FOS-ELM算法在優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)上的有效性，在以下5組數(shù)據(jù)進(jìn)行對(duì)比實(shí)驗(yàn)比較。

（1）論文[13]實(shí)驗(yàn)數(shù)據(jù)：5000個(gè)訓(xùn)練樣本，5000個(gè)測(cè)試樣本，每個(gè)樣本有4個(gè)輸入屬性和1個(gè)輸出屬性。（2）Concrete compressive strength數(shù)據(jù)：來自于UCI數(shù)據(jù)庫，730條訓(xùn)練樣本，300條測(cè)試樣本。每條樣本有8個(gè)輸入屬性和一個(gè)輸出屬性。（3）Diabetes數(shù)據(jù)：來自于ELM官網(wǎng)提供的數(shù)據(jù)。576條訓(xùn)練樣本，192條測(cè)試樣本，8個(gè)輸入屬性，2個(gè)輸出類別。（4）Landsat satellite image數(shù)據(jù)：來自于ELM官網(wǎng)提供的數(shù)據(jù)。4435條訓(xùn)練樣本，2000條測(cè)試樣本，36個(gè)輸入屬性，6個(gè)輸出類別。（5）Segment數(shù)據(jù)：數(shù)據(jù)來自于ELM官網(wǎng)提供的數(shù)據(jù)。1500條訓(xùn)練樣本，810條測(cè)試樣本，19個(gè)輸入屬性,7個(gè)輸出類別。

實(shí)驗(yàn)結(jié)果見表1～6。

表1 函數(shù)16的測(cè)試結(jié)果

表2 Concrete compressive strength的測(cè)試結(jié)果

表3 Diabetes數(shù)據(jù)測(cè)試結(jié)果

表4 Satellite Image數(shù)據(jù)測(cè)試結(jié)果

由表 1～2的數(shù)據(jù)，提出的FOS-ELM方法在保證回歸精度的條件下，所使用的節(jié)點(diǎn)的數(shù)目均少于標(biāo)準(zhǔn)OS-ELM和HOS-ELM。同樣在表 3～5中，在保證泛化精度的條件下，F(xiàn)OS-ELM的使用的隱藏節(jié)點(diǎn)數(shù)目均少于CEOS-ELM和OS-ELM，

4 結(jié)論

由于OS-ELM不能自適應(yīng)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)的問題，設(shè)計(jì)了一種基于EFAST的隱藏層節(jié)點(diǎn)剪枝算法（FOS-ELM），利用傅里葉敏感度測(cè)試方法對(duì)OS-ELM的隱藏節(jié)點(diǎn)分析，能適用于剪枝后的網(wǎng)絡(luò)參數(shù)調(diào)整算法，最后也通過實(shí)驗(yàn)驗(yàn)證了所設(shè)計(jì)算法的有效性。目前，本文的剪枝方法只應(yīng)用于單隱藏層的在線極限學(xué)習(xí)機(jī)上，后續(xù)的研究工作可以從多隱藏層極限學(xué)習(xí)機(jī)的剪枝方法上展開；在模型復(fù)雜度欠缺情況下，極限學(xué)習(xí)模型如何有效的增長(zhǎng)也是個(gè)有待解決的問題。