左鵬玉，王士同

江南大學(xué) 數(shù)字媒體學(xué)院，江蘇 無(wú)錫214122

1 引言

近年來(lái)，神經(jīng)網(wǎng)絡(luò)已經(jīng)得到廣泛研究，并且成功應(yīng)用到現(xiàn)實(shí)問(wèn)題中[1-6]。傳統(tǒng)的單隱層前饋神經(jīng)網(wǎng)絡(luò)（single hidden-layer feedforward neural network,SLFN）中，所有的參數(shù)都需要調(diào)整，不同層的參數(shù)之間存在著依賴性，訓(xùn)練效率低，學(xué)習(xí)速度慢。為此，Huang 等人提出了極限學(xué)習(xí)機(jī)（extreme learning machine,ELM），該算法無(wú)需調(diào)整任何參數(shù)，只需要隨機(jī)產(chǎn)生輸入權(quán)重及偏差，直接通過(guò)隱含層輸出矩陣的廣義逆矩陣計(jì)算得出輸出權(quán)重[7]。相比于傳統(tǒng)的SLFN，ELM 在保證了算法學(xué)習(xí)性能的基礎(chǔ)上，對(duì)速度有了明顯提升[8]。但由于ELM 無(wú)需調(diào)整任何參數(shù)，網(wǎng)絡(luò)結(jié)構(gòu)在訓(xùn)練過(guò)程中固定不變，而其中隱含層的節(jié)點(diǎn)數(shù)對(duì)訓(xùn)練效果具有決定性影響，因此便產(chǎn)生了最優(yōu)隱含層節(jié)點(diǎn)數(shù)的問(wèn)題。

為了解決最優(yōu)隱含層節(jié)點(diǎn)數(shù)的問(wèn)題，Li 等人提出了無(wú)逆矩陣極限學(xué)習(xí)機(jī)（inverse-free extreme learning machine,IF-ELM）的增量學(xué)習(xí)算法，該算法通過(guò)逐步增加隱含層節(jié)點(diǎn)數(shù)來(lái)更新隱含層的輸出權(quán)重，通過(guò)不斷調(diào)整隱含層節(jié)點(diǎn)數(shù)使得訓(xùn)練模型的性能達(dá)到最優(yōu)[9]。文獻(xiàn)[9]用大量實(shí)驗(yàn)證明了在隱含層參數(shù)相同的情況下，IF-ELM 算法與經(jīng)典ELM 算法學(xué)習(xí)性能是一致的。經(jīng)典ELM 在最小二乘方法下，訓(xùn)練誤差具有最優(yōu)性，這就意味著IF-ELM 的節(jié)點(diǎn)增加策略也具有最優(yōu)性。此算法是批量學(xué)習(xí)算法，需一次性獲得所有的訓(xùn)練樣本進(jìn)行學(xué)習(xí)。當(dāng)收到新的數(shù)據(jù)時(shí)，批量學(xué)習(xí)方法需要將過(guò)去的數(shù)據(jù)和新的數(shù)據(jù)一起進(jìn)行訓(xùn)練。算法在涉及到訓(xùn)練數(shù)據(jù)的迭代時(shí)，沒(méi)有進(jìn)一步考慮在線學(xué)習(xí)情況下的應(yīng)用，從而浪費(fèi)了大量的時(shí)間。

學(xué)習(xí)是一個(gè)持續(xù)的過(guò)程，在許多實(shí)際應(yīng)用中，訓(xùn)練數(shù)據(jù)集并不能一次性獲得。當(dāng)一些新的數(shù)據(jù)加入到訓(xùn)練模型時(shí)，批量學(xué)習(xí)必須重復(fù)使用過(guò)去的數(shù)據(jù)進(jìn)行學(xué)習(xí)，因此需要更多時(shí)間，效率較低。在線學(xué)習(xí)算法不同于批量學(xué)習(xí)算法，在接收到新數(shù)據(jù)時(shí)不需要重復(fù)計(jì)算已經(jīng)訓(xùn)練過(guò)的數(shù)據(jù)，不僅減少了時(shí)間和空間的需求，且更好地滿足了實(shí)際應(yīng)用。

Huang 等人提出了在線序列極限學(xué)習(xí)機(jī)（online sequential extreme learning machine,OS-ELM），可以逐個(gè)或多個(gè)地增添學(xué)習(xí)數(shù)據(jù)，減少了訓(xùn)練數(shù)據(jù)的迭代過(guò)程，從而節(jié)省了大量的學(xué)習(xí)時(shí)間[10]。文獻(xiàn)[11]提出了具有遺忘系數(shù)的極限學(xué)習(xí)機(jī)（forgetting parameters extreme learning machine,FP-ELM），該算法注重當(dāng)前數(shù)據(jù)，在OS-ELM 的基礎(chǔ)上為舊數(shù)據(jù)塊添加遺忘系數(shù)。文獻(xiàn)[12]提出了在線序列λ1 正則化極限學(xué)習(xí)機(jī)（online sequential λ1-regularized-ELM,OS-λ1-ELM），通過(guò)增加懲罰項(xiàng)的方式有效避免了過(guò)擬合問(wèn)題，提高了模型的泛化能力。雖然以上這些學(xué)習(xí)算法已經(jīng)具備了在線學(xué)習(xí)的能力，但是在最初確定隱含層節(jié)點(diǎn)數(shù)時(shí)涉及到了逆運(yùn)算，導(dǎo)致了大量的計(jì)算開(kāi)銷。因此，如何高效求解這些在線學(xué)習(xí)算法的最佳隱含層節(jié)點(diǎn)數(shù)就變得十分迫切。

本文在IF-ELM 算法基礎(chǔ)上引入了在線學(xué)習(xí)的思想，提出無(wú)逆矩陣在線序列極限學(xué)習(xí)機(jī)（inversematrix-free online sequential extreme learning machine,IOS-ELM）算法，計(jì)算出合適的隱含層節(jié)點(diǎn)數(shù)后再加入新增數(shù)據(jù)，增強(qiáng)了算法的實(shí)時(shí)學(xué)習(xí)能力。該算法不僅可以逐步將數(shù)據(jù)加入模型訓(xùn)練，還可以丟棄已經(jīng)完成訓(xùn)練的數(shù)據(jù)。當(dāng)新的單個(gè)或多個(gè)數(shù)據(jù)加入到訓(xùn)練模型時(shí)，在線學(xué)習(xí)算法只需要學(xué)習(xí)新的數(shù)據(jù)，而無(wú)需再次學(xué)習(xí)過(guò)去已經(jīng)分析過(guò)的數(shù)據(jù)。所提的IOSELM 算法源于批量學(xué)習(xí)的IF-ELM 算法，且IF-ELM算法的性能已經(jīng)在回歸和分類問(wèn)題上得到了驗(yàn)證[9]。由實(shí)驗(yàn)部分可知，當(dāng)不斷增加訓(xùn)練樣本時(shí)，本文所提的IOS-ELM 算法的學(xué)習(xí)在保證性能不變的情況下，速度明顯快于無(wú)逆矩陣極限學(xué)習(xí)機(jī)。

2 無(wú)逆矩陣極限學(xué)習(xí)機(jī)

2.1 極限學(xué)習(xí)機(jī)

ELM 是在SLFN 的基礎(chǔ)上提出的一種學(xué)習(xí)效率高且泛化性能好的學(xué)習(xí)方法。不同于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)求解權(quán)重的方法，ELM 只需隨機(jī)選取輸入層和隱含層的連接權(quán)重和偏差，通過(guò)隱含層輸出矩陣的偽逆運(yùn)算，分析計(jì)算出隱含層和輸出層的連接權(quán)重。同時(shí)，ELM 的逼近原理表明：在一定條件下，使用任意給定輸入權(quán)重的ELM 算法，能以任意小誤差逼近任何非線性連續(xù)函數(shù)。

對(duì)于n個(gè)輸入層節(jié)點(diǎn)，l個(gè)隱含層節(jié)點(diǎn)和m個(gè)輸出層節(jié)點(diǎn)，ELM 的表達(dá)式如下：

其中，fj為第j個(gè)輸出節(jié)點(diǎn)的值，g(ai,bi,xj)是與輸入數(shù)據(jù)xj相對(duì)應(yīng)的第i個(gè)隱含層節(jié)點(diǎn)的值。g(?)是一個(gè)激活函數(shù)，如sigmoid等。wi是輸入層到第i個(gè)隱含層節(jié)點(diǎn)的連接權(quán)重，bi是第i個(gè)隱含層節(jié)點(diǎn)的偏差值，βi是第i個(gè)隱含層節(jié)點(diǎn)到輸出層的連接權(quán)重。

2.2 無(wú)逆矩陣極限學(xué)習(xí)機(jī)

實(shí)際情況下，計(jì)算量與隱含層節(jié)點(diǎn)數(shù)成正比，訓(xùn)練時(shí)間隨著隱含層節(jié)點(diǎn)數(shù)的增多而加長(zhǎng)。為縮短訓(xùn)練時(shí)間，實(shí)驗(yàn)應(yīng)盡量減少隱含層節(jié)點(diǎn)數(shù)。但只有在隱含層節(jié)點(diǎn)數(shù)接近無(wú)窮大時(shí)，ELM 才能以任意小的誤差逼近任何非線性連續(xù)函數(shù)，達(dá)到最優(yōu)精度。為了使學(xué)習(xí)效率達(dá)到較優(yōu)的狀態(tài)，需要協(xié)調(diào)以上兩個(gè)因素。在機(jī)器學(xué)習(xí)中，逐步增加隱含層節(jié)點(diǎn)數(shù)是使訓(xùn)練達(dá)到所需精度的一種常用方法。IF-ELM 算法便使用隱含層節(jié)點(diǎn)數(shù)增加策略，其l+1 個(gè)隱含層節(jié)點(diǎn)的輸出權(quán)重可以利用l個(gè)隱含層節(jié)點(diǎn)的輸出權(quán)重計(jì)算得出，從而減少了計(jì)算量。

由xi和yi分別表示第i個(gè)訓(xùn)練輸入和相應(yīng)的第i個(gè)訓(xùn)練輸出。給定訓(xùn)練集{(x1,y1)…(xi,yi)…(xk,yk)}，輸入權(quán)重W和偏差b，ELM 的訓(xùn)練誤差則取決于其輸出權(quán)重。對(duì)于l個(gè)隱層節(jié)點(diǎn)的ELM，它的輸出權(quán)重為：

其中，H=f(WlX+1 ?bl)，故：

記Y=[y1,y2,…,yk]∈Rm×k。只有當(dāng)HHT是非奇異時(shí)，式（4）才能成立。此處使用了Tikhonov正則化方法來(lái)滿足這些約束條件，以避免出現(xiàn)過(guò)擬合現(xiàn)象[13-14]。其中I為單位矩陣：

對(duì)于具有l(wèi)+1 個(gè)隱含層節(jié)點(diǎn)的ELM，其隱含層的輸入權(quán)重Wl+1和偏差bl+1如下：

其中，Wl和bl是l個(gè)隱含層節(jié)點(diǎn)對(duì)應(yīng)的輸入權(quán)重和偏差值，w∈Rn所取數(shù)值與Wl中的數(shù)據(jù)元素具有相同的概率分布，bl+1∈R 所取數(shù)值與bl中的數(shù)據(jù)元素具有相同的概率分布。

l+1 個(gè)隱含層節(jié)點(diǎn)的ELM 的輸出權(quán)重可由l個(gè)隱含層節(jié)點(diǎn)的輸出權(quán)重求出，為：

由式（3）和式（5）可得：

設(shè)d=f(XTw+bl+11)，式（8）可寫成以下形式：

由Schur Complement公式可得：

其中：

因此，由式（9）、式（10）可得：

假 設(shè)m=k2I+dTd-dTHT(k2I+HHT)-1Hd且m≠0，式（11）可由Sherman-Morrison 公式轉(zhuǎn)化為下式：

Dl+1的推算公式可將式（11）、式（12）、式（13）和式（14）帶入到式（15）中得到。由含有l(wèi)個(gè)隱含層節(jié)點(diǎn)的Dl推出Dl+1的過(guò)程如下：

由式（15）、式（17）、式（18）可以得到：

根據(jù)以上推導(dǎo)過(guò)程不難發(fā)現(xiàn)，通過(guò)逐步增加隱含節(jié)點(diǎn)數(shù)量這一方法，可將具有期望近似誤差η(η＞0)的Tikhonov正則化ELM 應(yīng)用到回歸問(wèn)題的求解中。

3 在線序列極限學(xué)習(xí)機(jī)

ELM 對(duì)模型更新時(shí)需要重新代入所有數(shù)據(jù)，不能很好地應(yīng)用在實(shí)際場(chǎng)景中。針對(duì)這一問(wèn)題，OSELM 應(yīng)運(yùn)而生。在加入新的訓(xùn)練數(shù)據(jù)后，隱含層的輸出矩陣由H變?yōu)閇H h]，其中h為新增數(shù)據(jù)隱含層的輸出矩陣。由可以推出新的輸出層權(quán)重的公式，具體如下：

其中，Pk+1計(jì)算公式如下：

從OS-ELM 的推算可以得出，當(dāng)H0的秩等于隱含層節(jié)點(diǎn)數(shù)時(shí)，OS-ELM 和ELM 在訓(xùn)練誤差和泛化性能等方面表現(xiàn)相近。OS-ELM 包括初始部分和在線學(xué)習(xí)兩部分。在初始部分，訓(xùn)練算法隨機(jī)給定隱含層的輸入權(quán)重和偏差，分析計(jì)算隱含層的輸出權(quán)重。其中，隱含層節(jié)點(diǎn)數(shù)要小于訓(xùn)練樣本數(shù)。在初始化階段之后進(jìn)入在線學(xué)習(xí)部分，學(xué)習(xí)算法根據(jù)需要逐步學(xué)習(xí)新增數(shù)據(jù)。

4 無(wú)逆矩陣在線序列極限學(xué)習(xí)機(jī)

4.1 算法過(guò)程

定義：期望的訓(xùn)練誤差η，輸入維度為n，輸出維度為m，訓(xùn)練集的初始數(shù)目為k0，增加的訓(xùn)練樣本的數(shù)目為k1，初始的訓(xùn)練集輸入為，訓(xùn)練集輸出為。初始的ELM訓(xùn)練模型有l(wèi)個(gè)隱含層節(jié)點(diǎn)，輸入權(quán)重為，隱含層的偏差值為，輸出權(quán)重為。

步驟1 計(jì)算出合適的隱含層節(jié)點(diǎn)數(shù)目：

步驟1.1 給出初始的訓(xùn)練樣本集(xi,yi)，X=[x1,。

步驟1.2 給定初始的隱含層節(jié)點(diǎn)數(shù)目l0，期望的輸出均方誤差η。

步驟1.3 任意取值輸入權(quán)重W和偏差b。

步驟1.4 增加任意數(shù)量隱含層節(jié)點(diǎn)數(shù)la，則l0=l0+la，任意選定增加的隱含層節(jié)點(diǎn)的輸入權(quán)重w和偏差b0，更新輸入權(quán)重W和偏差b：

步驟1.5 計(jì)算d=f(XTw+b01)的值。

步驟1.6 計(jì)算D的值：

步驟1.7 更新隱含層的輸出權(quán)重β=YD。

步驟1.8 計(jì)算出增加隱含層節(jié)點(diǎn)后mse的值，其中mse=MSE(Y-βH),若mse小于期望值則轉(zhuǎn)至步驟2，若mse大于期望值則跳轉(zhuǎn)到步驟1.4。

步驟2 增加訓(xùn)練樣本數(shù)目：

步驟2.1 假設(shè)新增加的一批訓(xùn)練樣本的個(gè)數(shù)為k1，每次增加n個(gè)訓(xùn)練樣本，計(jì)算出隱含層的輸出矩陣H。

步驟2.2 計(jì)算隱含層的輸出權(quán)重β(k+1)：

步驟2.3 當(dāng)增加的訓(xùn)練樣本個(gè)數(shù)大于k1時(shí)，則繼續(xù)步驟2.4；當(dāng)增加的訓(xùn)練樣本小于k1時(shí)，則跳轉(zhuǎn)到步驟2.1。

步驟2.4 輸出權(quán)重β(k+1)。

4.2 算法時(shí)間復(fù)雜度分析

此節(jié)，對(duì)IOS-ELM 算法的時(shí)間復(fù)雜度進(jìn)行分析。IOS-ELM 算法時(shí)間復(fù)雜度分析分為兩部分，分別對(duì)應(yīng)上述的步驟1 和步驟2。在步驟1 中，由文獻(xiàn)[3]可以得到，對(duì)于每i次迭代，算法的時(shí)間復(fù)雜度為ο(k0li)，其中k0為訓(xùn)練樣本的個(gè)數(shù)，li為第i次迭代時(shí)隱含層的節(jié)點(diǎn)數(shù)。在步驟2 中，對(duì)于第i次迭代，算法的時(shí)間復(fù)雜度為ο(kil0)，其中ki表示第i次迭代時(shí)訓(xùn)練樣本的個(gè)數(shù)，l0為步驟1 輸出的最終的節(jié)點(diǎn)數(shù)。由上述分析可以看出，所提算法的時(shí)間復(fù)雜度只與訓(xùn)練樣本的數(shù)據(jù)量和其隱含層節(jié)點(diǎn)數(shù)有關(guān)，一般情況而言，數(shù)據(jù)集維度的增加對(duì)時(shí)間復(fù)雜度沒(méi)有影響。但在實(shí)際實(shí)驗(yàn)時(shí)，維數(shù)的增加可能需要更多的隱節(jié)點(diǎn)。隨著新增訓(xùn)練樣本數(shù)量的增加，對(duì)算法的時(shí)間復(fù)雜度會(huì)產(chǎn)生一定的影響。如果增加的樣本數(shù)遠(yuǎn)大于原始的樣本數(shù)，則理論上會(huì)增大算法的時(shí)間復(fù)雜度。例如對(duì)于步驟1 中，對(duì)于每i次迭代，原始訓(xùn)練樣本為k0，增加的樣本數(shù)為，如果，則此時(shí)的時(shí)間復(fù)雜度由ο(k0li)增加到。不過(guò)，實(shí)際中因?yàn)檠芯康氖窃诰€情形，這種情況并不多見(jiàn)。如果增加的訓(xùn)練樣本數(shù)沒(méi)有原始樣本數(shù)多，則對(duì)算法的時(shí)間復(fù)雜度沒(méi)有影響。

4.3 算法總結(jié)

本文所提的IOS-ELM 算法，對(duì)于回歸問(wèn)題在速度和性能都有很好表現(xiàn)。由于回歸與分類的內(nèi)在聯(lián)系，同樣的框架也可以應(yīng)用于分類問(wèn)題[15]。對(duì)于一個(gè)m類分類問(wèn)題，屬于第i類的訓(xùn)練樣本的輸出可以表示為y=ei，其中ei∈Rm，是一個(gè)第i項(xiàng)為1，其他項(xiàng)為0 的向量。可以按照與回歸問(wèn)題相同的步驟來(lái)訓(xùn)練IOS-ELM。在預(yù)測(cè)階段，IOS-ELM 會(huì)根據(jù)測(cè)試數(shù)據(jù)生成m維的輸出向量，其中最大元素所在位置即為分類標(biāo)簽。例如，若輸出向量的m個(gè)輸出元素中，第i個(gè)元素中具有最大值，則樣本被分類到第i類中。由以上可知，該算法可較好地適用于回歸和分類問(wèn)題。

5 實(shí)驗(yàn)分析

本章進(jìn)行實(shí)驗(yàn)分析，以驗(yàn)證所提出的無(wú)逆矩陣在線序列極限學(xué)習(xí)機(jī)算法的有效性。為了更好評(píng)估算法的性能，實(shí)驗(yàn)使用機(jī)器學(xué)習(xí)領(lǐng)域中具有幾個(gè)代表性的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。這些數(shù)據(jù)集分別來(lái)自加利福利亞大學(xué)Irvine機(jī)器學(xué)習(xí)庫(kù)[16]和支持向量機(jī)數(shù)據(jù)庫(kù)[17]，數(shù)據(jù)集在數(shù)據(jù)量和維度上有代表性。對(duì)于回歸問(wèn)題，實(shí)驗(yàn)所用數(shù)據(jù)集Energy efficiency數(shù)據(jù)集[18]、Housing 數(shù)據(jù)集[19]、Parkinson數(shù)據(jù)集[20]、Airfoil self-noise數(shù)據(jù)集[21]如表1所示。在測(cè)試實(shí)驗(yàn)中，對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行預(yù)處理，所有輸入數(shù)據(jù)和輸出數(shù)據(jù)都?xì)w一化到[-1,1]。對(duì)于分類問(wèn)題，所用數(shù)據(jù)集Diabetes 數(shù)據(jù)集[16]、Musk 數(shù)據(jù)集[22]、Feritility數(shù)據(jù)集[23]、Spambase數(shù)據(jù)集[16]、CNAE-9 數(shù)據(jù)集、Multiple Features 數(shù)據(jù)集如表2 所示。實(shí)驗(yàn)結(jié)果如表3、表4 所示。

Table 1 Introduction to regression data sets表1 回歸數(shù)據(jù)集介紹

Table 2 Introduction to classification data sets表2 分類實(shí)驗(yàn)數(shù)據(jù)集介紹

5.1 實(shí)驗(yàn)環(huán)境

本文所有實(shí)驗(yàn)均在同一環(huán)境下完成，采用在Windows 10 環(huán)境下搭建系統(tǒng)，計(jì)算機(jī)處理器配置為Intel?CoreTMi3-4150 CPU@3.5 GHz，內(nèi)存4 GB，主算法在Matlab2016b下完成。

Table 3 Experimental results on regression datasets表3 回歸數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果

Table 4 Experimental results on classification datasets表4 分類數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果

5.2 評(píng)估指標(biāo)

為保證實(shí)驗(yàn)結(jié)果真實(shí)準(zhǔn)確，每個(gè)數(shù)據(jù)集對(duì)應(yīng)的各個(gè)激活函數(shù)都進(jìn)行20 次實(shí)驗(yàn)，然后取其平均值作為最終結(jié)果。每次實(shí)驗(yàn)隨機(jī)選取數(shù)據(jù)集的4/5 作為訓(xùn)練集，其他的作為測(cè)試集。且每次選取訓(xùn)練集的9/10 作為初始部分的樣本，剩余的1/10 作為在線學(xué)習(xí)的樣本。對(duì)于分類問(wèn)題，采用常見(jiàn)準(zhǔn)確率（accuracy）作為衡量指標(biāo)。對(duì)于回歸問(wèn)題，采用均方誤差（mse）評(píng)估所提出算法的預(yù)測(cè)性能。并計(jì)算分類實(shí)驗(yàn)中準(zhǔn)確率和回歸實(shí)驗(yàn)中均方誤差的標(biāo)準(zhǔn)差來(lái)評(píng)估預(yù)測(cè)的離散程度。

5.3 實(shí)驗(yàn)結(jié)果

表3 顯示了所提出的具有不同激活函數(shù)的IOSELM 算法的回歸性能，激活函數(shù)包括Sigmoid 函數(shù)、Triangular 函數(shù)、Hardlim 函數(shù)和Sine 函數(shù)。在實(shí)驗(yàn)中使用Tikhonov 正則化算法來(lái)避免過(guò)擬合。實(shí)驗(yàn)部分將所提IOS-ELM 在線學(xué)習(xí)算法的在線訓(xùn)練時(shí)間與傳統(tǒng)的IF-ELM 批量學(xué)習(xí)算法學(xué)習(xí)時(shí)間的結(jié)果進(jìn)行比較。由表3 中的結(jié)果可以得出，兩個(gè)算法在不斷增加訓(xùn)練樣本之后，所提的IOS-ELM 算法在保證了與IFELM 算法相近的學(xué)習(xí)性能的情況下，學(xué)習(xí)速度有了明顯的提高，且新增的樣本數(shù)量越大，所節(jié)省的時(shí)間也越多。

表4 顯示了所提的IOS-ELM 算法與IF-ELM 算法在不同激活函數(shù)情況下的分類性能的比較。實(shí)驗(yàn)所用激活函數(shù)與測(cè)試回歸性能所用激活函數(shù)相同。由表4 可以看出所提的IOS-ELM 算法與IF-ELM 算法的分類準(zhǔn)確率相近（兩個(gè)算法的分類的測(cè)試準(zhǔn)確率相差不超過(guò)0.5%），但所提算法在速度上確實(shí)有較大的提升。其中CNAE-9 數(shù)據(jù)集與Diabetes 數(shù)據(jù)集的數(shù)據(jù)量相差不大，但是所提IOS-ELM 算法的實(shí)驗(yàn)中，CNAE-9 數(shù)據(jù)集的訓(xùn)練時(shí)間是Diabetes 數(shù)據(jù)集的4 倍左右。這是因?yàn)榍罢邤?shù)據(jù)集的維度和類別數(shù)都較大，為達(dá)到所需精度選取的隱含層節(jié)點(diǎn)數(shù)較多。最終，訓(xùn)練時(shí)間也隨著隱含層節(jié)點(diǎn)數(shù)的增多而增大。

6 結(jié)束語(yǔ)

針對(duì)無(wú)逆矩陣極限學(xué)習(xí)機(jī)只能將所有數(shù)據(jù)一次性輸入給訓(xùn)練模型這一問(wèn)題，本文提出了一個(gè)快速準(zhǔn)確的無(wú)逆矩陣在線序列極限學(xué)習(xí)機(jī)算法。該算法源于批量學(xué)習(xí)的無(wú)逆矩陣極限學(xué)習(xí)機(jī)算法，理論上在一定條件下能夠以任意小期望誤差逼近任意非線性連續(xù)函數(shù)。其首先利用初次的輸入樣本集找到合適的隱含層節(jié)點(diǎn)，然后可以將單個(gè)或多個(gè)樣本數(shù)據(jù)逐步進(jìn)入到訓(xùn)練模型當(dāng)中，只要確定所期望的輸出誤差，所有隱含層參數(shù)都是任意給定。實(shí)驗(yàn)結(jié)果證明，該算法與無(wú)逆矩陣極限學(xué)習(xí)機(jī)有著相同的精度和泛化能力，在速度上有很大的提升。在未來(lái)的進(jìn)一步發(fā)展中可以在增加樣本數(shù)據(jù)的同時(shí)再增加或刪減隱含層節(jié)點(diǎn)，以達(dá)到更好的學(xué)習(xí)效果。