張海英+閆德勤+楚永賀

摘 要：極端學(xué)習(xí)機(jī)作為傳統(tǒng)單隱層前饋神經(jīng)網(wǎng)絡(luò)（Single-Hidden Layer Feedforward Networks，SLFNs）的拓展在模式識(shí)別領(lǐng)域成為新的研究熱點(diǎn)之一，然而已有的極端學(xué)習(xí)機(jī)算法及其改進(jìn)不能較好地利用數(shù)據(jù)蘊(yùn)含的判別信息。針對(duì)該問題，提出一種基于判別信息的正則極端學(xué)習(xí)機(jī)（Discriminative Information Regularized Extreme Learning Machine，IELM）。對(duì)于模式識(shí)別問題，IELM引入同類離散度和異類離散度的概念，體現(xiàn)輸入空間數(shù)據(jù)的判別信息，通過最大化異類離散度和最小化同類離散度，優(yōu)化極端學(xué)習(xí)機(jī)的輸出權(quán)值，從而在一定程度上提高ELM的分類性能和泛化能力。為了評(píng)價(jià)和驗(yàn)證所提出方法的有效性，使用Yale、Yale B、ORL、UMIST人臉數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。結(jié)果表明，該算法能夠顯著提高ELM的分類性能和泛化能力。

關(guān)鍵詞：極端學(xué)習(xí)機(jī)；單隱層前饋神經(jīng)網(wǎng)絡(luò)；判別信息；同類離散度；異類離散度

DOIDOI：10.11907/rjdk.171232

中圖分類號(hào)：TP317.4

文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2017）007-0187-04

0 引言

近來，極端學(xué)習(xí)機(jī)（Extreme Learning Machine， ELM）吸引了越來越多學(xué)者的關(guān)注，Huang等[1-2]基于單隱層前饋神經(jīng)網(wǎng)絡(luò)（Single-Hidden Layer Feedforward Networks， SLFNs）結(jié)構(gòu)提出了極端學(xué)習(xí)機(jī)。ELM不同于傳統(tǒng)的單隱層前饋神經(jīng)網(wǎng)絡(luò)（SLFNs），而是在最小化訓(xùn)練誤差的同時(shí)最小化輸出權(quán)值[3]。ELM隨機(jī)選擇輸入權(quán)值并分析確定SLFNs的輸出權(quán)值，避免了傳統(tǒng)SLFNs學(xué)習(xí)方法收斂速度慢及陷入局部極小解的可能。ELM具有更好的泛化能力和更快的學(xué)習(xí)速度，使其在在線和實(shí)時(shí)應(yīng)用中具有較高效率。由于ELM高效及易于實(shí)施的特點(diǎn)，適用于分類和回歸等問題[4-5]。ELM現(xiàn)已成功運(yùn)用到不平衡數(shù)據(jù)學(xué)習(xí)[6]、人臉識(shí)別[7]、噪音數(shù)據(jù)學(xué)習(xí)[8]、在線連續(xù)數(shù)據(jù)學(xué)習(xí)[9]等實(shí)際問題中。

然而，ELM在學(xué)習(xí)過程中并未充分考慮到數(shù)據(jù)樣本間的幾何特征和數(shù)據(jù)蘊(yùn)含的判別信息，因而在一定程度上限制了ELM的分類性能和泛化能力。為了克服ELM的上述缺陷，Alexandros Iosifidis等[10]提出了最小類方差極端學(xué)習(xí)機(jī)（Minimum Class Variance Extreme Learning Machine， MCVELM）。MCVELM通過最小化類內(nèi)方差正則化ELM，不僅繼承了ELM的優(yōu)點(diǎn)，還在一定程度上克服了ELM學(xué)習(xí)過程中訓(xùn)練不充分及小樣本問題，同時(shí)在學(xué)習(xí)過程中考慮到數(shù)據(jù)的類內(nèi)分布特性及判別信息，體現(xiàn)出類間的判別信息。然而對(duì)于模式識(shí)別問題，不同類的數(shù)據(jù)樣本位于不同的流形結(jié)構(gòu)中，導(dǎo)致運(yùn)用MCVELM時(shí)，數(shù)據(jù)樣本出現(xiàn)信息重疊的現(xiàn)象，降低了ELM的分類性能和泛化能力。MCVELM在一定程度上未考慮到數(shù)據(jù)樣本間的差異判別信息，同時(shí)MCVELM是在激活函數(shù)所在空間求得數(shù)據(jù)樣本的離散度矩陣，而非數(shù)據(jù)樣本的原始輸入空間。文獻(xiàn)[11]通過分析提出，在數(shù)據(jù)樣本的原始輸入空間求得數(shù)據(jù)樣本的分布結(jié)構(gòu)信息，使ELM獲得了良好的泛化能力。因此，針對(duì)MCVELM存在的上述問題，本文提出一種基于判別信息的正則極端學(xué)習(xí)機(jī)（IELM）。對(duì)于分類問題，IELM同時(shí)考慮到數(shù)據(jù)樣本的幾何特征和數(shù)據(jù)蘊(yùn)含的判別信息，通過最大化異類離散度和最小化同類離散度，優(yōu)化極端學(xué)習(xí)機(jī)的輸出權(quán)值，從而在一定程度上提高ELM的分類性能和泛化能力。

IELM方法的優(yōu)勢(shì)在于：①繼承了ELM和MCVELM的優(yōu)點(diǎn)，還在一定程度上避免了ELM學(xué)習(xí)不充分的問題；②在數(shù)據(jù)樣本的原始輸入空間求得異類離散度和同類離散度矩陣而非激活函數(shù)所在空間；③將異類離散度和同類離散度引入到ELM中，不僅充分利用了數(shù)據(jù)樣本的差異判別信息，還避免了運(yùn)用MCVELM方法時(shí)出現(xiàn)數(shù)據(jù)樣本信息重疊的現(xiàn)象；④利用MMC[12]方法有效解決了最大化異類離散度和最小化同類離散度矩陣奇異問題。

為了評(píng)價(jià)和驗(yàn)證所提出的方法，實(shí)驗(yàn)使用Yale、Yale B、ORL、UMIST人臉數(shù)據(jù)，并將本文提出的方法與ELM、MCVELM[10]、RAF-ELM[13]、GELM[7]進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果表明，本文提出的算法能夠顯著提高ELM的分類準(zhǔn)確率和泛化能力，效果優(yōu)于其它算法。

1 ELM

黃廣斌等基于單隱層前饋神經(jīng)網(wǎng)絡(luò)提出了ELM，ELM良好的逼近能力和分類準(zhǔn)確率已被證實(shí)，統(tǒng)一框架下的ELM為不同的神經(jīng)網(wǎng)絡(luò)提供了一種統(tǒng)一形式。ELM隱層節(jié)點(diǎn)的輸入權(quán)值和節(jié)點(diǎn)偏置值是隨機(jī)產(chǎn)生的，只有連接隱層節(jié)點(diǎn)和輸出節(jié)點(diǎn)的權(quán)值是經(jīng)過計(jì)算求出的。與傳統(tǒng)的單隱層前饋神經(jīng)網(wǎng)絡(luò)相比，參數(shù)的計(jì)算量大大降低，從而使訓(xùn)練速度大幅提升。N個(gè)不同的樣本（xi，ti）可表示為X=（x1，x2，…，xN）∈RD×N，其中ti=（ti1，ti2，…，tiD），期望輸出矩陣T=（t1，t2，…，tD）∈RD×N，網(wǎng)絡(luò)中含有L個(gè)隱層節(jié)點(diǎn)，激活函數(shù)為f（x）。

∑Li=1wif（ai·xj+bj）=tj（1）其中j=1，2，…，N，ai=（ai1，ai2，…，ain）為連接第i個(gè)隱層節(jié)點(diǎn)與輸入節(jié)點(diǎn)的輸入權(quán)值向量，wi=（wi1，wi2，…，win）為連接第i個(gè)隱層節(jié)點(diǎn)的輸出權(quán)值向量，bi為第i個(gè)隱層節(jié)點(diǎn)的偏置值，ai·xj表示ai和xj的內(nèi)積。令隱層節(jié)點(diǎn)為L(zhǎng)，上述方程（1）可寫成矩陣形式：HW=T，W是輸出權(quán)值矩陣，其中H是網(wǎng)絡(luò)隱層輸出矩陣：H=f（a1·x1+b1）…f（aN·x1+bN）f（a1·xN+b1）…f（aN·xN+bN）N×LW=w1wNL×M，T=t1tNN×M傳統(tǒng)的SLFNs希望能夠找到一些合適的ai，bi，β，i=1，2，…，N，使得：endprint

‖H（a1，…，aL，b1，…，bL）W-T‖=mina，b，W‖H（a1，…，aL，b1，…，bL）W-T‖（2）式（2）可利用梯度下降算法求解，huang等證明了輸入隱層的權(quán)值及偏置值不需要像傳統(tǒng)的SLFNs學(xué)習(xí)方法一樣不斷調(diào)整，當(dāng)網(wǎng)絡(luò)的激活函數(shù)連續(xù)可微時(shí)，可隨機(jī)選取輸入權(quán)值ai和隱層的偏置值bi。由式（2）可知，SLFNs網(wǎng)絡(luò)的解可通過線性系統(tǒng)HW=T的最小二乘解得到。若隱層節(jié)點(diǎn)L等于訓(xùn)練樣本數(shù)N，即L=N，此時(shí)矩陣H可直接求逆，但在大多數(shù)情況下L<

j=1，2，…，N（3）其中ε為訓(xùn)練誤差，式（3）的優(yōu)化模型可通過拉格朗日乘子法轉(zhuǎn)化為無條件最優(yōu)化問題進(jìn)行求解，進(jìn)而求得W=（HHT+IC）HTT，其中I為單位矩陣，C為懲罰參數(shù)。給定訓(xùn)練樣本X=（x1，x2，…，xN）和訓(xùn)練樣本的期望輸出矩陣T=（t1，t2，…，tD）∈RD×N，激活函數(shù)為f（x），隱層結(jié)點(diǎn)數(shù)為L(zhǎng)，ELM算法可總結(jié)步驟如下：①初始化訓(xùn)練樣本集；②隨機(jī)指定網(wǎng)絡(luò)輸入權(quán)值ai和偏置值bi；③通過激活函數(shù)計(jì)算隱層節(jié)點(diǎn)輸出矩陣H；④計(jì)算輸出權(quán)值W=H+T，其中T=（t1，t2，…，tN）∈RN×M。

2 IELM

為了克服ELM學(xué)習(xí)過程中訓(xùn)練不充分及MCVELM學(xué)習(xí)過程中出現(xiàn)數(shù)據(jù)樣本信息重疊的現(xiàn)象，提出一種基于判別信息的正則極端學(xué)習(xí)機(jī)（IELM）。

設(shè)SB為數(shù)據(jù)樣本的同類離散度矩陣，SW為數(shù)據(jù)樣本的異類離散度矩陣，SB和SW可表示為：

SW=∑Ci=1（ui-u）（ui-u）T（5）上述定義中C為數(shù)據(jù)樣本的類別個(gè)數(shù)，ui為數(shù)據(jù)樣本的類內(nèi)樣本均值，u為數(shù)據(jù)樣本的總體均值，異類離散度矩陣和同類離散度矩陣分別體現(xiàn)了輸入數(shù)據(jù)樣本空間的分布特征和判別信息。同時(shí)，定義S=SB-（1-η）SW（0≤ε≤1），S稱為信息差距陣，η為大于零的常量。上述定義中，參數(shù)η起調(diào)節(jié)類內(nèi)判別信息和類間判別信息的作用，當(dāng)參數(shù)η增大時(shí)偏向于類內(nèi)信息，反之加大懲罰類間差異信息。因此，在適當(dāng)?shù)摩窍?，IELM較好地利用了數(shù)據(jù)蘊(yùn)含的判別信息，增強(qiáng)了ELM模式的分類能力。綜上所述，IELM的優(yōu)化問題可描述為：

3 實(shí)驗(yàn)結(jié)果及分析

在本節(jié)中將IELM與ELM、MCVELM、RAFELM、GELM進(jìn)行對(duì)比，IELM與ELM、MCVELM、RAFELM、GELM均采用Sigmoid函數(shù)作為激活函數(shù)，隱層節(jié)點(diǎn)個(gè)數(shù)設(shè)置為人臉圖像數(shù)據(jù)的維數(shù)。 為了實(shí)驗(yàn)的公平性，本文中的懲罰參數(shù)C都是一樣的（本文嘗試選擇C的參數(shù)，這可以使所有實(shí)驗(yàn)都有很好的結(jié)果）。在Yale、ORL實(shí)驗(yàn)中隨機(jī)選取訓(xùn)練集個(gè)數(shù)為L(zhǎng)={4，5，6，7}，剩余部分為測(cè)試集，在Yale B試驗(yàn)中隨機(jī)選取訓(xùn)練集個(gè)數(shù)為L(zhǎng)={25，30，35，40}，剩余部分為測(cè)試集，每個(gè)實(shí)驗(yàn)分別重復(fù)10次以獲取一個(gè)更好的識(shí)別率。不同人臉圖像的訓(xùn)練集如圖1所示，4個(gè)不同人臉數(shù)據(jù)庫在人臉識(shí)別實(shí)驗(yàn)中的設(shè)置如表1所示。IELM與ELM、MCVELM、RAFELM、GELM的識(shí)別率如表2～4所示。

圖2～4給出了5種不同的ELM算法在Yale、Yale B、ORL數(shù)據(jù)上的識(shí)別率曲線。由圖可知，本文提出的方法IELM的識(shí)別率曲線顯著高于其它算法，主要是由于IELM考慮到數(shù)據(jù)樣本的幾何特征和數(shù)據(jù)蘊(yùn)含的判別信息。IELM不僅考慮到同類數(shù)據(jù)樣本間的判別信息，而且考慮到了不同類數(shù)據(jù)樣本間的差異判別信息，避免了運(yùn)用MCVELM方法時(shí)造成數(shù)據(jù)樣本信息重疊的現(xiàn)象，同時(shí)在數(shù)據(jù)樣本的原始輸入空間求得異類離散度和同類離散度矩陣，而非激活函數(shù)所在空間，優(yōu)化了極端學(xué)習(xí)機(jī)的輸出權(quán)值，從而在一定程度上提高了ELM的分類性能和泛化能力；在圖2和圖4中發(fā)現(xiàn)當(dāng)訓(xùn)練集個(gè)數(shù)為6和7時(shí)，MCVELM出現(xiàn)了很大波動(dòng)，主要是由于ELM算法自身的不穩(wěn)定性，以及MCVELM造成數(shù)據(jù)樣本信息重疊的現(xiàn)象，降低了ELM的穩(wěn)定性和泛化能力；圖3給出了5種不同算法在Yale B數(shù)據(jù)上的識(shí)別率曲線，當(dāng)訓(xùn)練集個(gè)數(shù)為25時(shí)，MCVELM算法的識(shí)別率曲線低于ELM的識(shí)別率曲線，而當(dāng)訓(xùn)練集個(gè)數(shù)增大時(shí)，MCVELM表現(xiàn)出較好的識(shí)別率。由此可以看出，當(dāng)訓(xùn)練集個(gè)數(shù)較少時(shí)，并不適合使用MCVELM算法；在圖2～4中，GELM算法的識(shí)別率曲線取得了良好效果，在圖3和圖4中GELM算法的識(shí)別率曲線還表現(xiàn)出了穩(wěn)定的性質(zhì)，這是由于GELM算法考慮到同類數(shù)據(jù)樣本在具有相似性的同時(shí)，將該相似性利用拉普拉斯特征映射結(jié)構(gòu)進(jìn)行表示，進(jìn)而引入到ELM的優(yōu)化模型；RAFELM算法的識(shí)別率曲線高于ELM的識(shí)別率曲線，然而明顯低于IELM、GELM、MCVELM的識(shí)別率曲線，這是由于RAFELM僅從激活函數(shù)的角度改進(jìn)了ELM算法，而沒有考慮到數(shù)據(jù)樣本的幾何特征和數(shù)據(jù)蘊(yùn)含的判別信息。表2～4給出了識(shí)別率曲線對(duì)應(yīng)的識(shí)別率，從表中可以看出，IELM的識(shí)別率明顯高于其它算法。

4 結(jié)語

為了提高極端學(xué)習(xí)機(jī)在人臉圖像識(shí)別中的分類性能和泛化能力，本文提出了一種基于判別信息的正則極端學(xué)習(xí)機(jī)（IELM）。本文的創(chuàng)新之處是考慮到人臉圖像數(shù)據(jù)的聯(lián)系和差異信息。因此IELM引入了同類離散度和異類離散度的概念，體現(xiàn)出輸入空間數(shù)據(jù)的判別信息，通過最大化異類離散度和最小化同類離散度，優(yōu)化極端學(xué)習(xí)機(jī)的輸出權(quán)值。通過與ELM、MVELM、RAF-ELM、GELM算法的對(duì)比實(shí)驗(yàn)表明，本文提出的方法顯著提高了極端學(xué)習(xí)機(jī)的分類性能和泛化能力，性能優(yōu)于其它算法。

參考文獻(xiàn)：

[1]WANG DIANHUI，HUANG GUANGBIN. Protein sequence classification using extreme learning machine[C]. Proceedings of International Joint Conference on Neural Networks，2005（3）：1406-1411.

[2]TANG J， DENG C， HUANG G B. Extreme learning machine for multilayer perceptron[J]. IEEE Transactions on Neural Networks & Learning Systems，2016，27（4）：809.

[3]HUANG G B， ZHOU H， DING X， et al. Extreme learning machine for regression and multiclass classification[J]. IEEE TransSyst Man Cybern B，2012，42（2）：513-529.

[4]HUANG G B， ZHU Q Y， SIEW C K. Extreme learning machine： a new learning scheme of feedforward neural networks[C].Proceedings of International Joint Conference on Neural Networks （IJCNN2004）， 2004： 985-990.

[5]MICHE Y， SORJAMAA A， BAS P， et al.OP-ELM： optimally pruned extreme learning machine[J]. IEEE Trans Neural Netw， 2010，21（1）：158-162.

[6]W W ZONG， G B HUANG， Y CHEN.Weighted extreme learning machine for imbalance learning[J]. Neurocomputing， 2013，101（3）：229-242.

[7]YONG PENG， BAOLIANG LU. Discriminative graph regularized extreme learning machine and its application to face recognition[J]. Neurocomputing，2015.

[8]Q YU， Y MICHE， E EIROLA， et al. Lendasse， regularized extreme learning machine for regression with missing data[J]. Neurocomputing ，2013，102（2）：45-51.

[9]J W ZHAO， Z H WANG， D S PARK. Online sequential extreme learning machine with forgetting mechanism[J]. Neurocomputing， 2012，87（15）：79-89.

[10]ALEXANDROS IOSIFIDIS， ANASTASIOS TEFAS.Minimum class variance extreme learning machine for human action recognition[J]. IEEE Transactions on Circuits and Systems for Video Technology，2013， 23（11）：1968-1979.

[11]GAO HUANG， SHIJI SONG.Semi-supervised and unsupervised extreme learning machines[J]. IEEE Transactions on Cybernetics，2014，44（12）：2405.

[12]LI H， JIANG T， ZHANG K. Efficient robust feature extraction by maximum margin criterion[C]. Advances in Neural Information Processing Systems， 2003.

[13]SHENGLAN LIU， LIN FENG， YAO XIAO. Robust activation function and its application： semi-supervised kernel extreme learning method[J]. Neurocomputing， 2014，144（1）：318-328.

[14]V N VAPNIK. Statistical learning theory[M]. Wiley， NY， 1998.endprint