李麗娜 閆德勤 楚永賀

(遼寧師范大學計算機與信息技術學院 遼寧 大連 116081)

一種修正的模糊極限學習機

李麗娜 閆德勤 楚永賀

(遼寧師范大學計算機與信息技術學院 遼寧 大連 116081)

極限學習機ELM(Extreme learning machine)作為一個有競爭力的機器學習算法，以其簡單的理論和易于實施的特點吸引了越來越多學者的關注。近來，針對噪音及離群數據，研究人員提出了相關的研究算法，然而如何將ELM更好地應用在含有噪音及離群數據的分類問題中仍是一個重要的研究課題?；跀祿男畔㈥P聯(lián)的技術思想提出一種修正的模糊極限學習機(MFELM)。MFELM的優(yōu)勢在于： 1) MFELM在處理噪音及離群數據的分類問題時能夠保持ELM處理正常數據分類問題的良好性能； 2) 適用于ELM的激活函數或核函數同樣適用于MFELM模型； 3) 根據不同的需求給每個數據樣本分配不同的隸屬度，MFELM可以推廣到代價敏感學習中。通過使用UCI數據集和普遍應用的人臉數據集進行實驗，實驗結果表明該提出的算法顯著提高了ELM的分類能力并優(yōu)于其他算法。

極限學習機 不平衡數據 信息關聯(lián) 特征映射

0 引 言

近來極限學習機[1]ELM吸引了越來越多學者的關注[2-3]，ELM在單隱層前饋神經網絡SLFNs(Single-hidden layer feedforward networks)[4]的基礎上發(fā)展而來，可以看作是SLFNs的擴展。不同于傳統(tǒng)的神經網絡算法，ELM具有三個主要優(yōu)勢：(1) 隨機產生隱層節(jié)點的輸入權值和偏置值，僅有輸出權值經過分析確定。根據文獻[5]分析指出幾乎所有非線性分段連續(xù)函數都可以作為激活函數，同時能夠滿足ELM具有的通用逼近能力。(2) 不僅最小化訓練誤差并且最小化輸出權值，ELM最小化輸出權值和支持向量機SVM[6]最大化幾何間隔在本質上具有一致性[3]。(3) SVM針對不同的應用就需要有與之對應的模型，不同于SVM算法，ELM針對不同的問題(例如：二分類問題，多分類問題以及回歸問題)提供了統(tǒng)一的模型框架。ELM良好的性質使其在實際問題中得到了廣泛應用，例如：不平衡數據學習[7]，噪音及缺失數據[8-9]，人臉識別[10]，聚類[11]，特征提取[12]等。

雖然ELM在分類和回歸問題中得到了廣泛應用，然而ELM在處理含有噪音及離群點數據時并沒有表現出很好的魯棒性。在處理分類和回歸問題時，每個訓練樣本對建立的預測模型具有相同的影響，ELM通過最小化訓練誤差和輸出權值建立的預測模型同樣適用于噪音及離群數據，在這種情況下將導致輸出權值求解不準，出現過擬合的現象，降低ELM的泛化能力。針對噪音及離群點對ELM隱層節(jié)點輸出矩陣的影響,文獻[13]提出一種魯棒激活函數的極限學習機RAFELM(Robust activation function extreme learning machine)，該方法從激活函數的角度在高斯激活函數的基礎上進行了改進，該方法的特點是利用角度優(yōu)化的思想對高斯激活函數進行了改進，增強ELM對噪音及離群點的抗干擾能力，通過在圖像數據集上的實驗結果表明RAFELM提高了ELM的泛化性能。但RAFELM并沒有消除噪音及離群點對ELM算法的影響。針對噪音及離群點對ELM模型的影響,文獻[14]和文獻[15]利用隸屬度的概念，這兩種方法的特點是根據不同數據樣本對ELM模型的不同影響分配相應的隸屬度。文獻[14]針對分類問題提出一種模糊極限學習機FELM(Fuzzy extreme learning machine)，FELM只是提出了隸屬度的概念，并沒有給出如何計算隸屬度具體的方法。文獻[15]針對回歸問題提出一種新的模糊極限學習機算法NFELM(New fuzzy extreme learning machine)。NFELM算法具體做法是利用隸屬度的思想，根據不同數據樣本對ELM模型的不同影響分配一個額外的權值，隸屬度表征數據樣本對ELM模型的重要程度，隸屬度越大表明數據點對ELM模型的影響越大。在噪音及離群數據學習中，對重要的數據分配一個比較大的隸屬度，對噪音及離群數據分配一個比較小的隸屬度。NFELM算法利用上述方法減弱噪音及離群點對ELM的影響，NFELM通過在人工數據和現實世界的基準數據實驗結果表明，NFELM提高了ELM對噪音及離群點的魯棒性。然而NFELM并沒有考慮到ELM特征映射空間對數據的影響，NFELM在數據輸入空間計算的隸屬度，不能正確反映數據樣本與類中心之間的關系，并沒有充分發(fā)揮ELM的優(yōu)勢。

針對現有ELM算法在處理噪音及離群點存在的問題，提出一種修正的模糊極限學習機(MFELM)，MFELM繼承了ELM良好的學習能力和泛化能力，與現有的ELM算法相比，MFELM在處理噪音及離群點時具有很好的魯棒性。為驗證所提算法的有效性，實驗使用UCI數據集和普遍應用的人臉數據集進行實驗，實驗結果表明本文提出的算法顯著提高了ELM的分類能力并優(yōu)于其他算法。

值得一提的是，本文在計算樣本隸屬度時考慮到特征映射空間對數據的影響，從而在特征映射空間計算樣本的隸屬度而非數據輸入空間。實驗結果顯示在特征映射空間計算隸屬度建立的ELM模型的泛化性能優(yōu)于在數據輸入空間計算的隸屬度。

1 ELM

對于N個不同的樣本(xj,tj)，可表示為X=(x1,x2,…,xN)T∈RD×N,其中tj=(tj1,tj2,…,tjm)T∈Rm為對應于樣本xj的期望輸出向量。網絡中含有L個隱層節(jié)點,激活函數為g(x):

(1)

其中j=1,2,…,N，ai=(ai1,ai2,…,ain)為連接第i個隱層節(jié)點與輸入節(jié)點的輸入權值向量，βi=(βi1,βi2,…,βim)為連接第i個隱層節(jié)點與輸出節(jié)點的輸出權值向量，bi為第i個隱層節(jié)點的偏置值，ai·xj表示ai和xj的內積。對所有數據樣本進行整合,式(1)可以改寫為如下形式：

Hβ=T

(2)

其中H是網絡隱層節(jié)點輸出矩陣，β為輸出權值矩陣，T為期望輸出矩陣：

(3)

(4)

當隱層節(jié)點個數和訓練樣本個數相同時(即L=N)我們可以通過式(2)直接求矩陣H的逆矩陣，得到最優(yōu)的輸出權值矩陣β，但大多情況下隱層節(jié)點的個數遠小于訓練樣本的個數(即L<

(5)

其中H+為矩陣H的廣義逆。

為了提高傳統(tǒng)ELM的穩(wěn)定性和泛化能力，Huang提出了等式優(yōu)化約束的ELM[16]，等式優(yōu)化約束的ELM的優(yōu)化式子不僅最小化訓練誤差ξ同時最小化輸出權值β，因此等式優(yōu)化約束的ELM目標式子可寫為：

(6)

式(6)中ξi=(ξi1,…,ξ1m)T為對應于樣本xi的訓練誤差向量，C為懲罰參數。利用拉格朗日方法對式(6)轉化為無條件最優(yōu)化問題進行求解可得：

(7)

由式(7)可得ELM的輸出函數為：

(8)

因此ELM算法求解過程可總結步驟如下：

1) 初始化訓練樣本集；

2) 隨機指定網絡輸入權值ai和偏置值bi，i=1,2,…,L；

3) 通過激活函數計算隱層節(jié)點輸出矩陣H；

2 修正的極限學習機

為了克服現有ELM算法在處理噪音及離群點存在的問題，提出一種修正的模糊極限學習機(MFELM)。

2.1 隸屬度的定義

本節(jié)我們提出一種新的模糊隸屬度函數，與文獻[15]提出的方法相比，本文所提的方法在消除噪音及離群點對ELM算法的影響方面能夠獲得更好的效果，同時能夠顯著提高ELM算法的準確率和泛化能力。

(11)

R=max‖φc-φ(Xc)‖

(12)

di=‖φ(xi)-φc‖

(13)

上述式(11)和式(12)適用于激活函數已知的情況，當激活函數未知我們可以采用核函數的方法求得R和di：

R2= max‖φ(Xc)-φc‖2=

max{φ2(Xc)-2φ(Xc)·φc+(φc)2}=

(14)

式(14)中Xc為第c類所有樣本組成的樣本矩陣，xi為第c類第i個樣本，nc為第c類數據樣本個數，K(xi,xj)為核函數。

φ(xi)2-2φ(xi)·φc+(φc)2=

(15)

1) 當激活函數已知的情況下利用式(12)和式(13)定義隸屬度：

(16)

式中σ>0，為了避免si=0。

2) 當激活函數未知我們采用核函數的方法利用式(14)和式(15)定義隸屬度：

(17)

式中σ>0，同樣為了避免si=0。

在處理分類和回歸問題時，數據樣本經過激活函數或核函數映射到隱層節(jié)點空間然后求解輸出權值。文獻[14]和文獻[15]在數據樣本的輸入空間求解隸屬度，然而數據的幾何結構及性質在ELM特征映射空間發(fā)生了改變，使得在數據輸入空間計算的隸屬度不能正確反映數據樣本與類中心之間的關系，從而導致輸出權值求解不準，本文提出新的隸屬度計算方法能有效解決上述問題。本文提出的方法不僅適用于ELM算法同時適用于核ELM算法。

2.2MFELM的優(yōu)化問題

MFELM的優(yōu)化模型可表示為：

(18)

其中W為輸出權值矩陣，ε為訓練誤差，C為懲罰參數，f(x)為激活函數。

式(18)對應的拉格朗日函數為：

tij+εij)

(19)

其中wj為第j個輸出節(jié)點的權值W=[w1,w2,…,wm]，依據KKT條件：

(20)

(21)

(22)

其中αi=[αi1,ai2,…,αim]T，α=[α1,a2,…,αN]。

將式(20)和式(21)代入式(22)，我們可以得到：

(23)

式(23)中S=diag(s1,s2,…,sN)。

由式(20)和式(23)可以得到：

(24)

由式(24)MFELM的輸出函數為：

(25)

給定訓練樣本X=(x1,x2,…,xN)和訓練樣本的期望輸出矩陣T=(t1,t2,…,tN)∈RD×N，激活函數為f(x)，隱層節(jié)點數為L，MFELM算法可總結步驟如下：

1) 初始化訓練樣本集；

2) 隨機指定網絡輸入權值aj和偏置值bj，j=1,2,…,L；

3) 利用式(16)或式(17)計算樣本的隸屬度si；

4) 通過激活函數計算隱層節(jié)點輸出矩陣F；

3 實驗結果及分析

為了證明本文所提算法的有效性，我們將MFELM與ELM、NFELM[15]、RAFELM[13](ELM、NFELM、RAFELM均采用激活函數Sigmoid)進行比較。隱層節(jié)點個數設置200，為了實驗的公平性，本文實驗的ELM及其改進算法均采用相同的懲罰參數C(我們試著尋找最優(yōu)的懲罰參數C，使ELM及其改進算法取得較好的結果)。所用電腦為惠普工作站，處理器：Intel(R)Xeon(R)CPUE5-1603 0 @2.80GHz，安裝內存：8.00GB，系統(tǒng)類型：64位操作系統(tǒng)，版本：Win7。所使用的4個不同人臉庫圖像如圖1所示，不同人臉數據庫和UCI數據集屬性設置如表1、表2所示。

圖1 不同人臉圖像的訓練集

DatasetsDimSamplessamples/subjectClassesYale10241651115YaleB102424145538ORL10244001040UMIST103045791820

表2 多分類UCI數據集描述

圖2-圖3中橫坐標 “TrainNum”表示每類訓練樣本個數。實驗中我們首先從每類數據樣本中隨機選取一部分數據作為實驗數據集進行實驗. 實驗結果如圖2-圖3及表3-表4所示。

圖2 不同ELM算法識別曲線

圖3 不同ELM算法識別曲線

DatasetELMRAFELMNFELMMFELMMaxAveMaxAveMaxAveMaxAveYale86.6765.6180.0070.6178.3368.2686.6773.86YaleB91.0583.8490.9282.7591.8485.9093.6885.91ORL76.2570.9091.0086.3794.6990.3895.0090.48UMIST96.6789.5965.0060.5995.0089.0996.2589.35

表4 UCI數據集最大和平均識別率比較

圖2給出了不同的ELM算法在人臉圖像數據集上的識別率曲線。由圖2我們可以看出本文所提算法MFELM隨著訓練樣本的增多在總體趨勢上識別率曲線優(yōu)于其他算法的識別率曲線。表2給出了不同ELM算法的具體識別率，在Yale數據集上，MFELM的平均識別率比ELM平均識別率高8.25%，比RAFELM算法的識別率高3.25%，比NFELM算法的識別率高5.6%，在Yale B數據集上，MFELM的平均識別率比ELM平均識別率高2.07%，比RAFELM算法的識別率高3.16%，比NFELM算法的識別率高0.01%，在ORL數據集上，MFELM的平均識別率比ELM平均識別率高19.58%，比RAFELM算法的識別率高4.11%，比NFELM算法的識別率高0.1%，在UMIST數據集上，MFELM的平均識別率比ELM平均識別率低0.24%，比RAFELM算法的識別率高28.76%，比NFELM算法的識別率高0.26%。通過上述MFELM與其他三種ELM算法的具體識別率比較，我們可以看出MFELM算法在人臉圖像數據集上表現出良好的性質。為了進一步驗證本文所提算法的有效性，我們將不同的ELM算法在標準機器學習(UCI)數據上進行實驗。圖3給出了不同ELM算法在標準機器學習(UCI)數據上的識別率曲線，由圖3我們可以看出MFELM算法的識別率曲線顯著高于其他算法的識別率曲線，表4給出了不同ELM算法的具體識別率。通過在人臉圖像數據和機器學習數據上的實驗結果可以看出MFELM表現出良好的性質。這是由于MFELM算法在計算訓練樣本的隸屬度時考慮到ELM特征映射空間對數據幾何結構的改變，從而在數據的特征映射空間計算訓練樣本的隸屬度而非數據輸入空間。NFELM考慮到噪音及離群點對ELM模型的影響，從識別率曲線上同樣取得了比較好的識別效果，然而NFELM并未意識到ELM特征映射空間對數據幾何結構的影響，NFELM的總體識別率低于MFELM的識別率。RAFELM從激活函數的角度對ELM算法進行改進，增強激活函數對噪音及離群點的魯棒性，但并沒有消除噪音及離群點對ELM模型的影響。在UMIST和sat數據集上RAFELM的識別率曲線低于ELM算法的識別率。由圖2-圖3可以看出NFELM和RAFELM在一些數據集上的識別率低于ELM的識別率，然而本文所提算法在人臉數據集和UCI數據集的識別率曲線明顯高于其他算法的識別率曲線。

4 結 語

為了克服現有ELM算法在處理噪音及離群點存在的問題，提出一種修正的模糊極限學習機(MFELM)，MFELM算法在計算訓練樣本的隸屬度時考慮到ELM特征映射空間對數據幾何結構的改變，從而在數據的特征映射空間計算訓練樣本的隸屬度而非數據輸入空間，增強ELM算法在處理噪音及離群數據的魯棒性。通過將MFELM與ELM，RAFELM，NFELM算法的對比實驗表明，本文所提出的方法顯著提高了極端學習機的泛化性能。

[1] Huang G B,Zhu Q Y,Siew C K.Extreme learning machine:Theory and applications[J].Neurocomputing,2006,70(1-3):489-501.

[2] Tang J,Deng C,Huang G B.Extreme Learning Machine for Multilayer Perceptron[J].IEEE Transactions on Neural Networks & Learning Systems,2015,27(4):809-821.

[3] Huang G B,Zhou H,Ding X,et al.Extreme learning machine for regression and multiclass classification[J].IEEE Transactions on Systems Man & Cybernetics Part B Cybernetics A Publication of the IEEE Systems Man & Cybernetics Society,2012,42(2):513-529.

[4] Huang G B,Zhu Q Y,Siew C K.Extreme learning machine:a new learning scheme of feedforward neural networks[C]//IEEE International Joint Conference on Neural Networks,2004.Proceedings.IEEE Xplore,2004:985-990 vol.2.

[5] Huang G B,Chen L.Enhanced random search based incremental extreme learning machine[J].Neurocomputing,2008,71(16-18):3460-3468.

[6] Cortes C,Vapnik V.Support-Vector Networks[J].Machine Learning,1995,20(3):273-297.

[7] Zong W,Huang G B,Chen Y.Weighted extreme learning machine for imbalance learning[J].Neurocomputing,2013,101(3):229-242.

[8] Yu Q,Miche Y,Eirola E,et al.Regularized extreme learning machine for regression with missing data[J].Neurocomputing,2013,102(2):45-51.

[9] Man Z,Lee K,Wang D,et al.Robust Single-Hidden Layer Feedforward Network-Based Pattern Classifier[J].IEEE Transactions on Neural Networks & Learning Systems,2012,23(12):1974-1986.

[10] Peng Y,Wang S,Long X,et al.Discriminative graph regularized extreme learning machine and its application to face recognition[J].Neurocomputing,2015,149:340-353.

[11] Huang G,Song S,Gupta J N,et al.Semi-supervised and unsupervised extreme learning machines[J].IEEE Transactions on Cybernetics,2014,44(12):1-1.

[12] Benoit F,Heeswijk M V,Miche Y,et al.Feature selection for nonlinear models with extreme learning machines[J].Neurocomputing,2013,102(2):111-124.

[13] Liu S,Feng L,Xiao Y,et al.Robust activation function and its application:Semi-supervised kernel extreme learning method[J].Neurocomputing,2014,144(1):318-328.

[14] Zhang W B,Ji H B.Fuzzy extreme learning machine for classification[J].Electronics Letters,2013,49(7):448-450.

[15] Zheng E,Liu J,Lu H,et al.A New Fuzzy Extreme Learning Machine for Regression Problems with Outliers or Noises[M]//Advanced Data Mining and Applications,2013:524-534.

[16] Huang G B.An Insight into Extreme Learning Machines:Random Neurons,Random Features and Kernels[J].Cognitive Computation,2014,6(3):376-390.

A MODIFIED FUZZY EXTREME LEARNING MACHINE

Li Li’na Yan Deqin Chu Yonghe

(SchoolofComputerandInformationTechnology,LiaoningNormalUniversity,Dalian116081,Liaoning,China)

As a competitive machine learning algorithm, Extreme Learning Machine (ELM) attracts more and more scholars’ attention with its simple theory and easy implementation. Recently, researchers on noise and outlier data have proposed relevant research algorithms. However, how to use ELM better in classification problems with noise and outlier data is still an important research topic. This paper proposes a modified fuzzy extreme learning machine (MFELM) based on the technical idea of information related. The advantages of MFELM are as follows: MFELM can maintain the good performance of ELM processing normal data classification when dealing with the classification of noise and outlier data; the activation or kernel functions for the ELM also apply to the MFELM model; MFELM can be extended to cost-sensitive learning by assigning different memberships to each data sample according to different requirements. Experiments on UCI datasets and universally applied face datasets show that the proposed algorithm improves the classification ability of ELM significantly and is superior to other algorithms.

Extreme learning machine Imbalanced data Information related Feature mapping

2016-06-02。國家自然科學基金項目(61373127)。李麗娜，碩士生，主研領域：數據降維，機器學習。閆德勤，教授。楚永賀，碩士生。

TP18

A

10.3969/j.issn.1000-386x.2017.05.041