盧欣欣 潘麗平

1(周口師范學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 河南 周口 466001)2(農(nóng)產(chǎn)品質(zhì)量安全追溯技術(shù)河南省工程實(shí)驗(yàn)室 河南 周口 466001)3(周口科技職業(yè)學(xué)院 河南 周口 466001)

0 引 言

由于科技的飛速發(fā)展，猛增的數(shù)據(jù)量和大幅提升的計(jì)算性能使得多分類(lèi)問(wèn)題越來(lái)越多地代替二分類(lèi)問(wèn)題，并在文本分類(lèi)識(shí)別[1]、語(yǔ)音識(shí)別[2]、醫(yī)學(xué)圖像識(shí)別[3]等方面取得了良好的應(yīng)用前景，已經(jīng)成為模式識(shí)別、數(shù)據(jù)挖掘等領(lǐng)域的重要研究?jī)?nèi)容。

SVM是Vapnik[4]基于統(tǒng)計(jì)學(xué)習(xí)理論提出的最優(yōu)間隔分類(lèi)器，其良好的泛化能力、全局最優(yōu)解和解決非線性問(wèn)題的能力使其成為應(yīng)用最為廣泛的分類(lèi)器[5-6]。但原始SVM并不適用于多分類(lèi)問(wèn)題，Weston[7]最先改進(jìn)SVM使其成功應(yīng)用在多分類(lèi)問(wèn)題中。最小二乘支持向量機(jī)(LSSVM)[8]是SVM的簡(jiǎn)化和改進(jìn)形式，避免了原始SVM求解二次規(guī)劃的問(wèn)題，提高了訓(xùn)練速度，Suykens[9]將LSSVM擴(kuò)展到多分類(lèi)問(wèn)題中。

ELM是Huang[10]提出的一種快速算法，它將隱層節(jié)點(diǎn)權(quán)值隨機(jī)確定，只需計(jì)算輸出層權(quán)值，從而大大加快了網(wǎng)絡(luò)的訓(xùn)練速度，并且ELM本質(zhì)上可直接應(yīng)用于多分類(lèi)問(wèn)題，因而取得了廣泛應(yīng)用[11-13]。核極限學(xué)習(xí)機(jī)(KELM)是Huang[14]為解決ELM結(jié)果具有隨機(jī)性而提出了基于核函數(shù)的改進(jìn)算法，在遙感圖像分類(lèi)[15]、基因檢測(cè)[16]等方面取得了良好的分類(lèi)效果。

由文獻(xiàn)[17]可知：ELM和SVM均是基于單隱含層前饋神經(jīng)網(wǎng)絡(luò)框架，而LSSVM是ELM簡(jiǎn)化的框架結(jié)構(gòu)；ELM通過(guò)最小平方優(yōu)化法可擴(kuò)展為SVM網(wǎng)絡(luò)，且具有更好的泛化性能。ELMs和SVMs均可實(shí)現(xiàn)相當(dāng)?shù)姆诸?lèi)準(zhǔn)確率，但在不同的問(wèn)題條件下也表現(xiàn)出不同的特性[18-19]。研究發(fā)現(xiàn)：經(jīng)典的ELM算法與SVM算法相比具有訓(xùn)練速度快、適應(yīng)性強(qiáng)等優(yōu)勢(shì)；SVM算法需要花費(fèi)相對(duì)更多的訓(xùn)練時(shí)間；LSSVM的訓(xùn)練算法比SVM的訓(xùn)練算法簡(jiǎn)單，訓(xùn)練精度與SVM相當(dāng)或超過(guò)SVM，但對(duì)新數(shù)據(jù)的應(yīng)用卻要對(duì)整個(gè)訓(xùn)練集進(jìn)行處理。

本文通過(guò)在UCI數(shù)據(jù)集上的對(duì)比驗(yàn)證，詳細(xì)探討了ELMs和SVMs在多分類(lèi)問(wèn)題上的分類(lèi)準(zhǔn)確率、對(duì)類(lèi)別的敏感程度和算法運(yùn)行時(shí)間等性能指標(biāo)，并給出相應(yīng)分析和結(jié)論。實(shí)驗(yàn)表明，隨著分類(lèi)數(shù)目的增加，ELMs的泛化能力相較于SVM提高得更多。

1 ELMs和SVMs簡(jiǎn)介

1.1 支持向量機(jī)(SVM)

SVM是指通過(guò)支持向量運(yùn)算的方式進(jìn)行分類(lèi)的分類(lèi)器，是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的有監(jiān)督機(jī)器學(xué)習(xí)算法[20]，通常用來(lái)解決線性分類(lèi)問(wèn)題和非線性分類(lèi)問(wèn)題。其處理分類(lèi)問(wèn)題的典型模式是尋找使各類(lèi)別分類(lèi)間隔最大的最優(yōu)分類(lèi)超平面，給定一組數(shù)據(jù)作為對(duì)應(yīng)的類(lèi)別標(biāo)簽，則由文獻(xiàn)[4]可得SVM求解如下優(yōu)化方程：

(1)

s.t.ξi≥0,yi[wTΦ(xi)+b]≥1-ξi?i

式中：Φ為特征映射函數(shù)，w為超平面參數(shù)，ξi為分類(lèi)軟間隔，C為離群點(diǎn)懲罰因子。

使用KKT[21]條件，則式(1)通過(guò)拉格朗日乘數(shù)法轉(zhuǎn)化為原形式的對(duì)偶問(wèn)題來(lái)進(jìn)行求解：

(2)

式中：αi,βi≥0為拉格朗日乘數(shù)子，通過(guò)對(duì)w、b、ξi分別求偏導(dǎo)可得：

(3)

則式(2)可轉(zhuǎn)化為：

(4)

最終的最優(yōu)分類(lèi)超平面的解為：

(5)

在使用SVM對(duì)線性分類(lèi)問(wèn)題求解時(shí)，分類(lèi)效果對(duì)懲罰因子的選擇依賴(lài)較大，而在使用SVM對(duì)非線性分類(lèi)問(wèn)題求解時(shí)，核函數(shù)的形式和其參數(shù)對(duì)高維映射的效果影響較大，因此SVM在處理分類(lèi)問(wèn)題時(shí)還存在一定的局限性。

1.2 最小二乘支持向量機(jī)(LSSVM)

LSSVM與SVM思路基本一致，是SVM的一種演變。LSSVM是由原來(lái)的不等式約束演變成了等式約束，主要用來(lái)解決等式約束下的優(yōu)化問(wèn)題，其次LSSVM與SVM的最顯著區(qū)別在于LSSVM在求解時(shí)使用最小二乘損失函數(shù)：

(6)

s.t.yi[wTΦ(xi)+b]=1-ξi?i

同SVM，式(6)可轉(zhuǎn)化為拉格朗日函數(shù)來(lái)進(jìn)行求解：

(7)

由式(7)分別對(duì)w、b、ξi、αi求偏導(dǎo)得：

(8)

將式(8)中前三個(gè)等式代入第四個(gè)等式，可得：

(9)

式中：Y=[y1,y2,…,yN]T,α=[α1,α2,…,αN]T,Z=[y1Φ(x1),y1Φ(x2),…,yNΦ(xN)]T。

令Ω=ZZT，根據(jù)Mercer條件，有：

Ωi,j=yiyjκ(xi,xj)

(10)

將式(10)代入式(9)，求解線性方程，得到的結(jié)果與式(5)相同。

與SVM相比，LSSVM算法求解速度更快，但其預(yù)測(cè)精度比SVM稍差。

1.3 極限學(xué)習(xí)機(jī)(ELM)

ELM是一種基于單隱含層的人工神經(jīng)網(wǎng)絡(luò)模型求解算法[10]，它的優(yōu)勢(shì)是僅需設(shè)置隱藏層節(jié)點(diǎn)數(shù)，使用最小二乘法求解隱含層到輸出層的權(quán)值即可，不需要進(jìn)行循環(huán)迭代。與BP神經(jīng)網(wǎng)絡(luò)等相比，ELM具有快速學(xué)習(xí)、高準(zhǔn)確度、泛化能力以及盡可能地減少人工干預(yù)等特點(diǎn)。ELM的目標(biāo)是最小化訓(xùn)練誤差的同時(shí)最小化輸出權(quán)值的范數(shù)來(lái)求解單隱層前饋神經(jīng)網(wǎng)絡(luò)[10]。

有L個(gè)隱層節(jié)點(diǎn)、N個(gè)數(shù)據(jù)點(diǎn)的ELM的隱層節(jié)點(diǎn)輸出矩陣H可定義為：

在靜力分析中，除了應(yīng)力分布圖外，管道的位移形變圖也是作為衡量管道是否安全的一個(gè)重要指標(biāo)。管道的位移形變主要是其管道所受載荷與管道的約束之間相互作用的結(jié)果。倘若管道所受載荷過(guò)大，超過(guò)了管道約束力并且超過(guò)了管道材料的屈服極限，那么就會(huì)造成管道的極大彎曲甚至破裂，最終造成泄漏甚至爆炸等事故[6]。

(11)

式中：h(·)為隱層單元激活函數(shù)，W=[w1,w2,…，wL]為隱層單元隨機(jī)確定權(quán)值，B=[b1,b2,…，bL]為隱層和輸出層之間偏置。

則ELM可被定義為如下形式：

(12)

式中：β為隱層和輸出層之間權(quán)值，Y=[y1,y2,…，yN]∈{-1,1}為樣本標(biāo)簽，ξ=[ξ1,ξ2,…，ξN]為預(yù)測(cè)誤差矩陣，C為懲罰因子。

由式(12)可得β為：

(13)

式中：H+為H的Moore-Penrose廣義逆矩陣。

最終ELM的解為：

(14)

1.4 核極限學(xué)習(xí)機(jī)

為進(jìn)一步提高ELM的穩(wěn)定性和泛化能力[14]，將核函數(shù)的思想引入ELM，從而構(gòu)成核極限學(xué)習(xí)機(jī)(KELM)。與ELM相比，KELM用核映射的方式取代隨機(jī)映射，有效解決了“維數(shù)災(zāi)難”和隨機(jī)設(shè)置隱藏層參數(shù)帶來(lái)的穩(wěn)定性差的問(wèn)題，從而降低計(jì)算復(fù)雜度。KELM多用于特征學(xué)習(xí)以及多分類(lèi)問(wèn)題當(dāng)中。KELM可表示為：

(15)

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

表1 實(shí)驗(yàn)數(shù)據(jù)集的基本信息

續(xù)表1

為了消除各維數(shù)據(jù)間數(shù)量級(jí)差別，避免因?yàn)檩斎胼敵鰯?shù)據(jù)數(shù)量級(jí)差別較大而引起的訓(xùn)練誤差，本文對(duì)所有的輸入數(shù)據(jù)均進(jìn)行了如下的歸一化處理，將數(shù)據(jù)歸一化到[0,1]區(qū)間：

xk=(xk-xmin)/(xmax-xmin)

(16)

式中：xmin為數(shù)據(jù)序列中的最小值，xmax為數(shù)據(jù)序列中的最大值。

2.2 實(shí)驗(yàn)環(huán)境簡(jiǎn)介

本文所使用SVM程序來(lái)自libsvm-3.12，LSSVM程序?yàn)長(zhǎng)S-SVMLab-1.7，ElMs程序來(lái)自極限學(xué)習(xí)機(jī)官方網(wǎng)站，程序運(yùn)行環(huán)境為：MATLAB R2010b，Windows 7系統(tǒng)。

2.3 實(shí)驗(yàn)結(jié)果分析

2.3.1單一數(shù)據(jù)集(Amazon)結(jié)果分析

為了對(duì)比ELMs和SVMs在多分類(lèi)問(wèn)題上的泛化性能，首先選取Amazon數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)分析。對(duì)Amazon數(shù)據(jù)集采取逐類(lèi)增加的方式，類(lèi)別數(shù)目從3類(lèi)依次增加到10類(lèi)，分別記錄ELMs和SVMs的分類(lèi)準(zhǔn)確率。數(shù)據(jù)集采取獨(dú)立隨機(jī)劃分的方式，每次選取70%的數(shù)據(jù)作為訓(xùn)練集，余下30%作為測(cè)試集，并進(jìn)行十次獨(dú)立劃分，分別計(jì)算ELMs相對(duì)于SVMs在不同類(lèi)別數(shù)目下的平均分類(lèi)準(zhǔn)確率，實(shí)驗(yàn)結(jié)果如表2所示，ELMs相較于SVMs分類(lèi)準(zhǔn)確率增長(zhǎng)情況如表3所示。

表2 ELMs和SVMs在Amazon數(shù)據(jù)集上隨著類(lèi)別數(shù)目增多平均分類(lèi)準(zhǔn)確率 %

表3 在Amazon數(shù)據(jù)集上隨著類(lèi)別數(shù)目增多ELMs相較于SVMs分類(lèi)準(zhǔn)確率增長(zhǎng)情況 %

為清晰展示實(shí)驗(yàn)結(jié)果，根據(jù)表3的結(jié)果繪制了ELMs相對(duì)于SVMs在各類(lèi)別泛化能力增長(zhǎng)情況圖，結(jié)果如圖1所示。

圖1 在同一數(shù)據(jù)集Amazon下不同類(lèi)別劃分ElMs相較于SVMs泛化性能比較

由表3及圖1可得如下結(jié)論：

(1) 對(duì)于Amazon數(shù)據(jù)集，ELMs分類(lèi)器在各類(lèi)別上的分類(lèi)準(zhǔn)確率均優(yōu)于SVMs分類(lèi)器；

(2) ELMs相較于SVM在多分類(lèi)問(wèn)題上隨著類(lèi)別數(shù)目的增加泛化能力也越來(lái)越好，并且KELM泛化能力要稍?xún)?yōu)于ELM；

(3) ELMs相對(duì)于LSSVM并沒(méi)有表現(xiàn)出(2)中的特性，而是隨著類(lèi)別數(shù)目的增加，ELMs相對(duì)于LSSVM的泛化能力呈現(xiàn)出明顯的波動(dòng)性。

分別統(tǒng)計(jì)ELMs和SVMs隨類(lèi)別增加分類(lèi)準(zhǔn)確率的下降情況，結(jié)果如表4所示。

表4 ELMs和SVMs隨類(lèi)別增加分類(lèi)準(zhǔn)確率的下降情況

類(lèi)數(shù)SVMLSSVMELMKELM3vs300004vs3-2.46-1.34-1.05-0.84

續(xù)表4

類(lèi)數(shù)SVMLSSVMELMKELM5vs4-2.03-0.64-1.65-1.536vs5-0.64-1.010.17-0.177vs6-0.840.89-0.86-0.128vs7-0.75-1.060.11-0.529vs8-3.46-3.38-3.65-2.4710vs9-0.81-0.360.67-0.21平均值-1.38-0.86-0.78-0.73

表4可直觀表示成圖2形式。

圖2 ELMs和SVMs隨類(lèi)別增加分類(lèi)準(zhǔn)確率的下降情況

由表4和圖2可知:隨類(lèi)別數(shù)目的增加，ELMs分類(lèi)準(zhǔn)確率的下降速率要明顯比SVMs緩慢，說(shuō)明ELMs對(duì)類(lèi)別數(shù)目變化不敏感，更適用于多分類(lèi)問(wèn)題。ELMs相較于SVMs在同一數(shù)據(jù)集上分類(lèi)穩(wěn)定性更好，對(duì)數(shù)據(jù)集的寬容度更高。這樣的性能表現(xiàn)與其理論密切相關(guān)：SVMs依賴(lài)于高維空間映射的準(zhǔn)確性，在類(lèi)別數(shù)目較低時(shí)更容易對(duì)應(yīng)映射空間找到最優(yōu)解，而隨類(lèi)別增加高維映射難度增加，分類(lèi)準(zhǔn)確率降低。ELMs不需要復(fù)雜映射，僅需找到對(duì)應(yīng)隱層節(jié)點(diǎn)對(duì)應(yīng)權(quán)值即可取得最優(yōu)解，從而減少了其對(duì)類(lèi)別數(shù)目增長(zhǎng)的所帶來(lái)的性能損失。

為探究ELMs和SVMs算法的訓(xùn)練和測(cè)試速度，分別統(tǒng)計(jì)了各算法在各類(lèi)別下的平均運(yùn)行時(shí)間，結(jié)果如表5所示。

表5 ELMs和SVMs在各類(lèi)別下平均運(yùn)行時(shí)間 s

續(xù)表5 s

由表5可知：

(1) ELMs和SVMs隨著類(lèi)別數(shù)目的增加(即樣本數(shù)目增加)，運(yùn)行時(shí)間均有所增加，SVMs算法運(yùn)行時(shí)間增長(zhǎng)幅度明顯大于ELMs。

(2) SVMs對(duì)一個(gè)分類(lèi)問(wèn)題需要進(jìn)行復(fù)雜運(yùn)算從而得到最優(yōu)高維映射的所有解，而ELMs僅需計(jì)算較少參數(shù)即可得到較好的分類(lèi)準(zhǔn)確率，有效降低了運(yùn)算開(kāi)銷(xiāo)。KELM在各類(lèi)別下的運(yùn)行時(shí)間均最短，所需運(yùn)算負(fù)荷最小，適用于快速分類(lèi)。

2.3.2多數(shù)據(jù)集結(jié)果分析

為進(jìn)一步探究ELMs和SVMs在多分類(lèi)問(wèn)題上的性能差異，選取Iris等7個(gè)多分類(lèi)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)驗(yàn)證，結(jié)果如表6、表7所示。

表6 ELMs和SVMs在不同數(shù)據(jù)集上隨著類(lèi)別數(shù)目增多平均分類(lèi)準(zhǔn)確率 %

表7 在不同數(shù)據(jù)集下ELMs相較于SVMs分類(lèi)準(zhǔn)確率增長(zhǎng)情況 %

為清晰展示實(shí)驗(yàn)結(jié)果，根據(jù)表7的結(jié)果分別繪制了ELMs和SVMs在各類(lèi)別的分類(lèi)準(zhǔn)確率圖和ELMs相對(duì)于SVMs在各類(lèi)別泛化能力增長(zhǎng)情況圖，結(jié)果如圖3所示。

圖3 在不同數(shù)據(jù)集下ELMs相較于SVMs泛化性能比較

由表7及圖3可得如下結(jié)論：

(1) 將圖3和圖1進(jìn)行對(duì)比，可看出兩圖呈現(xiàn)出一致的趨勢(shì)，說(shuō)明ELMs相較于SVMs在多分類(lèi)問(wèn)題上性能一致性更好；

(2) ELMs在所有數(shù)據(jù)集上均取得優(yōu)于SVMs的分類(lèi)準(zhǔn)確率；

(3) 不同數(shù)據(jù)集下，隨著數(shù)據(jù)集的類(lèi)別數(shù)目的增長(zhǎng)，ELMs相較于SVM也同樣獲得了如單一數(shù)據(jù)集時(shí)更好的泛化能力，但是對(duì)于LSSVM上述結(jié)論并不成立，ELMs相較于LSSVM的泛化能力依然呈現(xiàn)出波動(dòng)性，相關(guān)問(wèn)題的原因可做進(jìn)一步研究。

3 結(jié) 語(yǔ)

本文詳細(xì)比較了ELMs和SVMs在多分類(lèi)問(wèn)題上泛化性能的差異，并且得出如下結(jié)論：(1) ELMs相較于SVM在多分類(lèi)問(wèn)題上有更高的分類(lèi)準(zhǔn)確率，而且隨著分類(lèi)數(shù)目的增加，ELMs的泛化能力相較于SVM提高更多，但是ELMs對(duì)于LSSVM并沒(méi)有得到上述結(jié)論；(2) ELMs相較于SVMs對(duì)數(shù)據(jù)的類(lèi)別數(shù)目不敏感，分類(lèi)準(zhǔn)確率隨類(lèi)別數(shù)目增加下降不明顯；(3) ELMs相較于SVMs在多分類(lèi)問(wèn)題上所需計(jì)算代價(jià)更小，且擁有更快的學(xué)習(xí)和訓(xùn)練速度。