張燦　代子彪　安鑫　李建華

摘 要： 對于多標(biāo)簽分類中存在非線性的數(shù)據(jù)樣本和重復(fù)的樣本數(shù)據(jù)問題，本文提出了一種基于在線順序極限學(xué)習(xí)機(jī)（Online Sequential Extreme Learning Machine， OS-ELM）的改進(jìn)算法—樣本線性化和數(shù)據(jù)預(yù)處理極限學(xué)習(xí)機(jī)（PDC-ELM）。PDC-ELM算法對線性不可分的數(shù)據(jù)樣本先利用核函數(shù)進(jìn)行處理，使數(shù)據(jù)樣本具有線性可分的特征，對于處理后的數(shù)據(jù)樣本，利用在線順序極限學(xué)習(xí)機(jī)（OS-ELM）在計算之前對分類數(shù)據(jù)進(jìn)行預(yù)處理，即從訓(xùn)練和測試數(shù)據(jù)集中查找不一樣的特征標(biāo)簽并保存類標(biāo)簽中，實驗中新生成的標(biāo)簽組將不具有重復(fù)的特征標(biāo)簽，大大減少了訓(xùn)練的對比次數(shù)。實驗表明，相比于其他沒有樣本線性化和數(shù)據(jù)預(yù)處理的極限學(xué)習(xí)機(jī)模型，計算的準(zhǔn)確度得到很大的提升，計算時間也有所降低。

關(guān)鍵詞： 極限學(xué)習(xí)機(jī); 核函數(shù); 多標(biāo)簽分類; 多標(biāo)簽數(shù)據(jù); 支持向量機(jī)

文章編號： 2095-2163（2021）07-0024-08中圖分類號：TP181文獻(xiàn)標(biāo)志碼： A

Extreme learning machine for sample linearization and data deduplication

ZHANG Can， DAI Zibiao， AN Xin， LI Jianhua

（School of Computer Science and Information Engineering， Hefei University of Technology， Hefei 230009， China）

【Abstract】For the problem of nonlinear data samples and duplicate data in multi-label classification， this paper proposes an improved algorithm based on Online Sequential Extreme Learning Machine （OS-ELM） for sample linearization and data preprocessing extreme learning machine （PDC-ELM）.The PDC-ELM algorithm first uses the kernel function to process the linearly inseparable data samples， so that the data samples have linearly separable characteristics.For the processed data samples， the Online Sequential Extreme Learning Machine （OS-ELM） is used to preprocess the classified data before calculation.That is， different feature labels from the training and test data sets are searched and saved in the class labels，the newly generated label group in the experiment will not have repeated feature labels， which greatly reduces the number of training comparisons.? Experimental results show that compared with other extreme learning machine models without sample linearization and data preprocessing， the calculation accuracy is significantly improved and the calculation time is also reduced.

【Key words】extreme learning machine; kernel function; multi-label classification; multi-label data; support vector machine

0 引 言

極限學(xué)習(xí)機(jī)是Huang提出的一種訓(xùn)練單隱層前饋神經(jīng)網(wǎng)絡(luò)[1]的新型機(jī)器學(xué)習(xí)算法。在過去的20多年里，很多學(xué)者[2-5]已對單隱層前饋神經(jīng)網(wǎng)絡(luò)展開深入研究。單隱層前饋神經(jīng)網(wǎng)絡(luò)有2種主要架構(gòu)。一種是帶有加性隱藏節(jié)點的架構(gòu)，另一種是帶有徑向基函數(shù)隱藏節(jié)點的架構(gòu)。對于使用單隱層前饋神經(jīng)網(wǎng)絡(luò)的許多應(yīng)用程序來說，訓(xùn)練方法通常是批處理學(xué)習(xí)類型的。多數(shù)情況下，批處理學(xué)習(xí)是一個耗時的事情，因為其中可能涉及到對訓(xùn)練數(shù)據(jù)的多次迭代。在大多數(shù)應(yīng)用程序中，這可能需要幾分鐘到幾個小時，并且必須正確地選擇學(xué)習(xí)參數(shù)，以確保收斂。此外，每當(dāng)接收到新數(shù)據(jù)時，批處理學(xué)習(xí)都會將歷史數(shù)據(jù)和新數(shù)據(jù)一起使用，并進(jìn)行再訓(xùn)練，因此會消耗大量時間。在許多工業(yè)應(yīng)用中，在線順序?qū)W習(xí)算法比批處理學(xué)習(xí)算法更受歡迎，因為順序?qū)W習(xí)算法在接收新數(shù)據(jù)時不需要再訓(xùn)練。

與此同時，許多研究者將經(jīng)典的極限學(xué)習(xí)機(jī)擴(kuò)展到核學(xué)習(xí)，證明了極限學(xué)習(xí)機(jī)不僅適用于Sigmoid網(wǎng)絡(luò)和RBF網(wǎng)絡(luò)[6]等經(jīng)典的特征映射，還適用于多種類型的特征映射。在對類別分布不平衡的數(shù)據(jù)進(jìn)行分類時，Priya等人[7-8]提出了一種統(tǒng)一的加權(quán)極限學(xué)習(xí)機(jī)方法（weighted ELM）來處理復(fù)雜的數(shù)據(jù)分布，即在其中對每個樣本點額外賦予一個權(quán)重。然而，上文論述的極限學(xué)習(xí)機(jī)方法并沒有將樣本線性化和數(shù)據(jù)預(yù)處理數(shù)據(jù)添加到操作中。

極限學(xué)習(xí)機(jī)算法在泛化性能上也有較高的效率和精度[9]。在線順序極限學(xué)習(xí)機(jī)[10-12]（OS-ELM）算法是基于極限學(xué)習(xí)機(jī)框架的在線學(xué)習(xí)版本。在線順序極限學(xué)習(xí)機(jī)不僅可以逐個地學(xué)習(xí)訓(xùn)練數(shù)據(jù)，而且可以逐塊地學(xué)習(xí)，丟棄已經(jīng)訓(xùn)練過的數(shù)據(jù)。在以下意義上，這就是一個通用的順序?qū)W習(xí)算法。將訓(xùn)練觀察結(jié)果按順序，逐個地或塊接塊，呈現(xiàn)給學(xué)習(xí)算法。在任何時候，只有新到達(dá)的單個或大塊的觀察，而不是整個過去的數(shù)據(jù)被看到和學(xué)習(xí)。一旦某一特定、單個或組塊，觀察的學(xué)習(xí)過程結(jié)束，就丟棄單個或一組訓(xùn)練觀察。在線順序極限學(xué)習(xí)機(jī)起源于批量學(xué)習(xí)極限學(xué)習(xí)機(jī)[13-16]，為具有加性和徑向基函數(shù)節(jié)點的單隱層前饋神經(jīng)網(wǎng)絡(luò)開發(fā)。在函數(shù)回歸和分類領(lǐng)域的一些基準(zhǔn)問題上對極限學(xué)習(xí)機(jī)的性能進(jìn)行了評估。結(jié)果表明，與其他基于梯度下降的學(xué)習(xí)算法（包括反向傳播 [17-18]算法）相比，極限學(xué)習(xí)機(jī)在更高的學(xué)習(xí)速度下提供了更好的泛化性能，許多應(yīng)用的學(xué)習(xí)階段在秒內(nèi)即可完成[19]。

需要一提的是，確定標(biāo)簽子集時，在線順序極限學(xué)習(xí)機(jī)卻忽略了樣本的特征。一方面，由標(biāo)簽子集轉(zhuǎn)換而來的類可能具有較低的可分離性;另一方面，一些標(biāo)簽組合會導(dǎo)致分布高度不平衡[20]，導(dǎo)致現(xiàn)有的單標(biāo)簽學(xué)習(xí)算法難以應(yīng)用。這對這些不足，需要解決2個問題：

（1）如何挖掘樣本特征，設(shè)計有效的指標(biāo)來評價標(biāo)簽子集的質(zhì)量。

（2）如何基于質(zhì)量度量從大量候選子集中實現(xiàn)快速選擇。

針對問題（1），研究中采用基于線性判別比的測度來評價主標(biāo)簽類的可分性，再使用聯(lián)合熵來描述數(shù)據(jù)的不平衡程度。由于核技術(shù)在特征空間中更容易分析可分性，因此可采用核支持向量機(jī)（kernel support vector machine， SVM）作為基礎(chǔ)學(xué)習(xí)器[21-22]。對于問題（2），應(yīng)在極限學(xué)習(xí)機(jī)中預(yù)先從訓(xùn)練和測試數(shù)據(jù)集中查找不同的標(biāo)簽并保存類標(biāo)簽中，如此一來，在時間和效率上都得到了很大的提升。

極限學(xué)習(xí)機(jī)算法在單標(biāo)簽分類[23]中表現(xiàn)出更優(yōu)異的性能?；跇O限學(xué)習(xí)機(jī)算法的多標(biāo)簽分類[24-25]研究相對較少。針對多標(biāo)簽分類問題，Sun等人[25]提出了一種基于閾值法的極限學(xué)習(xí)機(jī)算法。此外，文獻(xiàn)[7]也提出了一種多標(biāo)簽分類的核極限學(xué)習(xí)機(jī)算法。然而，現(xiàn)有的基于極限學(xué)習(xí)機(jī)的多標(biāo)簽分類方法并沒有考慮到樣本線性化和樣本數(shù)據(jù)預(yù)處理。本文中介紹了一種新的基于在線順序極限學(xué)習(xí)機(jī)來處理多標(biāo)簽分類問題的改進(jìn)算法，即樣本線性化和數(shù)據(jù)預(yù)處理極限學(xué)習(xí)機(jī)（PDC-ELM）。本文對多標(biāo)簽分類方案的主要貢獻(xiàn)如下：

（1）針對線性不可分的數(shù)據(jù)樣本，先采用核函數(shù)進(jìn)行處理，使之線性可分。

（2）對于處理后的數(shù)據(jù)樣本，為了減少計算量，預(yù)先從訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集中查找不一樣的標(biāo)簽并保存類標(biāo)簽中。

（3）將多標(biāo)簽分類問題分解為單獨的單標(biāo)簽分類問題，就是將多標(biāo)簽問題轉(zhuǎn)化為一組單標(biāo)簽問題。

（4）在極限學(xué)習(xí)機(jī)算法中，輸出權(quán)值由最小二乘法確定。

本文組織如下：首先，介紹了相關(guān)背景工作，包括多標(biāo)簽分類和極限學(xué)習(xí)機(jī)的探討。其次，研究相關(guān)工作有在線順序極限學(xué)習(xí)機(jī)與核函數(shù)。然后，詳細(xì)分析了PDC-ELM相關(guān)操作與處理，包括動機(jī)、優(yōu)化的預(yù)處理、算法分析和處理過程。接下來，給出了實驗相關(guān)數(shù)據(jù)和比較結(jié)果。最后，是本文的結(jié)論部分。

1 背景

1.1 多標(biāo)簽分類

傳統(tǒng)的監(jiān)督學(xué)習(xí)是著名的機(jī)器學(xué)習(xí)范式之一，其中每個例子由一個實例和一個標(biāo)簽組成。 然而，在多標(biāo)簽應(yīng)用程序中，每個例子也由一個單獨的實例表示，同時與一組標(biāo)簽相關(guān)聯(lián)，多標(biāo)簽問題更符合現(xiàn)實世界的應(yīng)用，同時也給監(jiān)督學(xué)習(xí)領(lǐng)域帶來了挑戰(zhàn)[26]。

多標(biāo)簽分類的目的是將一個實例x∈Rd映射到標(biāo)簽集YL={1，2，…，k}，其中k是類的數(shù)量。多標(biāo)簽分類的任務(wù)是根據(jù)訓(xùn)練集D={（xi，yi）|i=1，2，…，n}構(gòu)造一個函數(shù)f（·）： f（X）→Y。對于任何看不見的實例x∈X，多標(biāo)簽分類器f（·）將f（x）y預(yù)測為x的正確標(biāo)簽集。

1.2 極限學(xué)習(xí)機(jī)

一般情況下，給定一個由N個任意不同樣本組成的訓(xùn)練集個隱節(jié)點的單隱層前饋網(wǎng)絡(luò)函數(shù)可以表示為：

其中，aj和bj表示隨機(jī)確定的學(xué)習(xí)參數(shù);βj表示輸出權(quán)重矩陣連接第j個隱藏輸出節(jié)點;xi和ti分別是第i個觀測的特征和輸出;G（aj，bj，cj）是一個滿足極限學(xué)習(xí)機(jī)通用逼近能力定理的非線性分段連續(xù)函數(shù)。

2 在線順序極限學(xué)習(xí)機(jī)

在初始階段，假設(shè)有N0個任意的訓(xùn)練樣本（Xi，ti），其中Xi=xi1，xi2，…，ximT∈Rn， ti=ti1，ti2，…，timT∈Rm。利用基本的極限學(xué)習(xí)機(jī)算法的思想，希望求得滿足‖H0β-T0‖最小的β0，運算時需用到：

此時，根據(jù)廣義逆的計算方法，可以計算出β0。

3 PDC-ELM

3.1 動機(jī)

相比于代表性的極限學(xué)習(xí)機(jī)模型（包括ELM，L21-ELM[27]），在線順序極限學(xué)習(xí)機(jī)有比較明顯的優(yōu)勢，在線順序極限學(xué)習(xí)機(jī)不僅可以逐個地學(xué)習(xí)訓(xùn)練數(shù)據(jù)，而且可以逐塊地學(xué)習(xí)，丟棄已經(jīng)訓(xùn)練過的數(shù)據(jù)。在以下操作上，這就是一個通用的順序?qū)W習(xí)算法。對此可做詳述如下。

（1）將訓(xùn)練觀察結(jié)果按順序，逐個或塊接塊，呈現(xiàn)給學(xué)習(xí)算法。

（2）在任何時候，只有新到達(dá)的單個或大塊的觀察，而不是整個過去的數(shù)據(jù)，被看到和學(xué)習(xí)。

（3）如果某一特定單個或組塊的觀察學(xué)習(xí)過程完成，就丟棄單個或一組訓(xùn)練觀察。

在線順序極限學(xué)習(xí)機(jī)雖然有以上的優(yōu)勢，但卻未能很好地去處理非線性樣本。與之相對應(yīng)，核函數(shù)的優(yōu)勢恰在于此，對其特點可概述如下。

（1）核函數(shù)的引入避免了復(fù)雜維數(shù)，大大減小了計算量。而輸入空間的維數(shù)n對核函數(shù)矩陣并無影響，因此，核函數(shù)方法可以有效處理高維輸入。

（2）無需知道非線性變換函數(shù)的形式和參數(shù)。

（3）核函數(shù)的形式和參數(shù)的變化會隱式地改變從輸入空間到特征空間的映射，如此即會對特征空間的性質(zhì)產(chǎn)生影響，從而改變各種核函數(shù)方法的性能。

（4）核函數(shù)方法能和不同的算法相結(jié)合，形成多種不同的基于核函數(shù)技術(shù)的方法，且這2部分的設(shè)計可以單獨進(jìn)行，并可以為不同的應(yīng)用選擇不同的核函數(shù)和算法。

綜上所述可知，若是將核函數(shù)的自身優(yōu)勢與在線順序極限學(xué)習(xí)機(jī)相結(jié)合，不僅能夠減少計算量，而且在時間效率上也會獲得提升。

3.2 預(yù)處理分析

對于非線性數(shù)據(jù)樣本通過核函數(shù)處理使樣本線性化，降低后續(xù)在線順序極限學(xué)習(xí)機(jī)處理的計算量。通常訓(xùn)練樣本數(shù)據(jù)較大，實驗樣本中很多處理后的特征值相同，文中采用比較和統(tǒng)計的方法，對分類的數(shù)據(jù)進(jìn)行預(yù)處理，即從訓(xùn)練集和測試集中找到不同的標(biāo)簽，存儲到類標(biāo)簽中，這樣操作即可把所有不同的標(biāo)簽類存儲到一起，成為一個標(biāo)簽組，而數(shù)量遠(yuǎn)低于原來的數(shù)據(jù)樣本容量。

3.3 算法

為了解決樣本數(shù)據(jù)中比較重復(fù)的問題，研究提出一種新的基于在線順序極限學(xué)習(xí)機(jī)的算法來處理多標(biāo)簽分類問題的改進(jìn)算法、即樣本線性化和數(shù)據(jù)預(yù)處理極限學(xué)習(xí)機(jī)（PDC-ELM），以適應(yīng)多標(biāo)簽的應(yīng)用。對于線性不可分的數(shù)據(jù)樣本，PDC-ELM算法先利用核函數(shù)進(jìn)行處理，使數(shù)據(jù)樣本具有線性可分的特征，而對于處理后的數(shù)據(jù)樣本，可利用在線順序極限學(xué)習(xí)機(jī)在計算前對分類數(shù)據(jù)進(jìn)行預(yù)處理，也就是從訓(xùn)練和測試數(shù)據(jù)集中查找不同的特征標(biāo)簽并保存類標(biāo)簽中。形成一個新的和沒有重復(fù)的樣本標(biāo)簽組，為后續(xù)的比較實驗提供便利。PDC-ELM算法的研發(fā)實現(xiàn)步驟可參考算法1。

算法 1 PDC-ELM 算法

輸入 訓(xùn)練集{（xi，yi）xi∈Rn，yi∈Rn，i=1，2，…，N}，測試集{（xj，yj）xj∈Rn，yj∈Rn，j=1，2，…，N}，激活函數(shù)g（·），和隱藏層節(jié)點數(shù)p

輸出 訓(xùn)練和測試的分類準(zhǔn)確度和時間

Step 1 對樣本數(shù)據(jù)使用相關(guān)核函數(shù)算法。

Step 2 預(yù)處理分類數(shù)據(jù)，

for訓(xùn)練集中第1個到第N個實例執(zhí)行。

Step 3 從訓(xùn)練和測試數(shù)據(jù)集找到不同標(biāo)簽并保存在類標(biāo)簽中。

Step 4 處理訓(xùn)練目標(biāo)和測試目標(biāo)，生成隱藏層節(jié)點的輸入權(quán)重w_i和偏差b_i。

Step 5 計算隱神經(jīng)元輸出矩陣H。

Step 6end for

對于實驗中的數(shù)據(jù)樣本處理，共設(shè)置了5個參數(shù)。其中，2個參數(shù)是從數(shù)據(jù)樣本中挑選出來的測試集和訓(xùn)練集。數(shù)據(jù)樣本需要進(jìn)行多次訓(xùn)練、多次試驗，增加實驗的可靠性。再有一個參數(shù)是極限學(xué)習(xí)機(jī)訓(xùn)練類型。分類則設(shè)置為1，在實驗中，0表示回歸，1表示分類，考慮到實驗就是處理分類問題，故設(shè)定為1;另外，還有一個參數(shù)是隱藏層節(jié)點數(shù)目、即p。隱藏層節(jié)點數(shù)目的不同會影響到訓(xùn)練時間、測試時間、訓(xùn)練準(zhǔn)確度和測試準(zhǔn)確度，在不斷的調(diào)試中找到最佳的隱藏層節(jié)點數(shù)目，使得實驗結(jié)果最好;最后一個參數(shù)是激活函數(shù)、即g（·），根據(jù)數(shù)據(jù)樣本需要設(shè)置好最恰當(dāng)?shù)募せ詈瘮?shù)。

4 實驗

為了更好地評價PDC-ELM模型的性能，本節(jié)從實驗環(huán)境、數(shù)據(jù)集、代表性的ELM模型比較、性能評估和實驗結(jié)果對比進(jìn)行分析。為了更好地呈現(xiàn)模型的數(shù)據(jù)比較，在表與圖上分別從相關(guān)數(shù)據(jù)對比上進(jìn)行研究。

4.1 運行環(huán)境

試驗運行環(huán)境為Windows 10企業(yè)版，處理器為Inter（R）Core（TM）i5-8400 CPU@2.80 GHz，內(nèi)存16.0 GB，64位操作系統(tǒng)。實驗?zāi)Ｐ驼{(diào)試、運行、結(jié)果對比和圖形繪制在Matlab 2016中。

4.2 實驗數(shù)據(jù)集

本實驗在擴(kuò)展iris、abalone、wine和yeast 4個數(shù)據(jù)集上進(jìn)行。4組數(shù)據(jù)集將用于本文的優(yōu)化模型PDC-ELM與代表性的ELM模型（包括ELM、L21-ELM [25]和OS-ELM [10]）的效果比較。

4.3 比較模型

本實驗擬與代表性的ELM模型（包括ELM、L21-ELM和OS-ELM）進(jìn)行比較。其中，ELM是一種具有競爭力的機(jī)器學(xué)習(xí)方法，也是基于最小二乘的學(xué)習(xí)算法，可為分類和回歸應(yīng)用提供高效統(tǒng)一的學(xué)習(xí)解決方案。ELM就是一種針對單隱含層前饋神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)的算法，訓(xùn)練時的目的旨在尋得輸出層的權(quán)值求解。ELM的顯著特點就是輸入權(quán)值和隱含節(jié)點的偏置都是在給定范圍內(nèi)隨機(jī)生成的，現(xiàn)已證得其學(xué)習(xí)效率高、且泛化能力強(qiáng)，并已廣泛應(yīng)用于分類、回歸、聚類、特征學(xué)習(xí)等問題中。但是ELM魯棒性較差，穩(wěn)定性也差。L21-ELM是一種低秩正則化極限學(xué)習(xí)機(jī)，將提取的特征與ELM上的相關(guān)特征進(jìn)行低秩約束。首先，在低秩重構(gòu)過程中通過對重構(gòu)矩陣施加具有旋轉(zhuǎn)不變性的L_（2，1）模約束，可在挖掘目標(biāo)域數(shù)據(jù)的關(guān)鍵特征的同時提高算法對不同姿態(tài)圖片分類的魯棒性。其次，在目標(biāo)函數(shù)中引入結(jié)構(gòu)的正則化，使得遷移時數(shù)據(jù)中的局部幾何結(jié)構(gòu)信息得以充分利用，進(jìn)一步提高了分類性能。最后，為解決源域數(shù)據(jù)較少帶來的欠完備特征空間覆蓋問題，在公共子空間中利用源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)聯(lián)合構(gòu)造字典，保證了重構(gòu)的魯棒性。但卻很容易過擬合，求解效果欠佳。OS-ELM是一種快速、準(zhǔn)確的在線序列學(xué)習(xí)算法，可以遞增地添加隱藏節(jié)點，并可按塊大小變化或固定的塊大小逐塊地輸入訓(xùn)練數(shù)據(jù)。OS-ELM分為2個部分。一部分為通過少量的訓(xùn)練樣本，利用ELM算法計算并初始化輸出權(quán)重;另一部分開始在線學(xué)習(xí)，每當(dāng)一個新的數(shù)據(jù)樣本到來時，通過一個遞推公式得到新的輸出權(quán)重，從而實現(xiàn)在線且快速的訓(xùn)練。OS-ELM具備了ELM的速度和泛化能力上的優(yōu)點，并且可以隨著新數(shù)據(jù)的到來不斷更新模型，而不是重新訓(xùn)練模型。但是對于樣本重復(fù)數(shù)據(jù)較多和非線性化樣本處理卻并未臻至完善。此外，為了與傳統(tǒng)方法進(jìn)行仿真對比，還對SVM[21-22]模型進(jìn)行了研究。其主要思想即為找到空間中的一個能夠?qū)⑺袛?shù)據(jù)樣本劃開的超平面，并且使得樣本集中所有數(shù)據(jù)到這個超平面的距離最短，雖然通過使用核函數(shù)可以向高維空間進(jìn)行映射，使用核函數(shù)對于解決非線性的分類是有著長足優(yōu)勢的，不僅思想簡單，分類效果也較好，但是對于大規(guī)模數(shù)據(jù)訓(xùn)練卻比較困難，也無法直接支持多分類，而只能使用間接的方法來做。

4.4 實驗結(jié)果與分析

在本節(jié)中，研究給出了PDC-ELM算法在多標(biāo)簽分類應(yīng)用中的仿真結(jié)果。研發(fā)所得數(shù)據(jù)詳見表1～表4。

圖1表示實驗?zāi)Ｐ蚉DC-ELM分別在iris和abalone數(shù)據(jù)集下的訓(xùn)練準(zhǔn)確度和測試準(zhǔn)確度。圖1中，紅線表示訓(xùn)練結(jié)果，藍(lán)線表示測試結(jié)果。由圖1可以看出，隨著隱藏層節(jié)點數(shù)目的增加，PDC-ELM的訓(xùn)練準(zhǔn)確性也有所增加。 隱藏層節(jié)點數(shù)越多，就能夠提取更多的特征，使得準(zhǔn)確度更高。ELM模型對任何非線性函數(shù)都具有普遍的逼近能力。隨著隱藏層節(jié)點數(shù)目的增加，預(yù)測誤差趨于零。圖1給出了隨著ELM隱含層隱藏節(jié)點數(shù)增加分類精度的變化情況。在本實驗中，隱藏節(jié)點的數(shù)量從100增加到1 000，步長增幅為100。分析圖1可知，隨著隱藏層節(jié)點數(shù)目的增加，預(yù)測精度也逐漸提高。

耗時結(jié)果對比見表5所示。由表5可以看出，在這種情況下，PDC-ELM算法的學(xué)習(xí)速度比其他方法要快。分析可知，在預(yù)處理時進(jìn)行了去重，也就是過濾了重復(fù)的特征標(biāo)簽，減少了比較次數(shù)，但在數(shù)據(jù)較少時其優(yōu)勢并不明顯?；蛘咧貜?fù)數(shù)據(jù)較少時，優(yōu)勢也并不突出。在今后的工作中需繼續(xù)提高PDC-ELM的訓(xùn)練性能。

本次研究中，在選取的各個數(shù)據(jù)集上進(jìn)行實驗，仿真后得到的平均識別率如圖2～圖5所示。由圖2～圖5可知，PDC-ELM明顯優(yōu)于其他代表ELM模型，證明了PDC-ELM采用預(yù)處理標(biāo)簽數(shù)據(jù)的方法應(yīng)用在多標(biāo)簽分類上是有效的，也是有優(yōu)勢的。隨著隱藏層節(jié)點數(shù)目的增加，PDC-ELM的準(zhǔn)確性也在增加，一定程度上隱藏層節(jié)點數(shù)越多，越多的特征即被隱藏層提取在圖2和圖3中。當(dāng)隱藏層節(jié)點數(shù)量小于300時，PDC-ELM的結(jié)果比其他ELM方法比較接近，究其原因即在于較少的神經(jīng)元不能有效地提取良好的特征。PDC-ELM要優(yōu)于OS-ELM方法，根本原因在于：一方面，PDC-ELM進(jìn)行了樣本線性化處理;另一方面將特征選擇在測試集和訓(xùn)練集進(jìn)行了預(yù)處理，有明顯提升的效果。L21-ELM優(yōu)于原始的ELM方法，根本原因在于L21-ELM將特征選擇融入到線性回歸模型中，這樣一來分類提取特征就比較方便，可以更好地描述輸入數(shù)據(jù)。但從圖4和圖5可以看出，當(dāng)神經(jīng)元數(shù)量超過600個時，L21-ELM的性能急劇下降，分析原因則可能是隱藏層節(jié)點太多導(dǎo)致了算法的過擬合。由圖2還可以看出，也許是因為數(shù)據(jù)及樣本容量的影響，與其他3組數(shù)據(jù)集比較而言，iris數(shù)據(jù)集的樣本容量相對來說較小，可能造成PDC-ELM模型無法充分地發(fā)揮自身優(yōu)勢，數(shù)據(jù)樣本容量較少，樣本的特征較為分散，預(yù)處理的訓(xùn)練集和測試集的特征效果也未得到很好的呈現(xiàn)，造成的后果就是多組訓(xùn)練模型的測試結(jié)果較為接近，無法更好地突出自身的優(yōu)勢。在隱藏層神經(jīng)元較少的情況下，SVM優(yōu)于大多數(shù)ELM方法，然而，隨著隱藏層神經(jīng)元數(shù)量的增加，本文提出的PDC-ELM優(yōu)于SVM，由圖4和圖5可以看出，當(dāng)隱藏神經(jīng)元數(shù)量大于為700時，只有本文研發(fā)的模型獲得了最好的結(jié)果。

5 結(jié)束語

在本文中，提出了一種基于在線順序極限學(xué)習(xí)機(jī)的多標(biāo)簽分類改進(jìn)方法、即PDC-ELM，對非線性樣本通過核函數(shù)進(jìn)行線性處理，再進(jìn)行樣本特征數(shù)據(jù)預(yù)處理，與其他ELM方法相比，不僅降低了計算量，還能提高準(zhǔn)確率，在多標(biāo)簽分類實驗中有明顯的效果。

參考文獻(xiàn)

[1]SHEN Guorui， YUAN Ye. On theoretical analysis of single hidden layer feedforward Neural Networks with relu activations[C]//2019 34rd Youth Academic Annual Conference of Chinese Association of Automation （YAC）.? Jinzhou， China： IEEE，2019：706-709.

[2]LEE D， KIM S， TAK S， et al. Real-time feed-forward Neural network-based forward collision warning system under cloud communication environment[J]. IEEE Transactions on Intelligent Transportation Systems， 2019，20（12）：4390-4404.

[3]ENE A， STIRBU C. A Java application for the failure rate prediction using feed forward neural networks[C]// 2016 8th International Conference on Electronics， Computers and Artificial Intelligence （ECAI）. Ploiesti， Romania： IEEE， 2016：1-4.

[4]ENE A， STIRBU C. A Java simulation software for the study of the effects of the short-circuit faults in a feed forward neural network[C]// 2015 7th International Conference on Electronics， Computers and Artificial Intelligence （ECAI）.? Bucharest， Romnia：IEEE， 2015：1-4.

[5]VENKADESAN A， BHAVANA G， HANEESHA D， et al. Comparison of feed forward and cascade neural network for harmonic current estimation in power electronic converter[C]//2017 International Conference on Innovative Research in Electrical Sciences （IICIRES）. Nagapattinam， India：IEEE，2017：1-5.

[6]VIPANI R， HORE S， BASAK S， et al. Gait signal classification tool utilizing Hilbert transform based feature extraction and logistic regression based classification[C]//2017 Third International Conference on Research in Computational Intelligence and Communication Networks （ICRCICN）. Kolkata， India：IEEE， 2017：57-61.

[7]PRIYA S， MANAVALAN R. A hybrid classifier using weighted ELM with biogeography based optimization for hepatitis diagnosis[C]//2019 International Conference on Intelligent Computing and Control Systems （ICCS）. Madurai， India：IEEE， 2019：1463-1467.

[8]PRIYA S， MANAVALAN R. Optimum parameters selection using ACOR algorithm to improve the classification performance of weighted extreme learning machine for hepatitis disease dataset[C]// 2018 International Conference on Inventive Research in Computing Applications （ICIRCA）. Coimbatore：IEEE， 2018：986-991.

[9]MA Liancai ， LI Jun. Short-term wind power prediction based on multiple kernel extreme learning machine method[C]// 2020 7th International Forum on Electrical Engineering and Automation （IFEEA）. Hefei， China：IEEE，2020：871-874.

[10]CHUPONG C， PLANGKLANG B. Comparison study on artificial Neural Network and online sequential extreme learning machine in regression problem[C]//2019 7th International Electrical Engineering Congress （iEECON）. Hua Hin， Thailand：IEEE，2019：1-4.

[11]LIN Jun， ZHANG Qinqin， SHENG Gehao， et al. Prediction system for dynamic transmission line load capacity based on PCA and online sequential extreme learning machine[C]//2018 IEEE International Conference on Industrial Technology （ICIT）. Lyon， France：IEEE， 2018：1714-1717.

[12]CHEN Yita， CHUANG Yuchuan， WU A Y. Online extreme learning machine design for the application of federated learning[C]//2020 2nd IEEE International Conference on Artificial Intelligence Circuits and Systems （AICAS）.Genova， Italy：IEEE， 2020：188-192.

[13]VANLI N D， SAYIN M O，DELIBALTA I， et al. Sequential nonlinear learning for distributed multiagent systems via extreme learning machines[J]. IEEE Transactions on Neural Networks and Learning Systems， 2017，28（3）：546-558.

[14]LU Xinjiang， LIU Chang， HUANG Minghui. Online probabilistic extreme learning machine for distribution modeling of complex batch forging processes[J].IEEE Transactions on Industrial Informatics， 2015，11（6）：1277-1286.

[15]TANG Jiexiong， DENG Chenwei， HUANG Guangbin. Extreme learning machine for multilayer perceptron[J]. IEEE Transactions on Neural Networks and Learning Systems， 2016，27（4）：809-821.

[16]CILIMKOVIC M. Neural networks and back propagation algorithm[D]. North Dublin：Institute of Technology Blanchardstown， 2015.

[17]PRIANDANA K， ABIYOGA I， WULANDARI， et al. Development of computational intelligence-based control system using backpropagation neural network for wheeled robot[C]// 2018 International Conference on Electrical Engineering and Computer Science （ICECOS）. Pangkal， Indonesia：IEEE， 2018：101-106.

[18]MOGHADAM M H， SAADATMAND M， BORG M， et al. Learning-based response time analysis in real-time embedded systems： A simulation-based approach[C]//2018 IEEE/ACM 1st International Workshop on Software Qualities and their Dependencies （SQUADE）. Gothenburg，Sweden：ACM， 2018：21-24.

[19]CAO Jiuwen， WANG Tianlei， SHANG Luming， et al. A novel distance estimation algorithm for periodic surface vibrations based on frequency band energy percentage feature[J]. Mechanical Systems and Signal Processing， 2018，113：222-236.

[20]WU Xiaohe， ZUO Wangmeng， LIN Liang， et al. F-SVM： Combination of feature transformation and SVM learning via convex relaxation[J]. IEEE Transactions on Neural Networks and Learning Systems， 2018，29（11）：5185-5199.

[21]YAPP E K Y， LI X， LU W F， et al. Comparison of base classifiers for multi-label learning[J]. Neurocomputing， 2020：394：51-60.

[22]CAHYANI D E， NUZRY K A P. Trending topic classification for single-label using multinomial Naive Bayes （MNB） and multi-label using K-Nearest Neighbors （KNN）[C]//2019 4th International Conference on Information Technology， Information Systems and Electrical Engineering （ICITISEE）. Yogyakarta， Indonesia：IEEE，2019：547-557.

[23]鄭倫川， 鄧亞平. 一種獲取標(biāo)簽相關(guān)信息的多標(biāo)簽分類方法[J]. 計算機(jī)工程與應(yīng)用，2016，52（14）：156-160.

[24]李鋒， 楊有龍. 基于標(biāo)簽特征和相關(guān)性的多標(biāo)簽分類算法[J]. 計算機(jī)工程與應(yīng)用，2019， 55（4）： 48-55.

[25]SUN Xia， XU Jingting， JIANG Changmeng， et al. Extreme learning machine for multi-label classification[J]. Entropy， 2016， 18（6）： 225.

[26]JIANG Mingchu， LI Na， PAN Zhisong. Multi-label text categorization using L21-norm minimization extreme learning machine[M]//CAO J， MAO K， WU J， et al. Proceedings of ELM-2015 Volume 1. Proceedings in Adaptation， Learning and Optimization. Cham：Springer， 2015，6：121-133.

[27]HUANG Gao， HUANG Guangbin， SONG Shiji， et al. Trends in extreme learning machines： A review[J]. Neural Networks：The Official Journal of the International Neural Network Society， 2015，61：32-48.

基金項目： 國家自然科學(xué)基金青年基金 （61402145，61673156）。

作者簡介：張 燦（1995-），男，碩士研究生，主要研究方向：數(shù)據(jù)挖掘; 代子彪（1994-），男，碩士研究生，主要研究方向：情感語音合成; 安 鑫（1986-），男，博士，副教授，主要研究方向：情感計算、語音合成; 李建華（1985-），男，博士，副研究員，主要研究方向：鍵值存儲、預(yù)取。

通訊作者： 李建華Email：jhli@hfut.edu.cn

收稿日期： 2021-04-07