苗軍,劉曉,常藝茹,喬元華

(1.北京信息科技大學 網(wǎng)絡文化與數(shù)字傳播北京市重點實驗室,北京 100101;2.北京工業(yè)大學 應用數(shù)理學院,北京 100124)

0 引言

單隱層前饋神經(jīng)網(wǎng)絡(single-hidden layer feedforward neural network,SLFN)是一個簡單的三層網(wǎng)絡結構,由輸入層、隱藏層和輸出層組成。SLFN具有泛逼近性,可以逼近復雜的非線性函數(shù),也可以對經(jīng)典參數(shù)化技術難以處理的自然和人工合成數(shù)據(jù)進行建模,因此在許多領域得到了廣泛的應用。

極限學習機(extreme learning machine,ELM)是一種SLFN學習算法,因其學習速度快、泛化能力強,被廣泛應用于發(fā)動機轉速控制[1]、RNA識別[2]、蛋白質交互預測[3]、故障診斷[4-5]、圖像編碼[6]、自動降噪[7]和儲能系統(tǒng)選址[8]等領域。

在訓練階段,ELM首先用隨機值初始化其三層全連接網(wǎng)絡的參數(shù),然后使用最小二乘法解析計算網(wǎng)絡輸出權重,且不對輸入權重修改和學習,使之始終保持隨機初始化值。在測試或運算階段,ELM首先通過Sigmoid非線性激活函數(shù)獲得隱藏層的響應,然后該響應由隱藏層映射到輸出層,后面這一層映射可視為一個線性系統(tǒng)[9]。因此,ELM的本質是求解線性系統(tǒng),即在最大程度地減少訓練誤差的同時確定輸出權重[10]。

為了達到理想的性能,ELM通常需要有大量的隱藏節(jié)點,這增加了計算成本,容易導致訓練后的模型過擬合。有2種方法可以有效地減少隱藏節(jié)點的數(shù)量:1)基于在線增量式,例如進化ELM[11];2)基于剪枝的方法,例如最優(yōu)剪枝ELM(optimally pruned ELM,OP-ELM)[12]。此外,針對隨機生成的參數(shù)缺乏緊湊性,Yu等[13]使用基于梯度的方法對ELM中輸入層到隱藏層的參數(shù)進行更新,在少量隱藏節(jié)點上實現(xiàn)更好的性能。Kasun等[14]利用極限學習機自編碼器(ELM based autoencoder,ELM-AE)學習特征表示,有助于對深層ELM的輸入權重進行初始化。Zhu等[15]提出了約束ELM(constrained ELM,C-ELM),并將輸入權值約束作為訓練數(shù)據(jù)中類間樣本的一組差分向量。Tapson等[16]所選的輸入層權重是隨機的,但偏向訓練數(shù)據(jù)樣本,該方法稱為計算輸入權重ELM(computation of input weights ELM,CIW-ELM)。McDonnell等[17]提出了形狀化輸入權重,并結合了不同的參數(shù)初始化方法來探索緊湊性。本文重點研究了基于誤差反向傳播(back propagation,BP)和自編碼器(autoencoder,AE)進行ELM參數(shù)初始化的方法,在文獻[14]的基礎上,提出一種新的學習訓練方法,不僅獲得了更緊湊的參數(shù),而且以更少的隱藏節(jié)點和時間獲得了更好的性能。

1 ELM-AE

1.1 極限學習機

ELM是一個三層全連接網(wǎng)絡。在ELM中,輸入層和隱藏層之間的權值參數(shù)是隨機生成的,而隱藏層和輸出層之間的權重值通過最小二乘法獲得的解析表達式進行求解。也就是說,在ELM中唯一需要學習的就是輸出權重,且學習過程不需要迭代計算權重,因此具有高效的學習效率。

對于一個輸入樣本x,ELM輸出單元的響應值所組成的輸出向量由下式定義:

式中:L為隱藏層節(jié)點個數(shù);βi為第i個隱單元指向所有輸出單元的連接權向量;β=[β1,β2,…,βL]為輸出權重;h(x)=[h1(x),h2(x),…,hL(x)]為輸入樣本x在隱藏層上的響應向量,可以看作是ELM的特征空間,其中第i個隱單元對于輸入樣本x的響應值為

hi(x)=f(wix+bi)i=1,2,…,L

(1)

式中:wi為輸入層所有輸入單元指向第i個隱單元的連接權向量;bi為第i個隱單元的偏置或門限閾值;f為隱單元的激活函數(shù),通常取Sigmoid函數(shù)。在ELM中wi和bi的值在模型訓練開始前經(jīng)隨機初始化后就始終保持不變,測試階段也采用相同的值。

N個輸入樣本x1、x2、…、xN在隱藏層上的N個響應向量組成了一個隱藏層響應矩陣H=[h(x1),h(x2),…,h(xN)]T。同理,N個輸入樣本在輸出層上的N個輸出向量組成了一個輸出矩陣O=[o(x1),o(x2),…,o(xN)]T,因此有如下等式:

Hβ=O

(2)

在監(jiān)督學習的情形下,ELM直接令輸出矩陣O等于由N個樣本的標簽向量t(x1)、t(x2)、…、t(xN)所組成的標簽矩陣T,T=[t(x1),t(x2),…,t(xN)]T,即O=T,則得到:

Hβ=T

(3)

這樣輸出權重β能夠由下式來計算:

β=H?T

(4)

式中:H?為關于矩陣H的Moore-Penrose廣義逆矩陣[18]。

ELM的訓練算法如下[19]:

步驟1:隨機分配輸入權重wi和偏置bi,i=1,2,…,L。

步驟2:計算N個樣本的隱藏層響應矩陣H:

步驟3:通過式(4)求解輸出權重β。

1.2 基于ELM的自編碼器

當設置極限學習機ELM的期望輸出t=x時,即將式(3)中的期望輸出矩陣T換成輸入樣本矩陣X時,就得到了如下公式:

Hβ=X

(5)

式(5)意味著讓ELM的輸出t以無監(jiān)督的方式重構輸入數(shù)據(jù)x,即通過重建輸入樣本來學習樣本的無監(jiān)督重構特征表示[5],那么ELM經(jīng)過學習訓練后的輸出權重β可以看作是原始輸入數(shù)據(jù)x的特征重構矩陣。此時的ELM稱之為基于極限學習機的自編碼器(ELM-AE)。把ELM-AE的輸出權重β用βELM-AE表示,由式(4)可得到求解公式:

βELM-AE=H?X

(6)

由于t=x,所以ELM-AE的輸入層和輸出層的單元數(shù)目相同。

2 權重微調的ELM-AE

如1.1節(jié)所述,ELM的輸入權重W在用隨機值初始化后始終保持不變,ELM在學習訓練的過程中不對其進行更新。這樣雖然能節(jié)省ELM學習訓練的時間,但由于輸入權重是隨機值,使得ELM在測試時并不能取得很好的效果。主要原因是隨機確定從輸入層到隱藏層的連接權重,導致ELM的特征表示不緊湊,即指在隨機映射的過程中,輸入向量通過映射到隱層空間所得到的隱單元響應值h(x)在特征映射方向的確定上具有隨機性。

在ELM-AE中,通過非監(jiān)督方式可以對輸入樣本學習較好的特征表達,這種表達由原來隨機的特征方向映射統(tǒng)一到一個基于輸入數(shù)據(jù)的映射方向。Kasun等[14]發(fā)現(xiàn),通過ELM-AE得到的特征能夠減少類內(nèi)距離,增大類間距離。不過這種特征映射沒有引入類別標簽信息,缺少了類別信息來約束表達數(shù)據(jù)的判別性。

為了解決這一問題,本文提出了基于權重微調的極限學習機自編碼器(簡稱微調ELM-AE)。下面以圖1所示的示例性神經(jīng)網(wǎng)絡對訓練過程進行說明。

圖1 微調ELM-AE的訓練過程Fig.1 Training procedure of fine-tuned ELM-AE

第一步,采用非監(jiān)督學習方式得到ELM-AE網(wǎng)絡的輸出權重。

第二步,采用監(jiān)督學習的方式對ELM-AE網(wǎng)絡學習到的權重進行微調更新。

然后,使用ELM-AE學習到的權重βELM-AE來初始化BP神經(jīng)網(wǎng)絡從輸入層到隱藏層的權重W,即:

第三步,用微調的ELM-AE權重初始化一個ELM的輸入權重,并采用最小二乘算法訓練ELM用于分類。

然后,通過前饋運算和最小二乘求解,得到ELM隱藏層的響應值和輸出權重:

式中:b為隱單元的偏置;βELM為ELM的輸出權重。

3 實驗

在沒有任何失真的原始MNIST手寫數(shù)字數(shù)據(jù)集[20]上進行分類實驗,使用所有60 000個訓練樣本來訓練模型,并使用10 000個測試樣本來評估性能。實驗在臺式計算機上進行,該臺式計算機具有運行在MATLAB R2014a中的核心i7-4770 3.4 GHz處理器和32 GB RAM。

3.1 性能實驗

MNIST數(shù)據(jù)集樣本圖像的大小是28×28像素,包含10類數(shù)字樣本,因此本實驗中模型的輸入節(jié)點數(shù)是784,輸出節(jié)點數(shù)是10。為了評估微調ELM-AE的性能,分別使用微調ELM-AE與其他方法初始化ELM,并對分類結果進行比較。對比方法如下:

1)ELM。隨機選擇輸入權重和偏差。

2)ELM-AE。使用ELM-AE輸出權重的轉換來初始化ELM的輸入權重,隨機選擇偏差。

3)BP。首先使用隨機參數(shù)訓練BP網(wǎng)絡,然后使用調整后的參數(shù)(輸入權重和偏差)來初始化ELM[13]。

4)自編碼器。首先訓練自編碼器來學習原始數(shù)據(jù)的特征表示,然后使用學習到的參數(shù)來初始化ELM輸入權重和偏差。

結果如圖2所示?？梢园l(fā)現(xiàn)BP、自編碼器和微調ELM-AE的測試分類準確率曲線幾乎相同,且優(yōu)于ELM和ELM-AE。BP、自編碼器和微調ELM-AE的平均準確率分別為97.66%、97.75%和97.81%。這表明微調ELM-AE的性能更優(yōu)。

圖2 測試分類準確率曲線Fig.2 Curves of test classification accuracies

3.2 計算成本對比

以97.6%的測試準確率為例,對比5種方法為了達到相似的測試準確率所需要的隱藏節(jié)點數(shù)量和時間,結果如表1所示。

表1 相似測試準確率的計算成本比較Table 1 Computation cost comparison with similar test accuracies

從表1可以看出,ELM和ELM-AE達到目標準確率的總時間最少,但所需隱藏節(jié)點數(shù)量均超過10 000個,并且這2種方法的訓練時間遠高于其他方法。相比之下,經(jīng)過微調的ELM-AE只需要200個隱藏節(jié)點就可以獲得目標準確率,并且其時間主要花費在預訓練階段,訓練時間只需2 s。

3.3 深層結構實驗

ELM-AE可以看作是一個雙向無監(jiān)督學習神經(jīng)網(wǎng)絡。利用這一性質,可將微調的ELM-AE作為基本模塊兩兩堆疊成深層全連接神經(jīng)網(wǎng)絡,這種結構可稱為堆疊的微調ELM-AE(stacked fine-tuned ELM-AE,SFEA)。

將SFEA與多隱藏層前饋神經(jīng)網(wǎng)絡(multiple-hidden layer feedforward neural network,MLFN)和堆疊式自編碼器(stacked autoencoder,SAE)[21]進行對比。這3個模型都為多層全連接神經(jīng)網(wǎng)絡結構,包含1個輸入層、3個隱藏層和1個輸出層,各層的節(jié)點數(shù)為784、1 000、1 000、1 000、10。在SFEA中,使用ELM-AE初始化前4層之間的參數(shù),然后使用BP對深層結構進行微調。最后,使用微調參數(shù)以相同的結構初始化ELM,即使用前4層提取特征,然后使用最小二乘法確定輸出權重。MLFN和SAE由BP網(wǎng)絡訓練。

此外,選擇主流的非全連接多層神經(jīng)網(wǎng)絡:卷積深度學習模型LeNet-5[20]、ResNet-34[22]和DenseNet[23]與本文方法進行對比。實驗結果如表2所示。SFEA的性能好于MLFN,并與SAE和其他卷積深度學習模型可比。這表明經(jīng)過微調的ELM-AE可以作為深層結構的一個可供考慮的組件,以幫助構建深層全連接神經(jīng)網(wǎng)絡。

表2 深層結構實驗結果Table 2 Experimental results on deep structures

4 結束語

本文集中使用無監(jiān)督和監(jiān)督的方法進行ELM的初始化,即使用無監(jiān)督的ELM-AE將參數(shù)初始化從隨機特征空間限制到有限的輸入空間,產(chǎn)生了緊湊的特征表示;使用有監(jiān)督的BP算法來微調ELM-AE權重,在特征表示中增加了區(qū)分度,使特征表示具有判別性。實驗結果表明,與對比方法相比,本文提出的方法在時間消耗類似的情況下,節(jié)省了存儲空間,綜合性能最優(yōu)。