陳振洲, 吳雙燕, 范冰冰

(華南師范大學(xué)計算機學(xué)院，廣州 510631)

基于多層自動編碼機的Fisher判別分析

陳振洲*, 吳雙燕, 范冰冰

(華南師范大學(xué)計算機學(xué)院，廣州 510631)

在常見的特征提取方法中，F(xiàn)isher判別分析(Fisher Discriminant Analysis，F(xiàn)DA)只能提取線性特征，基于核的方法具有提取非線性特征的能力，但對核函數(shù)類型及其參數(shù)十分敏感. 文中研究如何有效提取數(shù)據(jù)特征，提出了一種基于多層自動編碼機(Stacked AutoEncoders，SAE)和Fisher標(biāo)準(zhǔn)的特征提取算法，該算法所使用的深度學(xué)習(xí)網(wǎng)絡(luò)模型在訓(xùn)練過程中結(jié)合無監(jiān)督特征提取SAE以及有監(jiān)督的特征提取FDA. 通過與多層自動編碼機、極限學(xué)習(xí)機(Extreme Learning Machine，ELM)等模型提取的特征進行對比，在數(shù)據(jù)集Pendigits、mnist、ORL和AR上利用支持向量機對數(shù)據(jù)特征進行分類，結(jié)果表明：基于SAE的Fisher變換(FDA-SAE)在減少分類時間的同時還提高了分類結(jié)果準(zhǔn)確率，特別是在小數(shù)據(jù)集AR上，當(dāng)樣本特征較少時效果非常明顯.

特征提取； 深度學(xué)習(xí)； 多層自動編碼機； Fisher判別分析

有效提取數(shù)據(jù)特征是模式識別領(lǐng)域的熱點和難點問題，在現(xiàn)有的特征提取方法中，主成分分析(Principal Component Analysis，PCA)和基于Fisher準(zhǔn)則的線性判別分析(Fisher Discriminant Analysis，F(xiàn)DA)只能夠提取線性特征，基于核映射的方法通過核函數(shù)在高維特征空間進行線性特征提取，從而實現(xiàn)在原始空間的非線性特征提取[1]，然而核方法存在模型和參數(shù)敏感性，在利用核方法時調(diào)參有較大的盲目性. 所以，如何通過靈活的學(xué)習(xí)模型自動發(fā)現(xiàn)數(shù)據(jù)集的本征分布，進行非線性特征提取和線性變換是特征提取中面臨的一大挑戰(zhàn).

與淺層結(jié)構(gòu)相比，由多層非線性映射層組成的深度結(jié)構(gòu)可以更加高效地提取非線性特征[2-3]，淺層結(jié)構(gòu)僅僅依靠人工經(jīng)驗抽取沒有層次結(jié)構(gòu)的單層特征，而深層結(jié)構(gòu)則通過對原始信號進行逐層特征變換，將樣本在原空間的特征表示變換到新的特征空間，自動地學(xué)習(xí)得到層次化的特征表示. 自動編碼機(AutoEncoder)是一種簡單而又重要的特征提取結(jié)構(gòu)模型，也被稱作為自動連接器[4]，首次提出是一種淺層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，由于其有限樣本和計算單元情況下對復(fù)雜函數(shù)的表示能力有限，在復(fù)雜分類問題受到一定制約. 2006年，HINTON等[5]首次將深度學(xué)習(xí)的概念運用于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，其提出的基于深度置信網(wǎng)絡(luò)(Deep Belief Net,DBN)的非監(jiān)督貪心逐層訓(xùn)練算法為解決深層結(jié)構(gòu)相關(guān)的優(yōu)化難題帶來希望. 在此基礎(chǔ)上，一種無監(jiān)督情況下的機器學(xué)習(xí)模型——多層自動編碼機的提出[6]，開啟了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮. 隨著深度學(xué)習(xí)的火熱發(fā)展，自動編碼機，特別是受限波爾曼機[7-8]在數(shù)據(jù)特征提取方面取得了不錯的成效[9].

多層自動編碼機的提出解決了無監(jiān)督的反向傳播問題[10]，并且有多種非線性的深度結(jié)構(gòu)，如：對數(shù)據(jù)的降維和升維過程做了限制,用于改變數(shù)據(jù)維度的收縮自動編碼機[11]；用于構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)的一種卷積自動編碼機[12]；用于求解神經(jīng)網(wǎng)絡(luò)的一種特殊的自動編碼機——極限學(xué)習(xí)機(Extreme Learning Machine,ELM)[13]. 其中，EML最大的特點就是相對于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，尤其是單隱層前饋神經(jīng)網(wǎng)絡(luò)，ELM可以隨機初始化輸入權(quán)重并且得到相應(yīng)的輸出權(quán)重，在保證精度的前提下比傳統(tǒng)的學(xué)習(xí)算法速度更快，因而也被廣泛應(yīng)用于特征學(xué)習(xí)、回歸和多分類等問題[14-15]. 然而，自動編碼機本質(zhì)上是一種無監(jiān)督學(xué)習(xí)方法得到數(shù)據(jù)的另外一種特征表達，并不能確保學(xué)習(xí)到的特征具備強大的分類能力，如果能夠在自動編碼機所提取的特征基礎(chǔ)上結(jié)合有監(jiān)督的特征提取方法，所提取的特征應(yīng)該具備更強的分類能力.

基于以上思路，本文結(jié)合無監(jiān)督和有監(jiān)督的學(xué)習(xí)方法，首先利用深度多層自動編碼機(Stacked AutoEncoders,SAE)進行無監(jiān)督學(xué)習(xí)，提取分布式特征，在此基礎(chǔ)上利用FDA進行有監(jiān)督的學(xué)習(xí)，進一步提取有效分類特征. 通過在支持向量機上的分類實驗表明，利用該方法提取出來的特征分類在分類的效果和時間上，性能都得到了較大的提升.

1 基于多層自動編碼機的Fisher判別分析(FDA-SAE)

傳統(tǒng)的特征提取方法中，F(xiàn)isher判別(FDA)只能進行線性特征提取，而且只能利用有標(biāo)簽的數(shù)據(jù)；非線性特征提取可以通過核方法來實現(xiàn)，但是存在模型和參數(shù)敏感性，應(yīng)用時有很大難度. 深度學(xué)習(xí)方法中，SAE通過對原始信號(無標(biāo)簽數(shù)據(jù))進行逐層特征變換，將樣本在原空間的特征表示變換到新的特征空間，自動地學(xué)習(xí)得到層次化的特征表示. 但深度SAE本質(zhì)上是一種無監(jiān)督學(xué)習(xí)方法，并不能確保學(xué)習(xí)到的特征具備強大的分類能力. 因此，本文結(jié)合SAE和FDA，充分利用無標(biāo)簽及有標(biāo)簽的樣本集進行非線性特征提取以取得良好的效果.

1.1 多層自動編碼機模型

多層自動編碼機就是在原型編碼機的基礎(chǔ)上增加編碼的層數(shù)，其學(xué)習(xí)一個編碼函數(shù)h，h將輸入向量xRd映射為特征向量h(x)Rdh. 同時還有一個解碼函數(shù)g，g將h映射回輸入空間，=g(h(x))為x的重構(gòu). 通過最小化訓(xùn)練集上的平均重構(gòu)誤差L(x,g(h(x)))，利用隨機梯度下降法[16]可以優(yōu)化求解編碼和解碼參數(shù)θ. 最小化目標(biāo)函數(shù)為：

本文將使用最常用的編碼器、解碼器以及重構(gòu)誤差：

上述自動編碼機的參數(shù)集合為：θ={A,α,β}.

多層自動編碼機就是將編碼器逐層連接起來用于特征學(xué)習(xí)，在最后階段運用解碼器將特征提取出來用于具體的分類任務(wù)，其特征學(xué)習(xí)和分類過程可分為3個步驟：

(1)根據(jù)分類任務(wù)構(gòu)建多層自動編碼機，確定所使用的SAE的個數(shù)以及設(shè)置權(quán)重的初始值；

(2)SAE訓(xùn)練：如圖1所示，給定未加工的無標(biāo)簽數(shù)據(jù)x，通過訓(xùn)練第1個SAE來學(xué)習(xí)第1層的特征h；將學(xué)習(xí)到的特征h作為第2個SAE的輸入，得到第2層的特征k(圖2). 以此類推，根據(jù)設(shè)定的SAE的個數(shù)逐層訓(xùn)練，得到最后層的特征code；

(3)有監(jiān)督微調(diào)：將訓(xùn)練的SAE與線性支持向量機(Support Vector Machine,SVM)[17]分類器結(jié)合構(gòu)造成一個多層的分類網(wǎng)絡(luò)結(jié)構(gòu)(圖3)，通過有標(biāo)簽樣本，對最后層的特征code有監(jiān)督學(xué)習(xí)地進行微調(diào).

圖1 第1層的自動編碼機Figure 1 The first layer of AutoEncoder

圖2 第2層的自動編碼機Figure 2 The second layer of AutoEncoder

圖3 多層自動編碼機Figure 3 The structure of stacked AutoEncoders

1.2 Fisher判別分析

Fisher判別分析(FDA)是一種基于Fisher準(zhǔn)則的線性特征提取方法，與PCA不一樣，F(xiàn)DA是一種有監(jiān)督的學(xué)習(xí)方法[18]，對于二分類問題，F(xiàn)DA可將數(shù)據(jù)樣本嵌入到一維空間，同時在多類(如l類)問題中，F(xiàn)DA同樣可以將數(shù)據(jù)樣本嵌入到l-1維空間.

設(shè)xiRd(i=1,2,…,n)為d維樣本，yi{1,2,…,l}為相應(yīng)的類標(biāo)簽，其中n是樣本集的大小，l是樣本類別數(shù)目. 如果將第j類的樣本數(shù)目記為nj，則

設(shè)SW和SB分別為樣本集的類內(nèi)散布矩陣和類間散布矩陣，定義如下：

1.3 FDA-SAE算法過程

本文結(jié)合多層自動編碼機和Fisher判別分析進行有效分類特征提取，具體過程如下：

(1)利用所有訓(xùn)練樣本學(xué)習(xí)多個單層的自動編碼器；

(2)將多個單層自動編碼器組成一個多層自動編碼器;

(3)結(jié)合分類器(如softmax)，利用有標(biāo)簽的訓(xùn)練樣本對多層自動編碼機(SAE)進行優(yōu)化(若不需要優(yōu)化則可省略此步驟)；

(4)利用學(xué)習(xí)到的SAE對訓(xùn)練樣本x進行特征提取，獲得xSAE；

(5)利用有標(biāo)簽的xSAE訓(xùn)練樣本進行FDA，提取最終的分類特征，以便進行分類.

2 實驗結(jié)果及分析

本節(jié)將在基準(zhǔn)數(shù)據(jù)集中分別運用FDA、SAE、FDA-SAE(用SAE專換后再用FDA進行特征提取)、ELM、FDA-ELM (先通過ELM變換再用FDA進行特征提取)、FDA-SAE-NN(用SAE進行特征變換后再利用神經(jīng)網(wǎng)絡(luò)(Neural Network,NN)進行有監(jiān)督的微調(diào)，最后用FDA進行特征提取)和SAE-NN(經(jīng)SAE進行特征變換后采用NN進行微調(diào))等7種方法對特征進行提取，并且應(yīng)用數(shù)據(jù)可視化分析及分類算法進行對比.

2.1 數(shù)據(jù)集和算法

本文所用數(shù)據(jù)集如下：

數(shù)據(jù)集A為“Pendigits”數(shù)據(jù)集，是一個包含0～9的手寫數(shù)字?jǐn)?shù)據(jù)庫，包含10 992個樣本，每個樣本由1個分類屬性和16個輸入特征構(gòu)成. 本文利用數(shù)據(jù)集A構(gòu)造出數(shù)據(jù)集A3、A4，分別包含3個數(shù)字(0,1,2)和4個數(shù)字(6,7,8,9). 對于數(shù)據(jù)集A、A3、A4，測試集和訓(xùn)練集的數(shù)據(jù)量比例為2∶1.

數(shù)據(jù)集B為“mnist”數(shù)據(jù)集，是一個包含0～9的手寫數(shù)字?jǐn)?shù)據(jù)庫，包含70 000個樣本，每個樣本由1個分類屬性和784(28×28的灰度圖像)個輸入特征構(gòu)成. 與數(shù)據(jù)集A一樣，構(gòu)造出數(shù)據(jù)集B3、B4，分別包含3個數(shù)字和4個數(shù)字的識別. 對于數(shù)據(jù)集B、B3、B4，訓(xùn)練集和測試集的數(shù)據(jù)量比例為5∶1.

數(shù)據(jù)集C為劍橋大學(xué)AT&T實驗室創(chuàng)建的ORL人臉數(shù)據(jù)庫，包含40個人，每人10張照片，共400張面部圖像. 每個樣本由1個分類屬性和4 096(64×64的灰度圖像)個輸入特征構(gòu)成，在本文中訓(xùn)練集和測試集的數(shù)據(jù)量比例為7∶3.

數(shù)據(jù)集D為Purdue大學(xué)創(chuàng)建的AR人臉數(shù)據(jù)庫，本文取其中100個人，每人14張照片，共 1 400張面部圖像. 每個樣本由1個分類屬性和2 580(60×43的灰度圖像)個輸入特征構(gòu)成，訓(xùn)練集和測試集的數(shù)據(jù)量比例為1∶1.

2.2 結(jié)果與分析

從圖4和圖5可以看出在原始數(shù)據(jù)集上直接用FDA或FDA-SAE-NN提取的特征，類間分離的效果不如FDA-SAE提取的特征. FDA-SAE提取的特征能夠?qū)崿F(xiàn)類間距離大、類內(nèi)聚集度高的特點，為后續(xù)的分類算法提供了良好的基礎(chǔ)；還可以看出，F(xiàn)DA-SAE-NN提取的特征不如FDA-SAE提取的特征. 這說明在執(zhí)行無監(jiān)督的特征提取SAE后，后續(xù)結(jié)合有監(jiān)督的特征提取FDA，中間的有監(jiān)督微調(diào)(利用NN)并不能提高效果.

圖4 特征提取算法在數(shù)據(jù)集A3上的結(jié)果(二維特征)Figure 4 Results of feature extraction algorithms on dataset A3 (two-dimensional features)

圖5 特征提取算法在數(shù)據(jù)集A4上的結(jié)果(三維特征)Figure 5 Results of feature extraction algorithms on dataset A4 (three-dimensional features)

表1描述了不同的特征提取算法在不同的數(shù)據(jù)集上的提取特征后，在SVM上的分類準(zhǔn)確率，其中：數(shù)據(jù)集A3、A4和A的原始數(shù)據(jù)包含16個特征，SAE之后的數(shù)據(jù)包含100個特征，F(xiàn)DA之后的數(shù)據(jù)分別包含2、3、9個特征，ELM之后數(shù)據(jù)包含10個特征. 數(shù)據(jù)集B3、B4和B的原始數(shù)據(jù)包含784個特征，SAE之后的數(shù)據(jù)包含100個特征，F(xiàn)DA之后的數(shù)據(jù)分別包含2、3、9個特征，ELM變換之后特征變?yōu)?0個.

從表1可以看出，在數(shù)據(jù)集A、A3、A4上，各個算法分類的準(zhǔn)確率都差不多，但FDA-SAE的準(zhǔn)確率略高；在數(shù)據(jù)集B、B3、B4上FDA-SAE分類準(zhǔn)確率比較穩(wěn)定，波動不大，ELM算法波動較大，F(xiàn)DA-SAE提取的特征上的分類準(zhǔn)確率比SAE、原始特征上的準(zhǔn)確率稍低，但FDA-SAE比SAE-NN的性能好，說明采用FDA做SAE后續(xù)有監(jiān)督特征提取比集成NN微調(diào)的SAE特征提取更加有意義. 在數(shù)據(jù)集C、D也是由于高維稀疏問題，F(xiàn)AD-SAE提取的特征用于分類的結(jié)果明顯好于其他算法，說明直接在原始特征上無法進行FDA求解(奇異矩陣)， 并且FDA-SAE提取的特征上的分類性能比SAE、SAE-NN好，進一步說明了采用FDA做SAE后續(xù)有監(jiān)督特征提取更加有意義. 與FDA-SAE-NN相比，F(xiàn)DA-SAE在運行時間和分類性能都具備優(yōu)勢，如果SAE之后采用FDA進行特征提取，那么SAE之后的NN微調(diào)不但不能提高性能，反而會降低性能.

表1 算法在不同數(shù)據(jù)集的分類準(zhǔn)確率Table1 The accuracy rate of classification for algorithms on different datasets %

表2展示了各個分類算法在不同的數(shù)據(jù)集上運行的時間，運行時間為特征提取時間和分類時間的總和. 從表中可以看出在不同的數(shù)據(jù)集上經(jīng)過Fisher變換的特征用于分類的時間比沒有經(jīng)過Fisher變換的運行時間要短，其中FDA-SAE運行的時間比其他的算法時間都要短，特別是在數(shù)據(jù)集B上，SAE方法提取特征的分類時間將近FDA-SAE方法的2倍. 另外，在ELM算法上加上Fisher分析運行時間也比沒有經(jīng)過Fisher變換所需要的時間要少. 綜上所述，說明在無監(jiān)督的算法SAE后加上有監(jiān)督的算法FDA提取出來的特征不僅在分類能力上有提高，在運行時間上也有很大的優(yōu)勢.

表2 算法在不同數(shù)據(jù)集上的運行時間Table 2 The runtime of algorithms on different dataset s

3 結(jié)論

本文提出了FDA-SAE特征提取方法，該方法結(jié)合無監(jiān)督算法SAE和有監(jiān)督算法FDA，利用深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)強大的分布式表達能力以及FDA的降維能力，提取出具有更好分類能力的特征. 首先利用深度SAE進行無監(jiān)督學(xué)習(xí)，提取分布式特征，在此基礎(chǔ)上利用FDA進行有監(jiān)督的學(xué)習(xí)，進一步提取有效分類特征. 實驗結(jié)果說明，本文提出的算法具有較好的性能.

雖然FDA-SAE可以有效地提取具有判別性的樣本特征，但是在FDA-SAE算法網(wǎng)絡(luò)結(jié)構(gòu)的層次性和參數(shù)的設(shè)置上都還存在一定的隨機性，未來的工作將會集中在以下幾個方面：(1)改進FDA:FDA提取的特征并不正交，需研究改進FDA提取正交特征；(2)將FDA標(biāo)準(zhǔn)集成到SAE內(nèi)部:在SAE微調(diào)階段的NN改成類似FDA標(biāo)準(zhǔn)的誤差后向傳播；(3)深度模型的優(yōu)化:不同的深度、不同的激活函數(shù)、參數(shù)都會影響整個算法的性能.

[1]ZHAOC,ZHENGC,ZHAOM,etal.Multivariateautoregressivemodelsandkernellearningalgorithmsforclassi-fyingdrivingmentalfatiguebasedonelectroencephalographic[J].ExpertSystemswithApplications,2011,38(3):1859-1865.

[2]BENGIOY,DELALLEAUO.Ontheexpressivepowerofdeeparchitectures[C]∥AlgorithmicLearningTheory.Berlin:Springer,2011:18-36.

[3]BENGIOY,GUYONG,DRORV,etal.Deeplearningofrepresentationsforunsupervisedandtransferlearning[J].WorkshoponUnsupervised&TransferLearning,2012,27:17-37.

[4]BOURLARDH,KAMPY.Auto-associationbymultilayerperceptronsandsingularvaluedecomposition[J].BiologicalCybernetics,1988,59(4/5):291-294.

[5]HINTONGE,OSINDEROS,TEHYW.Afastlearningalgorithmfordeepbeliefnets[J].NeuralComputation,2006,18(7):1527-1554.

[6]VINCENTP,LAROCHELLEH,BENGIOY,etal.Extractingandcomposingrobustfeatureswithdenoisingautoenco-ders[C]∥Proceedingsofthe25thInternationalConferenceonMachineLearning.NewYork:ACM,2008:1096-1103. [7] 張春霞,姬楠楠,王冠偉. 受限波爾茲曼機簡介[J]. 工程數(shù)學(xué)學(xué)報,2013(2):159-173.

[8]HINTONGE.Apracticalguidetotrainingrestrictedboltzmannmachines[M]∥NeuralNetworks:TricksoftheTrade.Berlin:Springer,2012:599-619.

[9]BALDIP,GUYONG,DRORV,etal.Autoencoders,unsupervisedlearning,anddeeparchitectureseditor:I[J].JournalofMachineLearningResearch,2012,27:37-50.

[10]RUMELHARTDE,HINTONGE,WILLIAMSRJ.Lear-ninginternalrepresentationsbyerrorpropagation[J].Rea-dingsinCognitiveScience,1988,1:399-421.

[11]RIFAIS,VINCENTP,MULLERX,etal.Contractiveauto-encoders:explicitinvarianceduringfeatureextraction[C]∥Proceedingsofthe28thInternationalConferen-ceonMachineLearning(ICML).Bellevue,WA:[s.n],2011:77-84.

[12]MASCIJ,MEIERU,CIRESAND,etal.Stackedconvolutionalauto-encodersforhierarchicalfeatureextraction[C]∥InternationalConferenceonArtificialNeuralNetworks.Berlin:Springer,2011:52-59.

[13]HUANGGB,WANGDH,LANY.Extremelearningmachines:asurvey[J].InternationalJournalofMachineLearningandCybernetics,2011,2(2):107-122.

[14]HUANGGB,BAIZ,KASUNLLC,etal.Localreceptivefieldsbasedextremelearningmachine[J].IEEEComputationalIntelligenceMagazine,2015,10(2):18-29.

[15]HUANGGB,ZHOUH,DINGX,etal.Extremelearningmachineforregressionandmulticlassclassification[J].IEEETransactionsonSystems,Man,andCybernetics:PartB,2012,42(2):513-529.

[16]LIXL.Preconditionedstochasticgradientdescent[J].Statistics,2015,27(3):27-38.

[17]ZHANGSW,PANQ,ZHANGHC,etal.Classificationofproteinquaternarystructurewithsupportvectormachine[J].Bioinformatics,2003,19(18):2390-2396.

[18]TRIERD,JAINAK,TAXTT.Featureextractionmethodsforcharacterrecognition:asurvey[J].PatternRecognition,1996,29(4):641-662.

【中文責(zé)編：莊曉瓊 英文審校：肖菁】

Fisher Discriminant Analysis Based on Stacked AutoEncoders

CHEN Zhenzhou*, WU Shuangyan, FAN Bingbing

(School of Computer Science, South China Normal University, Guangzhou 510631,China)

Among the methods of common-featured extraction, Fisher Discriminant Analysis(FDA) can only extract the linear features. Although the method based on kernel has the ability to extract nonlinear features, it is very sensitive to the type of kernel function and its parameters. The effective feature extraction of data is concerned in this paper. A feature extraction algorithm based on Stacked AutoEncoders(SAE) and FDA is proposed. The training process of the deep-learning network model in this algorithm combines unsupervised features extracted by SAE with supervised features extracted by FDA. Through the comparison of features extracted from multi-layer automatic encoding machine, Extreme Learning Machine (ELM) and other models, by using support vector machine to classify the data features in the data set Pendigits, MNIST, ORL, AR, FDA based on SAE (FDA-SAE) has good performance in the classification accuracy and runtime. Especially in small dataset AR, the effect is especially obvious under the condition of less sample features.

feature extraction; deep learning; stacked AutoEncoders; Fisher discriminant analysis

2016-05-14 《華南師范大學(xué)學(xué)報(自然科學(xué)版)》網(wǎng)址：http://journal.scnu.edu.cn/n

廣東省科技計劃項目(2013B010401022)

TP301

A

1000-5463(2017)03-0117-06

*通訊作者:陳振洲,講師,Email：chenzhenzhou@scnu.edu.cn.