劉佳奇 閆德勤 何陽(yáng)

摘 要：極端學(xué)習(xí)機(jī)（ELM）訓(xùn)練速度快、分類(lèi)率高，已被廣泛應(yīng)用于人臉識(shí)別領(lǐng)域，但是在實(shí)際問(wèn)題中由于數(shù)據(jù)具有較高維數(shù)，導(dǎo)致ELM在有限樣本下存在學(xué)習(xí)不充分的問(wèn)題。傳統(tǒng)對(duì)數(shù)據(jù)進(jìn)行有效維數(shù)約簡(jiǎn)的方法，沒(méi)有考慮到數(shù)據(jù)之間判別信息和小樣本問(wèn)題。為此，提出一種強(qiáng)制性保留算法（FLPP），以保持全部樣本與局部樣本之間的幾何結(jié)構(gòu)，同時(shí)類(lèi)間離散度矩陣加入判別信息，因此避免了樣本點(diǎn)重疊和小樣本問(wèn)題。實(shí)驗(yàn)結(jié)果表明，該算法有效提高了極端學(xué)習(xí)機(jī)的泛化性能和分類(lèi)準(zhǔn)確率。

關(guān)鍵詞：維數(shù)約簡(jiǎn)；強(qiáng)制性保留；極端學(xué)習(xí)機(jī)；人臉識(shí)別

DOI：10.11907/rjdk.172672

中圖分類(lèi)號(hào)：TP301

文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2018）004-0028-04

Abstract：The extreme learning machine （ELM） has a very fast training speed and high classification rate. It has been widely used in the field of face recognition. However， the ELM has a high dimension that leads to learning sufficiency with limited samples in practice. The traditional method of efficient dimension reduction on data does not take the discriminant information between data and small sample problem into consideration. In view of the above problems， we propose a force-locality preserving projections （FLPP） to maintain the geometric structure between the whole sample and the local sample. In the meantime， we add the discriminant information to between-class scatter matrix， which avoids the sample points overlap and the small sample problem. The results show that the proposed algorithm improves the generalization performance and classification accuracy of extreme learning machines efficiently.

Key Words：dimension reduction； force-locality preserving projections； extreme learning machine； face recognition

0 引言

人臉識(shí)別在生物、航空、遙感、公安等領(lǐng)域有著廣泛應(yīng)用，目前已成為人工智能領(lǐng)域的研究熱點(diǎn)。但在實(shí)際應(yīng)用過(guò)程中，數(shù)據(jù)通常具有較高的維數(shù)，并且分布不均勻，所以通常用神經(jīng)網(wǎng)絡(luò)等算法結(jié)合維數(shù)約簡(jiǎn)技術(shù)以提高識(shí)別率。

單隱層前饋神經(jīng)網(wǎng)絡(luò)[1]（Single-hidden Layer Feed Forward Networks，SLFNs）具有較好的容錯(cuò)性，網(wǎng)絡(luò)連接權(quán)值和連接方式都可以通過(guò)學(xué)習(xí)得到，網(wǎng)絡(luò)所學(xué)習(xí)的內(nèi)容采用分布式存儲(chǔ)方式。但是，傳統(tǒng)的SLFNs方法經(jīng)過(guò)多次迭代，利用梯度下降調(diào)整權(quán)值，收斂慢，容易陷入局部最小解。支持向量機(jī)[2]（Support Vector Machine，SVM）全局收斂，有更快的學(xué)習(xí)速度，其模型結(jié)構(gòu)是找到一個(gè)最優(yōu)的分類(lèi)超平面區(qū)分兩類(lèi)樣本。為了找到最優(yōu)分類(lèi)面，出現(xiàn)了很多經(jīng)典算法，如：分解算法[3，4]、序列最小優(yōu)化算法[5，6]、光滑支持向量機(jī)[7，8]。因此，求解不同二次凸規(guī)劃問(wèn)題成了支持向量機(jī)的關(guān)鍵，算法的復(fù)雜性影響其應(yīng)用。Huang[9]提出一種求解線性方程組的方法——極端學(xué)習(xí)機(jī)（Extreme Learning Machine，ELM），該方法隨機(jī)產(chǎn)生隱層節(jié)點(diǎn)的輸入權(quán)值和偏置值，不需要迭代，避免了收斂速度慢，不會(huì)陷入局部最優(yōu)解。而且在處理分類(lèi)問(wèn)題中，ELM比SVM具有更好的測(cè)試精度和更短的訓(xùn)練時(shí)間[10]。但ELM在分類(lèi)過(guò)程中沒(méi)有考慮到數(shù)據(jù)集對(duì)其影響，而維數(shù)約簡(jiǎn)是對(duì)數(shù)據(jù)預(yù)處理的一個(gè)重要步驟。

傳統(tǒng)的線性降維方法：主成分分析（Principal Component Analysis，PCA） [11]盡可能多地保留數(shù)據(jù)主要成分，最大化總體方差，但沒(méi)有利用樣本點(diǎn)之間的判別信息；線性判別分析（1inear Discriminant Analysis，LDA） [12]是找尋一組最優(yōu)的鑒別矢量，將原始數(shù)據(jù)投影到特征空間，該準(zhǔn)則在處理多種類(lèi)樣本時(shí)，不能找到最佳投影方向，過(guò)于重視較大類(lèi)間離散度矩陣，忽略了小樣本問(wèn)題，可能會(huì)出現(xiàn)樣本點(diǎn)重疊問(wèn)題。為了保持原有數(shù)據(jù)之間的拓?fù)浣Y(jié)構(gòu)，出現(xiàn)了非線性降維方法。等距映射法 （Isometric Feature Mapping，Isomap） [13]是一種有效保證全局特征的算法，先用近鄰圖中的最短路徑計(jì)算出接近的測(cè)地線距離，再用MDS [14]算法構(gòu)建低維坐標(biāo)，而鄰域大小選取不確定性會(huì)導(dǎo)致算法不穩(wěn)定性。Sam等[15]又提出一種新的局部線性嵌入算法（Locally Linear Embedding，LLE），使其保持了數(shù)據(jù)間的局部幾何結(jié)構(gòu)，可是在降維過(guò)程中關(guān)聯(lián)較弱的數(shù)據(jù)集很可能會(huì)將相距較遠(yuǎn)的點(diǎn)映射到近鄰點(diǎn)處。為了克服這個(gè)缺點(diǎn)，出現(xiàn)了LE（Laplacian eigenmaps）算法，其通過(guò)流行的思想把無(wú)向有權(quán)圖嵌入到低維空間[16]。如果數(shù)據(jù)出現(xiàn)離群值，該算法具有很高的魯棒性，但其沒(méi)有考慮到有些數(shù)據(jù)具有線性關(guān)系。因此，He等[17]提出局部保留算法（Locality Preserving Projections，LPP），此算法利用拉普拉斯算子的概念，結(jié)合線性數(shù)據(jù)和非線性數(shù)據(jù)的特征進(jìn)行數(shù)據(jù)降維。為了使數(shù)據(jù)具有監(jiān)督性，Yu等[19]提出一種有監(jiān)督的LPDP算法，降低了噪聲干擾和能量轉(zhuǎn)換。

為保留樣本點(diǎn)之間的結(jié)構(gòu)信息，提出一種強(qiáng)制性保留算法（Force-Locality Preserving Projections，F(xiàn)LPP），將類(lèi)間離散度矩陣加入判別信息，用最大化邊際準(zhǔn)則解決樣本點(diǎn)重疊問(wèn)題，克服小樣本問(wèn)題[19]。為驗(yàn)證方法的有效性，使用Yale、Yale B及ORL等3個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，并且將本文方法與LPP、LPANMM及RAF-GE算法進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果表明該算法顯著提高了ELM的識(shí)別率。

1 FLPP算法

在特征提取過(guò)程中，傳統(tǒng)的LPP算法只能提取某些局部差異，如表情、光照、姿勢(shì)等，忽略了不同人間的差異，如性別、面部形狀、種族等。為使不同類(lèi)樣本點(diǎn)在低維空間里被映射得盡可能遠(yuǎn)，并且還能保持同一類(lèi)樣本點(diǎn)的內(nèi)部幾何結(jié)構(gòu)，因此提出一種新的FLPP算法解決這一問(wèn)題。

3 實(shí)驗(yàn)結(jié)果

為了證明本文提出FLPP算法的有效性，用sigmoid作為統(tǒng)一的激活函數(shù)，分別在Yale人臉庫(kù)、Yale B人臉庫(kù)和ORL人臉庫(kù)上進(jìn)行實(shí)驗(yàn)。在每組數(shù)據(jù)庫(kù)中分別隨機(jī)選取每類(lèi)樣本點(diǎn)的訓(xùn)練個(gè)數(shù)為trainnum=（3，4，5，6），其余為測(cè)試樣本。并且對(duì)比了LPP、LPANMM 和RAF-GE方法降至不同維數(shù)下的識(shí)別率。不同的數(shù)據(jù)庫(kù)參數(shù)設(shè)置如表1所示，所使用的不同人臉庫(kù)圖像如圖1所示。

圖2-圖4分別給出Yale、Yale B及ORL數(shù)據(jù)集在不同降維算法上的識(shí)別率曲線。表2-表4分別給出Yale、Yale B及ORL的具體識(shí)別率以及平均識(shí)別率和相對(duì)誤差。從圖2-圖4可以看出，利用FLPP降維算法的識(shí)別率曲線明顯高于其它算法，因?yàn)镕LPP結(jié)合ELM算法充分考慮了樣本點(diǎn)之間的結(jié)構(gòu)信息，因此圖3-圖4中FLLP算法的識(shí)別率幾乎接近100%。雖然在Yale數(shù)據(jù)集中，每類(lèi)訓(xùn)練樣本個(gè)數(shù)為4、維度降至60時(shí)出現(xiàn)波動(dòng)，但是從表2可以看出其識(shí)別率仍在88.34%左右，明顯高于LPP算法、LPANMM算法和RAF-GE算法的識(shí)別率。由此實(shí)驗(yàn)表明該算法十分有效，同時(shí)具有良好的穩(wěn)定性。

4 結(jié)論

本文提出一種顯著提高ELM分類(lèi)率的算法，此算法將類(lèi)間離散度矩陣加入判別信息，并且采用最大邊際準(zhǔn)則，避免了樣本點(diǎn)重疊和小樣本問(wèn)題。同時(shí)在分類(lèi)過(guò)程中，不僅提取了人臉表情、光照、姿勢(shì)等局部特征，還考慮到人的面部形狀、性別、種族等類(lèi)別特征。由實(shí)驗(yàn)結(jié)果看出，F(xiàn)LPP算法消除了數(shù)據(jù)包含的冗余屬性，降低了能量轉(zhuǎn)化，提高了ELM的泛化性能。

參考文獻(xiàn)：

[1] HUANG G B， ZHU Q Y， SIEW C K. Extreme learning machine： a new learning scheme of feedforward neural networks[C]. Budapest， Hungary： Proceedings of the IJCNN，2004.

[2] CORTES C， VAPNIK V. Support vector networks[J]. Machine Learning，1995，20（3）：273-297.

[3] OSUNA E， FREUND R， GIROSI F. Training support vector machines： an application to face detection[C]. Puerto Rico ： Proc IEEE Conf Computer Vision and Pattern Recognition，1997.

[4] OSUNA E， FREUND R， GIROSI F. An improved training algoirthm for support vector machines[C]. New York： Proceedings of the 1997 IEEE Workshop on Neural Networks for Signal Processing，1997.

[5] PLATT J C. Fast training of support vector machines using sequential minimal optimization[C]. Advance in Kernel Methods： Support Vector Learning，1999：185-208.

[6] PLATT J C. Using analytic QP and sparseness to speed training of support vector machines[C]. Advances in Neural Information Processing Systems 11，1999：557-563.

[7] LEE Y J， MANGASARIAN O L. SSVM： a smooth support vector machine[J]. Computational Optimization and Applications，2001，20（1）：5-22.

[8] LEE Y J， HSIEH W F， HUANG C F. E-SSVR： a smooth support vector machine for e-insensitive regression[J].IEEE Transactions on Knowledge and data Engineering，2005，17（5）：678-685.

[9] HUANG G B， ZHU Q Y， SIEW C K. Extreme learning machine： theory and applications[J]. Neurocomputing，2006，70（1）：489-501.

[10] ZONG W W， HUANG G B. Face recognition based on extreme learning machine[J]. Neurocomputing，2011，74（16）：2541-2551.

[11] TURK M A， PENTLAND A P. Face recognition using eigenfaces[C]. IEEE International Conference on Computer Vision and Pattern Recognition （CVPR），1991：586-591.

[12] BELHUMEUR P， HEPANHA J， KRIEGMAN D. Eigenface vs fisherfaces： recognition using class specific linear projection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19：711-720.

[13] TENENBAUM J B， SILVA V DE， LANGFORD J C. A global geometric framework fornonlinear dimensionality reduction[J]. Science，2000，290（22）：2319-2324.

[14] COX T F， COX M A A. Multidimensional scaling [M]. London： Chapman & Hall，1994.

[15] ROWEIS S T， SAUL L K. Nonlinear dimensionality reduction by locally linearembedding [J]. Science，2000，290（22）：2323-2326.

[16] BELKIN M， NIYOGI P. Laplacian eigenmaps for dimensionality reduction anddata representation [J]. Neural Computation，2003（15）：1373-1396.

[17] HE X， NIYOGI P. Locality preserving projections[C]. Advances in Neural Information Processing Systems 16. Cambridge MA： MIT Press，2004：585-591.

[18] 張海英，閆德勤，楊伊，等.基于流形學(xué)習(xí)的極端學(xué)習(xí)機(jī)及其在人臉識(shí)別中的應(yīng)用[J].計(jì)算機(jī)測(cè)量與控制，2016，24（12）：158-161.

[19] LI H， JIANG T， ZHANG K. Efficient robust feature extraction by maximum margin criterion[J]. Advances in Neural Information Processing Systems，2003，16：71-78.

（責(zé)任編輯：何 麗）