劉佳奇 閆德勤 何陽

摘 要：極端學(xué)習(xí)機(jī)（ELM）訓(xùn)練速度快、分類率高，已被廣泛應(yīng)用于人臉識別領(lǐng)域，但是在實(shí)際問題中由于數(shù)據(jù)具有較高維數(shù)，導(dǎo)致ELM在有限樣本下存在學(xué)習(xí)不充分的問題。傳統(tǒng)對數(shù)據(jù)進(jìn)行有效維數(shù)約簡的方法，沒有考慮到數(shù)據(jù)之間判別信息和小樣本問題。為此，提出一種強(qiáng)制性保留算法（FLPP），以保持全部樣本與局部樣本之間的幾何結(jié)構(gòu)，同時類間離散度矩陣加入判別信息，因此避免了樣本點(diǎn)重疊和小樣本問題。實(shí)驗(yàn)結(jié)果表明，該算法有效提高了極端學(xué)習(xí)機(jī)的泛化性能和分類準(zhǔn)確率。

關(guān)鍵詞：維數(shù)約簡；強(qiáng)制性保留；極端學(xué)習(xí)機(jī)；人臉識別

DOI：10.11907/rjdk.172672

中圖分類號：TP301

文獻(xiàn)標(biāo)識碼：A 文章編號：1672-7800（2018）004-0028-04

Abstract：The extreme learning machine （ELM） has a very fast training speed and high classification rate. It has been widely used in the field of face recognition. However， the ELM has a high dimension that leads to learning sufficiency with limited samples in practice. The traditional method of efficient dimension reduction on data does not take the discriminant information between data and small sample problem into consideration. In view of the above problems， we propose a force-locality preserving projections （FLPP） to maintain the geometric structure between the whole sample and the local sample. In the meantime， we add the discriminant information to between-class scatter matrix， which avoids the sample points overlap and the small sample problem. The results show that the proposed algorithm improves the generalization performance and classification accuracy of extreme learning machines efficiently.

Key Words：dimension reduction； force-locality preserving projections； extreme learning machine； face recognition

0 引言

人臉識別在生物、航空、遙感、公安等領(lǐng)域有著廣泛應(yīng)用，目前已成為人工智能領(lǐng)域的研究熱點(diǎn)。但在實(shí)際應(yīng)用過程中，數(shù)據(jù)通常具有較高的維數(shù)，并且分布不均勻，所以通常用神經(jīng)網(wǎng)絡(luò)等算法結(jié)合維數(shù)約簡技術(shù)以提高識別率。

單隱層前饋神經(jīng)網(wǎng)絡(luò)[1]（Single-hidden Layer Feed Forward Networks，SLFNs）具有較好的容錯性，網(wǎng)絡(luò)連接權(quán)值和連接方式都可以通過學(xué)習(xí)得到，網(wǎng)絡(luò)所學(xué)習(xí)的內(nèi)容采用分布式存儲方式。但是，傳統(tǒng)的SLFNs方法經(jīng)過多次迭代，利用梯度下降調(diào)整權(quán)值，收斂慢，容易陷入局部最小解。支持向量機(jī)[2]（Support Vector Machine，SVM）全局收斂，有更快的學(xué)習(xí)速度，其模型結(jié)構(gòu)是找到一個最優(yōu)的分類超平面區(qū)分兩類樣本。為了找到最優(yōu)分類面，出現(xiàn)了很多經(jīng)典算法，如：分解算法[3，4]、序列最小優(yōu)化算法[5，6]、光滑支持向量機(jī)[7，8]。因此，求解不同二次凸規(guī)劃問題成了支持向量機(jī)的關(guān)鍵，算法的復(fù)雜性影響其應(yīng)用。Huang[9]提出一種求解線性方程組的方法——極端學(xué)習(xí)機(jī)（Extreme Learning Machine，ELM），該方法隨機(jī)產(chǎn)生隱層節(jié)點(diǎn)的輸入權(quán)值和偏置值，不需要迭代，避免了收斂速度慢，不會陷入局部最優(yōu)解。而且在處理分類問題中，ELM比SVM具有更好的測試精度和更短的訓(xùn)練時間[10]。但ELM在分類過程中沒有考慮到數(shù)據(jù)集對其影響，而維數(shù)約簡是對數(shù)據(jù)預(yù)處理的一個重要步驟。

傳統(tǒng)的線性降維方法：主成分分析（Principal Component Analysis，PCA） [11]盡可能多地保留數(shù)據(jù)主要成分，最大化總體方差，但沒有利用樣本點(diǎn)之間的判別信息；線性判別分析（1inear Discriminant Analysis，LDA） [12]是找尋一組最優(yōu)的鑒別矢量，將原始數(shù)據(jù)投影到特征空間，該準(zhǔn)則在處理多種類樣本時，不能找到最佳投影方向，過于重視較大類間離散度矩陣，忽略了小樣本問題，可能會出現(xiàn)樣本點(diǎn)重疊問題。為了保持原有數(shù)據(jù)之間的拓?fù)浣Y(jié)構(gòu)，出現(xiàn)了非線性降維方法。等距映射法 （Isometric Feature Mapping，Isomap） [13]是一種有效保證全局特征的算法，先用近鄰圖中的最短路徑計(jì)算出接近的測地線距離，再用MDS [14]算法構(gòu)建低維坐標(biāo)，而鄰域大小選取不確定性會導(dǎo)致算法不穩(wěn)定性。Sam等[15]又提出一種新的局部線性嵌入算法（Locally Linear Embedding，LLE），使其保持了數(shù)據(jù)間的局部幾何結(jié)構(gòu)，可是在降維過程中關(guān)聯(lián)較弱的數(shù)據(jù)集很可能會將相距較遠(yuǎn)的點(diǎn)映射到近鄰點(diǎn)處。為了克服這個缺點(diǎn)，出現(xiàn)了LE（Laplacian eigenmaps）算法，其通過流行的思想把無向有權(quán)圖嵌入到低維空間[16]。如果數(shù)據(jù)出現(xiàn)離群值，該算法具有很高的魯棒性，但其沒有考慮到有些數(shù)據(jù)具有線性關(guān)系。因此，He等[17]提出局部保留算法（Locality Preserving Projections，LPP），此算法利用拉普拉斯算子的概念，結(jié)合線性數(shù)據(jù)和非線性數(shù)據(jù)的特征進(jìn)行數(shù)據(jù)降維。為了使數(shù)據(jù)具有監(jiān)督性，Yu等[19]提出一種有監(jiān)督的LPDP算法，降低了噪聲干擾和能量轉(zhuǎn)換。

為保留樣本點(diǎn)之間的結(jié)構(gòu)信息，提出一種強(qiáng)制性保留算法（Force-Locality Preserving Projections，F(xiàn)LPP），將類間離散度矩陣加入判別信息，用最大化邊際準(zhǔn)則解決樣本點(diǎn)重疊問題，克服小樣本問題[19]。為驗(yàn)證方法的有效性，使用Yale、Yale B及ORL等3個數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，并且將本文方法與LPP、LPANMM及RAF-GE算法進(jìn)行對比，實(shí)驗(yàn)結(jié)果表明該算法顯著提高了ELM的識別率。

1 FLPP算法

在特征提取過程中，傳統(tǒng)的LPP算法只能提取某些局部差異，如表情、光照、姿勢等，忽略了不同人間的差異，如性別、面部形狀、種族等。為使不同類樣本點(diǎn)在低維空間里被映射得盡可能遠(yuǎn)，并且還能保持同一類樣本點(diǎn)的內(nèi)部幾何結(jié)構(gòu)，因此提出一種新的FLPP算法解決這一問題。

3 實(shí)驗(yàn)結(jié)果

為了證明本文提出FLPP算法的有效性，用sigmoid作為統(tǒng)一的激活函數(shù)，分別在Yale人臉庫、Yale B人臉庫和ORL人臉庫上進(jìn)行實(shí)驗(yàn)。在每組數(shù)據(jù)庫中分別隨機(jī)選取每類樣本點(diǎn)的訓(xùn)練個數(shù)為trainnum=（3，4，5，6），其余為測試樣本。并且對比了LPP、LPANMM 和RAF-GE方法降至不同維數(shù)下的識別率。不同的數(shù)據(jù)庫參數(shù)設(shè)置如表1所示，所使用的不同人臉庫圖像如圖1所示。

圖2-圖4分別給出Yale、Yale B及ORL數(shù)據(jù)集在不同降維算法上的識別率曲線。表2-表4分別給出Yale、Yale B及ORL的具體識別率以及平均識別率和相對誤差。從圖2-圖4可以看出，利用FLPP降維算法的識別率曲線明顯高于其它算法，因?yàn)镕LPP結(jié)合ELM算法充分考慮了樣本點(diǎn)之間的結(jié)構(gòu)信息，因此圖3-圖4中FLLP算法的識別率幾乎接近100%。雖然在Yale數(shù)據(jù)集中，每類訓(xùn)練樣本個數(shù)為4、維度降至60時出現(xiàn)波動，但是從表2可以看出其識別率仍在88.34%左右，明顯高于LPP算法、LPANMM算法和RAF-GE算法的識別率。由此實(shí)驗(yàn)表明該算法十分有效，同時具有良好的穩(wěn)定性。

4 結(jié)論

本文提出一種顯著提高ELM分類率的算法，此算法將類間離散度矩陣加入判別信息，并且采用最大邊際準(zhǔn)則，避免了樣本點(diǎn)重疊和小樣本問題。同時在分類過程中，不僅提取了人臉表情、光照、姿勢等局部特征，還考慮到人的面部形狀、性別、種族等類別特征。由實(shí)驗(yàn)結(jié)果看出，F(xiàn)LPP算法消除了數(shù)據(jù)包含的冗余屬性，降低了能量轉(zhuǎn)化，提高了ELM的泛化性能。

參考文獻(xiàn)：

[1] HUANG G B， ZHU Q Y， SIEW C K. Extreme learning machine： a new learning scheme of feedforward neural networks[C]. Budapest， Hungary： Proceedings of the IJCNN，2004.

[2] CORTES C， VAPNIK V. Support vector networks[J]. Machine Learning，1995，20（3）：273-297.

[3] OSUNA E， FREUND R， GIROSI F. Training support vector machines： an application to face detection[C]. Puerto Rico ： Proc IEEE Conf Computer Vision and Pattern Recognition，1997.

[4] OSUNA E， FREUND R， GIROSI F. An improved training algoirthm for support vector machines[C]. New York： Proceedings of the 1997 IEEE Workshop on Neural Networks for Signal Processing，1997.

[5] PLATT J C. Fast training of support vector machines using sequential minimal optimization[C]. Advance in Kernel Methods： Support Vector Learning，1999：185-208.

[6] PLATT J C. Using analytic QP and sparseness to speed training of support vector machines[C]. Advances in Neural Information Processing Systems 11，1999：557-563.

[7] LEE Y J， MANGASARIAN O L. SSVM： a smooth support vector machine[J]. Computational Optimization and Applications，2001，20（1）：5-22.

[8] LEE Y J， HSIEH W F， HUANG C F. E-SSVR： a smooth support vector machine for e-insensitive regression[J].IEEE Transactions on Knowledge and data Engineering，2005，17（5）：678-685.

[9] HUANG G B， ZHU Q Y， SIEW C K. Extreme learning machine： theory and applications[J]. Neurocomputing，2006，70（1）：489-501.

[10] ZONG W W， HUANG G B. Face recognition based on extreme learning machine[J]. Neurocomputing，2011，74（16）：2541-2551.

[11] TURK M A， PENTLAND A P. Face recognition using eigenfaces[C]. IEEE International Conference on Computer Vision and Pattern Recognition （CVPR），1991：586-591.

[12] BELHUMEUR P， HEPANHA J， KRIEGMAN D. Eigenface vs fisherfaces： recognition using class specific linear projection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19：711-720.

[13] TENENBAUM J B， SILVA V DE， LANGFORD J C. A global geometric framework fornonlinear dimensionality reduction[J]. Science，2000，290（22）：2319-2324.

[14] COX T F， COX M A A. Multidimensional scaling [M]. London： Chapman & Hall，1994.

[15] ROWEIS S T， SAUL L K. Nonlinear dimensionality reduction by locally linearembedding [J]. Science，2000，290（22）：2323-2326.

[16] BELKIN M， NIYOGI P. Laplacian eigenmaps for dimensionality reduction anddata representation [J]. Neural Computation，2003（15）：1373-1396.

[17] HE X， NIYOGI P. Locality preserving projections[C]. Advances in Neural Information Processing Systems 16. Cambridge MA： MIT Press，2004：585-591.

[18] 張海英，閆德勤，楊伊，等.基于流形學(xué)習(xí)的極端學(xué)習(xí)機(jī)及其在人臉識別中的應(yīng)用[J].計(jì)算機(jī)測量與控制，2016，24（12）：158-161.

[19] LI H， JIANG T， ZHANG K. Efficient robust feature extraction by maximum margin criterion[J]. Advances in Neural Information Processing Systems，2003，16：71-78.

（責(zé)任編輯：何 麗）