喻露 胡劍鋒 姚磊岳

摘 要：針對(duì)現(xiàn)有的多流形人臉識(shí)別算法大多直接使用帶有噪聲的原始數(shù)據(jù)進(jìn)行處理，而帶有噪聲的數(shù)據(jù)往往會(huì)對(duì)算法的準(zhǔn)確率產(chǎn)生負(fù)面影響的問(wèn)題，提出了一種基于最大間距準(zhǔn)則的魯棒多流形判別局部圖嵌入算法（RMMDLGE/MMC）。首先，通過(guò)引入一個(gè)降噪投影對(duì)原始數(shù)據(jù)進(jìn)行迭代降噪處理，提取出更加純凈的數(shù)據(jù);其次，對(duì)數(shù)據(jù)圖像進(jìn)行分塊，建立多流形模型;再次，結(jié)合最大間隔準(zhǔn)則的思想，尋求最優(yōu)的投影矩陣使得不同流形上的樣本距離盡可能大，同時(shí)相同流形上的樣本距離盡可能小;最后，計(jì)算待識(shí)樣本流形到訓(xùn)練樣本流形的距離進(jìn)行分類識(shí)別。實(shí)驗(yàn)結(jié)果表明，與表現(xiàn)較好的最大間距準(zhǔn)則框架下的多流形局部圖嵌入算法（MLGE/MMC）相比，所提算法在添加噪聲的ORL、Yale和FERET庫(kù)上的分類識(shí)別率分別提高了1.04、1.28和2.13個(gè)百分點(diǎn)，分類效果明顯提高。

關(guān)鍵詞：多流形;降噪投影;圖嵌入;最大間隔準(zhǔn)則;分類識(shí)別

中圖分類號(hào)：TP391.4

文獻(xiàn)標(biāo)志碼：A

Abstract： In most existing multimanifold face recognition algorithms， the original data with noise are directly processed， but the noisy data often have a negative impact on the accuracy of the algorithm. In order to solve the problem， a Robust MultiManifold Discriminant Local Graph Embedding algorithm based on the Maximum Margin Criterion （RMMDLGE/MMC） was proposed. Firstly， a denoising projection was introduced to process the original data for iterative noise reduction， and the purer data were extracted. Secondly， the data image was divided into blocks and a multimanifold model was established. Thirdly， combined with the idea of maximum margin criterion， an optimal projection matrix was sought to maximize the sample distances on different manifolds while to minimize the sample distances on the same manifold. Finally， the distance from the test sample manifold to the training sample manifold was calculated for classification and identification. The experimental results show that， compared with MultiManifold Local Graph Embedding algorithm based on the Maximum Margin Criterion （MLGE/MMC） which performs well， the classification recognition rate of the proposed algorithm is improved by 1.04， 1.28 and 2.13 percentage points respectively on ORL， Yale and FERET database with noise and the classification effect is obviously improved.

英文關(guān)鍵詞Key words： multimanifold; denoising projection; graph embedding; maximum margin criterion; classification and identification

0 引言

在過(guò)去十幾年中，流形學(xué)習(xí)已經(jīng)成為機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘領(lǐng)域的一個(gè)重要的研究課題[1-5]。目前，局部線性嵌入 （Locally Linear Embedding，LLE）[6]、局部保持投影 （Locality Preserving Projection， LPP）[7]、等距特征映射（ISOmetric MAPping， ISOMAP） [8]和拉普拉斯特征映射（Laplacian Eigenmap， LE）[9]等經(jīng)典流形學(xué)習(xí)算法已在人臉識(shí)別和基因分類等領(lǐng)域得到廣泛應(yīng)用。之后，又有學(xué)者通過(guò)加入樣本類別信息，提出了正交鑒別投影（Orthogonal Discriminant Projection， ODP）[10]、邊界費(fèi)舍爾分析（Margin Fisher Analysis， MFA）[11]和鑒別的局部保持投影（Discriminant Locality Preserving Projections， DLPP）[12]等算法。實(shí)際上，不同類別的樣本數(shù)據(jù)差異明顯，而在傳統(tǒng)的流形學(xué)習(xí)算法中，都默認(rèn)假設(shè)它們位于同一流形內(nèi)，這顯然是不合適的。為此，文獻(xiàn)[13]用局部散布和類間散布來(lái)描述子流形和多流形信息，并在Fisher框架下計(jì)算投影，提出了約束最大方差映射（Constrained Maximum Variance Mapping， CMVM）算法; 文獻(xiàn)[14]則將子流形和多流形的信息分別用類內(nèi)圖和類間圖來(lái)表示，提出了多流形判別分析（MultiManifold Discriminant Analysis， MMDA）算法; 文獻(xiàn)[15]提出了最大間距準(zhǔn)則框架下的多流形局部圖嵌入（MultiManifold Locally Graph Embedding based on Maximum Margin Criterion， MLGE/MMC）算法，利用圖像分塊的思想，對(duì)分塊的小圖像構(gòu)建多流形，來(lái)處理小樣本問(wèn)題。

但是，上述多流形算法的識(shí)別性能均受到原始數(shù)據(jù)中噪聲帶來(lái)的影響。本文針對(duì)多流形人臉識(shí)別算法處理帶有噪聲的真實(shí)數(shù)據(jù)的魯棒性問(wèn)題，提出了一種基于最大間距準(zhǔn)則的魯棒多流形判別局部圖嵌入（Robust MultiManifold Discriminant Local Graph Embedding based on Maximum Margin Criterion， RMMDLGE/MMC）算法。首先對(duì)原始數(shù)據(jù)進(jìn)行迭代降噪處理，提取出更加純凈的數(shù)據(jù);再結(jié)合多流形的思想，對(duì)數(shù)據(jù)圖像進(jìn)行分塊，建立多流形模型;接著在最大間隔準(zhǔn)則（Maximum Margin Criterion， MMC）的框架下，尋求最優(yōu)的投影矩陣使位于不同流形上的數(shù)據(jù)樣本之間的距離盡可能大，同時(shí)位于同一流形上的數(shù)據(jù)樣本之間的距離盡可能小;最后通過(guò)計(jì)算待識(shí)樣本流形到訓(xùn)練樣本流形的距離進(jìn)行分類識(shí)別。在ORL、Yale和FERET庫(kù)上的實(shí)驗(yàn)，驗(yàn)證了所提算法的有效性。

3.6 實(shí)驗(yàn)結(jié)果分析

1） 在三個(gè)人臉數(shù)據(jù)集ORL、Yale和FERET的實(shí)驗(yàn)結(jié)果表明，隨著訓(xùn)練樣本數(shù)的增加，本文算法RMMDLGE/MMC的平均識(shí)別率均優(yōu)于其他幾種算法。由圖5～7和圖9～11可以看出，當(dāng)添加噪聲后，RMMDLGE/MMC的識(shí)別效果優(yōu)勢(shì)更加明顯。

2） 在未加入噪聲的Yale人臉庫(kù)上，當(dāng)訓(xùn)練樣本數(shù)為2時(shí)，RMMDLGE/MMC算法的識(shí)別率比排在第二位的MLGE/MMC算法高出2.66%;在未加入噪聲的FERET人臉庫(kù)上，當(dāng)訓(xùn)練樣本數(shù)為3時(shí)，RMMDLGE/MMC算法的識(shí)別率比排在第二位的MLGE/MMC算法高出3.55%。因此，在訓(xùn)練樣本數(shù)量較少時(shí)，本文所提算法RMMDLGE/MMC可以取得很好的識(shí)別效果。

3） 由表2和表3可以看出，本文算法RMMDLGE/MMC相對(duì)于其他算法在添加噪聲的ORL、Yale和FERET庫(kù)上的分類識(shí)別率分別提高了1.04、1.28和2.13個(gè)百分點(diǎn)，算法RMMDLGE/MMC的最高識(shí)別率受噪聲的影響最小，充分表明它對(duì)噪聲具有較強(qiáng)的魯棒性。

4 結(jié)語(yǔ)

為了解決多流形算法對(duì)噪聲的魯棒性問(wèn)題，本文提出了一種基于最大間距準(zhǔn)則的魯棒多流形判別局部圖嵌入算法RMMDLGE/MMC。首先，通過(guò)引入一個(gè)降噪投影對(duì)原始數(shù)據(jù)進(jìn)行迭代降噪處理，提取出更加純凈的數(shù)據(jù); 再結(jié)合多流形的思想，對(duì)數(shù)據(jù)圖像進(jìn)行分塊，建立多流形模型; 接著在最大間隔準(zhǔn)則的框架下，尋求最優(yōu)的投影矩陣使得不同流形上的樣本距離盡可能大，同時(shí)相同流形上的樣本距離盡可能小; 最后通過(guò)計(jì)算待識(shí)樣本流形到訓(xùn)練樣本流形的距離進(jìn)行分類識(shí)別。在標(biāo)準(zhǔn)人臉圖像庫(kù)上的實(shí)驗(yàn)結(jié)果驗(yàn)證了本文算法的有效性。然而，在運(yùn)用到實(shí)際的過(guò)程中，算法中過(guò)多的可調(diào)參數(shù)將造成參數(shù)選擇問(wèn)題，進(jìn)一步減少算法中的可調(diào)參數(shù)將是下一步研究和改進(jìn)的方向。

參考文獻(xiàn) （References）

[1] SEUNG H S， LEE D D. The manifold ways of perception [J]. Science， 2000， 290（5500）： 2268-2269.

[2] ??? MIN W L， LU K， HE X F. Locality pursuit embedding [J]. Pattern Recognition， 2004， 37（4）： 781-788.

[3] ??? GUI J， SUN Z N， JIA W， et al. Discriminant sparse neighborhood preserving embedding for face recognition [J]. Pattern Recognition， 2012， 45（8）： 2884-2893.

[4] ??? WAN M H， LI M， YANG G W， et al. Feature extraction using twodimensional maximum embedding difference [J]. Information Sciences， 2014， 274： 55-69.

[5] ??? AI Z H， WONG W K， XU Y， et al. Approximate orthogonal sparse embedding for dimensionality reduction[J]. IEEE Transactions on Neural Networks and Learning Systems， 2016， 27（4）： 723-735.

[6] ??? ROWEIS S T， SAUL L K. Nonlinear dimensionality reduction by locally linear embedding[J]. Science， 2000， 290（5500）： 2323-2326.

[7] ??? HE X F， YAN S C， HU Y X， et al. Face recognition using Laplacianfaces [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2005， 27（3）： 328-340.

[8] ??? TENENBAUM J B， SILVA V D， LANGFORD J C. A global geometric framework for nonlinear dimensionality reduction [J]. Science， 2000， 290（5500）： 2319-2323.

[9] ??? BELKIN M， NIYOGI P. Laplacian eigenmaps for dimensionality reduction and data representation [J]. Neural Computation， 2003， 15（6）： 1373-1396.

[10] ?? LI B， WANG C， HUANG D S. Supervised feature extraction based on orthogonal discriminant projection [J]. Neurocomputing， 2009， 73（1）：191-196.

[11] ?? YAN S， XU D， ZHANG B， et al. Graph embedding and extensions： a general framework for dimensionality reduction[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2007， 29（1）：40-51.

[12] ?? LIN K Z， RONG Y H， WU D， et al. Discriminant locality preserving projections based on neighborhood maximum margin [J]. International Journal of Hybrid Information Technology， 2014， 7（6）： 165-174.

[13] ?? LI B， HUANG D S， WANG C， et al. Feature extraction using constrained maximum variance mapping [J]. Pattern Recognition， 2008， 41（11）： 3287-3294.

[14] ?? YANG W K， SUN C Y， ZHANG L. A multimanifold discriminant analysis method for image feature extraction [J]. Pattern Recognition， 2011， 44（8）： 1649-1657.

[15] ?? WAN M H， LAI Z H. Multimanifold Locality Graph Embedding based on the Maximum Margin Criterion （MLGE/MMC） for face recognition [J].IEEE Access， 2017， 5： 9823-9830.

[16] ?? LI H， JIANG T， ZHANG K. Efficient and robust feature extraction by maximum margin criterion [J]. IEEE Transactions on Neural Networks， 2006， 17（1）：157-165.

[17] ?? HOU C， NIE F， LI X， et al. Joint embedding learning and sparse regression： a framework for unsupervised feature selection [J]. IEEE Transactions on Cybernetics， 2014， 44（6）： 793-804.

[18] ?? SHI J， MALIK J. Normalized cuts and image segmentation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2002， 22（8）：888-905.

[19] ?? LU J， TAN Y， WANG G. Discriminative multimanifold analysis for face recognition from a single training sample per person [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（1）： 39-51.

[20] ?? TURK M， PENTLAND A. Eigenfaces for recognition [J]. Journal of Cognitive Neuroscience， 1991， 3（1）：72-86.

[21] ?? 董西偉，堯時(shí)茂，王玉偉，等.基于虛擬樣本圖像集的多流形鑒別學(xué)習(xí)算法[J].計(jì)算機(jī)應(yīng)用研究， 2018，35（6）：1871-1878.（DONG X W， YAO S M， WANG Y W， et al. Virtual sample image set based multi manifold discriminant learning algorithm [J]. Application Research of Computers， 2018， 35（6）： 1871-1878.）

[22] ?? WITTEN I H， HALL M A. Data Mining Practical Machine Learning Tools and Techniques [M]. 3nd ed. San Francisco， CA： Morgan Kaufmann Publishers， 2011： 340-345.