高　晴，閆德勤，楚永賀，徐麗麗（.遼寧師范大學(xué)　數(shù)學(xué)學(xué)院，遼寧　大連 609；.遼寧師范大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院，遼寧 大連 608）

基于模糊聚類的LLE和SVM的人臉識(shí)別

高晴1，閆德勤2，楚永賀2，徐麗麗1
（1.遼寧師范大學(xué)數(shù)學(xué)學(xué)院，遼寧大連 116029；2.遼寧師范大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院，遼寧 大連 116081）

針對(duì)傳統(tǒng)的局部線性嵌入算法易受近鄰點(diǎn)個(gè)數(shù)的影響，以及支持向量機(jī)的錯(cuò)分點(diǎn)過多對(duì)識(shí)別率產(chǎn)生的影響，提出了一種基于模糊聚類的局部線性嵌入和支持向量機(jī)的人臉識(shí)別方法。利用改進(jìn)的算法對(duì)人臉庫(kù)中的圖像進(jìn)行特征提取，然后采用支持向量機(jī)分類器對(duì)人臉進(jìn)行訓(xùn)練和識(shí)別。實(shí)驗(yàn)表明，該方法提高了人臉的識(shí)別率。

人臉識(shí)別；局部線性嵌入；模糊聚類；支持向量機(jī)

0　引言

人臉識(shí)別［1-3］是基于人的臉部特征信息進(jìn)行身份識(shí)別的一種技術(shù)，它屬于生物特征識(shí)別技術(shù)，是根據(jù)生物體（一般特指人）本身的生物特征來區(qū)分生物體個(gè)體。人臉識(shí)別基于人的臉部特征，對(duì)輸入的人臉圖像進(jìn)行分析、學(xué)習(xí)，從而完成識(shí)別。該技術(shù)被廣泛用于政府、軍隊(duì)、銀行、社會(huì)福利保障、電子商務(wù)、安全防務(wù)等多個(gè)領(lǐng)域。

人臉識(shí)別是一個(gè)復(fù)雜的過程，其關(guān)鍵在于特征提取和識(shí)別，近年來建立在統(tǒng)計(jì)學(xué)理論基礎(chǔ)上的支持向量機(jī)（Support Vector Machine，SVM）［4-7］方法逐漸被認(rèn)可，由于其具有良好的概括能力，因而被應(yīng)用于人臉識(shí)別。但是，由于人臉數(shù)據(jù)維數(shù)龐大，導(dǎo)致分類算法過于復(fù)雜，致使錯(cuò)分點(diǎn)增加，從而影響識(shí)別的效果。局部線性嵌入（Locally Linear Embedding，LLE）［8-9］算法是一種基于流形學(xué)習(xí)的非線性降維算法，可以用來進(jìn)行特征提取，但是該算法容易受到近鄰點(diǎn)選取的影響；參考文獻(xiàn)［10］提出了一種改進(jìn)的局部線性嵌入算法（CLLE）［11-15］，在 LLE的基礎(chǔ)上構(gòu)造近似重構(gòu)系數(shù)，能夠很好地對(duì)重構(gòu)誤差加以約束。

因此，本文在參考文獻(xiàn)［10］的基礎(chǔ)上提出一種基于CLLE和 SVM的人臉識(shí)別方法，對(duì)預(yù)處理好的人臉圖像利用CLLE進(jìn)行特征提取，在低維空間中采用SVM進(jìn)行學(xué)習(xí)訓(xùn)練和識(shí)別樣本數(shù)據(jù)，此方法的識(shí)別率相比于已有方法有所提高，從實(shí)驗(yàn)中可以得到證實(shí)。

1　基于模糊聚類的LLE

對(duì)于給定的高維觀測(cè)數(shù)據(jù)集 X=｛x1，x2，…，xN｝，xi∈RD，采樣自 d維流形，求低維坐 Y=｛y1，y2，…，yN｝。設(shè)樣本點(diǎn)聚類分類的類別個(gè)數(shù)為C，mj為第j類樣本的中心，n（j）為第j類樣本的個(gè)數(shù)。則第j類樣本點(diǎn)的內(nèi)部平均距離為：

第j類樣本與總體樣本中心的距離為：

其中，m為總體樣本的中心。

算法基本步驟如下［10］：

（1）選取近鄰點(diǎn)。對(duì)給定的數(shù)據(jù)集 X=｛x1，x2，…，xN｝，利用歐式距離找到每個(gè)樣本點(diǎn)xi的k（k＜N）個(gè)近鄰點(diǎn)。

（2）重建權(quán)值矩陣。使數(shù)據(jù)點(diǎn)的重建誤差最小，即求最優(yōu)化問題：

其中，xij（j=1，2，…，k）為 xi的 k個(gè)近鄰點(diǎn)，wij是 xi與 xij之間的權(quán)值。

（3）由數(shù)據(jù)點(diǎn)的局部重建矩陣尋找低維嵌入Y。引入近似重構(gòu)系數(shù)ηji，求解：

其中，M=（I-W）T（I-W）。

輸出（S1/2）TMS1/2的 2～（d+1）個(gè)非零特征值對(duì)應(yīng)的特征向量。

2　SVM

SVM是以統(tǒng)計(jì)學(xué)習(xí)理論為基礎(chǔ)的一種機(jī)器學(xué)習(xí)算法，能夠很好地解決小樣本、非線性問題。SVM的主要思想是用非線性映射φ將數(shù)據(jù)映射到高維特征空間中，在高維特征空間中利用最大間隔超平面對(duì)線性不可分的數(shù)據(jù)進(jìn)行線性劃分操作，從而達(dá)到分類的效果。

SVM基本流程如下：

（1）將 Tr=｛（x1，y1），（x2，y2），…，（xl，yl）｝∈（X，Y）l作為訓(xùn)練集，其中，xi∈X=Rl是每一個(gè)訓(xùn)練樣本點(diǎn)，yi∈Y∈｛-1，1｝是訓(xùn)練集中樣本點(diǎn)的類別，i=1，2，…，l。

（2）利用恰當(dāng)?shù)暮撕瘮?shù) K（xi，xj）和懲罰參數(shù) C進(jìn)行高維映射，求解最優(yōu)化問題：

（3）計(jì)算最優(yōu)解：

（4）輸入測(cè)試集x，計(jì)算最優(yōu)分類面函數(shù)：

由此判斷測(cè)試集類別。

3　基于模糊聚類LLE和SVM的人臉識(shí)別的基本步驟

本文算法的具體步驟如下：

（1）圖像預(yù)處理；

（2）讀入樣本訓(xùn)練集；

（3）利用改進(jìn)的 LLE算法對(duì)圖像進(jìn)行降維，提取樣本集的特征；

（4）利用 SVM對(duì)訓(xùn)練集樣本進(jìn)行學(xué)習(xí)，識(shí)別測(cè)試集樣本。

4　人臉特征提取

4.1實(shí)驗(yàn)準(zhǔn)備

實(shí)驗(yàn)中用到的人臉圖像從ORL人臉數(shù)據(jù)庫(kù)中選取。該數(shù)據(jù)共有40個(gè)人，每個(gè)人有10幅圖像，分別具有不同的表情，共有400張圖像。實(shí)驗(yàn)選取每個(gè)人的前5張圖像作為訓(xùn)練集，共有200張圖像，共分為40類。剩余的圖像作為實(shí)驗(yàn)的測(cè)試集。部分人臉圖像如圖1所示。

圖1　ORL庫(kù)中部分人臉圖像

4.2人臉特征提取

為了能夠清楚地對(duì)比人臉特征提取方法，從ORL人臉數(shù)據(jù)庫(kù)中選取5個(gè)人的圖像，分為5類，每個(gè)人10張圖像。每一個(gè)點(diǎn)代表一幅人臉圖像，降至2維。圖2為L(zhǎng)LE算法和改進(jìn)算法CLLE在領(lǐng)域數(shù)K=15時(shí)的降維效果圖。

圖2　LLE和CLLE算法的降維效果對(duì)比（K=15）

從圖2可以看出，CLLE算法將人臉數(shù)據(jù)降至2維后，不同的人已經(jīng)可以被明顯地區(qū)分開來，而LLE算法效果則不明顯。

當(dāng)K=11時(shí)，LLE算法和CLLE算法的降維效果對(duì)比如圖3所示?？梢钥闯觯珻LLE算法已經(jīng)可以對(duì)人臉數(shù)據(jù)進(jìn)行很好的分類，效果十分明顯，而LLE算法取得的效果則稍稍比K=15時(shí)略好一點(diǎn)。

圖3　LLE和CLLE算法的降維效果對(duì)比（K=11）

從實(shí)驗(yàn)結(jié)果可以看出，LLE算法易受鄰域數(shù)K的影響，而對(duì)于K的不同取值，CLLE算法卻可以普遍取得好的效果。

5　人臉識(shí)別

5.1算法參數(shù)的選取

5.1.1核函數(shù)的選取

核函數(shù)的選取決定了學(xué)習(xí)分類的好壞。常用核函數(shù)主要有線性核函數(shù)、多項(xiàng)式核函數(shù)、徑向基核函數(shù)以及Sigmoid核函數(shù)。使用這4種核函數(shù)對(duì)人臉數(shù)據(jù)進(jìn)行分類識(shí)別，結(jié)果如表1所示。易知對(duì)于實(shí)驗(yàn)的人臉數(shù)據(jù)，在線性核函數(shù)下分類的準(zhǔn)確率最高。

表1　不同核函數(shù)的分類準(zhǔn)確率

5.1.2鄰域個(gè)數(shù)的選取

在選取聚類個(gè)數(shù)C時(shí)，若選取太大，會(huì)影響實(shí)驗(yàn)的運(yùn)行時(shí)間，因此實(shí)驗(yàn)選取C=6，并利用CLLE算法將人臉數(shù)據(jù)降至60維，進(jìn)行訓(xùn)練測(cè)試。不同鄰域數(shù)的分類準(zhǔn)確率如表2所示。由表2可知，當(dāng)聚類個(gè)數(shù)為6、鄰域個(gè)數(shù)為5時(shí)分類識(shí)別率略高一些。

表2　不同鄰域數(shù)的分類準(zhǔn)確率

5.2不同分類方法對(duì)識(shí)別率的影響

表3為4種分類方法在人臉識(shí)別上的應(yīng)用效果。

表3　不同分類方法的比較

表3表明，CLLE-SVM算法在人臉識(shí)別中優(yōu)于其他三種算法，人臉識(shí)別率可達(dá)到89.5％。

6　結(jié)論

本文利用基于模糊聚類的LLE算法對(duì)人臉數(shù)據(jù)進(jìn)行降維，在低維空間中利用SVM訓(xùn)練學(xué)習(xí)已知樣本，從而識(shí)別人臉類別。實(shí)驗(yàn)表明，該方法得到的人臉識(shí)別率相對(duì)于已有方法有了顯著的提高，從而證實(shí)了其有效性和可行性。

［1］WangJing，SuGuangda，XiongYing，etal.Sparserepresentationforfacerecognitionbasedonconstraintsampling andfacealignment［J］.清華大學(xué)學(xué)報(bào) （自然科學(xué)英文版），2013（1）：62-67.

［2］BRUNELLIR，POGGICT.Facerecognition：featuresversustemplates［J］.IEEETransactionsonPAMI，1993，10 （15），1042-1052.

［3］CHELLAPPAR，WISLSONCL，SIROHEYS.Humanand machinerecognitionoffaces：asurvey［C］.Proceedingsof theIEEE，1995，83（5），705-741.

［4］VAPNIKVN.統(tǒng)計(jì)學(xué)習(xí)理論的本質(zhì)［M］.張學(xué)工，譯.北京：清華大學(xué)出版社，2000.

［5］李芳.支持向量機(jī)在 TE過程故障診斷中的應(yīng)用［J］.安徽工業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版），2010，27（2）：195-199.

［6］丁嬌，梁棟，閻慶.基于 WLLE和 SVM的植物葉片圖像識(shí)別方法 ［J］.安徽大學(xué)學(xué)報(bào)（自然科學(xué)版），2013，37 （4）：61-67.

［7］CHANGKP，TEAJK.Objectiveratingofseampucker usingneuralnetworks［J］.TextileResearchJournal，1997，67 （7）：494-502.

［8］ROWEISST，SAULLK.Nonlineardimensionalityreductionbylocallylinearembedding［J］.Science，2000，290 （5500）：2323-2326.

［9］SAULLK，ROWEISST.Thinkglobally，fitlocally：unsupervisedlearningoflowdimensionalmanifolds［J］.JournalofMachineLearningResearch，2003，4（12）：119-155.

［10］吳曉婷，閆德勤.改進(jìn)的非線性數(shù)據(jù)降維方法及其應(yīng)用［J］.計(jì)算機(jī)工程與應(yīng)用，2011，47（2）：156-159.

［11］李新社，姚俊平.模糊聚類分析及其應(yīng)用研究［J］.網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2014（1）：69-70.

［12］王和勇，鄭杰，姚正安，等.基于聚類和改進(jìn)距離的 LLE方法在數(shù)據(jù)降維中的應(yīng)用 ［J］.計(jì)算機(jī)研究與發(fā)展，2006，43（8）：1485-1490.

［13］THEODORIDISS，KOUTROUMBASK.模式識(shí)別（第3版）［M］.李晶嬌，王愛俠，張廣源，譯.北京：電子工業(yè)出版社，2006.

［14］王元珍，王健李，李晨陽(yáng).一種改進(jìn)模糊聚類算法［J］.華中科技大學(xué)學(xué)報(bào)，2005，33（2）：92-94.

［15］BEZDEKJC.Patternrecognitionwithfuzzyobjective functionalgorithms［M］.NewYork：PlenumPress，1981.

LLE based on fuzzy clustering and SVM for face recognition

Gao Qing1，Yan Deqin2，Chu Yonghe2，Xu Lili1
（1.School of Mathematics，Liaoning Normal University，Dalian 116029，China；2.School of Computer and Information Technology，Liaoning Normal University，Dalian 116081，China）

Considering that the traditional Locally Linear Embedding（LLE）algorithm is easily affected by the influence of the number of the nearest neighbors point，and too much fault point of Support Vector Machine（SVM）algorithm could influence the recognition rate，the paper presents a LLE based on fuzzy clustering and SVM method for face recognition.The new algorithm uses fuzzy clustering to the image face database for feature extraction，and then uses the SVM classifier for training and recognition of face.Experiments show that this method can improve the recognition rate of face.

face recognition；Locally Linear Embedding（LLE）；fuzzy clustering；Support Vector Machine（SVM）

TP18

A

1674-7720（2015）06-0056-03

2014-11-20）

高晴（1990-），女，碩士研究生，主要研究方向：數(shù)據(jù)降維、模式識(shí)別等。

閆德勤（1962-），男，博士，主要研究方向：模式識(shí)別、數(shù)據(jù)挖掘和圖像處理等。

楚永賀（1989-），男，碩士研究生，主要研究方向：數(shù)據(jù)降維、機(jī)器學(xué)習(xí)等。