龔 劬,馬家軍

(重慶大學(xué)數(shù)學(xué)與統(tǒng)計學(xué)院,重慶401331)

基于改進二維保局投影算法的人臉識別

龔 劬,馬家軍

(重慶大學(xué)數(shù)學(xué)與統(tǒng)計學(xué)院,重慶401331)

傳統(tǒng)的二維保局投影(2DLPP)算法未考慮樣本鄰域間局部信息,并且所提取的特征矩陣分量間存在相關(guān)性。針對該問題,提出基于大間距準則的最小相關(guān)性監(jiān)督2DLPP算法。引入類間局部散度矩陣和類內(nèi)局部散度矩陣,最大化帶權(quán)的散度矩陣跡差,以增大樣本類間散度,減小樣本類內(nèi)散度,從而更好地刻畫數(shù)據(jù)的流形結(jié)構(gòu)。計算所提取特征矩陣各分量間的協(xié)方差矩陣,通過最小相關(guān)性分析,減少特征信息的冗余。在Yale和ORL人臉庫上進行仿真實驗,結(jié)果顯示,當訓(xùn)練樣本數(shù)為5時,該算法的最高識別率分別為92.5%和96.2%,與傳統(tǒng)2DLPP算法、二維主成分分析法、二維線性判別分析法和二維大間距準則法相比,識別率均有所提高。同時對不同訓(xùn)練樣本數(shù)下識別率均值和方差進行分析,驗證了算法的穩(wěn)定性。

流形學(xué)習(xí);最大間距準則;散度矩陣;二維保局投影;最小相關(guān)性;人臉識別

1 概述

近十多年來,人臉識別已成為模式識別和計算機視覺領(lǐng)域最具吸引力和挑戰(zhàn)性的研究課題之一[1]。人臉圖像維數(shù)通常較高,不利于分類,計算也很復(fù)雜,因此,人們往往將人臉圖像投影到低維的子空間進行識別[2]。

有關(guān)研究表明[3-4],人臉圖像位于高維圖像空間的低維流形之上。二維局部保持投影法[5]只考慮了鄰域內(nèi)局部信息,而沒有考慮鄰域間局部信息。這就使得同一鄰域目標在降維后盡可能接近,而不能使不同鄰域的目標在降維后盡可能隔得更遠。為了使算法具有更好的判別性,本文引入類別信息,定義類間局部散度矩陣和類內(nèi)局部散度矩陣,在最大間距準則[6]基礎(chǔ)上,使類內(nèi)局部散度矩陣最小,同時使類間局部散度矩陣最大,實現(xiàn)特征提取后同類更近不同類更遠的目的。基于大間距準則提取的特征集消除或降低了光照、表情姿態(tài)等變化對識別結(jié)果的影響[7],但通過分析發(fā)現(xiàn),在大間距準則Maximum Margin Criterion(MMC)下提取的判別特征集各分量之間存在統(tǒng)計相關(guān)性。文獻[8]指出統(tǒng)計不相關(guān)的判別特征集分類性能優(yōu)于正交特征分類。

本文對大間距準則下提取的判別特征集各分量進行最小相關(guān)性分析,提出一種基于大間距準則的最小相關(guān)性監(jiān)督二維保局投影(Two-dimensional Loca-lity Preserving Projection,2DLPP)算法,利用推導(dǎo)出的公式提取出最小相關(guān)性特征矩陣用于分類識別。

2 2DLPP算法描述

假設(shè)x1,x2,…xN是m×n維歐式空間Rm×n中的N個訓(xùn)練樣本,共有C個類別,每個類對應(yīng)的樣本數(shù)量為n1,n2,…,nC。一般的二維線性特征提取方法是,找到一個線性映射f:xi→yi=xiP,其中P∈Rn×d是按照某種優(yōu)化準則得到的投影矩陣,yi∈Rm×d(d＜n)代表xi的特征矩陣。2DLPP算法是為了找到一個能夠保持數(shù)據(jù)局部結(jié)構(gòu)的子空間,其目標函數(shù)[9]如下:

3 基于MMC的最小相關(guān)性監(jiān)督2DLPP

3.1 基于MMC的2DLPP特征提取

從式(1)可以看出,2DLPP較好地保持了鄰域內(nèi)的局部信息,但是卻忽略了鄰域間的局部信息。由于2DLPP算法不考慮類標識信息,因此2DLPP為非監(jiān)督方法。本文考慮類的標識信息,在文獻[6]的基礎(chǔ)上結(jié)合2DLPP定義類間局部散度矩陣Gb和類內(nèi)局部散度矩陣Gw如下:

式(3)中只有當xi和xj屬于不同類時,不為0,因此,表示了不同類樣本間的幾何結(jié)構(gòu),衡量了不同類樣本間的相離程度,為投影后的特征矩陣相離程度提供衡量標準;式(4)中只有當xi和xj屬于相同類時,Sij不為0,體現(xiàn)了相同類樣本間的幾何結(jié)構(gòu),衡量了相同類樣本間的相近程度,為投影后的特征矩陣的相近程度提供衡量標準。接下來建立基于大間距準則(2DMMC)的目標函數(shù):

其中,yi=xiP;yj=xjP。a為一個平衡因子,a∈[0,1],當a＞1/2時,反映出類間局部信息對分類更重要,當a＜1/2時,反映出類內(nèi)局部信息對分類更重要,通過調(diào)整a的值,便能更好地反映出高維空間中的流形結(jié)構(gòu)。這樣式(5)可轉(zhuǎn)化為:

其中:

至此,目標函數(shù)簡化為:

在特征空間中,式(7)越大,則表示來自不同類的樣本在投影后就會間隔越遠,而相同類的樣本在投影后就會間隔的越近。這樣可以充分利用類別信息,更好地保持數(shù)據(jù)的流形結(jié)構(gòu),從而提高樣本的線性可分性。

在式(7)基礎(chǔ)上增加一個正交約束條件PTP= I,與文獻[10]的求解方法類似,于是可以得到目標函數(shù)式(7)在正交約束條件下的最大值為:

3.2 最小相關(guān)性分析

定義 如果2個隨機變量ζ與η的協(xié)方差滿足:

則稱ζ與η是統(tǒng)計不相關(guān)的。

定理 在正交約束條件下的基于大間距準則的二維保局投影法所得到的特征矩陣各分量間存在統(tǒng)計相關(guān)性。

證明:假設(shè)由式(7)所得的特征矩陣各分量間是統(tǒng)計不相關(guān)的。設(shè)基于大間距準則的二維保局投影抽取的一個特征矩陣為:

文獻[11]指出,圖像的第k行和第l行是統(tǒng)計相關(guān)的,C≠0。正交約束條件為:PTP=I,C= PPTCPPT。由假設(shè)得到:PTCP=0,即C=0。這與圖像的第k行和第l行是統(tǒng)計相關(guān)的矛盾。

通過以上的分析,得到求解式(7)得到的特征矩陣的分量之間統(tǒng)計相關(guān),這就意味著得到的特征矩陣存在信息冗余,給分類帶來干擾。令:

x1,x2,…,xN為N個訓(xùn)練樣本,每個樣本均為m×n大小的圖像矩陣,則構(gòu)造n×n的C:

式(11)最小,即所提取的特征矩陣各分量之間統(tǒng)計相關(guān)性最小。

3.3 本文算法

本文算法是在大間距準則的基礎(chǔ)上提出來的,要求最大化帶權(quán)特征矩陣的散度矩陣跡差,同時最小化特征矩陣分量之間的相關(guān)性,即:

式(12)是個雙指標優(yōu)化問題,為了避免類似Fisher鑒別準則中的小樣本問題,本文沒有采用商的形式,而是改用差分的形式[12],將式(11)中的兩部分內(nèi)容轉(zhuǎn)換成單指標優(yōu)化問題,即可得到改進后的目標函數(shù):

此時,只需求解特征值問題即可:

3.4 分類識別

求出式(14)的前d個最大的特征值所對應(yīng)的特征向量組成最佳投影矩陣P=[p1,p2,…,pd],則原圖像矩陣在投影矩陣下化為:

同樣的,一幅測試圖像x(test)的特征矩陣 y (test)為:

用歐氏距離和最近鄰分類器[13]來實現(xiàn)測試樣本的分類。歐氏距離的具體公式表示:

如果:

則認為x(test)與x*屬于同一類。

4 算法描述

本文算法的具體步驟如下:

步驟2 計算鄰接矩陣,由式(8)計算得到矩陣G。進行最小相關(guān)性分析,由式(11)得到C。

步驟3 提取投影矩陣P。由式(14)求出投影矩陣P,根據(jù)式(15)和式(16)對訓(xùn)練樣本和測試樣本進行投影。

步驟4 分類識別。利用式(17)計算歐氏距離,根據(jù)式(18)進行分類,實現(xiàn)測試圖像的分類。

本文算法是對2DLPP改進的一種算法,兼有2DLPP算法在保持鄰域幾何結(jié)構(gòu)上的優(yōu)勢,同時也有明晰的映射矩陣,可直接輸入本圖像矩陣進行處理。本文算法的改進包括2個方面:(1)融合了2DLPP和MMC的算法思想,將MMC中的類間和類內(nèi)局部散度矩陣引入到2DLPP算法中,且在計算類間、類內(nèi)局部散度矩陣時,算法成了有監(jiān)督方法,使算法更適應(yīng)分類問題;(2)在2種算法的基礎(chǔ)上,對所提取的特征矩陣各分量進行最小相關(guān)性分析,降低了提取的特征矩陣各分量間的相關(guān)性,減少計算時所需特征向量個數(shù)的同時,也減少了冗余信息的干擾,對降低后續(xù)算法的計算量和提高分類識別性能都有重要的促進作用[14]。

5 實驗結(jié)果與分析

為驗證本文算法的有效性,分別在Yale人臉庫和ORL人臉庫上進行仿真實驗。實驗前,所有的人臉圖像都經(jīng)過手動眼睛定位、校準,最終歸一化為64×64的圖像。為進行對比,同時測試了2DLPP、2DPCA[15]、2DLDA[16]3種二維算法的性能。為進一步測試最小相關(guān)性分析這一改進的效果,本文將MMC推廣到二維空間(2DMMC),并在以上2個數(shù)據(jù)庫進行仿真實驗與本文算法進行對比。在本文算法、2DLPP中,t=8 000 000。本文算法中a=0.4。

5.1 Yale人臉庫實驗

Yale人臉庫共有15個人,每人11幅圖像,包含3種不同的光照情況,6種不同的表情,并且圖像有戴眼鏡和不戴眼鏡的區(qū)別。二維算法提取的是特征矩陣,為了研究特征值數(shù)目和識別率之間的關(guān)系,每人訓(xùn)練樣本為5時,5種二維算法的識別率和特征值數(shù)目之間的關(guān)系如圖1所示。可以看出,隨著特征值數(shù)目的增加,識別率也相應(yīng)增加。當特征值數(shù)目很小時,識別率的增加很明顯,當數(shù)目增加到10左右,識別率就趨于平穩(wěn)。

圖1 Yale人臉庫中識別率與特征值個數(shù)的關(guān)系

為測試訓(xùn)練樣本的個數(shù)對本文算法性能的影響,隨機選取每個人的n(n=2,3,4,5)幅圖像作為訓(xùn)練集,余下的作為測試集。對每個n值,做10次隨機劃分實驗。表1為Yale人臉庫上5種算法最高識別率的均值和標準差比較?？梢钥闯?隨著訓(xùn)練樣本數(shù)的增多,各種算法的識別率都有所增加;在相同訓(xùn)練樣本的情況下,本文算法的識別率最高。

表1 Yale人臉庫最高識別率的均值及標準差比較 %

5.2 ORL人臉庫實驗

ORL人臉庫包含來自40個不同人的400幅圖像,每人有10幅大小、姿態(tài)、表情各異的圖像。ORL人臉庫主要用來測試本文算法在人臉圖像大小、表情和姿態(tài)都變化時的識別性能。實驗中,探討了特征值數(shù)目變化時,本文算法、2DLPP、2DPCA、2DLDA和2DMMC在ORL人臉數(shù)據(jù)庫上正確識別率的變化情況,如圖2所示。由圖2可知,當d=3時,也即當選擇3個較大的特征值對應(yīng)的特征向量作為投影軸時,本文算法得到的最高正確識別率為96.2%。

下面驗證測試訓(xùn)練樣本數(shù)目改變時本文算法的識別性能。每人選擇n(n=2,3,4,5)幅圖像作為訓(xùn)練集,余下的作為測試集。對每個n值做10次隨機劃分試驗。表2為不同訓(xùn)練樣本數(shù)目下5種二維算法的平均最高識別率和標準差,可以看出,當訓(xùn)練樣本數(shù)增加時識別率都有所提高,在相同樣本數(shù)目下本文算法的識別率最高。

圖2 ORL人臉庫中識別率與特征值個數(shù)的關(guān)系

表2 ORL人臉庫最高識別率的均值及標準差比較 %

6 結(jié)束語

本文提出了一種新的二維流形學(xué)習(xí)算法:基于大間距準則的最小相關(guān)性監(jiān)督二維保局投影算法。該算法保持了數(shù)據(jù)的幾何結(jié)構(gòu),又考慮了類間距離,并且通過引入最小相關(guān)性約束,避免了信息冗余,有利于提高識別效果,降低分類時計算復(fù)雜度。在Yale和ORL人臉數(shù)據(jù)庫上的實驗結(jié)果表明,該算法相對其他線性算法更具優(yōu)勢,且在低維空間維數(shù)較低時仍有很好的效果。由于本文算法為線性算法,下一步的研究方向是利用核方法[17]將其推廣為非線性特征提取的算法,以更好地實現(xiàn)非線性分類。算法中的參數(shù)較難設(shè)置,使參數(shù)能夠自適應(yīng)也是需要解決的關(guān)鍵問題。

[1] Wang Yong,Wu Yi.Face Recognition Using Intrisicfaces[J].Pattern Recognition,2010,43(10):3580-3590.

[2] 龔 劬,華桃桃.基于改進的局部保持投影算法的人臉識別[J].計算機應(yīng)用,2012,32(2):528-530,534.

[3] Tenenbaum J B,de Silva V,Langford J C.A Global Geometric Framework forNonlinearDimensionality Reduction[J].Science,2000,290(5500):2319-2323.

[4] Roweis S T,SaulL K.Nonlinear Dimensionality Reduction by Locally Linear Embedding[J].Science, 2000,290(5500):2323-2326.

[5] Chen Sibao,Zhao Haifeng,Kong Min,et al.A Twodimensional Extension of Locality Preserving Projections [J].Neurocomputing,2007,70(4-6):912-921.

[6] Li Haifeng,Jiang Tao,Zhang Keshu.Efficientand RobustFeature Extraction by Maximum Margin Criterion[J].IEEE Transactions on Neural Networks, 2006,17(1):157-165.

[7] 張志偉.可變光照條件下的人臉識別技術(shù)研究[D].天津:河北工業(yè)大學(xué),2007.

[8] Yang Jian,Yang Jingyu,David Z.What's Wrong with Fisher Criterion?[J].Pattern Recognition,2002,35 (11):2665-2668.

[9] 張志偉,楊 帆,夏克文,等.一種應(yīng)用于小樣本人臉識別的2DLPP算法[J].光電子·激光,2008,19(7): 972-975.

[10] 張大明,符茂勝,羅 斌.基于二維近鄰保持嵌入的圖像識別[J].模式識別與人工智能,2011,24(6): 810-815.

[11] Wang Liwei,Wang Xiao,Zhang Xuerong,etal. Generalized 2D Principal Component Analysis for Face Representation and Recognition[J].Neural Networks, 2005,18(5/6):585-594.

[12] 嚴 慧,金 忠,楊靖宇.最小相關(guān)性的二維主成分分析[J].模式識別與人工智能,2010,23(1):7-10.

[13] Perlibakas V.Distance Measures for PCA-based Face Recognition[J].Pattern Recognition Letters,2004,25 (6):711-724.

[14] 羅 磊,李躍華.基于非相關(guān)判別鄰域保持投影的毫米波雷達目標識別[J].電子與信息學(xué)報,2010,32 (11):2751-2754.

[15] 何國輝,甘俊英.二維主元分析在人臉識別中的應(yīng)用研究[J].計算機工程與設(shè)計,2006,27(24): 4667-4673.

[16] Ye Jieping,Janardan R,Li Qi.Two-Dimensional Linear Discriminate Analysis[J].Neural Information Processing Systems,2005,17(2):1569-1576.

[17] 肖健華,吳今培,沈道義.基于核的特征提取技術(shù)及應(yīng)用研究[J].計算機工程,2002,28(10):36-38.

編輯 金胡考

Face Recognition Based on Improved Two-dimensional Locality Preserving Projection Algorithm

GONG Qu,MA Jia-jun
(College of Mathematics and Statistics,Chongqing University,Chongqing 401331,China)

Two-dimensional Locality Preserving Projection(2DLPP)ignores the face sample local information between neighborhood and the correlation between the extracted feature matrix component problems.Aiming at this problem,the minimum correlated supervision 2DLPP algorithm based on Maximum Margin Criterion(MMC)is proposed.Between class local scatter matrix and within class local scatter matrix are brought in,which maximize the trace difference of scatter matrix to increase the sample's between-class scatter and decrease within-class scatter,then manifold structure of data can be characterized better.It calculates the covariance matrix of extracted feature matrix,reduces the feature redundant.Experiments on Yale and ORL face database are done,when the train sample number is 5,the result shows that the highest recognition rates are 92.5%and 96.2%,the recognition rate is higher than traditional 2DLPP algorithm,Twodimension Principal Component Analysis(2DPCA)algorithm,Two-dimension Linear Discriminate Analysis(2DLDA) algorithm and Two-dimension Maximum Margin Criterion(2DMCC)algorithm.It also analyses the mean and variance of recognition rate to prove the stability of the improved algorithm.

manifold learning;Maximum Margin Criterion(MMC);divergence matrix;Two-dimensional Locality Preserving Projection(2DLPP);minimum correlation;face recognition

1000-3428(2014)09-0252-05

A

TP18

10.3969/j.issn.1000-3428.2014.09.051

重慶大學(xué)“211”工程三期創(chuàng)新人才培養(yǎng)計劃建設(shè)基金資助項目(s-09110)。

龔 劬(1963-),女,教授、博士,主研方向:人工智能,圖像處理;馬家軍(通訊作者),碩士研究生。

2013-06-18

2013-09-06E-mail:majiajun311@163.com