一種新的有監(jiān)督的局部保持典型相關(guān)分析算法*

潘榮華,陳秀宏,曹翔

(江南大學(xué)數(shù)字媒體學(xué)院，江蘇 無(wú)錫 214122)

摘要：從模式識(shí)別的角度出發(fā)，在局部保持典型相關(guān)分析的基礎(chǔ)上，提出一種有監(jiān)督的局部保持典型相關(guān)分析算法(SALPCCA)。該方法在構(gòu)造樣本近鄰圖時(shí)將樣本的類(lèi)別信息考慮在內(nèi), 由樣本間的距離度量確定權(quán)重，建立樣本間的多重權(quán)重相關(guān)，通過(guò)使同類(lèi)內(nèi)的成對(duì)樣本及其近鄰間的權(quán)重相關(guān)性最大，從而能夠在利用樣本的類(lèi)別信息的同時(shí)，也能保持?jǐn)?shù)據(jù)的局部結(jié)構(gòu)信息。此外，為了能夠更好地提取樣本的非線(xiàn)性信息，將特征集映射到核特征空間，又提出一種核化的SALPCCA(KSALPCCA)算法。在ORL、Yale、AR等人臉數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果表明，該方法較其他的傳統(tǒng)典型相關(guān)分析方法有著更好的識(shí)別效果。

關(guān)鍵詞：局部保持;典型相關(guān)分析(CCA);特征提取;人臉識(shí)別

中圖分類(lèi)號(hào)：TP391.4 文獻(xiàn)標(biāo)志碼：A

doi:10.3969/j.issn.1007-130X.2015.06.021

收稿日期：*2014-02-27;修回日期：2014-06-11

基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目 (61373055)

作者簡(jiǎn)介:

通信地址：214122 江蘇省無(wú)錫市江南大學(xué)數(shù)字媒體學(xué)院

Address:School of Digital Media,Jiangnan University,Wuxi 214122,Jiangsu,P.R.China

Anewsupervisedlocalitypreservingcanonicalcorrelationanalysisalgorithm

PANRong-hua,CHENXiu-hong，CAOXiang

(SchoolofDigitalMedia,JiangnanUniversity,Wuxi214122,China)

Abstract:From the angle of model recognition, based on Canonical Correlation Analysis (CCA) we propose a new supervised locality preserving canonical correlation analysis (SALPCCA) based on the ALPCCA. By leveraging the useful information of class label, we can expediently construct the nearest neighbor graph and build multi-weighted correlation between samples. Through maximizing the weighted correlation between corresponding samples and their near neighbors belonging to the same classes, the SALPCCA effectively utilizes the class label information and preserves the local manifold structure of the data. Besides, we also propose a kernel SALPCCA (KSALPCCA) based on the kernel methods to better extract the nonlinear features of the data. The experimental results on the face databases of ORL, Yale and AR show that the proposed algorithm has better performance compared with the traditional canonical correlation analysis methods.

Keywords:localitypreserving;canonicalcorrelationanalysis(CCA);featureextraction;facerecognition

1引言

在傳統(tǒng)的模式分類(lèi)問(wèn)題中，通常能獲得一組目標(biāo)的一組數(shù)據(jù)來(lái)進(jìn)行分類(lèi)并做出最終的決策，該組數(shù)據(jù)形成了被稱(chēng)之為單模的原始特征數(shù)據(jù)，而從一組目標(biāo)中獲得的多組數(shù)據(jù)則形成了稱(chēng)之為多模的原始特征數(shù)據(jù)。近年來(lái)，典型相關(guān)分析CCA(CanonicalCorrelationAnalysis)[1]作為一種多模的特征提取方法，受到了越來(lái)越多的重視和關(guān)注。SunQuan-sen等人在文獻(xiàn)[2]中對(duì)此進(jìn)行了分析與研究，通過(guò)單模數(shù)據(jù)建立多模數(shù)據(jù)，使得CCA在人臉識(shí)別等領(lǐng)域的應(yīng)用成為可能。CCA通過(guò)最大化兩組成對(duì)樣本之間的相關(guān)性從而得到兩組典型相關(guān)特征，成功解決了模式識(shí)別領(lǐng)域的相關(guān)問(wèn)題。CCA是一種全局的線(xiàn)性特征提取方法，由于全局的線(xiàn)性特征提取方法無(wú)法有效地提取非線(xiàn)性特征，因此采用這種方法進(jìn)行非線(xiàn)性學(xué)習(xí)時(shí)，必然會(huì)導(dǎo)致欠學(xué)習(xí)的問(wèn)題。為了解決這一問(wèn)題，人們將核方法(KernelMethod)[3,4]應(yīng)用于CCA，提出了KCCA(KernelCCA)[5,6]，它是通過(guò)隱式的非線(xiàn)性映射將兩組數(shù)據(jù)分別映射到高維空間，從而能夠?qū)⒌途S空間中的非線(xiàn)性問(wèn)題映射成高維空間中的線(xiàn)性問(wèn)題，再利用核技巧在高維空間中進(jìn)行CCA計(jì)算，因此該方法能夠有效地提取人臉的非線(xiàn)性特征，可以更好地解決人臉識(shí)別中的非線(xiàn)性問(wèn)題。然而，CCA和KCCA同樣都沒(méi)有利用訓(xùn)練樣本的類(lèi)別信息，均是無(wú)監(jiān)督學(xué)習(xí)。為了充分利用樣本的類(lèi)別信息，判別型典型相關(guān)分析DCCA(DiscriminantCCA)[7]被提出，它充分考慮了同類(lèi)樣本與不同類(lèi)樣本之間的相關(guān)關(guān)系，在實(shí)現(xiàn)內(nèi)類(lèi)差別最小的同時(shí)使得類(lèi)間的差別最大，類(lèi)別信息的引入使得DCCA算法相比CCA算法有著更好的識(shí)別效果。廣義典型相關(guān)分析GCCA(GeneralizedCCA)[8]，則是將最小化類(lèi)內(nèi)散布矩陣作為類(lèi)信息的同時(shí)加入了監(jiān)督信息，在一定程度上提高了算法的分類(lèi)識(shí)別性能。以上方法只考慮了數(shù)據(jù)的全局性質(zhì)，并沒(méi)有考慮樣本數(shù)據(jù)的局部流形信息。子模式典型相關(guān)分析SpCCA(Sub-patternCCA)[9]將局部特征與全局特征的相關(guān)性作為判據(jù)，達(dá)到了融合局部和全局信息的雙重效果，同時(shí)通過(guò)子模式的劃分，不僅有效地解決了小樣本問(wèn)題，并較好地描述了人臉識(shí)別中的非線(xiàn)性問(wèn)題。局部保持投影LPP(LocalityPreservingProjections)[10]既提取了樣本的特征又保持了樣本的局部流形結(jié)構(gòu)，因而具有一些常用流形學(xué)習(xí)方法的共同優(yōu)點(diǎn)。局部保持典型相關(guān)分析LPCCA(LocalityPreservingCCA)[11]是將局部保持投影的思想引入到CCA，以近鄰樣本之間的相關(guān)取代了全局樣本之間的相關(guān)，有效地通過(guò)線(xiàn)性方式解決了非線(xiàn)性問(wèn)題，但是LPCCA仍屬于無(wú)監(jiān)督學(xué)習(xí)，文獻(xiàn)[12]通過(guò)引入監(jiān)督信息對(duì)LPCCA做了一定的改進(jìn)。

為了更好地挖掘樣本局部結(jié)構(gòu)的多樣性特征，WangFeng-shan等人[13]提出了一種新的局部保持典型相關(guān)分析算法(ALPCCA)，它將局部鄰域信息融合到CCA中，在高維人臉識(shí)別中有著更好的分類(lèi)效果。但是，ALPCCA也屬于無(wú)監(jiān)督學(xué)習(xí)，為了在保持局部流形結(jié)構(gòu)的同時(shí)加入有利于分類(lèi)的鑒別信息，本文提出了一種有監(jiān)督的局部保持典型相關(guān)分析算法SALPCCA(SupervisedALPCCA)。本文算法在構(gòu)造樣本近鄰圖時(shí)將樣本的類(lèi)別信息考慮在內(nèi)，避免算法將非同類(lèi)樣本中的相關(guān)信息錯(cuò)誤地引入，影響最后投影特征的提取。由樣本間的距離度量確定權(quán)重，建立樣本間的多重權(quán)重關(guān)系，能夠增強(qiáng)算法對(duì)非典型樣本的魯棒性。利用核方法，在核特征空間中提取樣本的非線(xiàn)性特征，提出KSALPCCA(KernelSALPCCA)算法，進(jìn)一步提高算法解決非線(xiàn)性問(wèn)題的能力。

2典型相關(guān)分析及其相關(guān)算法

2.1典型相關(guān)分析

(1)

這里，E表示期望，Sxx和Syy分別表示x和y的協(xié)方差矩陣，Sxy表示x和y之間的互協(xié)方差矩陣。

2．2判別型典型相關(guān)分析

判別型典型相關(guān)分析(DCCA)是在傳統(tǒng)的典型相關(guān)分析的基礎(chǔ)上，充分考慮了同類(lèi)樣本和不同類(lèi)樣本之間的相關(guān)性及其對(duì)分類(lèi)的影響，它所提取的特征在實(shí)現(xiàn)最大化同類(lèi)樣本之間相關(guān)性的同時(shí)最小化不同類(lèi)樣本之間的相關(guān)性，有利于模式分類(lèi)。

設(shè)X與Y為兩組特征集，本文均將其表示成矩陣的形式。x∈X?Rp和y∈Y?Rq分別為其中的兩個(gè)特征矢量，DCCA的鑒別準(zhǔn)則可以表示為:

(2)

2．3核典型相關(guān)分析

(3)

2．4一種最新的局部保持典型相關(guān)分析

局部保持典型相關(guān)分析(LPCCA)在高維數(shù)據(jù)上的鑒別能力并不理想，從而在一定程度上限制其在人臉識(shí)別中的應(yīng)用。與LPCCA不同，一種新的局部保持典型相關(guān)分析(ALPCCA)直接對(duì)最原始的CCA的目標(biāo)函數(shù)改進(jìn)得到，其鑒別準(zhǔn)則表示如下:

(4)

其中：

X(I+Sx+Sy)YT

其中,X與Y是兩個(gè)樣本集的矩陣形式，協(xié)方差矩陣Cxx和Cyy的定義與CCA中相同；NE(xi)為樣本xi∈X的k近鄰集，NE(yi)類(lèi)似；Sx和Sy為相似矩陣，tx與ty為兩個(gè)可調(diào)整的參數(shù)，其與LPCCA中的含義相同。I為單位矩陣。

在ALPCCA算法中，當(dāng)Sx和Sy的所有元素都為零時(shí)，ALPCCA就等價(jià)于CCA，所以ALPCCA算法是通過(guò)額外地加入近鄰樣本的相關(guān)性在CCA中植入了鄰域信息；而在LPCCA算法中，當(dāng)Sx和Sy的所有元素均為1時(shí)，即將所有的元素都加入鄰域，此時(shí)LPCCA等價(jià)于CCA，所以L(fǎng)PCCA是通過(guò)去除非近鄰樣本的相關(guān)性而在CCA中植入鄰域信息，因此LPCCA算法的性能在很大程度上依賴(lài)于相似矩陣的計(jì)算。然而，在人臉識(shí)別問(wèn)題中，樣本的維數(shù)往往都很高，相似矩陣Sx和Sy很難估算準(zhǔn)確，這在一定程度上影響了LPCCA算法的識(shí)別效果。而ALPCCA算法同時(shí)使用了局部鄰域信息和協(xié)方差矩陣，從而能夠很好地緩解由相似矩陣計(jì)算的不精確所造成的影響，使得該方法比LPCCA有著更好的識(shí)別效果。

3有監(jiān)督的局部保持典型相關(guān)分析

3．1有監(jiān)督的ALPCCA算法

ALPCCA相比LPCCA有著明顯的優(yōu)勢(shì)，但與一些有監(jiān)督的算法如DCCA相比，識(shí)別效果卻明顯不足。究其原因是因?yàn)锳LPCCA在選取近鄰時(shí)沒(méi)有考慮樣本的類(lèi)別信息，因而很可能引入不同類(lèi)別樣本中的錯(cuò)誤相關(guān)信息，從而導(dǎo)致錯(cuò)誤的分類(lèi)，分類(lèi)環(huán)境越是復(fù)雜，這種情況越為明顯。因此，本文將樣本的類(lèi)別信息引入ALPCCA，試圖提出一種有監(jiān)督的局部保持典型相關(guān)分析算法。

DCCA是在CCA的基礎(chǔ)上考慮樣本的類(lèi)別信息，使得同類(lèi)中的所有樣本之間建立相關(guān)性，是一種有監(jiān)督算法。但是，DCCA認(rèn)為同類(lèi)樣本之間的相關(guān)性相等，而一般情況下，同類(lèi)樣本之間的相關(guān)性會(huì)隨著樣本之間距離的變化而有所不同，樣本間的距離越小，相關(guān)性越大，反之，相關(guān)性則越小，因此DCCA不能很好地描述一些非線(xiàn)性問(wèn)題。而ALPCCA充分利用了樣本的局部鄰域信息，考慮了樣本之間的距離與相關(guān)性的關(guān)系，能夠較好地描述一些非線(xiàn)性問(wèn)題，但卻沒(méi)有利用樣本的類(lèi)別信息，是一種無(wú)監(jiān)督算法。因此，結(jié)合DCCA和ALPCCA各自的優(yōu)勢(shì)，綜合考慮樣本的局部鄰域信息與類(lèi)別信息，在樣本的同類(lèi)內(nèi)建立鄰域權(quán)重相關(guān)，提出一種有監(jiān)督的局部保持典型相關(guān)分析(SALPCCA)，從根本上消除了ALPCCA算法在不同類(lèi)樣本間建立錯(cuò)誤的相關(guān)對(duì)分類(lèi)造成的影響，使得從樣本中提取的特征更為有效，更有利于最后的分類(lèi)。同時(shí)，SALPCCA以近鄰間的權(quán)重相關(guān)取代了DCCA中同等視之的類(lèi)內(nèi)相關(guān)，并且以距離作為權(quán)重度量的依據(jù)，從而能夠很好地抑制噪聲對(duì)算法穩(wěn)定性的影響，增強(qiáng)了算法的魯棒性。本文算法具體描述如下。

(5)

其中，c(xi)表示xi的類(lèi)別。

(6)

其次，讓樣本集X中的樣本及其近鄰樣本與樣本集Y中相應(yīng)的樣本及其近鄰樣本建立權(quán)重相關(guān)。于是，SALPCCA的鑒別準(zhǔn)則可以表示為:

(7)

其中,

XJYYT=X(I+JX+JY)YT

上述準(zhǔn)則亦可表示為以下優(yōu)化模型:

(8)

利用Lagrangian方法可以將上述優(yōu)化問(wèn)題轉(zhuǎn)化為如下的廣義特征值分解問(wèn)題：

(9)

利用特征矩陣Wx和Wy通過(guò)以下兩種特征提取策略進(jìn)行特征提?。?/p>

(10)

(11)

由此可以得到兩種不同的融合特征。兩種特征融合策略用FS1和FS2表示，分別對(duì)應(yīng)于式(10)和式(11)中的兩種組合方式。

最后，分類(lèi)策略采用基于特征矩陣的最近鄰分類(lèi)器進(jìn)行分類(lèi)。

綜上所述，SALPCCA的算法求解步驟如下：

步驟1輸入已標(biāo)準(zhǔn)化的訓(xùn)練樣本集X及其對(duì)應(yīng)的樣本集Y。

步驟2按照式(5)和式(6)式的方法構(gòu)造X和Y的類(lèi)內(nèi)k近鄰矩陣JX和JY。

步驟3根據(jù)式(9)式計(jì)算投影矩陣Wx和Wy。

步驟4利用式(10)和式(11)式分別進(jìn)行特征提取，并采用最近鄰分類(lèi)器進(jìn)行分類(lèi)。

3．2核化的SALPCCA算法

為了更好地提取樣本的非線(xiàn)性特征，利用核方法，將SALPCCA進(jìn)行推廣得到核SALPCCA算法(KSALPCCA)。KSALPCCA不僅利用樣本的類(lèi)內(nèi)近鄰信息將全局非線(xiàn)性問(wèn)題轉(zhuǎn)化為若干局部線(xiàn)性問(wèn)題，有效地解決了人臉識(shí)別中的全局非線(xiàn)性問(wèn)題，同時(shí)通過(guò)利用核技巧能夠更有效地提升算法處理非線(xiàn)性問(wèn)題的能力。因而，本文的算法能有效地刻畫(huà)人臉識(shí)別中的非線(xiàn)性問(wèn)題，可以提取到鑒別性更強(qiáng)和更能反映樣本分布情況的投影軸，具有更好的識(shí)別效果。

(12)

采用上節(jié)中類(lèi)似的方法可以求得投影矩陣:

進(jìn)一步可以得到:

最后做類(lèi)似于式(10)和式(11)的特征融合，并采用最近鄰分類(lèi)器進(jìn)行分類(lèi)。

Figure 1　Sample images from the face database ORL,Yale,AR,respectively 圖1　ORL、Yale、AR部分人臉示例圖像

4實(shí)驗(yàn)與結(jié)果分析

4．1人臉庫(kù)

為驗(yàn)證SALPCCA、KSALPCCA算法的有效性，分別在ORL、Yale、AR三個(gè)人臉數(shù)據(jù)庫(kù)中進(jìn)行仿真實(shí)驗(yàn)，并與SLPCCA、ALPCCA、LPCCA以及DCCA等算法進(jìn)行比較。

ORL人臉數(shù)據(jù)庫(kù)[14]包括了40個(gè)人的人臉圖像，每人10幅圖像，分別拍攝于不同的時(shí)間和光照條件下，具有不同的表情和面部細(xì)節(jié)。本文實(shí)驗(yàn)中隨機(jī)選取每個(gè)人的5幅圖像作為訓(xùn)練樣本空間X，剩余部分用作測(cè)試。利用原圖像四級(jí)小波分解后的低頻分量作為Y。

Yale人臉數(shù)據(jù)庫(kù)[15]包含15個(gè)人的人臉圖像，每人11幅，包括光照方向(左、右和正面)、眼睛、表情變化(正常、愉快、悲傷、困乏、驚訝和眨眼)共165幅灰度圖像，圖像尺寸為120×91像素。每人選取5幅圖像作為訓(xùn)練樣本空間X，其余6幅作測(cè)試。同樣對(duì)原圖像進(jìn)行四級(jí)小波分解的低頻分量作為Y。

AR人臉數(shù)據(jù)庫(kù)[16]由126個(gè)人(男70人，女56人)的4 000余幅彩色圖像構(gòu)成，每人26幅圖像，每幅圖像的大小為50×40像素，分為兩組，每組13幅，拍攝時(shí)間間隔為兩周，分別反映了人臉的表情、光照和遮擋的變化。本實(shí)驗(yàn)中，選擇AR人臉庫(kù)中的前120個(gè)人標(biāo)號(hào)為1～7、14～20的14幅沒(méi)有遮擋的圖像進(jìn)行人臉識(shí)別實(shí)驗(yàn)，并隨機(jī)選取每人的5幅圖像作為訓(xùn)練樣本空間X，其余作測(cè)試。對(duì)原圖像進(jìn)行三級(jí)小波分解的低頻分量作為Y。

4．2實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)中統(tǒng)一采用Daubechies正交小波對(duì)原圖像進(jìn)行分解以獲取低頻分量，然后利用主成分分析PCA(PrincipalComponentAnalysis)對(duì)樣本進(jìn)行降維以解決小樣本問(wèn)題。近鄰數(shù)目統(tǒng)一設(shè)定為訓(xùn)練樣本數(shù)減1。算法中的核函數(shù)選擇高斯核函數(shù)，X與Y特征集中的核參數(shù)σx與σy為標(biāo)量，其數(shù)值在103左右通過(guò)交叉驗(yàn)證來(lái)確定。傳統(tǒng)的PCA與LDA算法通過(guò)直接串聯(lián)后提取特征進(jìn)行實(shí)驗(yàn)。在每個(gè)人臉庫(kù)中分別隨機(jī)地進(jìn)行10次獨(dú)立實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果見(jiàn)表1～表3。

從表1～表3的實(shí)驗(yàn)結(jié)果可以看出，本文算法在三個(gè)人臉庫(kù)中的識(shí)別率都要高于其他相關(guān)算法。

Table 1　 Average recognition accuracy of different algorithms on ORL face database

Table 2　 Average recognition accuracy of different algorithms on Yale face database

Table 3　 Average recognition accuracy of different algorithms on AR face database

有監(jiān)督算法SLPCCA、SALPCCA的識(shí)別率均要高于其相對(duì)應(yīng)的無(wú)監(jiān)督算法LPCCA、ALPCCA，可見(jiàn)類(lèi)別信息的引入消除了不同類(lèi)樣本間建立錯(cuò)誤的相關(guān)對(duì)分類(lèi)問(wèn)題造成的影響，提高了算法的識(shí)別效果。在DCCA、SLPCCA和SALPCCA三種有監(jiān)督算法中，SALPCCA算法的識(shí)別率在三個(gè)人臉數(shù)據(jù)庫(kù)中均高于其他兩種算法，這也體現(xiàn)了本文算法同時(shí)考慮類(lèi)內(nèi)鄰域信息和協(xié)方差矩陣的優(yōu)勢(shì)。KSALPCCA算法的識(shí)別率普遍都要高于SALPCCA，可見(jiàn)核化之后的算法更有效地提取了樣本的非線(xiàn)性信息，對(duì)識(shí)別率有一定的提高。由表2可見(jiàn)，由于Yale人臉庫(kù)中圖像數(shù)據(jù)較少，KSALPCCA也很難提取到更多有利于鑒別的信息，因此KSALPCCA與SALPCCA的識(shí)別率相差不大。另外，在ORL人臉庫(kù)中，由于該數(shù)據(jù)庫(kù)中同類(lèi)別的人臉變化相對(duì)不大，因此LPCCA也取得了相對(duì)不錯(cuò)的識(shí)別率；而在Yale和AR人臉庫(kù)上，人臉的變化相對(duì)較為復(fù)雜，LPCCA很難獲得較理想的識(shí)別率。對(duì)比兩種特征融合策略可以發(fā)現(xiàn)，一般情況下，F(xiàn)S2特征融合策略的識(shí)別效果都優(yōu)于FS1。

圖2給出了三個(gè)人臉庫(kù)中各個(gè)算法的平均識(shí)別率隨特征維數(shù)變化的趨勢(shì)，由于PCA和LDA與其他算法結(jié)果差距較大，因此為了增強(qiáng)圖表的可讀性它們不在圖表中顯示。同時(shí)為了統(tǒng)一比較，以下實(shí)驗(yàn)均采用FS2的特征融合方式。

Figure 2　Variation of the average recognition rates along with dimensionality on ORL,Yale,AR face databases 圖2　六種算法在三個(gè)人臉數(shù)據(jù)庫(kù)上的 平均識(shí)別率隨維數(shù)變化的示意圖

從圖2a可以看出，隨著特征維數(shù)的增加，各個(gè)算法的識(shí)別率都有所上升，當(dāng)特征維數(shù)增加到一定程度時(shí)，識(shí)別率會(huì)保持在一個(gè)相對(duì)穩(wěn)定的水平。觀察圖2b可以發(fā)現(xiàn)，由于DCCA算法受樣本類(lèi)別總數(shù)的限制，其最大特征維數(shù)只能取到15，這在一定程度上限制了算法的性能，因此其識(shí)別效果不如SLPCCA和SALPCCA算法。在圖2b和圖2c中，識(shí)別率先隨著特征維數(shù)的增加而上升，當(dāng)識(shí)別率達(dá)到峰值時(shí)，一些算法的識(shí)別率會(huì)隨著特征維數(shù)的增加反而有所下降，尤其是LPCCA下降的最為明顯，由于其最初提出的目的并不是針對(duì)模式分類(lèi)問(wèn)題，因此它受維數(shù)變化的影響較大且識(shí)別效果不理想。但是，本文的算法同時(shí)考慮了樣本的類(lèi)內(nèi)近鄰權(quán)重相關(guān)信息和協(xié)方差矩陣，保持了樣本的局部流形信息，使得SALPCCA的高維特征中包含了較少的噪聲信息，同時(shí)核化后的KSALPCCA進(jìn)一步提升了算法處理非線(xiàn)性問(wèn)題的能力，因此識(shí)別率會(huì)隨著維數(shù)的增加而保持在一個(gè)相對(duì)較高、較穩(wěn)定狀態(tài)。

為了證明本文算法對(duì)近鄰數(shù)k選擇的魯棒性，統(tǒng)一在人臉數(shù)據(jù)較為豐富的Yale和AR人臉數(shù)據(jù)庫(kù)中進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如圖3所示。

觀察圖3的兩幅圖可以發(fā)現(xiàn)，LPCCA算法的識(shí)別率隨著k的變化波動(dòng)很大，對(duì)近鄰數(shù)k的選擇很敏感。而ALPCCA算法由于其同時(shí)考慮了局部鄰域信息和協(xié)方差矩陣，因此受近鄰數(shù)的影響并不大，這也體現(xiàn)了ALPCCA算法相對(duì)于LPCCA算法的優(yōu)勢(shì)。有監(jiān)督的SLPCCA和SALPCCA算法則表現(xiàn)得更為穩(wěn)定，可見(jiàn)類(lèi)別信息的引入，從根本上避免了算法在不同類(lèi)樣本間建立錯(cuò)誤的相關(guān)，有效地提升了算法的性能，增強(qiáng)了算法的魯棒性。再仔細(xì)觀察SALPCCA與ALPCCA算法不難發(fā)現(xiàn)，SALPCCA算法在識(shí)別率和對(duì)k選擇的魯棒性上都要優(yōu)于ALPCCA算法，這也證明了本文算法的有效性。

Figure 3　Classification accuracy versus different values of the number of neighbors k in LPCCA, ALPCCA, SLPCCA and SALPCCA on Yale and AR databases 圖3　LPCCA,ALPCCA,SLPCCA和SALPCCA 四種算法在Yale和AR兩個(gè)人臉數(shù)據(jù)庫(kù)上的 平均識(shí)別率隨近鄰數(shù)k變化的示意圖

5結(jié)束語(yǔ)

本文以ALPCCA為基礎(chǔ)，在考慮樣本的類(lèi)別信息的同時(shí)引入近鄰樣本間權(quán)重相關(guān)的概念，通過(guò)使類(lèi)內(nèi)的成對(duì)樣本與其近鄰樣本的權(quán)重相關(guān)性最大，提出了一種有監(jiān)督的局部保持典型相關(guān)分析(SALPCCA)算法，并利用核方法進(jìn)行核化，提出核化的有監(jiān)督局部保持典型相關(guān)分析(KSALPCCA)。在ORL、Yale、AR人臉庫(kù)上的實(shí)驗(yàn)結(jié)果表明，本文的算法相比ALPCCA、SLPCCA、LPCCA以及其他算法有著更好的識(shí)別效果和魯棒性。

參考文獻(xiàn):

[1]HotellingH.Relationsbetweentwosetsofvariates[J].Biometrika, 1936, 28(3):321-377.

[2]SunQuan-sen,ZengSheng-gen,LiuYan,etal.Anewmethodoffeaturefusionanditsapplicationinimagerecognition[J].PatternRecognition, 2005, 38(12):2437-2448.

[3]BoserBE,GuyonIM,VapnikVN.Atrainingalgorithmforoptionalmarginclassifiers[C]//Procofthe5thAnnualACMWorkshoponComputationalLearningTheory, 1992:1.

[4]NelloC,JohnST.Supportvectormachinesandotherkernelbasedmethods[M].Cambrige:CambrigeUniversityPress,2000.

[5]LaiPL,FyfeC.Kernelandnonlinearcanonicalcorrelationanalysis[J].InternationalJournalofNeuralSystems, 2000,10(5):365-377.

[6]MelzerT,ReiterM,BischofH.Appearancemodelsbasedonkernelcanonicalcorrelationanalysis[J].PatternRecogniton,2003,36(9):1961-1971.

[7]SunTing-kai,ChenSong-can,YangJing-yu,etal.Asupervisedcombinedfeatureextractionmethodforrecognition[C]//ProcoftheIEEEInternationalConferenceonDataMining, 2008:1043-1048.

[8]SunQuan-sen,LiuZheng-dong,HengPheng-ann,etal.Atheoremonthegeneralizedcanonicalprojectivevectors[J].PatternRecognition, 2005, 38(3):449-452.

[9]HongQuan,ChenSong-can,NiXue-lei.Sub-patterncanonicalcorrelationanalysiswithapplicationinfacerecognition[J].ActaAutomaticaSinica, 2008, 34(1):21-30.(inChinese)

[10]HeXiao-fei,YanShui-cheng,HuYu-xiao,etal.Facerecognitionusinglaplacianfaces[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2005, 27(3):328-340.

[11]SunTing-kai,ChenSong-can.LocalitypreservingCCAwithapplicationstodatavisualizationandposeestimation[J].ImageandVisionComputing, 2007, 25(5):531-543.

[12]HouShu-dong,SunQuan-sen,XiaDe-shen.Supervisedlocalitypreservingcanonicalcorrelationanalysisalgorithm[J].PatternRecognitionandArtificialIntelligence, 2012, 25(1):144-149. (inChinese)

[13]WangFeng-shan,ZhangDao-qiang.Anewlocality-preservingcanonicalcorrelationanalysisalgorithmformulti-viewdimensionalityreduction[J].NeuralProcessLett, 2013, 37(2):135-146.

[14]SamariaFS,HarterAC.Parameterisationofastochasticmodelforhumanfaceidentification[C]//Procofthe2ndIEEEWorkshoponApplicationsofComputerVision, 1994:138-142.

[15]BelhumeurPN,HepanhaJP,KriegmanD,etal.EigenfacesVsFisherfaces:Recognitionusingclassspecificlinearprojection[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 1997, 19(7):711-720.

[16]MartinezA,BenaventeR.TheARfacedatabase[R].TechnicalReport24,Barcelona,Spain:ComputerVisionCenter(CVC), 1998.

參考文獻(xiàn)：附中文

[9]洪泉,陳松燦,倪雪蕾．子模式典型相關(guān)分析及其在人臉識(shí)別中的應(yīng)用[J].自動(dòng)化學(xué)報(bào),2008,34(1):21-30.

[12]侯書(shū)東,孫權(quán)森,夏德深．一種監(jiān)督的局部保持典型相關(guān)分析算法[J].模式識(shí)別與人工智能,2012,25(1):144-149.

潘榮華(1989-),男,江蘇吳江人，碩士生，研究方向?yàn)閿?shù)字圖像處理和模式識(shí)別。E-mail:prh__@126.com

PANRong-hua,bornin1989,MScandidate,hisresearchinterestsincludeimageprocessing,andpatternrecognition.

陳秀宏(1964-),男,江蘇泰興人，博士，教授，CCF會(huì)員(E200017407M)，研究方向?yàn)閿?shù)字圖像處理和模式識(shí)別。E-mail:xiuhongc@jiangnan.edu.cn

CHENXiu-hong,bornin1964,PhD,professor,CCFmember(E200017407M)，hisresearchinterestsincludeimageprocessing,andpatternrecognition.

曹翔(1990-),男,江蘇南通人，碩士生，研究方向?yàn)閿?shù)字圖像處理和模式識(shí)別。E-mail:540034496@qq.com

CAOXiang,bornin1990,MScandidate,hisresearchinterestsincludeimageprocessing,andpatternrecognition.