林克正，王海燕，李 驁，榮友湖

哈爾濱理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，哈爾濱 150080

高效求解方法的核典型相關(guān)分析算法*

林克正+，王海燕，李 驁，榮友湖

哈爾濱理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，哈爾濱 150080

針對(duì)高維小樣本數(shù)據(jù)在核化圖嵌入過程中出現(xiàn)的復(fù)雜度問題，引入基于核化圖嵌入（kernel extension of graph embedding）的快速求解模型，提出了一種新的KGE/CCA算法（KGE/CCA-St）。首先將樣本數(shù)據(jù)投影到維數(shù)遠(yuǎn)低于原樣本空間維數(shù)的總體散度矩陣對(duì)應(yīng)的秩空間，然后采用核典型相關(guān)分析進(jìn)行特征提取，整個(gè)過程減少了核矩陣的計(jì)算量。在Yale人臉庫和JAFFE人臉庫上進(jìn)行仿真實(shí)驗(yàn)，結(jié)果表明這種KGE/CCA算法的識(shí)別率明顯優(yōu)于KFD、KLPP和KNPE算法的識(shí)別率；和傳統(tǒng)的KGE/CCA算法相比，在不影響識(shí)別率的情況下，KGE/CCA-St算法有效減少了計(jì)算時(shí)間。

核化圖；典型相關(guān)分析；降維處理；散度矩陣

1 引言

人臉識(shí)別過程主要包括人臉圖像檢測(cè)、特征提取、模式識(shí)別匹配等幾個(gè)流程，其中特征提取環(huán)節(jié)是人臉識(shí)別整個(gè)流程中最核心的步驟[1]。線性特征提取方法，是對(duì)原始樣本進(jìn)行線性映射并變換到一個(gè)低維空間進(jìn)行鑒別信息的提取，提取出來的是人臉圖像的線性特征。目前，產(chǎn)生了大量經(jīng)典的線性特征提取方法，在各個(gè)領(lǐng)域得到了廣泛的應(yīng)用，其中主要有主成分分析（principal component analysis，PCA）[2]、線性鑒別分析（linear discriminant analysis，LDA）[3]等方法。

典型相關(guān)分析（canonical correlation analysis，CCA）方法，也是一種線性特征提取方法，提取的是人臉數(shù)據(jù)的線性特征。該方法通過找到兩組特征之間的相關(guān)性，并使其最大化[4]，去除了特征間的冗余信息，最后將兩組特征融合成一個(gè)特征。CCA融合后的特征具有統(tǒng)計(jì)不相關(guān)性，同時(shí)增加了特征信息量，然而人臉圖像數(shù)據(jù)中非線性的鑒別信息沒有被充分地挖掘出來，而這些未被挖掘出來的非線性的鑒別信息往往是人臉識(shí)別分類的關(guān)鍵。核方法是一種有效的方法，用核方法來增強(qiáng)典型相關(guān)分析方法，不僅能剔除冗余信息，增強(qiáng)鑒別信息，還能解決人臉圖像特征線性不可分問題，挖掘出非線性因素。經(jīng)核方法擴(kuò)展后的典型相關(guān)分析，表征能力更強(qiáng)[5]，更有助于人臉識(shí)別。近年來，還涌現(xiàn)出了核算法與一些經(jīng)典線性算法相結(jié)合的算法[4]，如核主成分分析方法（kernel principal component analysis，KPCA）[6]、核線性鑒別分析（kernel linear discriminant analysis，KLDA）[7]、核Fisher判別（kernel Fisher discriminant analysis，KFD）[8]、核局部保持投影（kernel locality preserving projection，KLPP）[9]、核鄰域保持嵌入（kernel neighborhood preserving embedding，KNPE）[10]等。這些基于核函數(shù)的方法都可以被歸納為核化圖嵌入（kernel extension of graph embedding，KGE）[11]。

在核典型相關(guān)分析算法的研究中發(fā)現(xiàn)，在核的圖嵌入過程中，核矩陣中的內(nèi)積運(yùn)算的時(shí)間復(fù)雜度由樣本數(shù)量和樣本矢量維數(shù)決定。針對(duì)核化圖算法中核矩陣計(jì)算量大的問題，引入了一種基于核化圖高效求解的方法，即在對(duì)樣本進(jìn)行核化圖嵌入之前就先對(duì)樣本進(jìn)行降維處理，大大減少了計(jì)算量；然后對(duì)降維后的樣本數(shù)據(jù)進(jìn)行核映射處理；最后再找出投影到高維特征空間的投影矢量之間的典型相關(guān)關(guān)系。這樣得出了一種高效求解方法的核典型相關(guān)分析算法，達(dá)到減少存儲(chǔ)空間和計(jì)算時(shí)間的目的。這個(gè)處理過程為高效快速的人臉識(shí)別打好了基礎(chǔ)[12]。

2 典型相關(guān)分析

典型相關(guān)分析研究的是兩個(gè)隨機(jī)矢量的相互關(guān)系[13]，將兩組隨機(jī)矢量之間的研究簡(jiǎn)化成幾對(duì)變量特征的研究[14]，是一種非常有效的多元統(tǒng)計(jì)方法。此方法應(yīng)用到人臉識(shí)別領(lǐng)域中的特征提取過程時(shí)，就是在線性空間下，建立兩組特征向量之間的相關(guān)準(zhǔn)則函數(shù)，求得投影矢量集，然后將兩組特征矢量之間的典型相關(guān)性特征作為有效鑒別信息[15]，既達(dá)到了信息融合的目的，還消除了特征之間的冗余信息[16]。設(shè)有兩個(gè)樣本分別為，CCA方法的目標(biāo)是對(duì)兩個(gè)等式和進(jìn)行組合求解，找出使這兩個(gè)等式之間的相關(guān)性達(dá)到最大的兩組基向量φx∈?p和φy∈?q。假設(shè)變量Cxx和Cyy分別表示樣本X和Y的協(xié)方差矩陣，Cxy表示樣本X和樣本Y的互協(xié)方差矩陣，E[·]表示期望。因此CCA方法的目標(biāo)函數(shù)可表示為：

式（1）中：

根據(jù)式（1）中定義的相關(guān)系數(shù)，CCA方法的準(zhǔn)則函數(shù)可轉(zhuǎn)化為求解式（2）：

求投影軸φx和φy方向上的特征值，且求得的特征值滿足。在所求得的特征值中選d對(duì)(d≤r)非零的特征值，求解出這d對(duì)特征值對(duì)應(yīng)的特征向量，這些特征向量將被當(dāng)作典型投影方向φxi和φyi，i=1,2,…,d，因此φxi和φyi可作為提取特征x?和y?。

3 核化圖嵌入算法

圖嵌入的基本思想是找到原始訓(xùn)練樣本的低維特征結(jié)構(gòu)，同時(shí)保留高維特征空間頂點(diǎn)的相似性，也即找到符合這兩個(gè)要求所對(duì)應(yīng)的投影矢量a或者投影矩陣A（如果需要多個(gè)投影矢量）。對(duì)于一個(gè)原始訓(xùn)練樣本數(shù)據(jù)X={x1,x2,…,xN}∈Rp×N，假設(shè)變量W為其相似度矩陣，圖G={X,W}是一個(gè)無向有權(quán)圖。原始樣本中的每一個(gè)點(diǎn)xi表示這個(gè)圖中的一個(gè)頂點(diǎn)，而矩陣中的每個(gè)度量表示樣本間的相似度，衡量樣本間近鄰點(diǎn)的相似度。因此相似度矩陣中的矩陣度量值可表示如下：

假設(shè)圖G的拉普拉斯矩陣為L(zhǎng)，則拉普拉斯矩陣的定義式可以用相似度矩W和一個(gè)對(duì)角矩陣D來定義，它的對(duì)角元素的值為W對(duì)應(yīng)的一行元素值的和，如式（5）所示：

因此，圖嵌入就是在保留高維空間中頂點(diǎn)相似性的同時(shí)，找到一個(gè)原始數(shù)據(jù)的低維表示，即X?=ATX。由以上分析可以得到一個(gè)線性圖嵌入框架的準(zhǔn)則函數(shù)如式（6）：

通過求解式（7），可得最優(yōu)投影矢量a?：

核化圖嵌入則是在線性圖嵌入框架的基礎(chǔ)上，引入了非線性映射K，替換了線性內(nèi)積，解決了原始樣本中存在低維空間不可線性化問題[17]。設(shè)原始訓(xùn)練樣本為X，則原始樣本經(jīng)過非線性映射K后，樣本可表示為K(X)={K(x1),K(x2),…,K(xN)}。因此在原始訓(xùn)練樣本通過非線性映射后，由于滿足aTK(X)LK(X)Ta=1，核化圖嵌入框架的最優(yōu)投影可表示為：

a?可通過求解下式的最大特征值所對(duì)應(yīng)的特征向量得到：

4 高效求解方法的KGE/CCA算法

4.1 KGE/CCA算法的具體理論推導(dǎo)

假設(shè)原始訓(xùn)練樣本中有兩個(gè)樣本分別為X={x1,x2,…,xN}∈Rp×N和Y={y1,y2,…,yN}∈Rq×N，這兩個(gè)樣本無向有權(quán)圖可分別表示為G={X,Wx}，G={Y,Wy}，其中Wx和Wy分別為X和Y相似度矩陣，矩陣中的度量表示樣本間的相似度，分別代表X和Y中的樣本i和j的相似度，它們的定義可參考式（4）。

假設(shè)兩個(gè)樣本最后求得的最優(yōu)投影為α∈Rp和β∈Rq，設(shè)分別為兩個(gè)樣本核化后在高維特征空間中測(cè)試樣本的均值向量，則有表達(dá)式和表達(dá)式。核函數(shù)的均值化處理，使得小樣本問題下高維特征空間中有效鑒別信息得到了較好的保留。根據(jù)式（8）可得兩個(gè)樣本的在高維特征空間的KGE方法的目標(biāo)函數(shù)分別為式（10）和（11）：

原始樣本在高維特征空間的投影可通過式（10）和（11）來計(jì)算，這樣便將原始樣本投影到低維特征空間，提取了樣本數(shù)據(jù)的非線性特征。為了保證提取的非線性特征具有統(tǒng)計(jì)不相關(guān)性，再采用CCA方法，找到核化圖嵌入后的映射到高維特征空間中向量之間的相關(guān)關(guān)系，找到鑒別矢量，最終融合成一個(gè)特征。找到投影到高維特征空間中兩個(gè)向量之間的典型相關(guān)性，即找到投影方向上和投影方向上的相關(guān)性最大。其中假設(shè)變量Cxx和Cyy分別表示樣本X和Y的協(xié)方差矩陣，Cxy表示樣本X和樣本Y的互協(xié)方差矩陣，由典型相關(guān)分析方法的原理，可得KGE/ CCA方法的目標(biāo)函數(shù)為式（12）：

等價(jià)于式（13）：

其中，Cxx、Cyy、Cxy分別定義如下：

又由于

且存在以下兩個(gè)等式：

因此，KGE/CCA方法的準(zhǔn)則函數(shù)為：

4.2 核化圖嵌入算法的高效求解模型的引入

KGE/CCA方法融合了核化圖嵌入算法和典型相關(guān)分析算法，對(duì)兩個(gè)樣本進(jìn)行處理的過程中需要大量的計(jì)算。整個(gè)算法過程中，在核化圖嵌入之前，先對(duì)樣本進(jìn)行降維處理。將一種減少計(jì)算量的同時(shí)不影響最終結(jié)果的求解模型引入進(jìn)來，形成的新方法暫且記為KGE/CCA-St。先將樣本降維到一個(gè)低維的特征空間，以減少維數(shù)。這個(gè)低維特征空間可以由總體散度矩陣St的非零特征值所對(duì)應(yīng)的特征向量來求得。由于St的秩遠(yuǎn)遠(yuǎn)小于維數(shù)，故這種方法能夠起到降維的目的?？傮w散度矩陣St由下式計(jì)算：

對(duì)原始樣本采用PCA算法降維，投影到總體散度矩陣St的非零特征值對(duì)應(yīng)的特征空間，記為H。在這個(gè)秩空間H中存在一個(gè)子空間Φt=span{α1,α2,…,αm}，并且設(shè)在這個(gè)H空間中St為總體散度矩陣，為H空間中子空間Φt的正交補(bǔ)空間。由此可知，這個(gè)正交補(bǔ)空間為協(xié)方差矩陣的零空間，則式（22）成立：

由上式可知，假設(shè)?∈Φt，δ∈，φ∈H，則φ=?+δ成立，由于為協(xié)方差矩陣的零空間，則式（23）成立：

以西門子MM420變頻器為例，為使S7-200 PLC與MM420變頻器以USS協(xié)議通訊，需要對(duì)MM420變頻器做的參數(shù)設(shè)置如下[8]：

也就是等式Jφ(φ)=Jφ(?)成立，因此對(duì)于核化圖嵌入算法的目標(biāo)函數(shù)式（8）中為了不損失任何有效的鑒別信息，可以從?中選取鑒別矢量。將原始樣本轉(zhuǎn)換到總體散度矩陣對(duì)應(yīng)的秩空間，之后進(jìn)行核化圖操作，不影響鑒別信息的提取。因此，此種模型可以作為核典型相關(guān)分析的一種節(jié)省時(shí)間的快速求解方法。

4.3 KGE/CCA-St算法描述

根據(jù)KGE/CCA-St算法理論的具體推導(dǎo)過程，可以得到KGE/CCA-St算法的結(jié)構(gòu)圖如圖1所示。

Fig.1 Steps of KGE/CCA-St圖1 KGE/CCA-St算法步驟圖

人臉圖像的正確分類識(shí)別需要完成三部分的工作：采集人臉圖像數(shù)據(jù)、特征提取和人臉識(shí)別。本文提出的快速求解方法的核典型相關(guān)分析算法（KGE/ CCA-St）的人臉識(shí)別流程如下：

5 實(shí)驗(yàn)結(jié)果與分析

選擇在Yale和JAFFE標(biāo)準(zhǔn)的人臉庫上進(jìn)行仿真實(shí)驗(yàn)，采用高斯核函數(shù)k(x,y)=exp(||x-y||2σ)，σ= 5.5E+7。

（1）對(duì)基于核方法的4種降維算法，如KFD、KLPP、KNPE算法，與KGE/CCA算法進(jìn)行比較實(shí)驗(yàn)，驗(yàn)證KGE/CCA算法的有效性。

（2）驗(yàn)證KGE/CCA算法和KGE/CCA-St算法的識(shí)別率的等效性。

首先在Yale標(biāo)準(zhǔn)人臉庫上，在每個(gè)人臉類別里選擇4幅圖像作為實(shí)驗(yàn)的訓(xùn)練樣本集，將其他的作為測(cè)試樣本集。而在JAFFE人臉表情庫上，每個(gè)人臉類別隨機(jī)抽取5幅圖像作為訓(xùn)練樣本集，其他剩余的人臉圖像將作為測(cè)試樣本集。通過這兩個(gè)人臉庫的實(shí)驗(yàn)，考查KFD、KLPP、KNPE、KGE/CCA這4種算法的識(shí)別率隨著特征維數(shù)的變化情況，結(jié)果如圖2所示。

Fig.2 Comparison of recognition rate of 4 algorithms on different feature dimensions圖2 不同特征維數(shù)下4種算法的識(shí)別率比較

由圖2可知，在Yale人臉庫中訓(xùn)練樣本數(shù)為4時(shí)，本文KGE/CCA算法在特征維數(shù)為30時(shí)，識(shí)別率達(dá)到最高的78.7%，且算法的最高識(shí)別率相對(duì)其他3種算法的識(shí)別率都有較明顯提高。在特征維數(shù)為20時(shí)，4種算法的識(shí)別率基本差不多，特征維數(shù)大于20之后，KGE/CCA算法表現(xiàn)出了優(yōu)越性。在JAFFE人臉庫的實(shí)驗(yàn)中，KGE/CCA算法在特征維數(shù)為35時(shí)，識(shí)別率達(dá)到最高的87.1%。本次實(shí)驗(yàn)結(jié)果圖（b）較實(shí)驗(yàn)結(jié)果圖（a）中的點(diǎn)相對(duì)稀疏，也就是說算法間的識(shí)別率差別較明顯。這是由于JAFFE人臉庫是一個(gè)表情變化較大的表情庫，充分驗(yàn)證了本文提出的KGE/ CCA算法對(duì)于表情復(fù)雜的情況識(shí)別率較理想。KLPP、KNPE兩種算法的圖線波動(dòng)變化不大，總體識(shí)別率較接近，而KGE/CCA較其他3種算法都有很明顯的優(yōu)勢(shì)。

5.2 識(shí)別率與訓(xùn)練樣本數(shù)的關(guān)系

分別在Yale和JAFFE標(biāo)準(zhǔn)的人臉庫上做實(shí)驗(yàn)，考查4種識(shí)別算法在選擇不同的訓(xùn)練樣本個(gè)數(shù)i(i=2, 3,4)時(shí)，識(shí)別精度的變化范圍。對(duì)實(shí)驗(yàn)所選的訓(xùn)練樣本數(shù)組都重復(fù)實(shí)驗(yàn)10次，4種算法的識(shí)別率隨不同訓(xùn)練樣本數(shù)變化的情況如表1和表2所示。

Table 1 Recognition rate comparison on Yale face database with different methods表1 在Yale人臉庫中不同算法的識(shí)別率對(duì)比

Table 2 Recognition rate comparison on JAFFE face database with different methods表2 在JAFFE人臉庫中不同算法的識(shí)別率對(duì)比

由表1可知，在取樣本數(shù)為2、3、4時(shí)，各算法間識(shí)別率差別不大，但是由識(shí)別率后面的數(shù)字可知，各算法在重復(fù)進(jìn)行實(shí)驗(yàn)時(shí)，識(shí)別率波動(dòng)范圍較大。在不同的訓(xùn)練樣本數(shù)下，KGE/CCA算法都較其他3種算法有明顯的優(yōu)越性。

由表2可得，4種算法在訓(xùn)練樣本數(shù)較低的情況下的識(shí)別性能與較高時(shí)的識(shí)別性能差別較大，在取不同的訓(xùn)練樣本數(shù)重復(fù)進(jìn)行實(shí)驗(yàn)時(shí)，由識(shí)別率后面的數(shù)字可知，較上次實(shí)驗(yàn)中，波動(dòng)范圍較小，也就是算法的穩(wěn)定性較高。無論訓(xùn)練樣本個(gè)數(shù)選擇多少，KGE/CCA算法的識(shí)別性能都明顯高于其他3種算法。

5.3 KGE/CCA-St和KGE/CCA識(shí)別時(shí)間和識(shí)別率的比較

由于本文在核化圖嵌入之前進(jìn)行了降維處理，對(duì)于KGE/CCA算法整體引進(jìn)了一種核化圖嵌入算法的高效求解方法，引入求解模型的算法記為KGE/ CCA-St。對(duì)KGE/CCA-St和KGE/CCA算法的計(jì)算時(shí)間做了對(duì)比。首先在Yale標(biāo)準(zhǔn)人臉庫上對(duì)每個(gè)不同的類別隨機(jī)分別選擇4幅圖像作為實(shí)驗(yàn)的訓(xùn)練樣本集，將其他的作為測(cè)試樣本集。而在JAFFE人臉表情庫上每個(gè)人臉類別隨機(jī)抽取7幅圖像作為訓(xùn)練樣本集，其他剩余的人臉圖像作為測(cè)試樣本集。每次實(shí)驗(yàn)獨(dú)立重復(fù)10次。表3為KGE/CCA-St和KGE/ CCA算法不同樣本下計(jì)算時(shí)間的比較。

Table 3 Comparison of computing time between KGE/CCA-Stand KGE/CCA表3 KGE/CCA-St和KGE/CCA計(jì)算時(shí)間的比較

由表3的結(jié)果可以看出，本文KGE/CCA-St算法有效減少了計(jì)算時(shí)間，提升了計(jì)算速度，隨著樣本數(shù)的增加，計(jì)算過程所減少的時(shí)間占比也呈增加趨勢(shì)。本實(shí)驗(yàn)中，樣本數(shù)為4時(shí)，已經(jīng)比KGE/CCA算法的時(shí)間減少了將近1/2，而樣本數(shù)為7時(shí)，時(shí)間減少了將近2/3。

6 結(jié)束語

本文綜合考慮核化圖算法與典型相關(guān)分析算法的優(yōu)點(diǎn)，結(jié)合核化圖的一種高效求解方法，提出了一種基于核化圖高效求解方法的核典型相關(guān)分析算法。一方面解決了人臉圖像數(shù)據(jù)因光照、姿態(tài)、表情等原因引起的線性不可分的問題，找出了樣本數(shù)據(jù)之間的相關(guān)關(guān)系，去除了冗余信息，同時(shí)在考慮樣本零空間的基礎(chǔ)上，充分挖掘了非零空間的鑒別信息；另一方面，核化圖嵌入算法高效求解方法的引入，解決了計(jì)算量大和存儲(chǔ)空間大的問題。實(shí)驗(yàn)結(jié)果證明了KGE/CCA-St算法具有較好的識(shí)別率和較低的運(yùn)行時(shí)間。然而，本文在識(shí)別分類階段，采用的是最簡(jiǎn)單的最近鄰分類器，分類規(guī)則過于簡(jiǎn)單，在進(jìn)一步的研究中，可以考慮其他分類器，或者加一些限制分類規(guī)則，從而取得更高的識(shí)別率。

[1]Wang Mingjun.Study of face recognition algorithm based on compressive sensing[D].Xi'an:Xidian University,2012.

[2]Worley B,Halouska S,Powers R.Utilities for quantifying separation in PCA/PLS-DA scores plots[J].Analytical Biochemistry,2013,433(2):102-104.

[3]Belhumeur P N,Hespanha J P,Kriegman D J.Eigenfaces vs.Fisherfaces:recognition using class specific linear projection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1997,19(7):711-720.

[4]Hou Shudong,Sun Quansen.Sparsity preserving canonical correlation analysis with application in feature fusion[J]. ActaAutomatica Sinica,2012,38(4):659-665.

[5]Liu Fumin,Zhang Zhibin,Shen Jiquan.Emotion recognition based on multi-features fused by kernel canonical correlation analysis[J].Computer Engineering and Applications,2014,50(9):193-196.

[6]Zhao Jianhua,Wang Shunfang,Zhang Feilong.Face recognition study with combination-kernel-based KPCA[J].Computer Engineering and Design,2014,35(2):631-635.

[7]Lu Guifu,Lin Zhong,Jin Zhong.Uncorrelated kernel extension of graph embedding[J].Journal of Image and Graphics, 2011,16(4):618-624.

[8]Mika S,Ratsch G,Weston J,et al.Fisher discriminant analysis with kernels[C]//Proceedings of the 1999 IEEE Signal Processing Society Workshop,Neural Networks for Signal Processing IX,Aug 25,1999.Piscataway,USA:IEEE,1999: 41-48.

[9]Feng Guiyu,Hu Dewen,Zhang D,et al.An alternative formulation of kernel LPP with application to image recognition[J].Neurocomputing,2006,69(13):1733-1738.

[10]Lin Yu'e,Li Jingzhao,Liang Xingzhu,et al.Fast model for extension of graph embedding[J].Application Research of Computers,2012,29(12):4758-4760.

[11]Han P Y,Jin A T B,Kar A T.Kernel discriminant embedding in face recognition[J].Journal of Visual Communication and Image Representation,2011,22(7):634-642.

[12]Hu Haifeng,Zhang Ping,Ma Zhengming.Direct kernel neighborhood discriminant analysis for face recognition[J]. Pattern Recognition Letters,2009,30(10):902-907．

[13]Zhang Jianming,Yang Lirui,Wang Liangmin.Facial expression recognition based on hybrid features fused by CCA[J]. ComputerApplications,2008,28(3):643-647.

[14]Zhao Song,Zhang Zhijian,Zhang Peiren.Enhanced CCAand its applications in feature fusion of face recognition[J]. Journal of Ccomputer-Aided Design&Computer Graphics, 2009,21(3):394-399.

[15]Sun Quansen,Zeng Shenggen,Yang Maolong,et al.Combined feature extraction based on canonical correlation analysis and face recognition[J].Journal of Computer Research and Development,2005,42(4):614-621.

[16]Cheng Weiyue,Lin Kezheng,Liu Shuai,et al.Locally maintaining projection of typical correlation analysis[J].Joural of Harbin University of Science and Technology,2013,18 (5):65-69.

[17]Lu Guifu,Lin Zhong,Jin Zhong.Optimal discriminant analysis based on kernel extension of graph embedding and face recognition[J].Journal of Software,2011,22(7):1561-1570.

附中文參考文獻(xiàn)：

[1]王明軍.基于壓縮感知人臉識(shí)別算法研究[D].西安:西安電子科技大學(xué),2012.

[4]侯書東,孫權(quán)森.稀疏保持典型相關(guān)分析及在特征融合中的應(yīng)用[J].自動(dòng)化學(xué)報(bào),2012,38(4):659-665.

[5]劉付民,張治斌,沈記全.核典型相關(guān)分析算法的多特征融合情感識(shí)別[J].計(jì)算機(jī)工程與應(yīng)用,2014,50(9):193-197.

[6]趙劍華,王順芳,張飛龍.基于組合核函數(shù)KPCA的人臉識(shí)別研究[J].計(jì)算機(jī)工程與設(shè)計(jì),2014,35(2):631-635.

[7]盧桂馥,林忠,金忠.具有統(tǒng)計(jì)不相關(guān)性的核化圖嵌入算法[J].中國圖象圖形學(xué)報(bào),2011,16(4):618-624.

[10]林玉娥,李敬兆,梁興柱,等.一種核化圖嵌入算法的快速求解模型[J].計(jì)算機(jī)應(yīng)用研究,2012,29(12):4758-4760.

[13]張建明,楊麗瑞,王良民.基于典型相關(guān)分析特征融合的人臉表情識(shí)別方法[J].計(jì)算機(jī)應(yīng)用,2008,28(3):643-647.

[14]趙松,張志堅(jiān),張培仁.增強(qiáng)的典型相關(guān)分析及其在人臉識(shí)別特征融合中的應(yīng)用[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2009,21(3):394-399.

[15]孫權(quán)森,曾生根,楊茂龍,等.基于典型相關(guān)分析的組合特征抽取及臉像鑒別[J].計(jì)算機(jī)研究與發(fā)展,2005,42(4): 614-621.

[16]程衛(wèi)月,林克正,劉帥,等.典型相關(guān)分析的局部保持投影算法[J].哈爾濱理工大學(xué)學(xué)報(bào),2013,18(5):65-69.

[17]盧桂馥,林忠,金忠.基于核化圖的最佳鑒別分析與人臉識(shí)別[J].軟件學(xué)報(bào),2011,22(7):1561-1570.

LIN Kezheng was born in 1962.He received the Ph.D.degree in control theory and control engineering from Harbin Engineering University in 2001.Now he is a professor and M.S.supervisor at Harbin University of Science and Technology.His research interests include image processing,machine vision and pattern recognition,etc.

林克正（1962—），男，山東蓬萊人，2001年于哈爾濱工程大學(xué)控制理論與控制工程專業(yè)獲得博士學(xué)位，現(xiàn)為哈爾濱理工大學(xué)教授、碩士生導(dǎo)師，主要研究領(lǐng)域?yàn)閳D像處理，機(jī)器視覺，模式識(shí)別等。發(fā)表學(xué)術(shù)論文70余篇，主持完成了黑龍江省教育廳科研基金項(xiàng)目，承擔(dān)過國家科技攻關(guān)項(xiàng)目。

WANG Haiyan was born in 1988.She is an M.S.candidate at Harbin University of Science and Technology.Her research interests include image processing and pattern recognition,etc.

王海燕（1988—），女，黑龍江齊齊哈爾人，哈爾濱理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)碩士研究生，主要研究領(lǐng)域?yàn)閳D像處理，模式識(shí)別等。

LI Ao was born in 1986.He received the Ph.D.degree in communication and information systems from Harbin Engineering University in 2014.Now he is a lecturer at Harbin University of Science and Technology.His research interests include sparse representation,image restoration and computer vision,etc.

李驁（1986—），男，黑龍江哈爾濱人，2014年于哈爾濱工程大學(xué)通信與信息系統(tǒng)專業(yè)獲得博士學(xué)位，現(xiàn)為哈爾濱理工大學(xué)講師，主要研究領(lǐng)域?yàn)橄∈璞硎荆瑘D像復(fù)原，計(jì)算機(jī)視覺等。主持國家自然科學(xué)基金1項(xiàng)、黑龍江省自然科學(xué)基金1項(xiàng)，參與船舶工業(yè)國防科技預(yù)研項(xiàng)目1項(xiàng)，發(fā)表學(xué)術(shù)論文10余篇，授權(quán)發(fā)明專利1項(xiàng)。

RONG Youhu was born in 1989.He is an M.S.candidate at Harbin University of Science and Technology.His research interests include image processing and pattern recognition,etc.

榮友湖（1989—），男，江西萍鄉(xiāng)人，哈爾濱理工大學(xué)計(jì)算機(jī)應(yīng)用技術(shù)專業(yè)碩士研究生，主要研究領(lǐng)域?yàn)閳D像處理，模式識(shí)別等。

Kernel Canonical CorrelationAnalysis Based on Solving Method with High Efficiency*

LIN Kezheng+,WANG Haiyan,LIAo,RONG Youhu
School of Computer Science and Technology,Harbin University of Science and Technology,Harbin 150080,China
+Corresponding author:E-mail:link@hrbust.edu.cn

Aiming at the problem of the complexity of high dimensional small sample data during the process of KGE (kernel extension of graph embedding),by a fast calculation model based on KGE,this paper proposes a new KGE/ CCA algorithm(KGE/CCA-St)which can reduce the computational complexity of kernel matrix.Firstly,sample data are projected into corresponding rank space of total scatter matrix in which the dimension is far lower than that in original sample space.Then,kernel canonical correlation analysis is used for feature extraction,the calculation of kernel matrix is decreased in this process.Through the simulation experiments on Yale face database and JAFFE face database,the results show that the recognition rate of the KGE/CCA algorithms is significantly better than that of KFD, KLPP and KNPE algorithms.Compared with the traditional KGE/CCA algorithm,KGE/CCA-Stcan effectively reduce the computation time without affecting the recognition rate.

kernel extension of graph;canonical correlation analysis;dimension reducing processing;scatter matrix

10.3778/j.issn.1673-9418.1512064

A

TP391.4

*The National Natural Science Foundation of China under Grant No.61501147(國家自然科學(xué)基金);the Natural Science Foundation of Heilongjiang Province under Grant No.F2015040(黑龍江省自然科學(xué)基金).

Received 2015-12,Accepted 2016-04.

CNKI網(wǎng)絡(luò)優(yōu)先出版:2016-04-08,http://www.cnki.net/kcms/detail/11.5602.TP.20160408.1642.004.html

LIN Kezheng,WANG Haiyan,LI Ao,et al.Kernel canonical correlation analysis based on solving method with high efficiency.Journal of Frontiers of Computer Science and Technology,2017,11(2)：286-293.