喬 慧，周水生

西安電子科技大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，西安710126

主成分分析（PCA）[1]是常見的降維方法并且廣泛應(yīng)用于人臉識(shí)別領(lǐng)域。PCA 的目的是尋找方差最大的低維數(shù)據(jù)。但在人臉識(shí)別問(wèn)題中，PCA首先需要將二維圖像矩陣逐行或逐列排列成高維向量，這在一定程度上破壞了圖像的二維結(jié)構(gòu)以及圖像的鄰域結(jié)構(gòu)信息。并且當(dāng)樣本數(shù)目相對(duì)較小且圖像分辨率高時(shí)，重新排列導(dǎo)致訓(xùn)練樣本維數(shù)過(guò)高，協(xié)方差矩陣過(guò)大，求解困難。為解決這一問(wèn)題，Yang等[2]提出了二維主成分分析（2DPCA），此方法不需要將矩陣重新排列成向量，而是直接將圖像矩陣并排，這樣大大降低了圖像協(xié)方差矩陣的規(guī)模，同時(shí)也較好地保留了圖像的二維信息。2DPCA在圖像處理領(lǐng)域具有廣泛的應(yīng)用[3-4]。

PCA和2DPCA都基于最小化L2范數(shù)平方之和，但在出現(xiàn)離群點(diǎn)時(shí)L2范數(shù)平方會(huì)使得實(shí)際投影方向偏離實(shí)際值，所以其魯棒性較差。為提升魯棒性，L1范數(shù)被用來(lái)代替L2范數(shù)，Ke和Kanade[5]提出L1-PCA并廣泛地應(yīng)用[6]，通過(guò)最小化L1范數(shù)來(lái)得到投影矩陣。在此基礎(chǔ)上，Wang 等[7]又提出了2DPCA-L1，能夠很好地利用圖像的空間結(jié)構(gòu)。但L1范數(shù)的一個(gè)缺點(diǎn)是它不具有旋轉(zhuǎn)不變性[8]，而旋轉(zhuǎn)不變性有助于避免算法的性能下降。基于這一問(wèn)題，Wang 等[9]提出的F2DPCA，最小化重建誤差的F范數(shù)，使得算法具有旋轉(zhuǎn)不變性。但基于F范數(shù)的情形下，最小化重構(gòu)誤差不等價(jià)于方差的最大化。為了克服這一缺點(diǎn)，Gao 等[10]提出了角度2DPCA 方法，由于其本質(zhì)是極小化角度的正切值，本文稱之為Tan-2DPCA，該方法使用F 范數(shù)作為距離度量，最小化重構(gòu)誤差和方差之間的關(guān)系，不僅具有較強(qiáng)的魯棒性，而且還具有旋轉(zhuǎn)不變性。受到角度概念的啟發(fā)，Zhou等[11]提出了Sin-2DPCA，將重構(gòu)誤差與樣本之間的關(guān)系集成到目標(biāo)函數(shù)中，從而更好地解釋了角度的概念。實(shí)驗(yàn)結(jié)果表明，Sin-2DPCA 與Tan-2DPCA 具有相近的性能，都具有較強(qiáng)的抗噪性。

雖然上述的主成分分析方法都可以有效降低數(shù)據(jù)的維數(shù)，同時(shí)具有一定的抗噪性能，但它們都是提取圖像的線性數(shù)據(jù)特征，而人臉圖像中往往含有非線性特征。針對(duì)非線性問(wèn)題，Sch?lkopf 等[12]和Zheng等[13]提出了KPCA，其主要思想是通過(guò)非線性映射將樣本數(shù)據(jù)從輸入空間映射到Hilbert空間，然后在該特征空間中應(yīng)用PCA。不可避免地，KPCA還需要將二維圖像矩陣轉(zhuǎn)換成一維向量，因此Nhat等[14]提出了一種基于核的2DPCA方法（K2DPCA），該方法直接基于輸入圖像矩陣提取非線性主成分，其原理是將圖像矩陣并排放置形成一個(gè)較大矩陣，將此矩陣的行或列作為樣本并且非線性地映射到希爾伯特空間，然后應(yīng)用PCA 方法。KPCA 和K2DPCA在非線性空間具有良好的性能，但仍存在以下兩個(gè)缺點(diǎn)。一是魯棒性不夠強(qiáng)，KPCA基本保持了傳統(tǒng)PCA 噪聲的敏感性[15]。為緩解KPCA 中噪聲敏感性問(wèn)題，Xiao等[16]提出基于L1范數(shù)的KPCA優(yōu)化問(wèn)題，將L1范數(shù)引入KPCA。二是由于K2DPCA 中核矩陣的大小是圖像樣本的數(shù)量與行數(shù)或列數(shù)的乘積，因此其計(jì)算復(fù)雜度和存儲(chǔ)復(fù)雜度顯著增加。為降低復(fù)雜度，Sun 等[17]和Eftekhari等[18]對(duì)核矩陣進(jìn)行了劃分，將大的核矩陣分成若干小矩陣，通過(guò)計(jì)算多個(gè)小矩陣的特征向量得到投影矩陣。但求若干個(gè)小矩陣特征向量的整個(gè)過(guò)程仍然很復(fù)雜，無(wú)法完全解決大存儲(chǔ)復(fù)雜度的問(wèn)題。尤其是當(dāng)訓(xùn)練樣本較大時(shí)，小的核矩陣的數(shù)量增加，特征向量的計(jì)算耗時(shí)也很大。Wang等[19]研究了圖像矩陣的矢量和矩陣混合表示方法，以降低核矩陣的大小。然而，這些方法可以減小核矩陣的大小，但在某種程度上破壞了圖像的二維空間結(jié)構(gòu)，當(dāng)訓(xùn)練樣本很大時(shí)，核矩陣的規(guī)模巨大，將核矩陣分成若干小矩陣的數(shù)量很大，這些方法并不能有效地降低核矩陣的規(guī)模。

本文針對(duì)KPCA 的魯棒性以及算法的計(jì)算和存儲(chǔ)復(fù)雜度作了研究。首先，結(jié)合角度2DPCA[10-11]魯棒的優(yōu)勢(shì)，將角度的概念推廣到非線性空間，提出Sin-K2DPCA。其次，針對(duì)Sin-K2DPCA計(jì)算復(fù)雜、存儲(chǔ)復(fù)雜，提出基于Cholesky 分解的Chol+SinK2DPCA 以降低計(jì)算和存儲(chǔ)復(fù)雜度。最后，給出實(shí)驗(yàn)結(jié)果及分析，并做出總結(jié)。

1 相關(guān)算法

本章簡(jiǎn)要介紹相關(guān)的主成分分析算法，包括PCA[1]、KPCA[12]、2DPCA、K2DPCA[14]和角度2DPCA[10-11]。

1.1 PCA與KPCA

假設(shè)有m個(gè)樣本X=[x1,x2,…,xm]，xi∈?n，將樣本中心化后（仍記為xi），PCA 和KPCA 都是通過(guò)求解式（1）中的模型，從而得到投影矩陣W=[w1,w2,…,wp]，其中wi是具有最大方差的正交特征向量：

在KPCA中，St=K，其中K為核矩陣并滿足Kij=k(xi,xj)=φ(xi)Tφ(xj)，φ為從?n→?f的非線性映射，計(jì)算K的前p個(gè)最大特征值對(duì)應(yīng)的特征向量得到投影矩陣W，從而任一樣本x降維得到y(tǒng)=WTKx，其中Kx=[k(x1,x),k(x2,x),…,k(xm,x)]T。

1.2 2DPCA與K2DPCA

設(shè)m個(gè)訓(xùn)練樣本圖像[A1,A2,…,Am]，Ai∈?s×t。2DPCA 通過(guò)求解式（2）中的模型得到投影矩陣R=[r1,r2,…,rp]，其中r1,r2,…,rp是正交的：

在2DPCA中，式（2）的最優(yōu)解R通過(guò)計(jì)算協(xié)方差矩陣的前p個(gè)最大特征值對(duì)應(yīng)的特征向量得到，從而對(duì)樣本Ai降維可得Yi=AiR,Yi∈?s×p。令Ei=Ai-AiRRT為第i個(gè)訓(xùn)練樣本的重構(gòu)誤差，則。因此，模型（2）等價(jià)于式（3）：

在K2DPCA 中，首先將m個(gè)訓(xùn)練樣本按行排列為A=[A1,A2,…,Am]∈?s×mt，其次，將通過(guò)映射ψ：?s×t→?s×f投影到高維希爾伯特空間?s×f得到，進(jìn)而得到核矩陣K，最后求K的前p個(gè)最大特征值對(duì)應(yīng)的特征向量得到投影矩陣（其本質(zhì)上相當(dāng)于對(duì)A的每一行或列執(zhí)行KPCA），從而對(duì)樣本Ai降維得Yi=AiR,Yi∈?s×p。

1.3 角度2DPCA

2DPCA采用平方F范數(shù)作為距離度量，因此對(duì)異常值敏感，當(dāng)存在異常值時(shí)導(dǎo)致解的偏差。為了提高2DPCA的魯棒性和保持旋轉(zhuǎn)不變性，通過(guò)最小化F范數(shù)度量下的重構(gòu)誤差與方差之間的比，提出了一個(gè)角度2DPCA。它的優(yōu)化模型如下：

稱這個(gè)模型為Tan-2DPCA，在式（4）中目標(biāo)函數(shù)是樣本與其方差?yuàn)A角的正切值。

隨后，基于相對(duì)重構(gòu)誤差的幾何解釋，通過(guò)最小化重構(gòu)誤差與樣本的比值，提出了Sin-2DPCA[7]，模型如下：

對(duì)于問(wèn)題（4）和（5），沒(méi)有封閉解，文獻(xiàn)[10]中采用迭代算法求解。當(dāng)重構(gòu)誤差與樣本之間的角度α較小時(shí)，有sinα≈tanα，所以Sin-2DPCA算法性能與Tan-2DPCA相似，較2DPCA、L1-2DPCA魯棒性強(qiáng)，但算法收斂性仍是待解決的問(wèn)題。Sin-2DPCA增強(qiáng)角度2DPCA的幾何解釋，降低了計(jì)算復(fù)雜度，節(jié)省了訓(xùn)練時(shí)間。與2DPCA相比，Tan-2DPCA 和Sin-2DPCA 具有兩個(gè)優(yōu)點(diǎn)。一是在F 范數(shù)下度量重構(gòu)誤差，當(dāng)存在異常值時(shí)，實(shí)際特征偏離較小且具有旋轉(zhuǎn)不變性，因此它提高了魯棒性。二是角度2DPCA 的目標(biāo)函數(shù)同時(shí)考慮重建誤差和方差，從而捕獲更有效的人臉圖像信息進(jìn)而提高識(shí)別率。但Sin-2DPCA優(yōu)化了角度的幾何解釋，最小化重構(gòu)誤差與樣本的比值，比Tan-2DPCA的計(jì)算更簡(jiǎn)便。

2 非線性角度主成分分析

基于Sin-2DPCA在線性空間中良好的魯棒性，本文將此推廣到非線性情形并對(duì)計(jì)算復(fù)雜度作出研究。由于非線性二維主成分分析的本質(zhì)是將圖像樣本按行或列排列后形成大的矩陣，再以其行或列作為樣本執(zhí)行KPCA。因此，首先研究非線性一維角度主成分分析（Sin-KPCA），再推導(dǎo)得到非線性二維角度主成分分析（Sin-K2DPCA），最后研究Sin-K2DPCA 的計(jì)算復(fù)雜問(wèn)題，提出基于Cholesky 分解[15]的Sin-K2DPCA（Chol+SinK2DPCA）。

2.1 Sin-KPCA

為了將“角度”概念引入非線性空間，首先研究線性角度PCA（Sin-PCA），其模型為：

根據(jù)F范數(shù)與矩陣的跡的關(guān)系，有如下等價(jià)關(guān)系：

據(jù)文獻(xiàn)[10]中定理2，將式（8）中的G(Wt)TWt奇異值分解為QΣRT，其中Σ為對(duì)角陣，從而得到最優(yōu)解是Wt+1=QRT。

非線性情形下，將任一向量xi通過(guò)非線性映射φ：?n→?f，映射到高維特征空間?f，引入核矩陣K為Kij=k(xi,xj)=φ(xi)Tφ(xi) ，則非線性角度PCA，即Sin-KPCA模型為：

算法1給出Sin-KPCA的求解步驟。

算法1 Sin-KPCA

輸入：{x1,x2,…,xm},xi∈?n，誤差上界ε；

初始化投影矩陣Ut0，滿足(Ut0)TUt0=Ip,t0=0。

1. 計(jì)算核矩陣Kij=k(xi,xj)=φ(xi)Tφ(xj),i,j=1,2,…,m并中心化K；

3. SVD分解G(Ut)Ut=QΛRT得到Ut+1=QRT；

4. 若‖Ut-Ut-1‖F(xiàn) ＞ε,則令t←t+1，返回2；

5. 否則停止迭代，輸出投影矩陣U；

6. 將U帶入計(jì)算Wφ,則任一樣本x將通過(guò)(Wφ)Tφ(x)=UKx,Kx=[k(x1,x),k(x2,x),…,k(xm,x)]投影到低維特征空間。

2.2 Sin-K2DPCA

Sin-KPCA 算法進(jìn)行人臉識(shí)別時(shí)，需要將二維圖像矩陣重新排列成向量，破壞了圖像的二維結(jié)構(gòu)，根據(jù)文獻(xiàn)[14]提出的K2DPCA算法，K2DPCA的本質(zhì)是在所有圖像樣本按行或列排列成大的矩陣后，以大矩陣的列或行作為訓(xùn)練樣本來(lái)執(zhí)行KPCA。因此，Sin-K2DPCA 同樣可經(jīng)過(guò)Sin-KPCA 得到，具體模型為式（11）。與Sin-KPCA不同的是，式（11）中的K是將圖像按行或列排列后得到的核矩陣，U是通過(guò)求解新的關(guān)于核矩陣K的極小化問(wèn)題對(duì)應(yīng)的解。

給定訓(xùn)練樣本圖像A=[A1,A2,…,Am] ，將Ai∈?s×t通過(guò)非線性映射ψ:?s×t→?s×f映射到高維空間?s×f中，令為矩陣A的第j行，j=1,2,…,s,則：

其中，φ是與2.1 節(jié)中相同的映射。令i=1,2,…,m,j=1,2,…,s,l=s(i-1)+j是第i個(gè)樣本圖像矩陣的j行的轉(zhuǎn)置。從而得到核矩陣K∈?ms×ms由Kij=k(zi,zj)=φ(zi)Tφ(zi),i,j=1,2,…,ms構(gòu)成。進(jìn)一步，以K的每一行或列作為樣本執(zhí)行Sin-KPCA。

與Sin-KPCA 不同的是，Sin-K2DPCA 中核矩陣維數(shù)是訓(xùn)練樣本的數(shù)量與樣本矩陣行或列的乘積，即ms×ms維或mt×mt維的。因此，當(dāng)訓(xùn)練樣本規(guī)模較大時(shí)，Sin-K2DPCA 在實(shí)際計(jì)算時(shí)核矩陣的規(guī)模會(huì)成倍增加，計(jì)算復(fù)雜且存儲(chǔ)困難，甚至?xí)^(guò)計(jì)算機(jī)負(fù)荷。為解決此問(wèn)題，下面提出Cholesky分解的方法避免計(jì)算整個(gè)核矩陣，減少計(jì)算量與存儲(chǔ)空間。

2.3 基于Cholesky分解的Sin-K2DPCA

為緩解Sin-K2DPCA 算法的計(jì)算復(fù)雜度和存儲(chǔ)復(fù)雜度較大這一問(wèn)題，本節(jié)基于Cholesky 分解的算法，將核矩陣低秩分解以便減少計(jì)算復(fù)雜度和存儲(chǔ)復(fù)雜度。通過(guò)使用Cholesky 分解方法，得到大規(guī)模核矩陣K的低秩近似。在整個(gè)低秩近似過(guò)程中，只需計(jì)算核矩陣的對(duì)角線元素和部分精選列，并僅需存儲(chǔ)低秩矩陣L，這降低了計(jì)算復(fù)雜度并節(jié)省了存儲(chǔ)空間。

當(dāng)有m個(gè)s×t維的訓(xùn)練樣本時(shí)，核矩陣是ms×ms或mt×mt維的，直接計(jì)算整個(gè)核矩陣計(jì)算復(fù)雜度過(guò)大。為避免這個(gè)問(wèn)題，采用選主元的Cholesky方法迭代確定基本集B?M:={1,2,…,m} ，從而得到近似矩陣T。迭代過(guò)程中，記第i次的迭代誤差為Ei=K-，將Ei對(duì)角線上最大元素的列號(hào)加入到基本集Bi中，從而得到Bi+1，進(jìn)一步構(gòu)造K的低秩近似矩陣,詳細(xì)見文獻(xiàn)[20]。這樣最大程度地極小化trace(Ei)，減小近似誤差，得到的近似矩陣是在跡范數(shù)意義下最優(yōu)的低秩近似。

通過(guò)選主元的Cholesky 分解方法，可以將Sin-K2DPCA中的核矩陣近似分解為K≈LLT,其中rank(K)=r(r?m),L∈?m×r。對(duì)近似核矩陣中心化為Kc=K-，其中1 ∈?M×M是分量全部為1 的矩陣，是以P的行均值向量為列排成的矩陣。在實(shí)際計(jì)算中，無(wú)需直接計(jì)算大規(guī)模的核矩陣，也不需要對(duì)K進(jìn)行SVD分解。記,可通過(guò)PTP來(lái)得到投影矩陣。事實(shí)上，將核矩陣低秩分解后等價(jià)于將Sin-K2DPCA轉(zhuǎn)化到線性空間中，用線性的辦法求解，這樣將減小了計(jì)算和存儲(chǔ)復(fù)雜度。

本節(jié)提出的基于選主元的Cholesky 分解的Sin-K2DPCA 算法，記為Chol+SinK2DPCA，具體如算法2所示。

該算法進(jìn)行Cholesky更新時(shí)計(jì)算復(fù)雜度為Ο(msr)，進(jìn)而奇異值分解時(shí)的計(jì)算復(fù)雜度為Ο(msr2)，故算法的總的計(jì)算復(fù)雜度為Ο(msr)+Ο(msr2)。與Sin-K2DPCA相比，此方法避免了計(jì)算整個(gè)核矩陣，只需計(jì)算低秩矩陣P，從而減小了計(jì)算量和存儲(chǔ)空間。因此Chol+SinK2DPCA 不僅提升了算法在核空間的魯棒性，而且降低了計(jì)算復(fù)雜度，能夠有效實(shí)現(xiàn)大規(guī)模數(shù)據(jù)的降維。

算法2 Chol+SinK2DPCA

輸入：{A1,A2,…,Am},Ai∈?s×t,誤差上界ε,低秩上界r。

初始化投影矩陣Ut0，滿足(Ut0)TUt0=Ip,t0=0；

1. Cholesky分解核矩陣得到低秩近似并中心化K≈PPT；

3. SVD分解G(Ut)Ut=QΛRT得到Ut+1=QRT；

5. 否則停止迭代，輸出投影矩陣U。

3 實(shí)驗(yàn)結(jié)果及分析

本章通過(guò)實(shí)驗(yàn)對(duì)KPCA、K2DPCA 和提出的方法Sin-K2DPCA、Chol+SinK2DPCA進(jìn)行比較，所有算法都用MATLAB2017a 實(shí)現(xiàn)，并在CPUi7-4790、3.60 GHz 和8 GB RAM 的計(jì)算機(jī)上運(yùn)行。為更好地發(fā)揮線性核與高斯核的優(yōu)點(diǎn)，本實(shí)驗(yàn)采用線性與高斯相結(jié)合的核函數(shù)。對(duì)于所有人臉識(shí)別實(shí)驗(yàn)，使用基于歐氏距離的1-NN算法來(lái)分類。

3.1 ORL數(shù)據(jù)庫(kù)

本實(shí)驗(yàn)比較了KPCA、K2DPCA、Sin-K2DPCA 和Chol+SinK2DPCA 在ORL 標(biāo)準(zhǔn)人臉數(shù)據(jù)庫(kù)中的性能。參數(shù)選擇不是本文研究的重點(diǎn)，因此核參數(shù)的確定采用簡(jiǎn)單的網(wǎng)格方法，即為不同的方法選擇集合{2-12,2-11,…,21}中性能最好的參數(shù)。對(duì)該數(shù)據(jù)庫(kù)，KPCA 采用γ=2-6，所有非線性二維主成分分析采用γ=2-1。

ORL數(shù)據(jù)庫(kù)包含40個(gè)人，每人有10幅不同的圖像，部分圖像是在不同時(shí)間拍攝的，包括不同的燈光、面部表情（睜/閉眼、微笑/不笑）和面部細(xì)節(jié)（眼鏡/不戴眼鏡），在本實(shí)驗(yàn)中所有灰度圖像分辨率為48×48。隨機(jī)選取10%的圖像，將其用矩形遮擋，形成方塊噪聲。噪聲是灰度噪聲圖像，像素在0到255之間隨機(jī)生成，噪聲大小為圖像大小的5%～15%，加噪后的部分圖像如圖1所示。隨機(jī)選取50%的圖像進(jìn)行訓(xùn)練，其余的進(jìn)行測(cè)試，即每次實(shí)驗(yàn)訓(xùn)練圖像200張，測(cè)試圖像200張。

圖1 ORL數(shù)據(jù)庫(kù)的原始圖像與加噪圖像

考慮到Cholesky分解算法中參數(shù)r的選取，一般不需要直到滿足trace(K-LLT)≤ε終止，通常采用核矩陣低秩逼近的秩r終止分解方法。通常情形下，參數(shù)r=20。對(duì)KPCA、K2DPCA、Sin-K2DPCA和Chol+SinK2DPCA，實(shí)驗(yàn)分析了主成分個(gè)數(shù)p的變化對(duì)測(cè)試識(shí)別精度的影響以及最好識(shí)別精度的訓(xùn)練時(shí)間，實(shí)驗(yàn)結(jié)果如圖2 和表1所示。

圖2 加噪的ORL數(shù)據(jù)集上測(cè)試識(shí)別率

表1 ORL數(shù)據(jù)集上測(cè)試識(shí)別率比較

圖2表示在加噪聲的ORL數(shù)據(jù)集中，測(cè)試識(shí)別率隨主成分個(gè)數(shù)的變化情況。由圖2 可以看出，K2DPCA、Sin-K2DPCA與Chol+SinK2DPCA算法明顯優(yōu)于KPCA算法。隨著主成分個(gè)數(shù)p的增加，K2DPCA、Sin-K2DPCA與Chol+SinK2DPCA的識(shí)別率均逐漸增大，當(dāng)主成分個(gè)數(shù)p=25 時(shí)趨于穩(wěn)定。而KPCA 的識(shí)別率還有上升的趨勢(shì)，下文的實(shí)驗(yàn)中將KPCA的主成分個(gè)數(shù)取更大的值p=100，從而得到KPCA 的最高識(shí)別精度。通過(guò)對(duì)比，可以看出角度的主成分分析方法有較好的抗噪效果，并且Cholesky 分解的Sin-K2DPCA 方法的識(shí)別精度是最高的?？赡苁且?yàn)樵谶x主元的過(guò)程中，增強(qiáng)了抗噪性。

在表1中，列出由KPCA、K2DPCA、Sin-K2DPCA和Chol+SinK2DPCA 算法在原始（無(wú)噪聲）數(shù)據(jù)集和噪聲數(shù)據(jù)集上的平均識(shí)別精度（實(shí)驗(yàn)10次的平均值）以及均方差，給出了原始數(shù)據(jù)集和噪聲數(shù)據(jù)集上識(shí)別精度的差異，最后一列給出了算法在取得最好識(shí)別精度時(shí)的訓(xùn)練時(shí)間。

由表1 可得，在原始數(shù)據(jù)集上，這三種算法的差異可以忽略不計(jì)，而在噪聲數(shù)據(jù)集上，Sin-K2DPCA 與基于Cholesky 分解的Sin-K2DPCA 方法明顯優(yōu)于KPCA和K2DPCA。這是因?yàn)榻嵌菿2DPCA 模型最小化了相對(duì)重構(gòu)誤差，并且采用F 范數(shù)作為距離度量，這不僅對(duì)異常值具有較強(qiáng)的魯棒性，還保留了旋轉(zhuǎn)不變性。此外，第三列數(shù)值表明，所有算法的性能都受到噪聲的影響，而Chol+SinK2DPCA方法是所有比較算法中最好的一種，具有最高的精度和最小的減小量。由最后一列知，在識(shí)別精度提高的情況下，Chol+SinK2DPCA 的訓(xùn)練時(shí)間與Sin-K2DPCA 相比縮短了近一半。由于將核矩陣進(jìn)行選主元的Cholesky 分解成K≈PPT，在進(jìn)行SVD求解時(shí)，避免了計(jì)算整個(gè)核矩陣，只需對(duì)分解的矩陣P做運(yùn)算即可，此時(shí)的計(jì)算復(fù)雜度為Ο(9 600×202)，這樣大大減小了計(jì)算復(fù)雜度，從而縮短了訓(xùn)練時(shí)間。

3.2 Yale數(shù)據(jù)庫(kù)

為了進(jìn)一步研究所提出算法的性能，在Yale數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)，該數(shù)據(jù)集包含了15 個(gè)個(gè)體的GIF 格式的165張灰度圖像。每人有11個(gè)圖像，且有不同的面部表情或光照。實(shí)驗(yàn)中，每張灰度圖像的分辨率為48×48。本實(shí)驗(yàn)中，KPCA 的核參數(shù)為γ=2-6，所有K2DPCA 核參數(shù)為γ=2-3。

將樣本隨機(jī)添加如實(shí)驗(yàn)3.1 中加入隨機(jī)矩陣噪聲，示例如圖3。隨機(jī)選取每人的6 張圖像作為訓(xùn)練樣本，剩余的5張作為測(cè)試，即每次實(shí)驗(yàn)有90個(gè)訓(xùn)練圖像和75個(gè)測(cè)試圖像。實(shí)驗(yàn)結(jié)果如圖4和表2。

圖3 Yale數(shù)據(jù)庫(kù)原始圖像和加噪圖像

圖4 加噪聲的Yale數(shù)據(jù)集的測(cè)試精度

表2 加噪聲的Yale數(shù)據(jù)集的測(cè)試精度比較

表2 為四種方法在Yale 數(shù)據(jù)庫(kù)上的識(shí)別率和訓(xùn)練時(shí)間的比較（所有結(jié)果都是10次隨機(jī)測(cè)試的平均值）。

圖4 再次支持了前面的實(shí)驗(yàn)結(jié)果，在此數(shù)據(jù)集中，Chol+SinK2DPCA的性能要比其他算法的好。由表2可知，在抗噪性較好的同時(shí)，Chol+SinK2DPCA 的計(jì)算速度為Sin-K2DPCA的一半。

3.3 Extended YaleB數(shù)據(jù)庫(kù)

最后選取Extended YaleB 大型人臉數(shù)據(jù)庫(kù)，說(shuō)明Chol+SinK2DPCA 方法對(duì)大規(guī)模數(shù)據(jù)的有效性。本實(shí)驗(yàn)中，KPCA 的核參數(shù)為γ=2-6，所有K2DPCA 核參數(shù)為γ=2-3。

Extended YaleB 數(shù)據(jù)庫(kù)由2 414 張正面圖像組成，這些圖像是從38 個(gè)不同光照的個(gè)體中采樣的，每人有64 幅圖像。在該數(shù)據(jù)庫(kù)中，每張圖像被調(diào)整為48×42像素。在實(shí)驗(yàn)中隨機(jī)選擇每人5張圖像，添加方形遮擋的，噪聲的位置是隨機(jī)的，噪聲大小與圖像大小的比值為0.05～0.15，如圖5。在實(shí)驗(yàn)中，隨機(jī)選擇每個(gè)人的25 幅圖像進(jìn)行訓(xùn)練，其余圖像進(jìn)行測(cè)試。此時(shí)，訓(xùn)練樣本總數(shù)為950（38×25），KPCA需要計(jì)算核矩陣的維數(shù)是950×950，K2DPCA 需要計(jì)算的核矩陣維數(shù)45 600×45 600，這超出了實(shí)驗(yàn)所用電腦的計(jì)算和存儲(chǔ)能力，但采用Cholesky 分解的Sin-K2DPCA 方法可以有效實(shí)現(xiàn)。本實(shí)驗(yàn)仍然采用線性與高斯結(jié)合的核函數(shù)。

圖5 Extended YaleB原始圖像和加噪圖像

由圖6 可以看出，在加噪聲和干凈數(shù)據(jù)上，Chol+SinK2DPCA的識(shí)別精度相差1.22%，這表明該方法具有良好的抗噪性能。同時(shí)，由于不必計(jì)算整個(gè)核矩陣，而是將其分解減小了計(jì)算機(jī)的存儲(chǔ)空間以及計(jì)算復(fù)雜度，克服了原始K2DPCA算法不能識(shí)別大規(guī)模樣本的缺點(diǎn)。

圖6 測(cè)試識(shí)別率隨主成分個(gè)數(shù)的變化

以上實(shí)驗(yàn)結(jié)果充分體現(xiàn)了Sin-K2DPCA 與Chol+SinK2DPCA 的優(yōu)越性。主要原因是，在角度K2DPCA中，基于F 范數(shù)最小化重構(gòu)誤差，使得在異常值對(duì)結(jié)果的影響變小，在ORL 與Yale 數(shù)據(jù)庫(kù)中，角度2DPCA 方法的魯棒性明顯提升。此外，對(duì)大規(guī)模的核矩陣選主元的Cholesky 分解，不需計(jì)算整個(gè)核矩陣，只需計(jì)算與存儲(chǔ)低秩近似的矩陣，大大減小了計(jì)算復(fù)雜度和存儲(chǔ)復(fù)雜度，在Extend YaleB數(shù)據(jù)集中解決了原始方法由于核矩陣過(guò)大而不能運(yùn)行的問(wèn)題。

4 結(jié)束語(yǔ)

本文首先提出了一種新的K2DPCA算法，將核空間中的相對(duì)重構(gòu)誤差降到最小，提高了K2DPCA的魯棒性。在此基礎(chǔ)上，提出了Chol+SinK2DPCA算法。該算法降低了計(jì)算復(fù)雜度，對(duì)孤立點(diǎn)的魯棒性優(yōu)于Sin-K2DPCA和K2DPCA。對(duì)于大型數(shù)據(jù)集，Chol+SinK2DPCA 克服了由于計(jì)算量大K2DPCA 不能實(shí)現(xiàn)的問(wèn)題。同時(shí)對(duì)部分人臉數(shù)據(jù)庫(kù)的實(shí)驗(yàn)結(jié)果表明，該算法對(duì)小規(guī)模訓(xùn)練集具有較強(qiáng)的魯棒性。