顧高升，葛洪偉,2+，周夢(mèng)璇

1.江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無(wú)錫 214122

2.江南大學(xué) 輕工過(guò)程先進(jìn)控制教育部重點(diǎn)實(shí)驗(yàn)室，江蘇 無(wú)錫 214122

基于廣義均值的魯棒典型相關(guān)分析算法*

顧高升1，葛洪偉1,2+，周夢(mèng)璇1

1.江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無(wú)錫 214122

2.江南大學(xué) 輕工過(guò)程先進(jìn)控制教育部重點(diǎn)實(shí)驗(yàn)室，江蘇 無(wú)錫 214122

+Corresponding autho author:r:E-mail:ghw8601@163.com

GU Gaosheng,GE Hongwei,ZHOU Mengxuan.Robust canonical correlation analysis based on generalized mean.Journalof Frontiersof Computer Science and Technology,2017,11(7)：1140-1149.

廣義均值；均方誤差；典型相關(guān)分析；魯棒性；魯棒典型相關(guān)分析

1 引言

典型相關(guān)分析（canonical correlation analysis，CCA）[1]是一種研究同一對(duì)象兩組變量之間相關(guān)性的多元統(tǒng)計(jì)方法，可用于數(shù)據(jù)的特征抽取、降維和可視化。與單模態(tài)的主成分分析（principal component analysis，PCA）[2]不同，CCA更適用于多模態(tài)數(shù)據(jù)[3]的特征抽取與融合。CCA通過(guò)最大化不同模態(tài)間的相關(guān)性，消除數(shù)據(jù)間的冗余信息，提取重要特征，強(qiáng)化后續(xù)學(xué)習(xí)（如分類）任務(wù)的性能。近年來(lái)，CCA及其衍生模型成功應(yīng)用于人臉識(shí)別、氣象分析、生物信息融合和社會(huì)科學(xué)等領(lǐng)域。但CCA本質(zhì)上是一種線性子空間的學(xué)習(xí)方法，其學(xué)習(xí)到的是一種全局線性情況下的線性特征。對(duì)于非線性的場(chǎng)景，CCA學(xué)習(xí)往往導(dǎo)致欠學(xué)習(xí)的結(jié)果。為此，Akaho[4]結(jié)合核技術(shù)提出了核CCA（kernel CCA，KCCA），克服了CCA在非線性情況下的不足。2000年，Roweis等人[5]提出了局部線性嵌入（local linear embedding，LLE）的非線性降維方法，流形學(xué)習(xí)（manifold learning，ML）從此得到深入的研究。Sun等人[6]引入流形學(xué)習(xí)中局部保持投影（locality preserving projection，LPP）[7]的思想，保留數(shù)據(jù)中的流形結(jié)構(gòu)信息，提出了一種局部保持的CCA（locality preserving CCA，LPCCA），大大拓展了CCA在非線性情況下的應(yīng)用。盡管如此，CCA、KCCA和LPCCA都是基于歐氏距離的方法，從多元線性回歸分析的角度看，它們的目標(biāo)優(yōu)化函數(shù)都是基于L2范數(shù)的最小均方誤差（mean square error，MSE），并且算法都未考慮樣本集中的野值點(diǎn)對(duì)目標(biāo)優(yōu)化函數(shù)的影響。然而，在現(xiàn)實(shí)場(chǎng)景中，野值點(diǎn)普遍存在于觀測(cè)的數(shù)據(jù)集中。研究表明[8]，采用L2范數(shù)的MSE的歐式距離方法對(duì)于野值點(diǎn)都存在著非魯棒性。因此，文獻(xiàn)[9]利用核誘導(dǎo)距離替換基于L2范數(shù)的歐式距離，提出基于核誘導(dǎo)的CCA（CCA based on kernelinducedmeasure，KI-CCA）。KI-CCA用核誘導(dǎo)距離代替原始的歐式距離，減小了MSE中野值點(diǎn)的權(quán)重，達(dá)到抑制野值點(diǎn)的作用，增強(qiáng)算法的魯棒性。但與CCA、KCCA和LPCCA類似，KI-CCA最終轉(zhuǎn)化為廣義特征值求解，在高維小樣本[10-11]情況下，其樣本協(xié)方差矩陣極可能奇異，這對(duì)算法的魯棒性帶來(lái)影響。為克服高維小樣本問(wèn)題，樣本一般要進(jìn)行預(yù)處理，即利用PCA提取主要信息，降低維度，以達(dá)到樣本協(xié)方差矩陣可逆的目的，但PCA不能確保提取出充足的信息，因此PCA+CCA并不能保證算法的有效性。為了既解決高維小樣本問(wèn)題，又能使算法給出完整的特征信息，文獻(xiàn)[10]提出了一種完備的CCA（complete CCA，C3A）。實(shí)驗(yàn)結(jié)果[10]顯示，C3A能夠完整地保留CCA的相關(guān)信息和投影方向，提高算法的穩(wěn)定性。另外，An等人[11]的魯棒CCA（robustCCA，ROCCA）用可行的近似矩陣替換原來(lái)奇異的樣本協(xié)方差矩陣來(lái)解決高維小樣本問(wèn)題，在身份識(shí)別實(shí)驗(yàn)[11]中取得良好的效果。然而，C3A和ROCCA解決了高維小樣本導(dǎo)致樣本協(xié)方差矩陣奇異的問(wèn)題，卻未考慮樣本中野值點(diǎn)對(duì)算法魯棒性的影響。

廣義均值（generalizedmean，GM）[12]是算術(shù)平均值的推廣形式。通過(guò)調(diào)節(jié)GM的p值可以表現(xiàn)出多種數(shù)據(jù)的中心。文獻(xiàn)[13]結(jié)合廣義均值提出了一種新穎的有偏鑒別分析（biased discrim inantanalysis usinggeneralized mean，BDAGM），增強(qiáng)正向樣本的作用，抑制野值點(diǎn)的干擾。人臉實(shí)驗(yàn)證明[13]，GM增強(qiáng)了算法的魯棒性，算法性能得到了提升。

為克服CCA的非魯棒性，提高算法的性能，本文將GM引進(jìn)CCA中，修改傳統(tǒng)CCA準(zhǔn)則函數(shù)的MSE，提出一種新的具有魯棒性的CCA（CCA based on generalizedmean，GMCCA）。GMCCA具有如下的優(yōu)點(diǎn)：

（1）通過(guò)廣義均值抑制野值點(diǎn)對(duì)準(zhǔn)則函數(shù)的影響；

（2）通過(guò)迭代求解的方法避免了高維小樣本問(wèn)題導(dǎo)致樣本協(xié)方差矩陣奇異的問(wèn)題，而且具有較快的收斂速度。

2 典型相關(guān)分析

其中，X=(x1,x2,…,xN),Y=(y1,y2,…,yN)；(·)T表示向量或者矩陣的轉(zhuǎn)置，下同。從多元線性回歸的角度分析，式（1）可以轉(zhuǎn)化為下面的極小值優(yōu)化問(wèn)題[14]：

根據(jù)文獻(xiàn)[15]，CCA的求解一般可以轉(zhuǎn)化為對(duì)應(yīng)的廣義特征值問(wèn)題，如下所示：

令 Sxx=XXT,Syy=YYT,Sxy=XYT,Syx=YXT。式（3）可以表示成如下的兩個(gè)廣義特征值問(wèn)題：

并且wx和wy具有如下的等式關(guān)系：

最后選取最大的前d個(gè)特征值所對(duì)應(yīng)的特征向量組合成兩組投影集

3 廣義均值

假設(shè) p≠0，對(duì)于一個(gè)標(biāo)量數(shù)據(jù)集{ai＞0,i=1,2,…,N}的廣義均值MG[12]定義如下：

可以看出算術(shù)平均值、幾何平均值和調(diào)和平均值是廣義平均值分別取p=1,p→0,p=-1時(shí)的特例。而且數(shù)據(jù)集{ai}中的最大值和最小值分別在p→+∞和p→-∞時(shí)獲得?？梢宰⒁獾?，隨著 p增大（減小），數(shù)據(jù)集{ai}中的較小（較大）數(shù)對(duì)廣義均值MG的作用越大。由此，可以通過(guò)控制p值來(lái)調(diào)整數(shù)據(jù)集{ai}中各數(shù)對(duì)MG的影響。受此啟發(fā)，可以用廣義均值的這種特性來(lái)控制野值點(diǎn)對(duì)結(jié)果的影響。

進(jìn)一步分析，文獻(xiàn)[14]指出，廣義均值MG中的可以由數(shù)據(jù)集{ai}的一組非負(fù)的線性組合表示：

bi可以看成ai的權(quán)重，即ai對(duì)GM的貢獻(xiàn)值。當(dāng)p＜1時(shí)，隨著 ai越大，bi越小，意味著當(dāng) p＜1時(shí)，廣義均值MG受{ai}中較小值的影響較大，并且p越小，影響越大。廣義均值的這種性質(zhì)在GMCCA抑制野值點(diǎn)的影響中起到主要作用。

4 基于廣義均值的典型相關(guān)分析

對(duì)于一組已中心化的樣本集

相對(duì)于正向樣本，野值點(diǎn)的e(Wx,Wy)較大。因此，為得到魯棒性的效果，野值點(diǎn)e(Wx,Wy)對(duì)準(zhǔn)則函數(shù)的影響應(yīng)盡量小，而突出正向樣本的相關(guān)誤差所帶來(lái)的影響。從多元線性回歸的角度，根據(jù)廣義均值的思想，本文提出如下GMCCA的準(zhǔn)則函數(shù)JG(Wx,Wy)：

根據(jù)式（6）中 p值的討論，當(dāng) p＜1時(shí)，可抑制野值點(diǎn)對(duì)JG(Wx,Wy)的影響。因此，本文只考慮 p＜1的情況。根據(jù)式（7），GMCCA的投影集Wx和Wy可通過(guò)如下的極小值優(yōu)化問(wèn)題求得：

其中，|·|是絕對(duì)值函數(shù)，保證αi的非負(fù)性。由此可以看出GMCCA魯棒性的本質(zhì)：當(dāng) p＜1時(shí)，αi的值隨相對(duì)誤差增大而減小，因此對(duì)于投影空間中相關(guān)誤差較大的樣本點(diǎn)，即野值點(diǎn)，賦予了較小的權(quán)重，抑制野值點(diǎn)對(duì)準(zhǔn)則函數(shù)的不良影響，增強(qiáng)算法的魯棒性。

絕對(duì)值函數(shù)導(dǎo)致式（9）不能通過(guò)普通的求導(dǎo)方法求解Wx和Wy。本文采用一種線性迭代方法求解式（9）。假設(shè)第t次迭代得到的Wx和Wy分別為和，首先固定可以通過(guò)如下的極小值問(wèn)題求得：

對(duì)上式的具體求解如下：

從上述的分析來(lái)看，GMCCA不同于傳統(tǒng)的CCA，其求解的兩組特征投影集是分開(kāi)獲得的，Wx和Wy并無(wú)CCA中的等式關(guān)系。Wx和Wy分別是樣本集X和Y的加權(quán)協(xié)方差最大的d個(gè)特征值對(duì)應(yīng)的正交特征向量集。而且整個(gè)求解過(guò)程并不涉及對(duì)樣本集X和Y的協(xié)方差矩陣的求逆。因此，GMCCA避免了在傳統(tǒng)CCA中高維小樣本引起樣本協(xié)方差矩陣奇異的問(wèn)題。

因?yàn)閃x和Wy的初始值會(huì)影響迭代的次數(shù)和結(jié)果，所以本文選取傳統(tǒng)CCA訓(xùn)練出來(lái)的和初始化Wx和Wy。本文的實(shí)驗(yàn)顯示，和初始化的Wx和Wy能使算法獲得良好的結(jié)果。GMCCA算法具體如下：

1.t=0,

2.Whilet＜T

3.根據(jù)式（10），迭代t1次求得穩(wěn)定的

4.根據(jù)式（11），迭代t2次求得穩(wěn)定的

5.t←t+1

6.End

5 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證GMCCA的有效性，本文在多特征手寫(xiě)體數(shù)據(jù)庫(kù)（multiple feature database，MFD，http://archive.ics.uci.edu/m l/datasets/Multiple+Features）、人臉數(shù)據(jù)庫(kù)（ORL，http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.htm l）和對(duì)象特征數(shù)據(jù)庫(kù)（COIL-20，http://www.cs.columbia.edu/CAVE/software/softlib/coil-20.php）3個(gè)真實(shí)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，并與PCA、CCA、ROCCA、C3A和KI-CCA進(jìn)行對(duì)比。ROCCA通過(guò)構(gòu)建近似矩陣代替樣本協(xié)方差矩陣，消除高維小樣本問(wèn)題，通過(guò)身份識(shí)別[13]的實(shí)驗(yàn)驗(yàn)證了ROCCA的有效性。C3A克服了PCA+CCA可能丟失信息的問(wèn)題，提取出更加完備的典型相關(guān)特征。ROCCA用核誘導(dǎo)距離代替?zhèn)鹘y(tǒng)CCA的歐氏距離，提高了算法魯棒性。

在本文所有實(shí)驗(yàn)中，GMCCA的p設(shè)置為0.1，t1、t2和T分別設(shè)置為10、10和20。PCA需要將兩組特征首尾相連以形成新的高維特征向量，然后用PCA進(jìn)行特征提取，CCA、ROCCA、C3A、KI-CCA和GMCCA提取特征后通過(guò)串聯(lián)的方式，即將兩組降維后的特征首尾相連地串接在一起進(jìn)行識(shí)別分析。分類器采用最近鄰分類器。本文采用測(cè)試樣本的分類識(shí)別率來(lái)評(píng)價(jià)算法的性能。識(shí)別率在0～100%之間，識(shí)別率越高，該算法較其他算法越優(yōu)秀；識(shí)別率越穩(wěn)定，該算法較其他算法性能越好。

5.1 多特征手寫(xiě)體實(shí)驗(yàn)

本實(shí)驗(yàn)用多特征手寫(xiě)體數(shù)據(jù)庫(kù)測(cè)試GMCCA的性能。該數(shù)據(jù)庫(kù)包含0～9共10個(gè)數(shù)字的6個(gè)特征數(shù)據(jù)集，每類200個(gè)樣本，共2 000個(gè)樣本。從二值化手寫(xiě)體數(shù)字圖像中抽取6個(gè)特征，包括傅里葉系數(shù)、輪廓相關(guān)特征、Karhunen-Loève展開(kāi)特征、像素平均、Zernike矩和形態(tài)學(xué)特征，其對(duì)應(yīng)的特征名稱和維數(shù)分別為（fou，76）、（fac，216）、（kar，64）、（pix，240）、（zer，47）和（mor，6）。在此數(shù)據(jù)庫(kù)上，任選2組特征作為輸入，共有15種組合方式。對(duì)于每個(gè)特征組合，從每類中隨機(jī)選取100個(gè)樣本用于訓(xùn)練，剩下的100個(gè)樣本用于測(cè)試。

表1所示為6種算法在不同特征組合上的10次隨機(jī)實(shí)驗(yàn)的平均識(shí)別結(jié)果，每種算法中的最佳識(shí)別率用黑體表示，下同。此實(shí)驗(yàn)中，訓(xùn)練樣本每類都包含100個(gè)訓(xùn)練樣本，說(shuō)明樣本采集充足，樣本包含野值點(diǎn)的可能性也將增大。因此，GMCCA能比PCA、CCA、ROCCA和C3A提取出更加魯棒的特征，而KICCA的核誘導(dǎo)距離采用的是高斯核，對(duì)于15種特征組合并不一定都適應(yīng)，且KI-CCA計(jì)算時(shí)采用了泰勒展開(kāi)式近似，丟失了一部分信息，這些不足之處將會(huì)導(dǎo)致KI-CCA算法的不穩(wěn)定性。表1的結(jié)果驗(yàn)證了上述的推論，在絕大多數(shù)的組合中GMCCA算法的平均識(shí)別率優(yōu)于其他算法，且明顯高于CCA的識(shí)別效果。此外，15種組合的平均識(shí)別率也高于其他算法。這些結(jié)果驗(yàn)證了GMCCA的有效性。在fou-pix、kar-pix、mor-pix和mor-zer組合中，GMCCA的識(shí)別率略低于其他某一算法，雖然GMCCA的識(shí)別率仍高于CCA，但也表示GMCCA在一些特征組合中仍有不足之處。

Table1 Recognition ratesof6 algorithmson MFD database表1 6種算法在M FD數(shù)據(jù)庫(kù)上的識(shí)別結(jié)果

5.2 ORL人臉數(shù)據(jù)庫(kù)

為了進(jìn)一步驗(yàn)證GMCCA的有效性，本實(shí)驗(yàn)選取人臉姿態(tài)變化較大的ORL數(shù)據(jù)庫(kù)，其包含40名志愿者的人臉圖像，每人10幅圖像，分別拍攝于不同時(shí)間和光照條件下，具有不同表情和面部細(xì)節(jié)，其深度旋轉(zhuǎn)和平面旋轉(zhuǎn)可達(dá)到20°，人臉的尺度也多達(dá)10°的變化。圖1顯示了該人臉數(shù)據(jù)庫(kù)中一個(gè)人的6幅圖像。

Fig.1 6 picturesofone person on ORL database圖1 ORL人臉數(shù)據(jù)庫(kù)中一個(gè)人的6幅圖像

實(shí)驗(yàn)從每個(gè)人的10幅圖像中隨機(jī)選取4、5、6、7或8幅圖像用于訓(xùn)練，其余用于測(cè)試；對(duì)每幅圖像抽取3組特征。其中，將原始圖像特征記為O；將原始圖像用局部二值模式（localbinary pattern，LBP）[16]提取后的特征記為L(zhǎng)；將原始圖像用方向梯度直方圖（histogram of oriented gradient，HOG）[17]提取后的特征記為H。LBP和HOG特征及其組合特征在人臉識(shí)別問(wèn)題上已被證明是有效的[18]。為盡量避免奇異性問(wèn)題，用PCA將上述3種特征約減至100維。

表2所示為6種算法在3種特征組合上的10次隨機(jī)實(shí)驗(yàn)的平均識(shí)別結(jié)果，“n”表示每類的訓(xùn)練樣本數(shù)，下同。ORL數(shù)據(jù)庫(kù)每類只包含10個(gè)樣本，因此此數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)極易導(dǎo)致奇異性問(wèn)題。而且從圖1中可以看出，每類中的面部旋轉(zhuǎn)尺度不大，圖像較為清晰，所帶來(lái)的噪聲信息較少，因此處理樣本協(xié)方差的奇異性的能力決定了算法的主要性能。從表2中可以看出，解決高維小樣本問(wèn)題的ROCCA、C3A和GMCCA明顯比PCA、CCA和KI-CCA的識(shí)別率高。另外，GMCCA求解的是樣本的加權(quán)協(xié)方差矩陣，比ROCCA和C3A求解的近似協(xié)方差矩陣和組合協(xié)方差矩陣更能保留樣本視圖之間的相關(guān)性，即相關(guān)性越強(qiáng)，對(duì)應(yīng)的相關(guān)誤差越小，權(quán)重越大。因此，GMCCA提取的特征更加具有魯棒性。表2的結(jié)果顯示，在絕大數(shù)的情況下，GMCCA的識(shí)別效果在3種不同組合下均優(yōu)于其他5種算法，并且比較所有組合的平均識(shí)別率，GMCCA也優(yōu)于其他5種算法。從表2中還可以看出，GMCCA的識(shí)別效果比傳統(tǒng)的CCA有較大提高，尤其當(dāng)訓(xùn)練樣本數(shù)較少時(shí)，如每類4個(gè)訓(xùn)練樣本。這些結(jié)果表明GMCCA提取的特征更具有魯棒性，驗(yàn)證了方法的有效性。表2中的結(jié)果也顯示，有4種情況，GMCCA的識(shí)別率略低于其他算法，但與最優(yōu)值十分接近。

Table2 Recognition ratesof 6 algorithmson ORL database表2 6種算法在ORL人臉數(shù)據(jù)庫(kù)上的識(shí)別結(jié)果

Fig.2 Recognition ratesof 5 canonical correlation algorithmsw ith changed dimensionson ORL database圖2 5種典型相關(guān)算法在ORL數(shù)據(jù)庫(kù)上隨維數(shù)變化的識(shí)別結(jié)果

再次選取ORL數(shù)據(jù)庫(kù)中每人的前4幅圖像進(jìn)行訓(xùn)練，剩余圖像用于測(cè)試。因?yàn)樵诒?中其他5種算法明顯優(yōu)于PCA，所以圖2顯示了5種典型相關(guān)算法在3種特征組合下隨維度變化的識(shí)別結(jié)果。正是由于GMCCA通過(guò)求解加權(quán)的樣本協(xié)方差矩陣，既避免了高維小樣本導(dǎo)致的樣本協(xié)方差矩陣奇異的問(wèn)題，又能保持樣本視圖之間的相關(guān)性。從圖2可以看出，GMCCA優(yōu)于其他4種算法，尤其在維數(shù)較少的情況下，GMCCA的識(shí)別率明顯高于其他算法。從算法的穩(wěn)定性角度，GMCCA也比其他4種算法要好。實(shí)驗(yàn)結(jié)果再次有效地驗(yàn)證了GMCCA的魯棒性。

5.3 COIL-20對(duì)象數(shù)據(jù)庫(kù)

COIL-20數(shù)據(jù)庫(kù)包含了20個(gè)對(duì)象的1 440幅灰度圖像，分別對(duì)每個(gè)對(duì)象從0°～360°進(jìn)行水平方向的旋轉(zhuǎn)，每5°采樣一幅圖像，每個(gè)對(duì)象共計(jì)采集72幅圖像。圖3顯示了數(shù)據(jù)庫(kù)中的20個(gè)對(duì)象，它們具有復(fù)雜的幾何特征。

Fig.3 20 objectpictures in COIL-20 database圖3 COIL-20中20個(gè)對(duì)象圖像

實(shí)驗(yàn)中，從每個(gè)對(duì)象的72幅圖像中隨機(jī)選取10、20、30、40和50幅圖像，剩下的圖像用于測(cè)試。獨(dú)立進(jìn)行10次隨機(jī)實(shí)驗(yàn)，然后計(jì)算其平均識(shí)別率。實(shí)驗(yàn)中對(duì)每幅圖像提取3組特征。本次實(shí)驗(yàn)仍將原始圖像特征記為O；原始圖像用LBP提取后的特征記為L(zhǎng)；將原始圖像用HOG提取后的特征記為H。執(zhí)行PCA將上述3種特征約減至50維。

表3顯示了6種算法在3種特征組合上的10次隨機(jī)實(shí)驗(yàn)的平均識(shí)別結(jié)果。從表3的實(shí)驗(yàn)結(jié)果可以看出，GMCCA明顯優(yōu)于傳統(tǒng)的CCA。因?yàn)镚MCCA不僅考慮到奇異性，而且通過(guò)廣義均值抑制了野值點(diǎn)對(duì)準(zhǔn)則函數(shù)的影響，提取出更加魯棒的特征，所以表3顯示在絕大部分情況下，GMCCA比ROCCA、C3A和KI-CCA效果好。而且在每類訓(xùn)練樣本較少的情況下，如10、20時(shí)，GMCCA的識(shí)別率明顯優(yōu)于其他算法。注意到表3中，CCA和C3A的識(shí)別率相當(dāng)，說(shuō)明此數(shù)據(jù)集在PCA提取特征降維后，CCA能夠提取出完備的特征信息，而GMCCA的識(shí)別率優(yōu)于CCA和C3A，也說(shuō)明GMCCA不僅提取出完備的特征信息，而且提取出的特征更加具有魯棒性。在表3中仍有兩種情況下，GMCCA的識(shí)別率比其他算法略低，但差異很小。并且從整體平均識(shí)別率來(lái)看，GMCCA優(yōu)于其他5種算法。這些實(shí)驗(yàn)結(jié)果驗(yàn)證了GMCCA的有效性和魯棒性。

再次選取COIL-20數(shù)據(jù)庫(kù)中每個(gè)對(duì)象的前25幅圖像進(jìn)行訓(xùn)練，剩余圖像用于測(cè)試，圖4顯示了5種算法在3種特征組合下隨維度變化的識(shí)別結(jié)果。從圖4中可以看出，GMCCA明顯優(yōu)于其他4種算法。GMCCA相比傳統(tǒng)的CCA，抑制了野值點(diǎn)的影響，識(shí)別率有了較大的提高。而且GMCCA基于廣義均值的MSE比KI-CCA基于核誘導(dǎo)的MSE更加具有魯棒性，識(shí)別率更高。從圖4中還可以看出，隨維數(shù)的增加，GMCCA的識(shí)別率比用于解決高維小樣本問(wèn)題的ROCCA和C3A更高，更加穩(wěn)定，這是由于GMCCA既抑制了野值點(diǎn)的影響，又充分保留了樣本視圖之間的相關(guān)性。圖4的結(jié)果也進(jìn)一步驗(yàn)證了圖2中得出的GMCCA在維數(shù)較少時(shí)識(shí)別率比其他算法更高的結(jié)論。這些結(jié)果說(shuō)明GMCCA提取的特征更加具有魯棒性。注意到，CCA和C3A的Dimension-Recognition Rate折線是重合的，驗(yàn)證了表3中CCA和C3A的識(shí)別率相當(dāng)?shù)慕Y(jié)論，說(shuō)明CCA可以從數(shù)據(jù)集中提取出完備的特征信息。這也側(cè)面反映了在CCA能夠提取完備信息的同時(shí)，GMCCA能抑制野值點(diǎn)的影響，提取出更加魯棒的特征。上述的實(shí)驗(yàn)結(jié)果進(jìn)一步驗(yàn)證了GMCCA的有效性和魯棒性。

Table3 Recognition ratesof6 algorithmson COIL-20 database表3 6種算法在COIL-20數(shù)據(jù)庫(kù)上的識(shí)別結(jié)果

5.4GMCCA的收斂性

GMCCA是通過(guò)線性迭代的方法獲得兩組穩(wěn)定的投影集Wx和Wy。為檢驗(yàn)GMCCA的收斂性，本節(jié)以O(shè)RL人臉數(shù)據(jù)庫(kù)中的O-L特征組合為代表進(jìn)行實(shí)驗(yàn)。從每類樣本中選取4幅圖像用于訓(xùn)練，其余的圖像用于測(cè)試，獨(dú)立進(jìn)行100次實(shí)驗(yàn)，取平均結(jié)果進(jìn)行分析。本節(jié)定義兩個(gè)矩陣A∈?m×n和B∈?m×n之間的均方誤差MSE(A,B)：

那么，Wx和Wy迭代第t次與第t-1次的迭代均方誤差分別為：

圖5顯示了前100次迭代Wx和Wy的平均迭代均方誤差圖。從圖5（a）中可以看出，Wx的100次平均迭代均方誤差在前10次迭代中能夠很快地降低，并且在第10次迭代之后，迭代均方誤差穩(wěn)定在一個(gè)很小的值2.226×10-8左右，此時(shí)能夠認(rèn)為Wx已經(jīng)收斂。從圖5（b）中可以看出，Wy的100次平均迭代均方誤差與Wx有類似的結(jié)果，迭代均方誤差在前10次迭代中能夠很快地降低，并且在第10次迭代之后，迭代均方誤差穩(wěn)定在一個(gè)很小的值1.483×10-9左右，此時(shí)能夠認(rèn)為Wy已經(jīng)收斂。綜上所述，GMCCA是收斂的算法，且具有很快的收斂速度，即Wx和Wy能夠在10次迭代后即可認(rèn)為已經(jīng)收斂。

Fig.4 Recognition ratesof5 canonical correlation algorithmsw ith changed dimensionson COIL-20 database圖4 5種典型相關(guān)算法在COIL-20數(shù)據(jù)庫(kù)上隨維數(shù)變化的識(shí)別結(jié)果

Fig.5 Average iterativeMSE ofGMCCAw ith changed iterationsunderO-L feature combination圖5 GMCCA在O-L特征組合下平均迭代M SE隨迭代次數(shù)的變化

圖6顯示了在100次獨(dú)立實(shí)驗(yàn)下，GMCCA的平均識(shí)別率隨迭代次數(shù)變化的圖像。從圖6的結(jié)果中可以看出，GMCCA的識(shí)別率在前10次迭代中得到快速提高，在10次迭代之后，識(shí)別率趨于穩(wěn)定的結(jié)果87.92%。此實(shí)驗(yàn)結(jié)果進(jìn)一步佐證了圖5的實(shí)驗(yàn)分析，驗(yàn)證了上述GMCCA的Wx和Wy在10次迭代之后達(dá)到收斂要求，算法可以認(rèn)為已經(jīng)收斂的結(jié)論。綜上所述，GMCCA是一種收斂的算法，并且具有較快的收斂速度，在10次迭代之后即可收斂，算法的識(shí)別率也隨著Wx和Wy的收斂趨于穩(wěn)定。上述的實(shí)驗(yàn)結(jié)果也驗(yàn)證了GMCCA的有效性。

6 結(jié)束語(yǔ)

本文在傳統(tǒng)CCA的基礎(chǔ)上基于廣義均值提出了魯棒典型相關(guān)分析GMCCA。從多元線性回歸分析的角度，GMCCA利用廣義均值修改了傳統(tǒng)的MSE，通過(guò)廣義均值調(diào)整野值點(diǎn)對(duì)準(zhǔn)則函數(shù)的權(quán)重，克服了CCA對(duì)野值點(diǎn)非魯棒性的限制。并且GMCCA徹底解決了高維小樣本問(wèn)題，提高了相關(guān)分析的性能。在MFD、ORL和COIL-20數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果也驗(yàn)證了GMCCA的有效性。但實(shí)驗(yàn)結(jié)果也顯示GMCCA仍有不足之處。下一步，將考慮把核技術(shù)引進(jìn)GMCCA，解決非線性問(wèn)題，提高算法的性能，并將GMCCA推廣至3個(gè)或更多視圖的學(xué)習(xí)中，實(shí)現(xiàn)多視圖下的非線性的魯棒信息融合。

[1]Hotelling H.Relationsbetween two setsof variates[J].Biometrika,1936,28(3/4):321-377.

[2]Jolliffe IT.Principal componentsanalysis[M].New York:Springer-Verlag,1986.

[3]Xu Yumeng,Wang Changdong,Lai Jianhuang.Weighted multi-view clusteringw ith feature selection[J].Pattern Recognition,2016,53:25-35.

[4]Akaho S.A kernelmethod for canonical correlation analysis[C]//Proceedings of the 2001 International Meeting of Psychometric Society,Osaka,Japan,Jul15-19,2001.

[5]Roweis S T,Saul L K.Nonlinear dimensionality reduction by locally linear embedding[J].Science,2000,290(5500):2323-2326.

[6]Sun Tingkai,Chen Songcan.Locality preserving CCA w ith applications to data visualization and pose estimation[J].Image Vision Computing,2007,25(5):531-543.

[7]He Xiaofei,Niyogi P.Locality preserving projections[C]//Advances in Neural Information Processing Systems 16,Vancouver,Canada,Dec 8-13,2003.Cambridge:M IT Press,2003:153-160.

[8]He Ran,Hu Baogang,ZhengWeishi,etal.Robustprincipal component analysis based onmaximum correntropy criterion[J].IEEE Transactions on Image Processing,2011,20(6):1485-1494.

[9]Ding Xin,Chen Xiaohong,Chen Songcan.Robust canonical correlation analysis based on kernel-induced measure[J].Journal of Frontiers of Computer Science and Technology,2012,6(8):708-716.

[10]Xing Xianglei,Wang Kejun,Yan Tao,etal.Complete canonical correlation analysis w ith application to multi-view gait recognition[J].Pattern Recognition,2016,50(C):107-117.

[11]An Le,Yang Songfan,Bhanu B.Person re-identification by robust canonical correlation analysis[J].IEEE Singal Processing Letters,2015,22(8):1103-1107.

[12]Bullen P.Handbook of means and their inequalities[M].Berlin:Springer,2003.

[13]Oh J,Kwak N,Lee M,et al.Generalized mean for feature extraction in one-class classification problems[J].Pattern Recognition,2013,46(12):3328-3340.

[14]Hoegaerts L,Suykens JA K,Vandewalle J.Subset based least squares subspace regression in RKHS[J].Neurocomputing,2005,63:293-323.

[15]Chen Songcan,Zhang Daoqiang.Robust image segmentation using FCM w ith spatial constraintsbased on new kernelinduced distance measure[J].IEEE Transactions on Systems,Man,and Cybernetics:Part B Cybernetics,2004,34(4):1907-1916.

[16]Ojala T,Pietikainen N,Harwood D.A comparative study of texturemeasures w ith classification based on featured distributions[J].Pattern Recognition,1996,29(1):51-59.

[17]Dalal N,Triggs B.Histograms of oriented gradients for human detection[C]//Proceedings of the 2005 Conference on Computer Vision and Pattern Recognition,San Diego,USA,Jun 20-26,2005.Piscataway,USA:IEEE,2005,1:886-893.

[18]Wan Yuan,LiHuanhuan,Wu Kefeng,etal.Fusionw ith layered featuresof LBPand HOG for face recognition[J].Journal of Computer-Aided Design&Computer Graphics,2015,27(4):640-650.

附中文參考文獻(xiàn)：

[9]丁鑫,陳曉紅,陳松燦.核誘導(dǎo)距離度量的魯棒典型相關(guān)分析[J].計(jì)算機(jī)科學(xué)與探索,2012,6(8):708-716.

[18]萬(wàn)源,李歡歡,吳克風(fēng),等.LBP和HOG的分層特征融合的人臉識(shí)別[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2015,27(4):640-650.

GU Gaosheng was born in 1992.He is an M.S.candidate at Jiangnan University.His research interests include pattern recognition andmachine learning.

顧高升（1992—），男，江蘇興化人，江南大學(xué)碩士研究生，主要研究領(lǐng)域?yàn)槟Ｊ阶R(shí)別，機(jī)器學(xué)習(xí)。

葛洪偉（1967—），男，江蘇無(wú)錫人，1992年于南京航空航天大學(xué)計(jì)算機(jī)系獲得碩士學(xué)位，2008年于江南大學(xué)信息學(xué)院獲得博士學(xué)位，現(xiàn)為江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院教授、博士生導(dǎo)師，主要研究領(lǐng)域?yàn)槿斯ぶ悄埽Ｊ阶R(shí)別，機(jī)器學(xué)習(xí)，圖像處理與分析。在國(guó)際權(quán)威期刊、會(huì)議和國(guó)內(nèi)核心期刊上發(fā)表論文70多篇，主持和承擔(dān)了國(guó)家自然科學(xué)基金等國(guó)家級(jí)項(xiàng)目和省部級(jí)項(xiàng)目近20項(xiàng)，獲省部級(jí)科技進(jìn)步獎(jiǎng)多項(xiàng)。

ZHOU Mengxuan was born in 1993.She is an M.S.candidate at Jiangnan University.Her research interests include pattern recognition and image processing.

周夢(mèng)璇（1993—），女，江蘇寶應(yīng)人，江南大學(xué)碩士研究生，主要研究領(lǐng)域?yàn)槟Ｊ阶R(shí)別，圖像處理。

Robust CanonicalCorrelation Analysis Based on Generalized M ean*

GUGaosheng1,GEHongwei1,2+,ZHOUMengxuan1
1.Schoolof Internetof Things Engineering,Jiangnan University,Wuxi,Jiangsu 214122,China
2.Key Laboratory of Advanced Process Control for Light Industry(M inistry of Education),Jiangnan University,Wuxi,Jiangsu 214122,China

Canonical correlation analysis(CCA)is amultivariate statisticalanalysismethod which aims atsearching for the linear correlation between two sets of variables of same object.And the criterion function based on L2 norm ofm inimum mean square error used in CCA results in robustness problem.Generalizedmean has been proved to be robust in theory,and has

validation in some applications,such as clustering,object recognition.This paper develops a robust CCA based on generalized mean(GMCCA),which successfully overcomes the drawback that CCA is sensitive to outliers.Themethod notonly inhibits the influence of outliers to achieve robust results,butalso avoids the problem of singular covariancematrix in smallsize of samples.Experimentsonmultiple feature database(MFD),face database(ORL)and objectdatabase(COIL-20)demonstrate theeffectivenessofGMCCA.

generalizedmean;mean squareerror;canonical correlation analysis;robustness;robustcanonicalcorrelation analysis

wasborn in 1967.He received the M.S.degree in computer science from Nanjing University of Aeronautics and Astronautics in 1992,and the Ph.D.degree in control engineering from Jiangnan University in 2008.Now he is a professor and Ph.D.supervisor at School of Internetof Things Engineering,Jiangnan University.His research interests include artificial intelligence,pattern recognition,machine learning,image processing and analysis.

A

：TP391.41

*The Research Innovation Program for College Graduates of Jiangsu Province underGrantNo.KYLX15_1169(江蘇省普通高校研究生科研創(chuàng)新計(jì)劃項(xiàng)目);the Priority Academ ic Program Developmentof Jiangsu Higher Education Institutions(江蘇高校優(yōu)勢(shì)學(xué)科建設(shè)工程資助項(xiàng)目).

Received 2016-05,Accepted 2016-07.

CNKI網(wǎng)絡(luò)優(yōu)先出版:2016-07-14,http://www.cnki.net/kcms/detail/11.5602.TP.20160714.1616.008.htm l

摘 要：典型相關(guān)分析（canonical correlation analysis，CCA）是一種尋求同一對(duì)象的兩組變量之間最大相關(guān)性的多元統(tǒng)計(jì)方法，其基于L2范數(shù)的最小均方誤差（mean square error，MSE）的準(zhǔn)則函數(shù)對(duì)于野值點(diǎn)非魯棒。廣義均值不僅在理論上被證明是魯棒的，而且在聚類和對(duì)象識(shí)別等應(yīng)用中獲得了有效性驗(yàn)證。將廣義均值應(yīng)用于CCA，提出了一種基于廣義均值的魯棒CCA（CCA based on generalized mean，GMCCA），成功克服了CCA對(duì)野值點(diǎn)敏感的不足。一方面，通過(guò)抑制野值點(diǎn)對(duì)準(zhǔn)則函數(shù)的影響，達(dá)到魯棒的效果。另一方面，GMCCA避免了高維小樣本導(dǎo)致協(xié)方差矩陣奇異的問(wèn)題。在多特征手寫(xiě)體數(shù)據(jù)庫(kù)（multiple feature database MFD）、人臉數(shù)據(jù)庫(kù)（ORL）和對(duì)象圖像數(shù)據(jù)庫(kù)（COIL-20）上的實(shí)驗(yàn)結(jié)果驗(yàn)證了該算法的有效性。