王肖鋒 陸程昊 酈金祥 劉軍

伴隨人工智能與模式識別的迅猛發(fā)展,從海量 高維數(shù)據(jù)中提取能夠有效表征事物或現(xiàn)象本質(zhì)屬性的特征是一件十分有意義的工作.主成分分析(Principal component analysis,PCA)[1]是一種常見的特征提取與數(shù)據(jù)降維方法,其目標是利用一組新的正交基向量去描述原始高維數(shù)據(jù),且滿足在投影后的子空間中數(shù)據(jù)方差最大,從而使得由投影方向構(gòu)成的低維特征空間能夠較好體現(xiàn)原高維數(shù)據(jù)的空間結(jié)構(gòu)信息.隨后,針對二維圖像矩陣的特征提取,相繼提出了二維主成分分析(Two-dimensional PCA,2DPCA)[2]、雙向二維主成分分析(Two-directional 2DPCA,(2D)2PCA)[3]、行列順序二維主成分分析(Sequential row-column 2DPCA,RC-2DPCA)[4]和對角線主成分分析(Diagonal PCA,Diagonal-PCA)[5].RC2DPCA 和(2D)2PCA 分別在行列兩個方向上實現(xiàn)了數(shù)據(jù)降維,而Diagonal-PCA 在對角線上進一步保留了數(shù)據(jù)行列間的相關(guān)性.近年來,相關(guān)PCA 研究已在人臉識別[6]、語音識別[7]、字符識別[8]及姿勢識別[9]等眾多領(lǐng)域得到廣泛應(yīng)用.

上述提及的PCA 方法均采用歐氏距離的平方作為目標函數(shù)的距離度量方式,對噪聲、離群數(shù)據(jù)或其他擾動較為敏感,重構(gòu)誤差很大,使得實際投影方向偏離了真實的投影方向,進而影響到算法的魯棒性.針對魯棒特征提取研究,主要有兩個思路:1)將高維數(shù)據(jù)P∈Rh×w分解成低秩結(jié)構(gòu)矩陣A和含噪稀疏矩陣E,考慮到優(yōu)化模型的凸松弛問題,得到優(yōu)化模型 m in‖A‖*+λ‖E‖1s.t.P=A+E,其各種求解算法均需進行奇異值分解,計算復(fù)雜度高.在處理海量高維數(shù)據(jù)時,其求解算法容易受到復(fù)雜度的制約[10-12];2)沿用PCA 投影方差最大的思路,在其目標函數(shù)中采用其他范數(shù)代替歐氏距離的平方進行距離度量,使得算法具有魯棒性.

L1范數(shù)被認為是基于投影距離進行魯棒降維的最有效手段[13-14].Kwak[15]提出了基于L1 范數(shù)的PCA-L1方法,試圖在投影子空間中尋求基于L1范數(shù)的最大投影距離,并采用了貪婪迭代求解算法,相較于歐氏距離平方的度量方式,該方法具有較強的魯棒性.Nie等[16]提出了基于PCA-L1的非貪婪迭代求解算法,且滿足基于L1范數(shù)的目標函數(shù)最優(yōu).針對L1范數(shù)在不同數(shù)據(jù)結(jié)構(gòu)相關(guān)信息進行正則化時所遇到的穩(wěn)定性問題,Lu等[17]提出了基于L1范數(shù)的自適應(yīng)正則化的PCA-L1/AR 方法,同時考慮了魯棒性及數(shù)據(jù)的相關(guān)性.Wang[18]和Li等[19]針對塊主成分分析(Block PCA,BPCA)分別提出了基于L1范數(shù)的BPCA-L1方法的貪婪求解和非貪婪求解算法.為了更有效表征數(shù)據(jù)空間結(jié)構(gòu),如同將PCA 擴展到2DPCA[2]一樣,Li等[20]和Wang等[21]則將PCA-L1延伸到2DPCA-L1,分別提出了2DPCAL1的貪婪求解和非貪婪求解算法.Wang等[22]結(jié)合2DPCA-L1的魯棒性和稀疏誘導回歸模型,提出了具有稀疏約束的2DPCA-L1-S 方法.Pang等[23]和Zhao等[24]則進一步將PCA-L1推廣到基于L1范數(shù)的魯棒張量子空間學習.考慮到L1范數(shù)和L2范數(shù)均為Lp范數(shù)的特例,相繼提出了PCA-Lp[25]、LpSPCA[26]和G2DPCA-Lp[27].所有的上述魯棒降維方法均尋求在不同范數(shù)下樣本投影距離最大的目標優(yōu)化問題,但其原始圖像與重構(gòu)圖像之間的重構(gòu)誤差并未優(yōu)化,且失去了PCA 和2DPCA 原歐氏距離平方中L2范數(shù)的旋轉(zhuǎn)方差屬性.

為了更有效獲得旋轉(zhuǎn)方差屬性,Li等[28]則用F范數(shù)替代2DPCA的平方 F 范數(shù),作為距離度量方式構(gòu)建目標函數(shù).與現(xiàn)有2DPCA-L1相比,基于F范數(shù)的2DPCA 不僅對離群數(shù)據(jù)具有較強的魯棒性,還能很好揭示其旋轉(zhuǎn)不變性的幾何結(jié)構(gòu).Wang等[29]提出了 F 范數(shù)最小化的最優(yōu)均值2DPCA(OMF-2DPCA),空間屬性維度的距離采用 F 范數(shù)度量,而不同數(shù)據(jù)點求和則采用L1范數(shù)度量.上述方法利用F范數(shù)度量重構(gòu)誤差[29]或者子空間下投影距離[28],其重構(gòu)誤差最小并不等效于投影距離最大,因此,需考慮同時將重構(gòu)誤差與數(shù)據(jù)投影距離兩者集成到目標函數(shù)中.為此,Gao等[30]提出了Angle-2DPCA方法,采用 F 范數(shù)作為目標函數(shù)的距離度量方式,通過最小化重構(gòu)誤差與投影距離的比率獲得最優(yōu)的投影矩陣,實現(xiàn)了在投影距離最大的基礎(chǔ)上使其重構(gòu)誤差盡可能小.但Angle-2DPCA 直接針對數(shù)據(jù)矩陣進行降維,忽略了矩陣行列之間的異常信息,其魯棒性受到了一定程度的限制.

本文借鑒前人研究成果,提出一種基于廣義余弦模型的二維主成分分析,并給出其迭代貪婪的求解算法.本文結(jié)構(gòu)如下:第1 節(jié)對相關(guān)目標函數(shù)的優(yōu)化問題進行分析,給出了廣義余弦模型的目標函數(shù);第2 節(jié)提出GC2DPCA的求解算法并進行理論分析;第3 節(jié)在人工數(shù)據(jù)集及Yale、ORL 及FERET人臉數(shù)據(jù)集上進行實驗并加以分析;第4 節(jié)進行總結(jié).

1 問題提出

1.1 相關(guān)目標函數(shù)的優(yōu)化問題

相較于2DPCA,Angle-2DPCA 不僅減弱了遠距離離群點的影響,而且在優(yōu)化投影距離最大的基礎(chǔ)上兼顧了重構(gòu)誤差的影響.

從前述分析可知,范數(shù)的距離度量方式和目標函數(shù)均影響到各個算法的魯棒性.從距離度量方式考慮,L2范數(shù)的相關(guān)算法尋求數(shù)據(jù)投影方差最大的優(yōu)化目標,容易放大離群點的作用,導致求得的PC失真,魯棒性較差.L1范數(shù)對數(shù)據(jù)投影的絕對值進行優(yōu)化,相比于L2范數(shù)的投影方差,降低了對離群點的敏感性. F 范數(shù)因存在不等式相關(guān)算法[28-29]將重構(gòu)誤差作為目標函數(shù)的優(yōu)化問題,但并未考慮投影距離最大化,反之也亦然.從目標函數(shù)的兩個方面考慮,基于 F 范數(shù)的Angle-2DPCA 算法[30]將重構(gòu)誤差與投影距離的比率作為目標函數(shù),有利于解決兩個目標的優(yōu)化問題.但從數(shù)據(jù)投影角度考慮,進一步分析目標函數(shù)(8),優(yōu)化重構(gòu)誤差與投影距離的比率實質(zhì)上是一個正切模型.其目標函數(shù)中的分子與分母均置于 F 范數(shù)度量下,且均受到同一投影矩陣V的制約.因此,Angle-2DPCA的重構(gòu)誤差與投影距離很難實現(xiàn)同時優(yōu)化.

1.2 廣義余弦模型

傳統(tǒng)L2范數(shù)的平方會放大離群數(shù)據(jù)的主導作用,其魯棒性較差;L1范數(shù)雖能降低離群數(shù)據(jù)的敏感性,但無法有效控制數(shù)據(jù)投影后的重構(gòu)誤差.此外,Angle-2DPCA 直接針對數(shù)據(jù)矩陣進行魯棒降維,不利于抑制數(shù)據(jù)矩陣行列之間的異常值,算法的魯棒性受到一定限制.鑒于這些問題,受Angle-2DPCA[30]的目標函數(shù)啟發(fā),本文構(gòu)造一個基于廣義余弦模型的目標函數(shù),在滿足數(shù)據(jù)投影距離最大的基礎(chǔ)上使得其重構(gòu)誤差較小.

假設(shè)零均值化后矩陣樣本集為P,則基于余弦模型的目標函數(shù)定義為

其中,v∈Rw×1表示V中前k個PC 中任意一個,θij表示第i個樣本的第j行Pij與v的夾角,|Pijv|為數(shù)據(jù)的投影距離,也可寫為‖Pijv‖2.

為了調(diào)整行向量Pij的距離度量方式,將式(9)推廣延伸得到廣義余弦模型為

化簡式(10),可得

廣義余弦模型與Angle-2DPCA的目標函數(shù)形式一樣,均為比值形式.Angle-2DPCA的重構(gòu)誤差與投影距離中均呈現(xiàn)同一投影矩陣V.在 F 范數(shù)的距離度量方式下,其重構(gòu)誤差與投影距離相互受到牽制.因此,Angle-2DPCA 最終無法真正實現(xiàn)投影距離最大與重構(gòu)誤差較小的雙目標優(yōu)化.而廣義余弦模型僅在投影距離中呈現(xiàn)投影向量v,其重構(gòu)誤差最小與投影距離最大的目標優(yōu)化能力得以加強.其次,從帶權(quán)重lij的數(shù)據(jù)優(yōu)化問題考慮,若Pij是離群數(shù)據(jù),則會較大,權(quán)重系數(shù)lij會相當小.因此,其提取的PC也就更逼近真實PC,離群數(shù)據(jù)得到抑制.此外,從受離群數(shù)據(jù)干擾的百分比R考慮,RGC2DPCA≤RAngle-2DPCA,廣義余弦模型采用行向量的優(yōu)化方式可以減少受污染樣本干擾的百分比,其魯棒性也能得以進一步增強.

圖1 廣義余弦模型Fig.1 Generalized cosine model

2 GC2DPCA 算法

對于該問題求解,采用迭代貪婪算法實現(xiàn).

2.1 第一個主成分求解算法

針對投影矩陣V中的第一個主成分v1的目標函數(shù)式表示為

其中,t為迭代步數(shù).

將式(15)代入式(14),可得

為了使得目標函數(shù)(13)最優(yōu),其迭代求解算法如下:

算法 1.GC2DPCA 第一個主成分求解算法

2.2 其余主成分求解算法

求解其余主成分依然利用貪婪求解算法,為了保證投影矩陣中的每個PC 與其他PC 是正交的,對其余PC 所對應(yīng)的數(shù)據(jù)樣本進行更新,則更新迭代式為

同理,為使目標函數(shù)(13)最優(yōu),其余主成分迭代求解算法如下:

算法 2.GC2DPCA的其余主成分求解算法

如同PCA-L1和2DPCA-L1的貪婪求解算法[15,20]一樣,GC2DPCA 不能確保得到全局最優(yōu)解.這種貪婪求解算法能夠保證各個PC 之間在滿足正交的同時,使得每一個PC 均依賴于提出的廣義余弦模型.在求解各個PC 時離群數(shù)據(jù)能夠得到抑制,其重構(gòu)誤差也能間接得到控制.此外,貪婪算法使得各個PC 之間滿足如式(18)的迭代關(guān)系.當提取PC 數(shù)增加時,之前計算的PC 得以保留.通過迭代,可進一步計算更高階PC.

3 實驗結(jié)果與分析

為驗證本文算法的有效性及魯棒性,采用人工數(shù)據(jù)集、Yale、ORL 及FERET 人臉數(shù)據(jù)集分別進行實驗,并對PCA、PCA-L1[15]、2DPCA[2]、2DPCAL1[20]、2DPCA-L1(non-greedy)[21]、Angle-2DPCA[30]以及本文所提的GC2DPCA 算法進行實驗對比分析.魯棒性實驗主要用于判定各算法目標函數(shù)中的重構(gòu)誤差損失情形,而相關(guān)性實驗用于判定各算法在滿足投影距離最大時求得PC的真實程度,分類率實驗則將求得的PC 用于判定分類識別效果,時間復(fù)雜度實驗用于判定各個求解PC 算法的復(fù)雜程度.實驗軟件環(huán)境為Windows7、Microsoft Visual Studio 2010 和OpenCV 2.4.10,采用Intel i5-5200U (2.2 GHz)處理器,8 GB 內(nèi)存的硬件環(huán)境.

3.1 魯棒性實驗與分析

考慮上述數(shù)據(jù)集已進行零均值化,以平均重構(gòu)誤差(Average reconstruction error,ARCE)為性能指標,進行魯棒性實驗與對比分析.

當數(shù)據(jù)矩陣需先向量化時:

當數(shù)據(jù)矩陣無需向量化時:

其中,NI表示未受到噪聲干擾的樣本數(shù)量.

3.1.1 人工數(shù)據(jù)集

分別構(gòu)建如圖2(a)和圖2(c)所示的二維人工數(shù)據(jù)集(已被零均值),數(shù)據(jù)集表示為ξi={(xi,yi),i=1,2,···,24}.其中,五角星代表離群數(shù)據(jù)點,圓圈代表純凈數(shù)據(jù)點,Real 表示排除離群數(shù)據(jù)點后利用L2范數(shù)度量方式提取的第一個PC的方向,Angle為Angle-2DPCA[30]中的比率度量方式.受離群數(shù)據(jù)點的影響,通過各個算法提取的第一個PC 方向與Real的接近程度來判斷其魯棒性.

圖2 人工數(shù)據(jù)集的平均重構(gòu)誤差Fig.2 ARCE on the artificial datasets

從圖2(a)可以看出,基于L2范數(shù)的度量方式提取的第一個PC 方向受離群數(shù)據(jù)點影響最大,而L1范數(shù)更靠近Real 方向,因此,與L2范數(shù)相比,L1范數(shù)對噪聲相對不敏感.Angle 度量方式更接近Real 方向,具有較強的魯棒性.隨著廣義余弦模型參數(shù)S的變化,其魯棒性順序依次為CosineS=1.5 ＞ CosineS=2 ＞ CosineS=1 ＞ Angle ＞CosineS=2.5 ＞ CosineS=0.5 ＞L1-norm ＞L2-norm.利用上述度量方式提取的第一個PC 再重構(gòu)原始數(shù)據(jù),借助式(19)計算得到其相應(yīng)的ARCE 分別如圖2(b)和圖2(d)所示.從圖2(b)可以看出,L2范數(shù)度量方式下其重構(gòu)數(shù)據(jù)能力最差,其ARCE 最大.L1范數(shù)和Angle的ARCE 均有不同程度下降,當CosineS=1.5 時,其ARCE 最小.因此,隨著參數(shù)S的變化,廣義余弦模型重構(gòu)數(shù)據(jù)能力優(yōu)于其他距離度量方式,且隨著參數(shù)S的逐步增加,其ARCE 先減少到最優(yōu)值,然后再逐步增加,其ARCE 變化規(guī)律與圖2(a)所示的魯棒性分析一致.進一步分析參數(shù)S對魯棒性的影響規(guī)律,從圖2(c)和圖2(d)可以看出,當CosineS=2 時,其ARCE最小,魯棒性最優(yōu),并且變化規(guī)律與圖2(a)和圖2(b)分析完全一致.通過大量的重復(fù)實驗可以得到,隨著參數(shù)S的增加,廣義余弦模型總存在一個相對最優(yōu)值(對應(yīng)ARCE 最小),其ARCE 規(guī)律是先逐步減少到某一個最優(yōu)值,然后再逐步增大.在實際應(yīng)用過程中,可根據(jù)上述變化規(guī)律尋求相對合理的參數(shù)S.

3.1.2 Yale、ORL 及FERET 人臉數(shù)據(jù)集

Yale 數(shù)據(jù)集包含15 個人臉圖像,每人11 幅共165 幅,分辨率為 1 00×100 像素.ORL 數(shù)據(jù)集由40 個人臉圖像組成,每人10 幅共400 幅,分辨率為 1 12×92 像素.FERET 數(shù)據(jù)集有20 人,每人7 幅共140 幅,分辨率為 8 0×80 像素.圖3 展示了Yale、ORL 及FERET 三個數(shù)據(jù)集的部分圖像.為了測試GC2DPCA算法的魯棒性,采取文獻[26]的方式對數(shù)據(jù)集進行加噪:1)遮蓋噪聲(Occluded noise).在40%遮蓋噪聲下,從Yale、ORL 及FERET 數(shù)據(jù)集中分別隨機抽取總樣本數(shù)的40%,在抽取的圖像樣本上對應(yīng)加入 4 0×40 像素、4 0×40 像素和 3 0×30 像素的雜點噪聲進行覆蓋.在60%遮蓋噪聲下,從3 個數(shù)據(jù)集抽取60%圖像樣本上分別加入 6 0×60 像素、6 0×60 像素和 4 5×45 像素的雜點噪聲進行覆蓋.上述遮蓋噪聲位置隨機且不超越圖像邊界,分別如圖4 和圖5 所示;2)啞噪聲(Dummy noise).在整個數(shù)據(jù)集中額外增加總樣本數(shù)的40%和60%雜點噪聲樣本,其分辨率與原數(shù)據(jù)集樣本一致,如圖6 所示.

圖3 人臉數(shù)據(jù)集示例Fig.3 Examples of face datasets

圖4 40%遮蓋噪聲示例Fig.4 Examples with 40% occluded noise

圖5 60%遮蓋噪聲示例Fig.5 Examples with 60% occluded noise

圖6 啞噪聲示例Fig.6 Examples with dummy noise

將具有40%和60%遮蓋噪聲的Yale、ORL 和FERET 人臉數(shù)據(jù)集投影到不同的主成分個數(shù)(Number of principal components,NPC)所組成的投影子空間上,利用式(19)及式(20)計算各個算法對應(yīng)的ARCE 如圖7 所示.從圖7(a)～7(f)中可以得出如下結(jié)論:1)各個算法隨著NPC的增加,其ARCE均呈現(xiàn)逐步下降趨勢且逐漸趨于平緩,因此,其降維的子空間維數(shù)將對ARCE 影響很大.2)PCA 和PCA-L1因向量化而增加了數(shù)據(jù)維數(shù),其ARCE 相比其他二維算法均偏大.隨著NPC的增加,L1范數(shù)使得PCA-L1的最終魯棒性要略優(yōu)于PCA.3)對于2DPCA、2DPCA-L1、2DPCA-L1(nongreedy)及Angle-2DPCA 均為二維算法,直接針對圖像矩陣進行特征提取,相比一維算法其ARCE 均大為減小.2DPCA 和2DPCA-L1(non-greedy)兩個算法ARCE 差異不明顯,且不受數(shù)據(jù)集及遮蓋噪聲影響.2DPCA-L1與2DPCA-L1(non-greedy)相比,其ARCE 具有明顯優(yōu)勢,且不受數(shù)據(jù)集的影響.隨著噪聲的增加,2DPCA-L1其貪婪求解算法優(yōu)勢更趨明顯.而Angle-2DPCA的ARCE 與2DPCA-L1較為接近.在遮蓋噪聲下,可知RGC2DPCA＜RAngle-2DPCA,因此,GC2DPCA 也優(yōu)于Angle-2DPCA.4)相比上述其他算法,GC2DPCA的ARCE 具有較為明顯的優(yōu)勢,且不受數(shù)據(jù)集的影響.當加入60%遮蓋噪聲后,GC2DPCA的ARCE在兩個不同數(shù)據(jù)集下,與其他算法相比下降優(yōu)勢更趨明顯,并且其ARCE幾乎不變,而其他算法均有不同程度的增大.通過多次重復(fù)實驗可得到,參數(shù)S改變對GC2DPCA的ARCE 略有變化,且參數(shù)S對ARCE 影響規(guī)律與人工數(shù)據(jù)集的變化規(guī)律一致,圖7 各個子圖為顯示簡潔僅呈現(xiàn)GC2DPCAS=1的情形.因此,針對遮蓋噪聲,本文所提算法GC2DPCA的魯棒性均優(yōu)于其他算法,并且加大噪聲,其優(yōu)勢也愈加明顯.

圖7 不同遮蓋噪聲下的平均重構(gòu)誤差Fig.7 ARCE with different occluded noises

引入不同啞噪聲之后,各個算法對應(yīng)的ARCE如圖8 所示.可以看出,GC2DPCA的魯棒性可以得到與遮蓋噪聲實驗的類似結(jié)論.1)當NPC 小于5 時,PCA的ARCE 下降較快,當NPC 大于10 時,PCA-L1比PCA的魯棒效果十分明顯,而PCA 幾乎趨于常值.2)2DPCA-L1(non-greedy)在面對啞噪聲時已經(jīng)不如2DPCA,并且在圖8(d)和圖8(f)中其趨勢不穩(wěn)定,振動較大.3)其余算法ARCE 曲線走勢與遮蓋噪聲實驗中類似,進一步驗證前述分析結(jié)論,不同的是GC2DPCA 與Angle-2DPCA 在不同數(shù)據(jù)集及不同啞噪聲下幾乎完全重疊.4)加大啞噪聲后,各個算法的ARCE 變化很小.

圖8 不同啞噪聲下的平均重構(gòu)誤差Fig.8 ARCE with different dummy noises

以上帶遮蓋噪聲和啞噪聲的人臉數(shù)據(jù)集上的魯棒性實驗結(jié)果表明,相比經(jīng)典的PCA 和PCA-L1,本文所提算法優(yōu)勢十分明顯;與2DPCA、2DPCAL1、2DPCA-L1(non-greedy)相比,降低了ARCE,提升了魯棒性能;與Angle-2DPCA 相比,在大遮蓋噪聲下具有較為明顯優(yōu)勢.而在啞噪聲下,兩者其樣本污染情況一致,因均兼顧到數(shù)據(jù)的重構(gòu)誤差,則GC2DPCA 與Angle-2DPCA的ARCE 幾乎完全相同.

3.2 相關(guān)性實驗與分析

為驗證各算法提取的PC 與真實PC 之間的相關(guān)性,用內(nèi)積矩陣定義相關(guān)性,表示為

其中,Vtrue表示用L2范數(shù)計算純凈樣本數(shù)據(jù)得到的PC 所構(gòu)成的投影矩陣,Vtest為各個算法針對含噪數(shù)據(jù)計算得到的PC 構(gòu)成的投影矩陣.顯然,Z越接近單位矩陣,說明Vtest越接近Vtrue.選用Yale數(shù)據(jù)集的60%遮蓋噪聲進行相關(guān)性實驗.各個算法實驗結(jié)果如圖9 所示,x軸和y軸分別代表Vtrue和Vtest中對應(yīng)的NPC,z軸表示PC 之間內(nèi)積的絕對值.因此,通過直觀觀察三維圖中z值來判定算法的相關(guān)性.如對角線上的z值越接近1,而對角線以外區(qū)域越接近0,則表示內(nèi)積矩陣Z相關(guān)性越高,求解的PC 也就越接近真實的PC.

圖9 主成分相關(guān)性Fig.9 Correlations between principal components

從圖9 可以看出,PCA 提取的主成分大部分偏離了真實值,對角線上僅有第一個PC 約為0.85,對角線上其余PC 均在0.5 以下.而PCA-L1也不太理想,對角線上的PC 與PCA 近似,對角線外其他區(qū)域與PCA 相比多了一些小凸峰,無法接近0,因此PCA-L1相關(guān)性不如PCA.2DPCA 對角線上前10 個主成分相關(guān)性幾乎為1,對角線上其余PC銳減至0.6 以下,而對角線外其他區(qū)域凸峰嚴重,幾乎逼近0.4.在2DPCA-L1中,與2DPCA 相比凸峰有向?qū)蔷€方向收斂的趨勢,其相關(guān)性得到一定程度的提升.而在GC2DPCA 中,隨S參數(shù)逐漸增加,凸峰逐漸收斂到對角線上,當S=1.5 時最優(yōu),對角線上主成分相關(guān)性均在0.6 之上,而在對角線外其他區(qū)域幾乎接近于0,因此,GC2DPCA 提取的主成分更接近真實值,且相互正交.可以看到,與前述算法不同的是,2DPCA-L1(non-greedy)和Angle-2DPCA 呈現(xiàn)一種雜亂的態(tài)勢,這是由于這兩個算法提取得到投影矩陣V中的各個主成分之間無順序優(yōu)先之分,它們對V中所有主成分是同時進行優(yōu)化的.這兩個算法在調(diào)整主成分數(shù)量時,需重新計算之前得到的所有主成分,這也是2DPCAL1(non-greedy)和Angle-2DPCA的不利之處.而圖9 中其他算法均是在原始數(shù)據(jù)減去之前計算主成分分量之后再進行迭代計算,其相關(guān)性均優(yōu)于2DPCAL1(non-greedy)和Angle-2DPCA.因此,本文提出的GC2DPCA 在相關(guān)性方面均遠優(yōu)于其他算法.

3.3 分類率實驗與分析

分類率實驗采用K-最近鄰分類算法(K-nearest neighbor,KNN),并選取K=1 時進行分類.所有實驗數(shù)據(jù)樣本均經(jīng)過零均值處理,其中訓練樣本和測試樣本零均值化所采用的均值來源于訓練樣本的均值.在Yale 和ORL 數(shù)據(jù)集每個人臉圖像中,隨機抽取其中5 幅用作訓練樣本,其余用作測試樣本.在FERET 數(shù)據(jù)集中,每人隨機抽取3 幅用作訓練樣本,其余為測試樣本.在3 個數(shù)據(jù)集中訓練樣本中隨機抽取40%樣本添加遮蓋噪聲.考慮到噪聲的隨機性,重復(fù)5 次隨機遮蓋噪聲進行分類率實驗,得到平均分類率分別如表1～3 所示.

從表1～3 可以看出,從求解算法看,2DPCAL1(non-greedy)和Angle-2DPCA 均為非貪婪算法,隨著NPC的增加,其平均分類率逐漸增加,這是由于這兩個算法求得的主成分隨NPC 增加而逐步得到優(yōu)化,與前述相關(guān)性分析結(jié)論一致.而對于其他貪婪算法,隨著NPC的增加,各個算法平均分類率均有所下降.這是由于NPC 越多,包含的噪聲成分也就越多,其分類率也就相應(yīng)下降.從算法的維數(shù)看,一維算法(包括PCA 和PCA-L1)普遍低于其他二維算法,與文獻[2]和[18]實驗結(jié)果一致,這是由于二維算法提取了更多的圖像模式特征,并且損失圖像的行列結(jié)構(gòu)信息偏少.從距離度量方式看,L1范數(shù)相關(guān)算法(PCA-L1和2DPCA-L1)大部分情形分類率要略高于L2范數(shù)相對應(yīng)的算法(PCA 和2DPCA),這是由于L1范數(shù)度量方式具有一定的抗噪能力和分類優(yōu)越性.基于 F 范數(shù)的Angle-2DPCA 算法與基于L1范數(shù)的算法2DPCAL1相比,分類率并無優(yōu)勢.而本文提出的GC2DPCA相比其他算法,具有較為明顯的分類優(yōu)勢.隨著參數(shù)S的增加,GC2DPCA 算法的分類率略有提升,但分類率并不明顯.同樣,在Yale、ORL 數(shù)據(jù)集以及FERET 中分別加入60%的遮蓋噪聲,得到平均分類率如表4～6 所示.可以看出,平均分類率總體趨勢與添加少量噪聲情形近似,但在大量噪聲下所有算法的平均分類率均相應(yīng)有所下降,這是由于在人為增加噪聲時,使得投影距離減少所致.此外,GC2DPCA的平均分類率具有較為明顯的優(yōu)勢.從表1～6 中的參數(shù)S對GC2DPCA 算法分類率的影響可以看出,隨著參數(shù)S的增加,也存在一個近似最優(yōu)的分類結(jié)果.如表2 所示,S=1.5 時呈現(xiàn)最優(yōu)分類率.若增加噪聲數(shù)據(jù),如表5 所示,近似最優(yōu)分類率的S值有前移跡象.從表1～6 中均可觀察到此情況.因此,當噪聲增加到可與原始數(shù)據(jù)相抗衡時,如增加S值可以更大程度地抑制噪聲,但在某種程度上也抑制了真正有用的數(shù)據(jù).因此,在大噪聲的情況下可以選擇略小的S值進行測試.另外,GC2DPCA 在提取少量PC的情況下分類率較高,NPC 越多引入噪聲數(shù)量也越多,因此,在實際應(yīng)用中可根據(jù)數(shù)據(jù)的維數(shù)選擇較小的NPC 進行魯棒降維.

表1 Yale 數(shù)據(jù)集下平均分類率 (40%遮蓋噪聲)(%)Table 1 Average classification rate under Yale dataset (40% occluded noise)(%)

表2 ORL 數(shù)據(jù)集下平均分類率 (40%遮蓋噪聲)(%)Table 2 Average classification rate under ORL dataset (40% occluded noise)(%)

表3 FERET 數(shù)據(jù)集下平均分類率 (40%遮蓋噪聲)(%)Table 3 Average classification rate under FERET dataset (40% occluded noise)(%)

表4 Yale 數(shù)據(jù)集下平均分類率 (60%遮蓋噪聲)(%)Table 4 Average classification rate under Yale dataset (60% occluded noise)(%)

表5 ORL 數(shù)據(jù)集平均分類率 (60%遮蓋噪聲)(%)Table 5 Average classification rate under ORL dataset (60% occluded noise)(%)

表6 FERET 數(shù)據(jù)集平均分類率 (60%遮蓋噪聲)(%)Table 6 Average classification rate under FERET dataset (60% occluded noise)(%)

3.4 時間復(fù)雜度實驗與分析

參考上述所提及相關(guān)算法對應(yīng)的文獻,得到各個算法的時間復(fù)雜度如表7 所示.其中,t為迭代步數(shù).PCA-L1、2DPCA-L1、2DPCA-L1(non-greedy)和GC2DPCA的迭代步數(shù)與樣本數(shù)正相關(guān),并且PCA-L1理論上比PCA 運算快,但2DPCA-L1因反而會比2DPCA運算速度慢.2DPCA-L1與GC2DPCA 復(fù)雜度一致.2DPCAL1(non-greedy)和Angle-2DPCA 求解過程包含奇異值分解,相應(yīng)增加了算法的運算時間.Angle-2DPCA 算法收斂的原因在文獻[30]中未加以解釋,具體運算時間可在實驗中間接得到.

表7 時間復(fù)雜度分析Table 7 Time complexity analysis

實驗選用Yale 數(shù)據(jù)集的60%遮蓋噪聲進行實驗,提取的NPC 設(shè)為10,分析各個算法提取PC所需時間隨樣本數(shù)的變化.此處,GC2DPCA 其參數(shù)S與時間復(fù)雜度無關(guān),可設(shè)定S=1.

各個算法所需時間如表8 所示,可以看出,2DPCA相比于PCA 降低了數(shù)據(jù)維數(shù),所需時間比PCA低.魯棒算法PCA-L1的運行時間最快,因為其迭代樣本數(shù)N較少.2DPCA-L1與GC2DPCA接近,但是余弦模型的引入抑制了離群噪聲數(shù)據(jù),使得PC方向往真實方向偏轉(zhuǎn)較快,時間上略優(yōu)于2DPCAL1. Angle-2DPCA 低于2DPCA-L1(non-greedy),但它們每次迭代均需奇異值分解,因此,Angle-2DPCA 與2DPCA-L1(non-greedy)所需時間均高于GC2DPCA.

表8 各個算法所需時間對比(s)Table 8 Comparison of the required time by each algorithm (s)

4 結(jié)束語

本文提出了一種基于廣義余弦模型的GC2DPCA及其貪婪求解算法.廣義余弦模型的引入使得樣本中混入較多噪聲數(shù)據(jù)時,算法依然能夠呈現(xiàn)較好的魯棒性,且其對于不同的遮蓋噪聲和啞噪聲均具有一定的適應(yīng)性.GC2DPCA 算法求解過程簡單、易實現(xiàn),理論層面證明了算法的收斂性及提取的主成分之間的正交性.其次,通過選擇不同的S參數(shù),可應(yīng)用于更廣泛的含離群數(shù)據(jù)的魯棒降維,并在實驗層面得到了S參數(shù)對算法的影響規(guī)律.將GC2DPCA與PCA 算法、PCA-L1算法、2DPCA 算法、2DPCAL1算法、2DPCA-L1(non-greedy)算法及Angle-2DPCA 算法在平均重構(gòu)誤差、相關(guān)性、分類率及時間復(fù)雜度等方面進行比較,本文算法在人工數(shù)據(jù)集、Yale、ORL 以及FERET 人臉數(shù)據(jù)集上的實驗結(jié)果均具有更優(yōu)的性能.然而,本文的算法并不能實現(xiàn)樣本的增量迭代求解,將影響到算法的增量學習能力.因此,探索GC2DPCA 算法的增量求解形式值得進一步研究.