陳柯鑫，范麗亞

(聊城大學(xué) 數(shù)學(xué)科學(xué)學(xué)院，山東 聊城 252059)

0 引言

對(duì)高維噪聲(光暗、有遮擋)圖像的識(shí)別任務(wù)，清洗圖像以及抽取圖像的有效特征是高質(zhì)量完成任務(wù)的關(guān)鍵。圖像特征抽取的本質(zhì)是找到高維圖像有意義的低維表示。近年來，有關(guān)圖像特征抽取方法的研究成果頗豐，如:主成分分析(Principal Component Analysis，PCA)[1]、線性判別分析(Linear Discriminant Analysis，LDA)[2]、典型相關(guān)分析(Canonical Correlation Analysis，CCA)[3，4]等。PCA和LDA主要是針對(duì)圖像的一組特征進(jìn)行抽取的，而CCA考慮了圖像兩組特征間的線性相關(guān)性。 但利用CCA進(jìn)行圖像特征抽取時(shí)首先需要將圖像重塑為向量數(shù)據(jù)，這種重塑可能會(huì)破壞圖像的空間結(jié)構(gòu)，丟失圖像的判別信息以及造成“維數(shù)災(zāi)難”。 為了解決這一問題，孫權(quán)森[5]于2006年提出了單向二維CCA(One-directional Two-dimensional CCA，2D-CCA)，它直接利用圖像(矩陣數(shù)據(jù))作為輸入，而不需要將其重塑為向量數(shù)據(jù)。與CCA相比，2D-CCA中所構(gòu)造的協(xié)方差矩陣的維數(shù)明顯下降，這大大降低了2D-CCA的計(jì)算成本[6]。 近年來2D-CCA也得到了廣泛的應(yīng)用，如多分辨率SAR圖像目標(biāo)識(shí)別[7]、fMRI數(shù)據(jù)分析[8]等。 CCA和2D-CCA是模型矩陣CCA(Model Matrix CCA，M-CCA)的兩種不同解決方案，2D-CCA是M-CCA中權(quán)矩陣Wx與Wy的秩為1的情況[9]。類似于經(jīng)典CCA，2D-CCA也存在累計(jì)貢獻(xiàn)率(Cumulative Contribution Rate，CCR)如何選取的問題。CCR決定著降維子空間的維度，貢獻(xiàn)率越高，維度越大，計(jì)算成本也越高，但識(shí)別精度并不一定越好。

目前，針對(duì)高維噪聲(光暗、有遮擋)圖像的識(shí)別任務(wù)，為了達(dá)到高識(shí)別度，常用兩類特征抽取方法，一類主要用于降低圖像中的噪聲(降噪)，但起不到降維作用; 另一類主要用于降維，減少計(jì)算成本，但降噪作用不明顯。Fang等人[10]于2017年首次提出了基于偏微分方程組(Partial Differential Equations，PDEs)的圖像特征提取方法(簡稱Fang方法)，該方法主要用于降低圖像中的噪聲，沒有降維作用。 江等人[11]研究了Fang方法中PDEs的進(jìn)化次數(shù)以及壓縮函數(shù)的壓縮速度對(duì)圖像特征提取的影響。雷等人[12]研究了Fang方法中PDEs的進(jìn)化次數(shù)對(duì)經(jīng)典CCA中CCR的影響，王等人[13]研究了Fang方法中PDEs對(duì)PCA，LDA，CCA以及監(jiān)督CCA四種經(jīng)典數(shù)據(jù)降維方法的影響。此外，江[14]等人還研究了Fang方法中PDEs的進(jìn)化對(duì)正則化支持向量機(jī)(Regularized Support Vector Machine，RSVM)中模型參數(shù)的影響。上述研究均為PDEs的應(yīng)用以及PDEs與一維典型相關(guān)分析的結(jié)合，并沒有規(guī)避掉CCA的缺點(diǎn)。

為解決基于PDEs的CCA算法仍會(huì)破壞圖像的空間結(jié)構(gòu)，造成“維數(shù)災(zāi)難”這一問題，本文提出了將PDEs與單向二維典型相關(guān)分析結(jié)合的一體化學(xué)習(xí)算法，著重研究PDEs(作為降噪工具)對(duì)單向2D-CCA(作為降維工具)中CCR的影響，其中以SVM[15](針對(duì)二類圖像集)和一對(duì)余多類SVM[16](One-versus-Rest Multi-class SVM，OVR-MSVM，針對(duì)多類圖像集)作為識(shí)別器，以識(shí)別精度作為衡量標(biāo)準(zhǔn)。通過在AR人臉數(shù)據(jù)集和FRGCv數(shù)據(jù)集上的大量實(shí)驗(yàn)以及與雷等人所提出算法的對(duì)比實(shí)驗(yàn)表明:(1) PDEs的進(jìn)化不僅可以弱化CCR的選擇，甚至可以不用考慮其選取，基本上通過不超過5次的PDEs進(jìn)化即可達(dá)到同等條件下的最佳識(shí)別精度;(2) 與雷等人所提算法相比，達(dá)到最佳識(shí)別精度所需PDEs的進(jìn)化次數(shù)明顯減少，且最佳識(shí)別精度明顯提高。

1 2D-CCA

本節(jié)簡要回顧2D-CCA，詳細(xì)內(nèi)容見文獻(xiàn)[5,6]。2D-CCA面向行數(shù)相同或列數(shù)相同的兩組矩陣數(shù)據(jù)集，本文只考慮行數(shù)相同列數(shù)不同的情況，用類似的方法可以討論列數(shù)相同行數(shù)不同的情況。

(1)

記

顯然Cxx,Cyy是對(duì)稱非負(fù)定陣且

于是，模型(1)可轉(zhuǎn)化為

(2)

由于模型(2)不受范數(shù)‖wx‖,‖wy‖的影響，所以可等價(jià)表示為

(3)

(4)

為了避免矩陣Cxx和Cyy的奇異性，將其正則化，即用Cxx+tIp×p替代Cxx，用Cyy+tIq×q替代Cyy，其中t≥0是正則化參數(shù)。若Cxx或Cyy是非奇異陣，則對(duì)應(yīng)的t=0。于是由(4)式可得廣義特征方程

Cxy(Cyy+tIq×q)-1Cyxwx=λ2(Cxx+tIp×p)wx。

(5)

為了求解方程(5)，對(duì)矩陣Cxx+tIp×p進(jìn)行特征值分解(Eigen Value Decomposition，EVD):Cxx+tIp×p=U∑xUT,其中U∈Rp×p是正交陣,∑x=diag(σ1,…,σp)且σ1≥…≥σp>0是Cxx+tIp×p的全部非零特征值。

記

可得

(6)

設(shè)rank(B)=r≤min{p,q}。并對(duì)B進(jìn)行奇異值分解(Singular Value Decomposition，SVD)

其中P=[P1,P2]∈Rp×p,Q∈Rq×q是正交陣,∑B=diag(ξ1,…,ξr),ξ1≥…≥ξr>0是B的所有非零奇異值且P1=[p1,…,pr]∈RP×r, 于是

(7)

下面給出具體算法。

算法1 (2D-CCA)

步2對(duì)矩陣Cxx+tIp×p進(jìn)行EVD:Cxx+tIp×p=U∑xUT,其中U,∑x,σ1≥…≥σp>0如上所述。

步4對(duì)矩陣B進(jìn)行SVD:B=[P1∑B,0]QT，其中P1,∑B,ξ1≥…≥ξr>0如上所述。

從算法1中可以看出，CCR影響著降維特征集的維度，CCR越大,降維特征集的維度也越高,反之亦然。 降維特征集的維度又影響著算法的計(jì)算成本和圖像的識(shí)別精度。因此，如何選擇合理的CCR是一個(gè)急需解決的問題。

2 SVM與OVR-MSVM

本節(jié)簡要回顧作為二類數(shù)據(jù)分類器的線性SVM和作為多類數(shù)據(jù)分類器的線性O(shè)VR-MSVM，詳細(xì)內(nèi)容見文獻(xiàn)[15，16]。

(8)

(9)

算法2 (線性SVM)

B H Jia acknowledges the support from Australian Research Council and Defence Institute Australia.

步5構(gòu)造分類決策函數(shù)f(x)=+b*。

分別表示總體樣本矩陣、第i類樣本矩陣和去掉第i類的剩余樣本矩陣，顯然X可表示為X=[X1,…,XK]。

和

(10)

算法3 (線性O(shè)VR-MSVM)

3 PDEs對(duì)2D-CCA的影響

本節(jié)首先簡要回顧如何利用PDEs進(jìn)行圖像特征提取(詳細(xì)內(nèi)容見文獻(xiàn)[10])，然后討論P(yáng)DEs的進(jìn)化對(duì)2D-CCA中CCR的影響。

3.1 基于PDEs的圖像特征提取方法

(11)

3.2 PDEs對(duì)2D-CCA的影響

目前大多數(shù)的降噪技術(shù)和降維技術(shù)大都是獨(dú)立進(jìn)行學(xué)習(xí)的，很少進(jìn)行一體化學(xué)習(xí)。 雷等人提出的基于PDEs的CCA方法雖然可以對(duì)圖像進(jìn)行降噪降維處理，但需將圖像拉長為向量，這種拉長不僅會(huì)破壞圖像的幾何結(jié)構(gòu)，而且可能導(dǎo)致“維度災(zāi)難”，增加算法的計(jì)算復(fù)雜度。本節(jié)以PDEs為降噪工具，以單向2D-CCA為降維工具，以SVM或OVR-MSVM為識(shí)別器，以識(shí)別精度為標(biāo)準(zhǔn)，對(duì)2D-CCA和PDEs進(jìn)行一體化學(xué)習(xí)，并研究PDEs的進(jìn)化對(duì)單向2D-CCA中CCR的影響。具體思路見圖1所示。

圖1 2D-CCA和PDEs的一體化學(xué)習(xí)路徑

下面給出具體算法。

算法4 (2D-CCA和PDEs的一體化學(xué)習(xí))

步6利用識(shí)別器進(jìn)行識(shí)別，得識(shí)別精度。若識(shí)別精度不理想，置N←N+1，轉(zhuǎn)步2; 否則，輸出結(jié)果。

4 實(shí)驗(yàn)與結(jié)果分析

本節(jié)通過實(shí)驗(yàn)驗(yàn)證了算法4的有效性。采用六折交叉驗(yàn)證法，即將全部樣本隨機(jī)分為六份，取五份作為訓(xùn)練集，剩余一份作為測(cè)試集，循環(huán)六次，取平均精度。CCR分別取為不小于0.8，0.85，0.9，0.95和1五種情況(具體計(jì)算結(jié)果見表1-6中括號(hào)部分)。PDEs的進(jìn)化次數(shù)N≤8且不考慮壓縮函數(shù)的影響，即取g(x)=x。所有實(shí)驗(yàn)都在AR人臉數(shù)據(jù)集[17]和FRGCv數(shù)據(jù)集[18]上完成。

4.1 AR人臉數(shù)據(jù)集上的實(shí)驗(yàn)與結(jié)果分析

4.1.1 數(shù)據(jù)集的構(gòu)成。AR人臉數(shù)據(jù)集包括100個(gè)人(男50人，女50人)的2600張面部圖像，每人26張，每張圖像的尺寸為50×40。每人的圖像包括正面視圖、具有不同的面部表情的圖像和不同照明和遮擋(太陽眼鏡和圍巾)條件下的圖像。 隨機(jī)選取8人(見圖2)構(gòu)成4個(gè)二類圖像集，隨機(jī)選取9人(見圖3)構(gòu)成3個(gè)三類圖像集。

圖2 基于AR人臉數(shù)據(jù)集的4個(gè)二類圖像集

圖3 基于AR人臉數(shù)據(jù)集的3個(gè)三類圖像集

4.1.2 實(shí)驗(yàn)與結(jié)果分析。下面的表1和表2分別是二類圖像集和三類圖像集的實(shí)驗(yàn)結(jié)果，其中N=0表示沒有經(jīng)過PDEs的進(jìn)化，只是利用單向2D-CCA進(jìn)行了降維。

表1 二類圖像集的實(shí)驗(yàn)結(jié)果(線性SVM作為識(shí)別器，C=0.5)

表2 三類圖像集的實(shí)驗(yàn)結(jié)果(線性O(shè)VR-MSVM作為識(shí)別器，C=0.5)

從表1和表2中可以看出，無論CCR的取值如何，最多經(jīng)過3次PDEs進(jìn)化，識(shí)別精度就能達(dá)到最優(yōu)，甚至達(dá)到1，最低也能提高20%以上。

4.2 FRGCv數(shù)據(jù)集上的實(shí)驗(yàn)與結(jié)果分析

4.2.1 數(shù)據(jù)集的構(gòu)成。FRGCv數(shù)據(jù)集包括466個(gè)人的4007張面部圖像，每張圖像的尺寸為64×64。隨機(jī)抽取8人的面部圖像構(gòu)成4組二類圖像集(見圖4)，隨機(jī)抽取9人的面部圖像構(gòu)成3組三類圖像集(見圖5)。為了便于比較，識(shí)別器的模型參數(shù)均取為102。

圖4 FRGCv數(shù)據(jù)集中的4組二類圖像集

圖5 FRGCv數(shù)據(jù)集中的3組三類圖像集

4.2.2 實(shí)驗(yàn)與結(jié)果分析。下面的表3和表4分別是二類圖像集和三類圖像集的實(shí)驗(yàn)結(jié)果，其中N=0表示沒有經(jīng)過PDEs的進(jìn)化，只是利用單向2D-CCA進(jìn)行了降維。

表3 二類圖像集的實(shí)驗(yàn)結(jié)果(線性SVM作為識(shí)別器，C=102)

從表3和表4中可以看出，無論CCR的取值如何，最多經(jīng)過5次PDEs進(jìn)化，識(shí)別精度就能達(dá)到最優(yōu)。 對(duì)二類圖像集來說，精度最低提高了24.6%，最高提高了63.81%。對(duì)三類圖像集來說，精度最低提高了56.4%，最高提高了64.58%。

從上述一系列實(shí)驗(yàn)可以看出，PDEs的進(jìn)化不僅可以提高圖像的識(shí)別精度，而且可以弱化CCR的選擇對(duì)識(shí)別精度的影響，甚至不用考慮CCR的選擇問題，通過不超過5次的PDEs進(jìn)化即可達(dá)到最優(yōu)識(shí)別精度。

表4 三類圖像集的實(shí)驗(yàn)結(jié)果(線性O(shè)VR-MSVM作為識(shí)別器，C=102)

4.3 對(duì)比實(shí)驗(yàn)與分析

為進(jìn)一步證實(shí)該算法的優(yōu)越性，本節(jié)將本文提出的算法與CCA算法、2D-CCA算法和雷等人提出的基于PDEs的CCA算法進(jìn)行對(duì)比實(shí)驗(yàn).結(jié)合前兩節(jié)與文獻(xiàn)[10]中的結(jié)論，本實(shí)驗(yàn)僅進(jìn)行5次的PEDs進(jìn)化。

4.3.1 數(shù)據(jù)集的構(gòu)成。本實(shí)驗(yàn)仍在AR數(shù)據(jù)集上進(jìn)行，隨機(jī)選取8人(見圖6)構(gòu)成4個(gè)二類圖像集，隨機(jī)選取9人(見圖7)構(gòu)成3個(gè)三類圖像集。

圖6 基于AR人臉數(shù)據(jù)集的4個(gè)二類圖像集

圖7 基于AR人臉數(shù)據(jù)集的3個(gè)三類圖像集

4.3.2 實(shí)驗(yàn)與結(jié)果分析。下面的表5和表6分別是二類圖像集和三類圖像集的實(shí)驗(yàn)結(jié)果，其中N=0表示沒有經(jīng)過PDEs的進(jìn)化，只是利用一維CCA或單向2D-CCA進(jìn)行了降維。

表5 二類圖像集的實(shí)驗(yàn)結(jié)果(線性SVM作為識(shí)別器，C=0.5)

從表5和表6中可以看出，基于PDEs的CCA算法和單向2D-CCA算法均可提高圖像的識(shí)別精度，而且可以弱化CCR的選擇對(duì)識(shí)別精度的影響，甚至不用考慮CCR的選擇問題。但相比之下本文提出的算法可以在PDEs進(jìn)化次數(shù)更少的情況下獲得更好的識(shí)別精度，甚至可達(dá)100%的識(shí)別精度。

表6 三類圖像集的實(shí)驗(yàn)結(jié)果(線性O(shè)VR-MSVM作為識(shí)別器，C=0.5)

5 結(jié)論

對(duì)于噪聲圖像的識(shí)別問題，降噪和降維是兩個(gè)極其重要的環(huán)節(jié)。目前大多數(shù)的降噪技術(shù)和降維技術(shù)都是獨(dú)立進(jìn)行學(xué)習(xí)的，很少進(jìn)行一體化學(xué)習(xí)。雷等人提出的基于PDEs的CCA方法雖然可以同時(shí)對(duì)圖像進(jìn)行降噪降維處理，但需將圖像拉長為向量，這種拉長不僅破壞了圖像的幾何結(jié)構(gòu)，而且可能導(dǎo)致“維度災(zāi)難”，增加算法的計(jì)算復(fù)雜度。本文提出的2D-CCA和PDEs一體化學(xué)習(xí)算法是雷方法的改進(jìn)和擴(kuò)展，彌補(bǔ)了雷方法中的缺陷。同時(shí)研究了PDEs的進(jìn)化對(duì)選擇2D-CCA中CCR的影響。實(shí)驗(yàn)結(jié)果表明PDEs的進(jìn)化可以弱化CCR的選擇問題，甚至不用考慮這一問題，且識(shí)別精度明顯優(yōu)于雷等人提出的算法，同時(shí)所需的PDEs的進(jìn)化次數(shù)也明顯少于雷等人所提算法。在本文的基礎(chǔ)上可以考慮PDEs對(duì)雙向2D-CCA中CCR的影響，這將是我們的下一步工作。