盧雨彤，韓立新

(河海大學(xué)計(jì)算機(jī)與信息學(xué)院，江蘇 南京 210000)

0 引 言

基于代數(shù)特征的提取方法的基本思想是將原始樣本投影到子空間形成代數(shù)特征[1]，代表性的方法有主成分分析(PCA)[2]、線性判別分析(LDA)[3]和局部保留投影(LPP)[4]。Sugiyama[5]結(jié)合LDA和LPP算法的優(yōu)點(diǎn)，提出了局部Fisher判別分析(LFDA)，并在多模數(shù)據(jù)和類間交叉數(shù)據(jù)的處理中有更好的判別性能。

上述向量型數(shù)據(jù)降維方法進(jìn)行目標(biāo)識(shí)別時(shí)，要進(jìn)行大矩陣的特征值分解，這不僅導(dǎo)致維數(shù)災(zāi)難，更破壞了圖像原有的空間相關(guān)性。因此很多學(xué)者轉(zhuǎn)而用一個(gè)高階張量來(lái)表示對(duì)象，He等人[6]提出了判別張量子空間分析(DTSA)，用一個(gè)三階張量表示一個(gè)彩色的人臉圖像。接著,其他學(xué)者將張量框架與PCA、LDA、LPP融合，分別提出了多線性主成分分析(MPCA)[7]、多線性判別分析(MDA)[8]、張量局部保持投影(TLPP)[9]等方法。

Pennec等人[10]指出：人類的視覺(jué)系統(tǒng)具有對(duì)圖像的稀疏表示特性。近年來(lái)，基于稀疏分析與張量表示的特征提取方法越來(lái)越火熱。稀疏主成分分析(SPCA)[11]、稀疏判別分析(SDA)[12]、稀疏保局判別分析(SPDA)[13]、多線性稀疏主成分分析(MSPCA)[14]、稀疏張量判別分析(STDA)[15]、二維稀疏局部保持投影(S2DLPP)[16]相繼被提出。

由于視頻中運(yùn)動(dòng)目標(biāo)的剪影序列易被獲得，因此許多學(xué)者對(duì)剪影序列進(jìn)行降維，將目標(biāo)的高維形狀信息投影到低維空間[17-18]。Wang等人[19]使用LPP方法得到人的剪影圖像的低維表示，Suter等人[20]引入KPCA對(duì)每幀中的剪影圖像進(jìn)行特征提取,Jia和Yeung[21]使用流形嵌入方法對(duì)人體剪影圖像局部時(shí)空判別結(jié)構(gòu)進(jìn)行分析。

本文在局部Fisher判別分析(LFDA)的基礎(chǔ)上，結(jié)合張量表示和稀疏分析，提出一種基于稀疏張量的特征提取方法：稀疏張量局部Fisher判別分析(STLFDA)。把特征值分解問(wèn)題轉(zhuǎn)化為線性回歸的問(wèn)題，并用彈性網(wǎng)絡(luò)解決線性回歸中的特征選擇問(wèn)題，以此得到稀疏的投影矩陣。該算法不但滿足了張量局部Fisher判別分析的目標(biāo)，而且保證了得到的投影矩陣的稀疏性。

1 張量基礎(chǔ)

張量是矢量的推廣，一個(gè)張量可以看作是一個(gè)多維數(shù)組。n階張量表示為X∈RI1×I2×…×In，Ik為張量第k模維度的大小。Xl1l2…ln為一個(gè)張量元素。關(guān)于張量的簡(jiǎn)要介紹如下。

定義1張量之間的內(nèi)積。2個(gè)相同大小的張量X,Y∈RI1×I2×…×In，則X、Y的內(nèi)積定義為：

定義2張量乘法。張量X∈RI1×I2×…×In和矩陣U∈Rm×Ik的k-模式積記作Y=X×kU,其中Y∈RI1×I2×…×Ik-1×m×Ik+1×…×In，計(jì)算方法如下：

基于張量更詳細(xì)的知識(shí)請(qǐng)參閱文獻(xiàn)[22]。

2 稀疏張量判別分析算法介紹

2.1 局部Fisher判別分析

令x=(x1,x2,…，xN)T為N個(gè)矢量組成的訓(xùn)練樣本集，其中xi∈Rn，ci∈{1,2,…,l}是第i類樣本的標(biāo)簽，l表示樣本所有種類數(shù)量。LFDA算法的目標(biāo)是求解一個(gè)n×d的投影陣U,從而將樣本xi從原始空間Rn投影至低維空間Rd，即yi=UTxi∈Rd，其中d

其中SB、SW分別表示局部類內(nèi)散度、局部類間散度，具體定義如下：

其中，wij是熱核函數(shù)，表示樣本間的近鄰程度，t是熱核參數(shù)，用于調(diào)整樣本間的距離值。

根據(jù)Rayleigh商可知，當(dāng)且僅當(dāng)U包含矩陣束(SB,SW)的最大的P個(gè)廣義特征值所對(duì)應(yīng)的特征向量，目標(biāo)函數(shù)能達(dá)到最大值。因此可通過(guò)求解特征值問(wèn)題SBU=λSWU，得到LFDA目標(biāo)函數(shù)的最優(yōu)解。

2.2 張量局部Fisher判別分析

本節(jié)將張量框架與LFDA結(jié)合，提出張量局部Fisher判別分析(TLFDA)，對(duì)樣本進(jìn)行更直觀的表示。較傳統(tǒng)的LFDA算法，TLFDA算法在張量空間中直接求解每一模上的投影矩陣，能更好地保留圖像的張量空間結(jié)構(gòu)特征，最大限度地保存張量在多個(gè)方向上最具判別能力的特征，并且避免了求解特征值時(shí)因向量化引起的維數(shù)災(zāi)難的問(wèn)題。

令{Xm,m=1,2,…,M}是一組由張量樣本組成的訓(xùn)練樣本集，其中，Xm∈RI1×I2×…×IN，In表示張量樣本第n模的維度，M表示樣本集中張量樣本的個(gè)數(shù)。TLFDA算法的目的是得到一組稀疏投影矩陣{U(n)∈Rpn×In,n=1,2,…,N}，使其能夠?qū)⒃嫉膹埩繕颖緩母呔S空間RI1×I2×…×IN投影至低維張量子空間Rp1×p2×…×pN(pn

ym=xm×1U(1)×2U(2)×…×NU(N)

TLFDA的目標(biāo)函數(shù)可以寫成：

J{U(n),n=1,2,…,N}=

(1)

因?yàn)門LFDA的目的是得到一組投影矩陣，因此本文選擇迭代的方法進(jìn)行求解。求第n個(gè)投影矩陣U(n)時(shí)，假設(shè)其余N-1個(gè)投影矩陣U(1),…,U(n-1)，U(n+1)，…,U(N)是已知的。因此，目標(biāo)函數(shù)可以改寫成：

(2)

將目標(biāo)中的分子進(jìn)行n模展開(kāi)可得：

綜上所述，n模條件下的最優(yōu)化問(wèn)題就可以轉(zhuǎn)化為如下形式：

(3)

2.3 稀疏張量局部Fisher判別分析

上述的LFDA、TLFDA算法通過(guò)奇異值分析或者特征分解得到的投影矩陣是非稀疏的，而稀疏張量局部Fisher判別分析(Sparse Tensor Local Fisher Discriminant Analysis, STLFDA)目的是實(shí)現(xiàn)特征選擇的同時(shí)確保得到的投影矩陣是稀疏的。主要的做法是使用回歸的方法限制特征向量中非0元素的個(gè)數(shù)，或者在目標(biāo)函數(shù)中加入L1范數(shù)的懲罰項(xiàng)。本文提出的STLFDA算法，將TLFDA問(wèn)題改寫為一個(gè)脊回歸[23]問(wèn)題，然后加入Lasso懲罰項(xiàng)使得脊回歸問(wèn)題轉(zhuǎn)化為彈性網(wǎng)絡(luò)[24](Elastic Net)回歸問(wèn)題。由此STLFDA的目標(biāo)函數(shù)可以表示成：

(4)

subject to:U(n)U(n)T=IPn

(5)

2.3.1 優(yōu)化問(wèn)題的分析

(6)

subject to：U(n)U(n)T=IPn

(7)

而式(6)、式(7)又被證明與式(8)、式(9)有著相同的解。

(8)

(9)

此時(shí)已將TLFDA與回歸問(wèn)題聯(lián)系起來(lái)，STLFDA的最優(yōu)化問(wèn)題最終轉(zhuǎn)化為求式(8)、式(9)的最優(yōu)解。

2.3.2 優(yōu)化問(wèn)題的求解

因?yàn)锳是正交矩陣，A⊥為一個(gè)任意正交陣,[A;A⊥]則組成了一個(gè)n×n的標(biāo)準(zhǔn)正交陣。

因?yàn)锳TA⊥=0,ATA=I

這里采用交替算法求解STLFDA的最優(yōu)化問(wèn)題：

1)當(dāng)An已知，利用彈性網(wǎng)絡(luò)求U(n)。

2)當(dāng)U(n)已知時(shí)，考慮式(8)的最小值，可以忽略公式最后2個(gè)懲罰項(xiàng)。

3)重復(fù)上述2個(gè)步驟，直至迭代結(jié)束。

STLFDA的算法流程為：

輸入：M個(gè)張量訓(xùn)練樣本Xm；

張量子空間的大小Pn,n=1,2,…,N

輸出：稀疏投影矩陣{U(n)∈Rpn×In,n=1,2,…,N}

步驟1張量樣本中心化

步驟3迭代過(guò)程

Fork=1:Mdo

初始化Ak為任意的列正交矩陣；

Forj=1:Ndo

求解如下彈性網(wǎng)絡(luò)問(wèn)題：

步驟4歸一化U(k)*

3 實(shí)驗(yàn)及結(jié)果

Weizmann人體行為庫(kù)中，9個(gè)人分別執(zhí)行了10種不同的動(dòng)作，共有90個(gè)視頻。本文從視頻中提取人體的形狀特征如側(cè)影、輪廓，而非運(yùn)動(dòng)目標(biāo)的方向、速度、光流。為了表示樣本的時(shí)空特征，把每個(gè)視頻轉(zhuǎn)化為剪影圖像序列，使用每個(gè)動(dòng)作的連續(xù)10幀來(lái)提取時(shí)空特征，每個(gè)居中幀的大小歸一化為32×24像素。因此，張量樣本的大小為32×24×10像素。張量的1模表示剪影圖像的高，張量的2模表示剪影圖像的寬，張量的3模表示剪影圖像的時(shí)間序列。

在實(shí)驗(yàn)中，從每類樣本中隨機(jī)選取1～6個(gè)動(dòng)作張量組成訓(xùn)練集，其余的張量樣本組成測(cè)試樣本。首先通過(guò)訓(xùn)練樣本圖像計(jì)算得到最優(yōu)投影矩陣，接著用求得的稀疏投影矩陣組把訓(xùn)練樣本和待測(cè)樣本映射到低維張量子空間，然后在張量子空間中計(jì)算待測(cè)樣本與每個(gè)訓(xùn)練樣本之間的相似度，最后構(gòu)造基于張量距離的最近鄰分類器對(duì)特征提取后的張量進(jìn)行識(shí)別。

圖1、圖2是實(shí)驗(yàn)中隨著訓(xùn)練數(shù)、稀疏度的變化STLFDA、MSPCA所達(dá)到的識(shí)別率。可以看出，當(dāng)使用STLFDA算法進(jìn)行特征提取時(shí)，每類取6個(gè)訓(xùn)練樣本，稀疏度為8時(shí)，樣本識(shí)別率達(dá)到最大值0.8351。當(dāng)使用MSPCA算法進(jìn)行特征提取時(shí)，每類取6個(gè)訓(xùn)練樣本，稀疏度為9時(shí)，樣本識(shí)別率達(dá)到最大值0.7709。

圖1 隨著訓(xùn)練數(shù)、稀疏度的變化，STLFDA所達(dá)到的識(shí)別率

圖2 隨著訓(xùn)練數(shù)、稀疏度的變化MSPCA所達(dá)到的識(shí)別率

當(dāng)對(duì)樣本進(jìn)行特征提取時(shí)，LFDA算法用一個(gè)高維向量(32×24×10=7680)來(lái)表示一個(gè)剪影序列，這就導(dǎo)致當(dāng)進(jìn)行特征值求解時(shí)計(jì)算量大、耗時(shí)長(zhǎng)。而TLFDA算法、STLFDA算法用一個(gè)三階張量表示剪影序列，并直接在張量空間中求解每一模上的投影矩陣，極大減小了計(jì)算復(fù)雜度。表1是不同算法的計(jì)算時(shí)間及樣本表示。

表1 不同算法的計(jì)算時(shí)間、樣本表示

算法樣本表示計(jì)算時(shí)間/sLFDA高維向量65.45TLFDA3階張量0.35STLFDA3階張量0.23

表2是各個(gè)算法對(duì)Weizmann庫(kù)中人體行為的識(shí)別率，可以看出，由于TLFDA算法能更好地保留圖像的張量空間結(jié)構(gòu)特征，最大限度地保存張量在多個(gè)方向上最具判別能力的特征，因此識(shí)別率高于傳統(tǒng)的LFDA算法。而STLFDA算法將稀疏限制引入到判別子空間中，既滿足了TLFDA算法的目標(biāo)，又保證了得到的投影矩陣的稀疏性，從而提高了識(shí)別的準(zhǔn)確率。

表2 不同算法在Weizmann人體行為庫(kù)上的表現(xiàn)

訓(xùn)練數(shù)比較內(nèi)容算法LFDATLFDASTLFDA5識(shí)別率0.68270.71600.7789降維后的維數(shù)22103936識(shí)別率0.69120.75390.8351降維后的維數(shù)4010393

4 結(jié)束語(yǔ)

鑒于線性判別分析(LDA)和局部保留投影(LPP)在處理多模態(tài)數(shù)據(jù)和類間交叉數(shù)據(jù)時(shí)的不足，本文首先介紹了局部Fisher判別分析(LFDA)，并將其推廣到張量空間，提出了張量局部Fisher判別分析(TLFDA)。較傳統(tǒng)的LFDA算法，TLFDA算法在張量空間中直接求解每一模上的投影矩陣，極大減小了計(jì)算復(fù)雜度，避免了求解特征值時(shí)因向量化引起的維數(shù)災(zāi)難的問(wèn)題，同時(shí)保留了原始樣本的時(shí)空特性，提高了行為識(shí)別的準(zhǔn)確率。

而LFDA、TLFDA算法的一個(gè)共同點(diǎn)就是所得到的投影矩陣是非稀疏的，而本文基于稀疏張量的特征提取方法——稀疏張量局部Fisher判別分析(STLFDA)把TLFDA算法中求特征值、特征向量的問(wèn)題轉(zhuǎn)化為一系列的線性回歸問(wèn)題，并用彈性網(wǎng)絡(luò)解決線性回歸中的特征選擇問(wèn)題，以此得到稀疏的投影矩陣。STLFDA算法既滿足了TLFDA算法的目標(biāo)，又保證了得到的投影矩陣的稀疏性。通過(guò)在Weizmann人體行為數(shù)據(jù)庫(kù)的實(shí)驗(yàn)結(jié)果可以看出，通過(guò)與MSPCA比較，本文提出的STLFDA算法在人體行為上有較高的識(shí)別率,更具魯棒性。