張啟明，李凡長

蘇州大學計算機科學與技術(shù)學院，江蘇蘇州215006

ISSN 1673-9418 CODEN JKYTA8

Journal of Frontiers of Computer Science and Technology

1673-9418/2016/10(04)-0533-10

?

標架叢上的局部特征聯(lián)絡學習算法*

張啟明，李凡長+

蘇州大學計算機科學與技術(shù)學院，江蘇蘇州215006

ISSN 1673-9418 CODEN JKYTA8

Journal of Frontiers of Computer Science and Technology

1673-9418/2016/10(04)-0533-10

E-mail: fcst@vip.163.com

http://www.ceaj.org

Tel: +86-10-89056056

* The National Natural Science Foundation of China under Grant Nos. 61033013, 60775045 (國家自然科學基金); the Soochow Scholar Program Foundation of China under Grant No. 14317360 (東吳學者計劃).

Received 2015-05,Accepted 2015-10.

CNKI網(wǎng)絡優(yōu)先出版: 2015-10-16, http://www.cnki.net/kcms/detail/11.5602.TP.20151016.1103.004.html

摘要：人臉識別問題中，經(jīng)常會面臨樣本少的情況，在身份證識別、電子護照識別等系統(tǒng)中，甚至只有一個訓book=534,ebook=88練樣本，很多傳統(tǒng)人臉識別方法在處理單樣本時將失效。從流形學習角度出發(fā)提出了一種有效解決單樣本人臉識別的方法。以自組織映射神經(jīng)網(wǎng)絡為基礎，將人臉局部特征（眼、鼻、嘴等）視為一個流形，訓練出多流形結(jié)構(gòu)。利用聯(lián)絡關(guān)聯(lián)不同的流形，同時學習出局部特征流形間與流形內(nèi)的方向變化信息，再進行有監(jiān)督的訓練。整個方法結(jié)合了神經(jīng)網(wǎng)絡學習和流形學習，將單樣本人臉識別問題轉(zhuǎn)換成多流形匹配問題。在著名人臉庫ORL、UMIST、FERET、AR上的實驗顯示該算法在處理單樣本問題時優(yōu)于已有算法，在處理姿態(tài)、表情等變化問題時也表現(xiàn)出很好的效果。

關(guān)鍵詞：聯(lián)絡學習；標架叢；多流形；橫空間；縱空間；單樣本訓練

1　引言

人臉識別自從20世紀90年代被提出以來，已成為模式識別、計算機視覺和信息技術(shù)等領(lǐng)域研究的熱點課題。研究者們基于幾何特征[1]、子空間[2-3]、神經(jīng)網(wǎng)絡[4]等方法提出了各種有效的識別算法。在一些特殊場合，如身份證驗證、護照驗證等，每類只有一張訓練樣本，這就產(chǎn)生了單樣本人臉識別問題。解決單樣本問題在拓寬人臉識別應用，降低數(shù)據(jù)庫構(gòu)建成本等方面具有重要意義。

然而，由于訓練樣本的減少，傳統(tǒng)的人臉識別方法不能有效地處理單樣本人臉識別問題。例如，基于主成分分析（principal component analysis，PCA）[2]技術(shù)的人臉識別方法無法準確地計算類內(nèi)散度矩陣，導致丟失很多有用的判別信息。Tan等人[5]就此問題在ORL人臉數(shù)據(jù)集上進行了實驗，發(fā)現(xiàn)算法的識別率隨著訓練樣本的減少急速下降，當只有一張訓練人臉時，平均識別率已經(jīng)低到65%以下，下降幅度約30%。由此可見，在單訓練樣本條件下，傳統(tǒng)人臉識別效果并不理想。研究人員根據(jù)不同思路提出了不同的解決方法，包括擴展傳統(tǒng)的統(tǒng)計方法[6-10]、合成虛擬樣本方法[11-13]、局部外觀方法[14-15]。文獻[6]改進了線性判別分析（linear discriminant analysis，LDA）[3]算法，將每類的單個樣本進行聚類，形成多個類別，用每個聚類的類間散度矩陣代替每類為零的類間散度矩陣。文獻[7-8]計算圖像的水平和垂直積分投影，將積分投影得到的投影圖與原圖像結(jié)合形成增強的圖像。合成虛擬樣本通過擴大訓練樣本集將單樣本人臉識別方法轉(zhuǎn)換成一般的人臉識別問題。文獻[11]提出了ROCA（representational oriented component analysis）方法，應用線性和非線性的過濾方法生成圖像的150種表示方法，OCA分類器作用于每種表示。文獻[12]利用擾動方法生成新樣本，再利用標準特征臉技術(shù)進行特征提取和識別。局部外觀方法一般有如下步驟：局部區(qū)域分塊，特征提取與選擇，分類。文獻[15]提出用自組織映射表征人臉子空間的方法，利用分塊訓練出一個自組織映射神經(jīng)網(wǎng)絡（self-organization mapping，SOM），用最近鄰算法將同一張人臉的每個分塊投影到與之相關(guān)的最佳匹配單元，去除原始圖像的噪聲。

上述方法在一定程度上解決了單樣本人臉識別問題，但仍存在很多不足。文獻[9]在表征同樣大小圖像信息時消耗的數(shù)據(jù)會更多。合成虛擬樣本法合成出的圖像與原圖像是高度相關(guān)的，并非真正的獨立圖像。局部外觀法忽略了圖像的整體結(jié)構(gòu)，計算時間復雜度一般較高。本文從流形學習的角度出發(fā)，利用標架叢這一特殊流形上的聯(lián)絡算子處理多流形數(shù)據(jù)結(jié)構(gòu)的能力，學習出流形內(nèi)及流形間主要方向變化信息，獲得各局部特征流形的權(quán)重值，將單樣本人臉識別問題轉(zhuǎn)化成多流形間匹配問題。

2　相關(guān)基礎知識

2.1流形學習

流形學習可以看作非線性降維技術(shù)的一個分支，2000年Science發(fā)表的兩篇文章等距映射（isometric feature mapping，Isomap）[16]和局部線性嵌入（locally linear embedding，LLE）[17]奠定了流形學習的基礎。Isomap的作者Silva等人[18]描述流形學習如下。

定義1設Y??d是一個低維流形，f:Y→?D是一個光滑嵌入，其中d?D。數(shù)據(jù)集{yi}是隨機生成的，且經(jīng)過f映射為觀察空間的數(shù)據(jù){xi=f(yi)}。流形學習就是在給定觀察樣本集{xi}的條件下重構(gòu)f 和{yi}。

流形學習中有個重要假設是樣本足夠稠密以覆蓋整個流形。在單樣本問題中，這個假設被破壞，無法準確估計低維流形。本文采用多流形學習機制，假設原始數(shù)據(jù)集分布在多個不連續(xù)的低維子流形上，不同流形間通過標架叢上的整體標架場相聯(lián)系。

2.2切叢

微分流形上[19]的切叢T(M)[20-21]是一個由M上各點切空間組成的向量從，其總空間是各切空間的不交并集：

基于切叢的流形學習方法已相對成熟，Rifai等人[22]提出了原始數(shù)據(jù)的主要變化方向存在于每點切空間張成的線性空間中，認為流形上每點可由其切空間坐標近似逼近。Yu等人[23-24]也提出了相似的觀點，為每個樣本點建立局部坐標卡以得到泛化性的表示。但Bengio等人[25-26]指出局部坐標卡方法的訓練樣本數(shù)目會隨著流形維數(shù)和曲率呈指數(shù)上升，這在單樣本情況下是不能接受的，解決此問題就需要有整體的覆蓋流形的坐標系統(tǒng)。

2.3標架叢

標架叢[27]是和切叢密切相關(guān)的，流形中點x的一個標架是其切空間TxM的一組有序基{e1,e2,…,en}，點x上的所有標架的集合記為Lx(M)，標架叢就是流形M上的全體標架的集合，記為L(M)。

π:L(M)→M為標架叢到流形M的自然映射，它是一個具有結(jié)構(gòu)群GL(n;?)的主纖維叢（非矢量叢）。令(U,?)為M的一個坐標卡，其坐標系定義為(x1,x2,…,xn)。如果u={e1,e2,…,en}是x∈U的一個標架，可將它寫成：

則此一維流形上的標架叢如圖1所示。

Fig.1 Frame bundle on one-dimensional manifold圖1　一維流形上的標架叢

2.4標架叢上的聯(lián)絡

設M上有一個聯(lián)絡D，其能自然地導出一個L(M)上的聯(lián)絡H，反之也成立。如果固定x∈M和(x,e)∈L(M)，考慮所有滿足γ(0)=x的曲線以及對應的提升?(x,e)，使得?(x,e)(0)=(x,e)。當γ(0)跑遍所有x點的所有向量時，?(x,e)(0)在L(M)(x,e)中就填滿一個子集合H(x,e)，這里L(M)(x,e)是L(M)在(x,e)處的切空間。而H(x,e)是L(M)(x,e)中的一個n維子空間。此子空間具有性質(zhì)：

（2）H(x,e)⊕V(x,e)=L(M)(x,e),?(x,e)∈L(M)，其中V(x,e)是叢L(M)→M的纖維在(x,e)點處的切空間。

（3）dRa(H(x,e))=H(x,e)a,?a∈GL(n,?),(x,e)∈L(M)。

TL(M)中滿足3個性質(zhì)的子叢H就是L(M)上的聯(lián)絡。依然用M=?的例子來表示標架叢上的聯(lián)絡，有L(M)??×?*的一個坐標(x,a)，計算A∈gl(1;?)的無窮小生成元，exp(A)=eA∈?*?GL(1;?)，因此

這里R非零（因為向量場必須與縱子叢互補），而水平分布不變性這一條件限制了R和S，也就是說，如果有h(x,ab)=T(x,a)Rb(h(x,a))，那么h將生成一個聯(lián)絡，計算式（3）：

則有

R(x,ab)=R(x,a)，S(x,ab)=bS(x,a)

為簡化問題，假設a=1，R=1，那么向量場生成的?上線性聯(lián)絡的橫子叢如下：

橫子空間的傾斜度會隨著群作用方向的變化而變化，對于底空間M=?中的每點，聯(lián)絡由其纖維上某點的傾斜度決定，見圖2。

Fig.2 Frame bundle connection of one-dimensional manifold圖2　一維流形標架叢上的聯(lián)絡

綜上所述，從標架叢這一特殊流形的角度看，流形上每點的切空間能直和地分解成橫空間和縱空間，縱空間是各纖維的切空間，而橫空間與流形M的切空間是同構(gòu)的。當處理多流形結(jié)構(gòu)時，可以很自然地使用這兩個子空間關(guān)聯(lián)不同的流形。因此，既能將原始數(shù)據(jù)結(jié)構(gòu)通過水平提升到橫空間中來進行全局分析，又能將單一流形結(jié)構(gòu)映射到縱空間中進行局部分析。

3　標架叢上的局部特征聯(lián)絡學習算法

單樣本識別也存在人臉圖像的幾何變化（平移、旋轉(zhuǎn)、伸縮等），表情變化，姿態(tài)變化等問題，本文的目的是使神經(jīng)網(wǎng)絡的輸出對這些變化不敏感。首先，根據(jù)人臉的局部特征，構(gòu)造出多流形結(jié)構(gòu)，學習人臉不同局部流形的權(quán)重值。在此多流形結(jié)構(gòu)上，使用標架叢上的聯(lián)絡算子學習出輸入空間變化的方向信息，并結(jié)合反向傳播（backpropagation，BP）算法實現(xiàn)分類器的設計。

3.1多流形構(gòu)造

根據(jù)上面的思路，人們希望圖像的不變性能帶來更好的識別效果，但往往從圖像的全局結(jié)構(gòu)上無法體現(xiàn)這樣的性質(zhì)。因此利用分塊的方法，獲得人臉的不同局部特征，如眼睛、鼻子、嘴巴等，通過樣本的局部特征構(gòu)造多流形結(jié)構(gòu)，即將人的眼睛特征視為一個流形，鼻子特征視為一個流形，嘴巴特征也視為一個流形等。

本文使用自組織映射神經(jīng)網(wǎng)絡（SOM）實現(xiàn)對多流形結(jié)構(gòu)的逼近。在SOM中，輸出層（競爭層）是由神經(jīng)元排列的點陣集合，獲勝的神經(jīng)元與其鄰近的神經(jīng)元的權(quán)值都將被調(diào)整。如二維平面陣，見圖3。獲勝神經(jīng)元為紅點，若定義獲勝鄰域是大小為1的矩陣，則圖中藍色神經(jīng)元權(quán)值也將被調(diào)整。

Fig.3 SOM neural network圖3　SOM神經(jīng)網(wǎng)絡模型

SOM不但識別輸入?yún)^(qū)域臨近的區(qū)域，還研究輸入向量的分布特性和拓撲結(jié)構(gòu)。即某個輸出結(jié)點只響應某類特征流形，相似的局部特征流形在拓撲空間中也保持相近。將局部特征分塊作為SOM網(wǎng)絡的原始輸入xi=(x1,x2,…,xn)T，xi為一分塊，x1,x2…,xn代表分塊中像素拉成列向量后的形式。對輸入向量及權(quán)值向量分別歸一化后，用下式尋找獲勝神經(jīng)元：

wj是權(quán)值向量，n是競爭層神經(jīng)元個數(shù)。然后，根據(jù)拓撲鄰域N(S)進行權(quán)值更新。

Fig.4 Multi-manifold structure constructed by local feature圖4　局部特征多流形

3.2多流形上的標架

在獲得的多流形結(jié)構(gòu)數(shù)據(jù)集上，人們希望設計出對原始輸入空間變化具有很好魯棒性的分類器來完成識別工作。Rifai在文獻[22]中指出，若要重構(gòu)誤差與輸入空間變換不敏感達到平衡，則每個訓練樣本點周圍，實質(zhì)上只對某些特定輸入方向敏感，不同的訓練樣本點對應不同的敏感方向。

Fig.5 Frame system on multi-manifold圖5　多流形上的標架系統(tǒng)

3.3基于標架的多流形變化方向

這里，Uk(x)是U(x)的第k列；ε是一個可調(diào)參數(shù)，規(guī)定凡大于ε的特征值對應的特征向量就是引起聯(lián)絡系數(shù)變化較大的方向。因此，Bx中的元素就是流形上點x在訓練過程中需要被約束的方向。

Fig.6 Variation of same-class local feature manifold is less than the different-class圖6　同類局部特征流形的變化小于異類局部特征流形的變化

3.4應用方向信息分類

要約束變化的方向，就要使得網(wǎng)絡輸出沿這些方向的方向?qū)?shù)變小。這些額外信息可被加入到最終的監(jiān)督學習中來提升分類性能。利用改進的反向傳播算法訓練神經(jīng)網(wǎng)絡，在原有的目標方程上加入懲罰項：

此外，各局部特征流形對最終的分類結(jié)果應產(chǎn)生不同程度的影響，即不同的人臉特征流形應擁有不同的權(quán)重值。如果某類局部特征流形激活了較多的神經(jīng)元，則表示該局部特征表達的是人臉的公共信息部分，此局部特征對分類的貢獻度較小。如果某類局部特征流形激活了較少的神經(jīng)元，則表示該局部特征傳達了人臉重要判別信息。此類局部特征對分類的貢獻度較大。根據(jù)以上觀點，得出各局部特征流形對最終分類性能的貢獻程度為：

其中，N表示競爭層的神經(jīng)元總個數(shù)；ni表示局部特征流形Mi激活的神經(jīng)元總個數(shù)。

下面給出整個標架叢上的局部特征聯(lián)絡學習算法（local feature connection learning algorithm based on frame bundle，LFCA-FB）：

算法1標架叢上的局部特征聯(lián)絡學習算法

輸入：多個訓練流形[M1,M2,…,MN]，對應標簽[T1,T2,…,TN]，測試流形MT，參數(shù)τ、σ、ε，學習速率η0，收斂誤差η。

輸出：每點的約束方向Bx，局部特征流形的權(quán)重w，分類標簽c。

步驟1利用自組織映射神經(jīng)網(wǎng)絡（SOM）訓練出多流形結(jié)構(gòu)的同時（無監(jiān)督學習），用式（8）學習出人臉各局部特征流形的權(quán)重值。

步驟2基于標架上的橫空間和縱空間的聯(lián)絡矩陣，使用式（6）尋找出每點x的約束方向Bx。

步驟3在目標函數(shù)中加入懲罰項，即式（7），在有監(jiān)督的情況下使用改進BP算法調(diào)節(jié)整個神經(jīng)網(wǎng)絡，結(jié)合步驟1中學習到的權(quán)重值來構(gòu)建分類器。

時間復雜度分析：算法的時間復雜度分成兩個部分，一部分是計算奇異值和奇異向量，其時間復雜度為O(dL×d×dh)；另一個部分是訓練神經(jīng)網(wǎng)絡，開始是非監(jiān)督的多流形構(gòu)造學習，之后是有監(jiān)督的分類訓練，采用的是改進的隨機梯度下降算法。因此，在訓練階段整個算法的時間復雜度較高。

4　實驗結(jié)果與分析

本文使用4個通用人臉數(shù)據(jù)庫ORL、UMIST、FERET、AR進行實驗評估。ORL人臉數(shù)據(jù)集共有40類人臉，每類人臉有10幅圖像，一幅圖像的大小為112×92像素，主要包括表情變化，微小姿態(tài)變化，尺度變化。圖7為部分ORL數(shù)據(jù)集圖像。

UMIST數(shù)據(jù)集有20類人臉，每類圖像數(shù)為19至36幅，大小為220×220像素，包括人臉從左往右的姿態(tài)變化。圖8為UMIST部分圖像。

FERET-1共有200人的400張人臉圖像，每人都有兩張圖像Fa與Fb，大小為256×384像素，該數(shù)據(jù)集體現(xiàn)了不同的年齡、表情、光照等特征。使用每類的Fa圖像進行訓練，F(xiàn)b圖像進行測試。圖9展示了部分FERET-1數(shù)據(jù)集。

Fig.7 ORL database圖7　ORL人臉數(shù)據(jù)集

Fig.8 UMIST database圖8　UMIST人臉數(shù)據(jù)集

Fig.9 FERET database圖9　FERET人臉數(shù)據(jù)集

AR根據(jù)拍攝時間（間隔兩周）分成兩個部分，圖10為部分AR數(shù)據(jù)集，本文使用AR中100人的1 400張人臉子集進行實驗，包括兩個時間段的表情變化、光照、遮擋等情況。表1顯示了選用的標準，表里每個子集都可用于訓練樣本，其余子集作為測試樣本。

Fig.10 AR database圖10　AR人臉數(shù)據(jù)集

使用ORL和UMIST數(shù)據(jù)集將本文提出的LFCAFB算法與其他單樣本人臉識別算法進行比較。參與比較的算法包括主成分分析（PCA）[2]、二維PCA （2DPCA）[9]、分塊LDA（FLDA）[14]、局部保持投影（LPP）[28]、局部切空間排列（LTSA）[29]和SOM[15]，在這些算法中，采用歐式空間的最近鄰分類器進行分類。首先，利用PCA將UMIST數(shù)據(jù)集降維到112× 92，與ORL數(shù)據(jù)集圖像大小保持一致。取兩個數(shù)據(jù)集各自的正臉圖像作為訓練樣本，其余圖像作測試樣本，ORL每類人臉有9張測試圖像，UMIST也從每類中取9種不同姿態(tài)下的圖像作為測試樣本。取分塊大小為4×4，表2列出了各算法在兩個數(shù)據(jù)集上的最低和最高識別率。

Table 1 Subset collection of AR database表1　AR數(shù)據(jù)集的子數(shù)據(jù)集選擇

Table 2 Highest and lowest recognition rates of different methods on ORL and UMIST表2　各算法在ORL及UMIST數(shù)據(jù)集上的最低和最高識別率

從表2中可以看出，UMIST數(shù)據(jù)集上的識別結(jié)果基本低于ORL上的識別結(jié)果，這是因為ORL數(shù)據(jù)集只包含了每張人臉圖像微小的姿態(tài)變化，而人工選取的UMIST測試樣本包含了較大幅度的姿態(tài)變化?？梢?，在單樣本識別問題中，姿態(tài)變化很大程度上影響著最后的識別結(jié)果。不過，本文算法表現(xiàn)出了很好的魯棒性，與其他最優(yōu)算法相比，識別率也要高出2至3個百分點。這是因為LFCA-FB算法學習出了姿態(tài)變化所引起的輸入空間變化的方向，從而使整個神經(jīng)網(wǎng)絡的輸出不受這些方向變化的影響。

同樣，將LFCA-FB算法運用在AR的遮擋子數(shù)據(jù)集上并與SOM算法進行比較，圖11為實驗結(jié)果。從圖中可以看出，在F1、F2、G1、G2數(shù)據(jù)集上的識別率要比SOM分別高出2、2、3、4個百分點。G1、G2（圍巾遮擋）上的識別率也分別高于F1、F2（太陽鏡遮擋）上的識別率，也就是說嘴巴、下顎部分被遮擋對算法的影響要小于眼睛、鼻子被遮擋時的影響，這從人們的直觀感覺來看是容易理解的。對于權(quán)值較小的局部特征流形，即使它的輸入變化顯著，也不會輕易影響到神經(jīng)網(wǎng)絡的輸出。

Fig.11 Comparative performance of LFCA-FB and SOM on F1, F2, G1, G2 subsets of AR圖11　在AR子集F1、F2、G1、G2上LFCA-FB與SOM的比較

D1和D2是尖叫表情的子數(shù)據(jù)集，它與訓練圖像已產(chǎn)生很大的表情變化，見圖10。將LFCA-FB運行在此數(shù)據(jù)集上，并與SOM算法比較，結(jié)果見圖12。從圖中可以看出，LFCA-FB算法對于復雜表情變化有很好的魯棒性，其在D1、D2子集的最高識別率分別達到了93.0%和92.5%，相比SOM算法提高了3個百分點。顯然，LFCA-FB很好地捕捉到了表情變化所引起的局部特征變化的方向，將表情變化對最終輸出結(jié)果的影響降到最低。

Fig.12 Comparative performance of LFCA-FB and SOM on D1, D2 subsets of AR圖12　在AR子集D1、D2上LFCA-FB與SOM的比較

LFCA-FB算法的時間復雜度較高，這是因為首先需要經(jīng)過SOM的預訓練，然后再用改進的反向傳播算法進行微調(diào)。因此，訓練階段的耗時即是算法時間復雜度。表3給出了在FERET-1數(shù)據(jù)集上，不同樣本數(shù)、神經(jīng)元數(shù)情況下，訓練階段的耗時。同時，在AR的B、C子集上驗證算法的收斂性，圖13（a）和（b）分別顯示了算法在B、C子集上識別率隨迭代次數(shù)的變化情況。從圖中可以看出，LFCA-FB算法最終能收斂到一個局部最優(yōu)值。

Table 3 Running time of LFCA-FB on FERET-1表3　LFCA-FB在FERET-1上的運行時間

5　結(jié)束語

本文使用人臉的局部特征構(gòu)造多流形結(jié)構(gòu)。通過橫空間、縱空間聯(lián)絡矩陣的變化學習出原始輸入數(shù)據(jù)在流形間及流形內(nèi)影響最終輸出的主要變化方向，將此額外信息應用到最終的神經(jīng)網(wǎng)絡訓練中，解決單樣本人臉識別的同時增強算法對人臉流形隨姿態(tài)、表情等變化的魯棒性。

Fig.13 Convergence on B, C subsets of AR圖13　在AR子集B、C上算法的收斂情況

實驗部分發(fā)現(xiàn)算法的時間復雜度較高，如何選擇合適的分塊大小、神經(jīng)元數(shù)目以減少訓練時間值得進一步研究。

References:

[1] Brunelli R, Poggio T. Face recognition: features versus templates[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1993, 15(10): 1042-1052.

[2] Turk M, Pentland A. Eigenfaces for recognition[J]. Journal of Cognitive Neuroscience, 1991, 3(1): 71-86.

[3] Martinez A M, Kak A C. PCA versus LDA[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(2): 228-233.

[4] Er M J, Wu Shiqian, Lu Juwei, et al. Face recognition with radial basis function (RBF) neural networks[J]. IEEE Transactions on Neural Networks, 2002, 13(3): 697-710.

[5] Tan Xiaoyang, Chen Songcan, Zhou Zhihua, et al. Face recognition from a single image per person: a survey[J]. Pattern recognition, 2006, 39(9): 1725-1745.

[6] Pang Yanwei, Pan Jing, Liu Zhengkai. Cluster-based LDA for single sample problem in face recognition[C]//Proceedings of the 2005 International Conference on Machine Learning and Cybernetics, Guangzhou, China, Aug 18-21, 2005. Piscataway, USA: IEEE, 2005: 4583-4587.

[7] Wu Jianxin, Zhou Zhihua. Face recognition with one training image per person[J]. Pattern Recognition Letters, 2002, 23 (14): 1711-1719.

[8] Chen Songcan, Zhang Daoqiang, Zhou Zhihua. Enhanced (PC)2A for face recognition with one training image per person[J]. Pattern Recognition Letters, 2004, 25(10): 1173-1181.

[9] Yang Jian, Zhang D, Frangi A F, et al. Two-dimensional PCA: a new approach to appearance-based face representation and recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(1): 131-137.

[10] Zhang Daoqiang, Zhou Zhihua. (2D)2PCA: two-directional two-dimensional PCA for efficient face representation and recognition[J]. Neurocomputing, 2005, 69(1): 224-231.

[11] De la Torre F, Gross R, Baker S, et al. Representational oriented component analysis (ROCA) for face recognition with one sample image per training class[C]//Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, San Deigo, USA, Jun 20-26, 2005. Piscataway, USA: IEEE, 2005: 266-273.

[12] Martinez A M. Recognizing imprecisely localized, partially occluded, and expression variant faces from a single sample per class[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(6): 748-763.

[13] Beymer D, Poggio T. Face recognition from one example view[C]//Proceedings of the 5th International Conference on Computer Vision, Cambridge, USA, Jun 20-23, 1995. Piscataway, USA: IEEE, 1995: 500-507.

[14] Chen Songcan, Liu Jun, Zhou Zhihua. Making FLDA applicable to face recognition with one sample per person[J]. Pattern Recognition, 2004, 37(7): 1553-1555.

[15] Tan Xiaoyang, Chen Songcan, Zhou Zhihua, et al. Recognizing partially occluded, expression variant faces from single training image per person with SOM and soft k-NN ensemble[J]. IEEE Transactions on Neural Networks, 2005, 16 (4): 875-886.

[16] Tenenbaum J B, De Silva V D, Langford J C. A global geometric framework for nonlinear dimensionality reduction[J]. Science, 2000, 290(5500): 2319-2323.

[17] Roweis S T, Saul L K. Nonlinear dimensionality reduction by locally linear embedding[J]. Science, 2000, 290(5500): 2323-2326.

[18] Silva V D, Tenenbaum J B. Global versus local methods in nonlinear dimensionality reduction[C]//Advances in Neural Information Processing Systems 15: Proceedings of the 16th Annual Conference on Neural Information Processing Systems, Vancouver, Canada, Dec 9-14, 2002. Cambridge, USA: MIT Press, 2002: 705-712.

[19] Chen Xingshen, Chen Weihuan. Lectures on differential geometry[M]. Beijing, China: Peking University Press, 2001.

[20] Rifai S, Dauphin Y N, Vincent P, et al. The manifold tangent classifier[C]//Advances in Neural Information Processing Systems 24: Proceedings of the 25th Annual Conference on Neural Information Processing Systems, Granada, Spain, Dec 12-14, 2011. Cambridge, USA: MIT Press, 2011: 2294-2302.

[21] Alavi A, Wiliem A, Zhao K, et al. Random projections on manifolds of symmetric positive definite matrices for image classification[C]//Proceedings of the 2014 IEEE Winter Conference on Applications of Computer Vision, Steamboat Springs, USA, Mar 24- 26, 2014. Piscataway, USA: IEEE, 2014: 301-308.

[22] Rifai S, Vincent P, Muller X, et al. Contractive auto-encoders: explicit invariance during feature extraction[C]//Proceedings of the 28th International Conference on Machine Learning, Bellevue, USA, Jun 28- Jul 2, 2011. Madison, USA: Omni Press, 2011: 833-840.

[23] Yu Kai, Zhang Tong, Gong Yihong. Nonlinear learning using local coordinate coding[C]//Advances in Neural Information Processing Systems 22: Proceedings of the 23rd Annual Conference on Neural Information Processing Systems, Vancouver, Canada, Dec 7-10, 2009. Red Hook, USA: Curran Associates, 2009: 2223-2231.

[24] Yu Kai, Zhang Tong. Improved local coordinate coding using local tangents[C]//Proceedings of the 27th International Conference on Machine Learning, Haifa, Israel, Jun 21-24, 2010. Madison, USA: Omni Press, 2010: 1215-1222.

[25] Bengio Y, Monperrus M. Non-local manifold tangent learning [C]//Advances in Neural Information Processing Systems 17: Proceedings of the 18th Annual Conference on Neural Information Processing Systems, Vancouver, Canada, Dec 13-18, 2004: 129-136.

[26] Bengio Y, Larochelle H, Vincent P. Non-local manifold parzen windows[C]//Advances in Neural Information Processing Systems 18: Proceedings of the 19th Annual Conference on Neural Information Processing Systems, Vancouver, Canada, Dec 5-8, 2005. Cambridge, USA: MIT Press, 2005: 115-122.

[27] Li Fanzhang, Zhang Li, Yang Jiwen, et al. Lie group machine learning[M]. Hefei, China: China Science and Technology University Press, 2013.

[28] He Xiaofei, Niyogi P. Locality preserving projections[C]// Advances in Neural Information Processing Systems 16: Proceedings of the 17th Annual Conference on Neural Information Processing Systems, Vancouver, Canada, Dec 8-13, 2003. Cambridge, USA: MIT Press, 2003: 153-160.

[29] Zhang Zhenyue, Zha Hongyuan. Principal manifolds and nonlinear dimensionality reduction via tangent space alignment[J]. Journal of Shanghai University: English Edition, 2004, 8(4): 406-424.

附中文參考文獻：

[19]陳省身,陳維桓.微分幾何講義[M].北京:北京大學出版社, 2001.

[27]李凡長,張莉,楊季文,等.李群機器學習[M].合肥:中國科學技術(shù)大學出版社, 2013.

ZHANG Qiming was born 1989. He is an M.S. candidate at School of Computer Science and Technology, Soochow University. His research interest is machine learning.

張啟明（1989—），男，江蘇揚州人，蘇州大學計算機科學與技術(shù)學院碩士研究生，主要研究領(lǐng)域為機器學習。

LI Fanzhang was born in 1964. He received the M.S. degree in computer science and technology from University of Science and Technology of China in 1995. Now he is a professor and Ph.D. supervisor at Soochow University, and the senior member of CCF. His research interests include artificial intelligence and machine learning, etc.

李凡長（1964—），男，云南宣威人，1995年于中國科技大學獲得碩士學位，現(xiàn)為蘇州大學教授、博士生導師，CCF高級會員，主要研究領(lǐng)域為人工智能，機器學習等。

Local Feature Connection Learning Algorithm Based on Frame Bundle?

ZHANG Qiming, LI Fanzhang+
School of Computer Science and Technology, Soochow University, Suzhou, Jiangsu 215006, China

+ Corresponding author: E-mail: lfzh@suda.edu.cn

ZHANG Qiming, LI Fanzhang. Local feature connection learning algorithm based on frame bundle. Journal of Frontiers of Computer Science and Technology, 2016, 10(4): 533-542.

Abstract:Small sample size is one challenging problem for face recognition. In many practical applications such as ID card identification, e-passport, even there is only single sample per person. Many traditional methods fail to work in this scenario because there are not enough samples for learning. This paper proposes a novel method which is based on manifold learning to solve this problem. Firstly, this proposed method views local feature (eyes, nose, mouth) of a face as a manifold and uses self-organization mapping neural network to train a multi-manifold structure. Then it associates each manifold by connection operator on frame bundle and learns the directions of intermanifold and intra-manifold which are not sensitive to the variations of the input. Finally, it adds this additional information to supervised training. The proposed method combines neural network and manifold learning, changing single sample problem to multi-manifold matching problem. Experiments on well-known face databases ORL, UMIST, FERET and AR show that the proposed method outperforms some renowned methods and gets a better performance when facing the problem of variation of expression and pose, etc.

Key words:connection learning; frame bundle; multi-manifold; horizontal space; vertical space; one training sample

文獻標志碼：A

中圖分類號：TP181

doi:10.3778/j.issn.1673-9418.1505062