王 鈺，劉 凡，王 菲

1.河海大學(xué) 海岸災(zāi)害及防護(hù)教育部重點(diǎn)實(shí)驗(yàn)室，南京210098

2.河海大學(xué) 計(jì)算機(jī)與信息學(xué)院，南京210098

在許多現(xiàn)實(shí)的人臉識(shí)別場(chǎng)景，比如護(hù)照驗(yàn)證和登機(jī)口身份識(shí)別，通常很少甚至只有一個(gè)訓(xùn)練圖像，而測(cè)試樣本可能包含各種劇烈的臉部變化如光照、表情和遮擋，這就是所謂的單樣本人臉識(shí)別問題。如何在含有劇烈類內(nèi)變化的人臉識(shí)別場(chǎng)景中取得較好的識(shí)別效果，成為當(dāng)前許多人臉識(shí)別工作研究的重點(diǎn)問題。針對(duì)這個(gè)問題，研究者們提出了許多單樣本人臉識(shí)別的解決方案。

受到稀疏表示的啟發(fā)，Wright 等[1]首次將基于稀疏表示的分類方法（Sparse Representation Classification，SRC）用于人臉識(shí)別中并取得了很好的效果?；赟RC 的人臉識(shí)別方法背后的基本假設(shè)是待分類的人臉圖像可以由字典中的同類人臉圖像線性表示。然而，在單樣本人臉識(shí)別問題中，一方面，每類單張訓(xùn)練樣本很難構(gòu)造出一個(gè)過完備的字典，另一方面，待分類人臉包含劇烈的類內(nèi)變化，因而SRC方法很難取得在這一問題中取得令人滿意的效果。研究者們嘗試從不同角度改進(jìn)SRC方法，大致可以分為基于虛擬樣本的方法[2-8]、基于特征的方法[9-11]和基于通用訓(xùn)練集的方法[12-14]。對(duì)于基于虛擬樣本的方法，Zhao 等[3]提出嘗試通過旋轉(zhuǎn)、翻轉(zhuǎn)等幾何變換獲取虛擬樣本的方法。劉江等[5]提出利用稀疏重構(gòu)構(gòu)建虛擬圖像，從而提高識(shí)別準(zhǔn)確率。Zhu等[6-7]提出PSRC 方法，將圖片分成塊的方法，每個(gè)塊被視為一個(gè)獨(dú)立的樣本來(lái)擴(kuò)充訓(xùn)練樣本，最終的分類結(jié)果由各個(gè)塊投票給出。Pang等[8]提出RHDA方法，結(jié)合多種塊與塊間距離度量提升魯棒性。然而，這些基于單個(gè)訓(xùn)練樣本的虛擬樣本生成方法采用簡(jiǎn)單的幾何或線性變換，所得到的虛擬樣本與訓(xùn)練樣本有很強(qiáng)的線性相關(guān)性，因而效果并不明顯。對(duì)于基于特征的方法，Gao等[9]提出SSAE 方法，利用棧式自編碼器提取人臉特征，并將特征用于稀疏表示分類過程中取得了識(shí)別效果上提升。韓旭等[15]提出結(jié)合SPCA 和HOG 方法對(duì)相似的信息塊進(jìn)行特征量化，最后利用皮爾遜相關(guān)系數(shù)（Pearson Correlation，PC）進(jìn)行相似性判別。而對(duì)于通用訓(xùn)練集方法，利用一個(gè)額外的訓(xùn)練集得到類內(nèi)變化信息并將這些變化信息運(yùn)用到測(cè)試集中。Deng 等[14]提出ESRC 方法，通過通用訓(xùn)練集中帶變化人臉減去標(biāo)準(zhǔn)人臉的方式構(gòu)造出類內(nèi)變化字典來(lái)彌補(bǔ)訓(xùn)練字典中缺少變化信息的問題。Yang 等[13]提出LGR 方法，先將圖片分塊并在每個(gè)塊上利用相同的方法構(gòu)造出變化字典。然而，這種構(gòu)造變化字典的方式可能帶來(lái)通用集中的人臉輪廓信息而影響分類精度，因此，Gao等[16]提出PRP方法，一種基于塊的正則化表示方法，用來(lái)學(xué)習(xí)通用的基于塊的類內(nèi)變化字典。Pang等[17]提出了SGL方法，通過通用集學(xué)習(xí)到不具鑒別性特征的增強(qiáng)變化字典用于表示分類。

已有的這些方法在單樣本人臉識(shí)別方面已經(jīng)取得了很大的進(jìn)展。近年來(lái)，深度學(xué)習(xí)的發(fā)展使得人臉生成技術(shù)不斷進(jìn)步，一個(gè)自然的想法就是嘗試通過生成各種帶變化的人臉擴(kuò)充稀疏表示的字典來(lái)代替之前的基于構(gòu)造變化字典的稀疏表示方法。本文提出一種基于有監(jiān)督自編碼器的帶變化人臉生成模型彌補(bǔ)單張訓(xùn)練樣本和測(cè)試數(shù)據(jù)間的變化信息差異，并結(jié)合稀疏表示分類方法解決單樣本人臉識(shí)別問題。

1 相關(guān)工作

1.1 稀疏表示

稀疏表示分類方法背后的基本原理原理：將所有類的所有訓(xùn)練樣本組成字典，假設(shè)訓(xùn)練樣本圖像和測(cè)試樣本圖像位于同一線性子空間中，測(cè)試樣本可以被字典中所有類的訓(xùn)練樣本線性表示。對(duì)表示系數(shù)增加稀疏性約束后，表示系數(shù)中的非0項(xiàng)更加集中在測(cè)試樣本所屬的類別上，因而在所屬類別上的重構(gòu)誤差最小。線性表示過程如下：

其中，X=[X1,X2,…,Xd]表示所有類訓(xùn)練樣本組成的字典，Xi表示第i類的訓(xùn)練樣本，y表示測(cè)試樣本，α=[α1,α2,…,αd]是協(xié)同表示過程中的表示系數(shù)。

為解決稀疏表示過程中計(jì)算量過大的問題，Zhang等[18]提出了協(xié)同表示分類方法（Collaborative Representation Classification，CRC），將公式（1）中的?1范數(shù)約束改成?2范數(shù)約束，在節(jié)約計(jì)算量的情況下取得了識(shí)別準(zhǔn)備率相當(dāng)?shù)慕Y(jié)果。

1.2 自編碼器

自編碼通常由兩個(gè)階段組成：編碼階段和解碼階段。輸入圖像x，編碼階段通過映射函數(shù)f:h=f(x)將輸入圖像編碼到隱層h。解碼階段通過映射函數(shù)g:x′=g(h)將隱層h映射回輸入空間，重構(gòu)誤差表示為：

Gao 等[9]構(gòu)造了棧式自編碼器，將自編碼器在圖像重構(gòu)過程中的隱層輸出看作所輸入的人臉圖像x的特征，并將提取到的特征代替原始圖像用于稀疏表示分類過程中，取得了識(shí)別精度的提升。本文嘗試?yán)米跃幋a器直接生成各種帶變化人臉圖像來(lái)彌補(bǔ)單張訓(xùn)練樣本和測(cè)試數(shù)據(jù)間的變化信息差異，增強(qiáng)稀疏表示的字典從而提升識(shí)別精度。

2 基于有監(jiān)督自編碼器的稀疏表示

2.1 有監(jiān)督自編碼器

每類給定單張標(biāo)準(zhǔn)人臉訓(xùn)練樣本集合A=[a1,a2,…,aN]，ai表示第i類的單張訓(xùn)練樣本。給定通用訓(xùn)練集包含標(biāo)準(zhǔn)人臉X=[x1,x2,…,xM]，以及對(duì)應(yīng)的帶變化人臉[,…,] 。通過自編碼學(xué)習(xí)到一個(gè)xi的重構(gòu)映射，在此過程中，若只采用通用訓(xùn)練集中的數(shù)據(jù)進(jìn)行訓(xùn)練，必然會(huì)丟失訓(xùn)練樣本的身份信息，因而，利用訓(xùn)練集和通用集中的所有標(biāo)準(zhǔn)人臉進(jìn)行身份信息提取，如圖1（a）所示。輸入xi∈{A,X}，編碼階段記為h=f(xi)=tanh()，解碼階段記為g(h)=tanh() ，身份特征提取模型的表達(dá)式就可以寫為：

其中：

式（4）中，第一項(xiàng)為重構(gòu)誤差，要求輸入圖像xi與網(wǎng)絡(luò)輸出g(f(xi))相近，通過無(wú)監(jiān)督圖像重構(gòu)的方式學(xué)習(xí)隱層特征f(xi)。第二項(xiàng)利用KL 散度描述隱層特征的稀疏性，通過選擇一個(gè)較小的ρ0，KL 散度正則化項(xiàng)限制了隱層神經(jīng)元的激活度。文獻(xiàn)[9]中的結(jié)果表明，在自編碼器模型中使用稀疏性約束來(lái)激活隱藏層通常比沒有稀疏性約束的自編碼器能取得更好的性能。第三項(xiàng)是網(wǎng)絡(luò)參數(shù)的?2范數(shù)正則項(xiàng)用來(lái)預(yù)防網(wǎng)絡(luò)過擬合。當(dāng)身份特征提取模型訓(xùn)練完成之后，輸入一張標(biāo)準(zhǔn)人臉xi，隱層輸出f(xi)就被視作其身份特征，記為IFxi。

圖1 有監(jiān)督自編碼器的網(wǎng)絡(luò)結(jié)構(gòu)

對(duì)于給定的通用訓(xùn)練集中的標(biāo)準(zhǔn)人臉X和帶變化人臉，學(xué)習(xí)到一個(gè)的重構(gòu)映射過程如圖1（b）所示。變化人臉的生成過程可以寫為：

其中第一項(xiàng)是網(wǎng)絡(luò)輸出圖像與目標(biāo)圖像的重構(gòu)誤差。第二項(xiàng)為了保證隱層身份特征的穩(wěn)定，要求編碼階段隱層信息f(xi)要與第一個(gè)模型中提取到的身份特征IFxi相近，以此來(lái)保證重構(gòu)圖像的身份信息穩(wěn)定。第三項(xiàng)是softmax損失，其中：

要求輸入圖片xi和重構(gòu)圖片g(f(xi))經(jīng)過softmax分類層要分類到同一個(gè)類別yi上。生成的圖像和輸入的圖像是同一類別，進(jìn)一步確保了生成圖像和輸入圖像具有相同的人臉身份信息，為后續(xù)的分類工作提供保障。最后兩項(xiàng)正則項(xiàng)與前面身份特征提取模型中類似。由于身份特征約束項(xiàng)和softmax 中人臉圖片標(biāo)簽的運(yùn)用，所以將提出的模型稱為有監(jiān)督自編碼器（Supervised AutoEncoder，SAE）。

模型訓(xùn)練完成后，輸入ai∈A，可以得到對(duì)應(yīng)的帶變化人臉a^i。

2.2 字典擴(kuò)充的稀疏表示

對(duì)于給定的單張標(biāo)準(zhǔn)人臉訓(xùn)練樣本集合A=[a1,a2,…,aN]，每個(gè)人有S張測(cè)試樣本T=[] 。將ai輸入到訓(xùn)練完的變化人臉生成模型，可以得到生成的帶變化人臉Gi=，并將所有生成的帶變化人臉放如字典中。擴(kuò)充后的字典可以寫成D=[A,G1,G2,…,GN]。對(duì)于每個(gè)測(cè)試樣本Ti，原始的基于單張訓(xùn)練樣本組成字典的稀疏表示分類目標(biāo)函數(shù)為：

基于擴(kuò)充后的字典，稀疏表示分類方法的目標(biāo)函數(shù)表示為：

稀疏表示方法在單樣本條件下效果下滑的主要原因是每類樣本數(shù)過少，也就是所謂的欠采樣問題。另一方面是由于單張訓(xùn)練樣本中缺少測(cè)試集中的類內(nèi)變化信息。擴(kuò)充后的字典D引入了帶變化的人臉信息，并且在一定程度上緩解了稀疏表示中的欠采樣問題，理論上有助于提升稀疏表示的分類精度。

3 實(shí)驗(yàn)

為了驗(yàn)證所提出方法的有效性，本章使用Extended YaleB[19]和AR[20]數(shù)據(jù)庫(kù)對(duì)本文方法進(jìn)行了評(píng)估。為了充分證明本文提出的方法的魯棒性，分別實(shí)施了基于全局和基于局部塊的分類方法。為了公平比較，將基于全局和基于局部塊的方法分別比較。對(duì)于所有實(shí)驗(yàn)，圖像大小調(diào)整為32×32；對(duì)于所有基于局部塊的方法，塊的大小設(shè)置為11×11。

3.1 Extended YaleB數(shù)據(jù)集

Extended YaleB[19]人臉數(shù)據(jù)庫(kù)是由38個(gè)人在9個(gè)姿勢(shì)和64種光照條件下拍攝的圖像組成的。正常光照下的圖片作為訓(xùn)練圖像。與文獻(xiàn)[8]的實(shí)驗(yàn)設(shè)置相同，28個(gè)類別被用作通用數(shù)據(jù)集，其余10 個(gè)類別用于評(píng)估。一些生成的帶光照變化樣本如圖2所示，左邊是單張訓(xùn)練標(biāo)準(zhǔn)人臉，右邊圖（a）行是生成的帶變化人臉，圖（b）行是測(cè)試集中對(duì)應(yīng)的待分類人臉。

圖2 E-YaleB數(shù)據(jù)集上的一些生成結(jié)果

基于全局的方法的實(shí)驗(yàn)結(jié)果如表1 所示，基于塊的方法如表2 所示。從表1 所示的全局方法的識(shí)別精度可以看出，SAE+CRC 方法比字典中使用單個(gè)訓(xùn)練樣本的CRC 方法至少提高了30 個(gè)百分點(diǎn)，充分證明了生成樣本的有效性。在基于局部塊的方法方面，從表2可以看出，SAE+PCRC的性能也遠(yuǎn)遠(yuǎn)優(yōu)于PCRC。為了減輕字典中噪聲圖片帶來(lái)的影響，也利用了MPPCRC[21]分類方法進(jìn)行實(shí)驗(yàn)。結(jié)果顯示，SAE+MPPCRC進(jìn)一步提升了識(shí)別精度?？紤]到Extended YaleB數(shù)據(jù)庫(kù)包含各種劇烈光照變化，實(shí)驗(yàn)還顯示了該方法對(duì)光照的良好魯棒性。

表1 E-YaleB數(shù)據(jù)集基于全局方法的識(shí)別準(zhǔn)確率%

表2 E-YaleB數(shù)據(jù)集基于局部塊方法的識(shí)別準(zhǔn)確率%

3.2 AR數(shù)據(jù)集

在AR 數(shù)據(jù)庫(kù)[20]上的實(shí)驗(yàn)，選擇了AR 庫(kù)中session1的100 個(gè)人的子集，每個(gè)類別包括13 個(gè)不同面部表情、光照條件和遮擋情況下的人臉圖像。選擇80類作為測(cè)試和訓(xùn)練，其中包括前40 名男性和前40 名女性受試者作為訓(xùn)練和測(cè)試，其余20類作為通用訓(xùn)練集。

一些生成的帶變化樣本如圖3所示，左邊是單張訓(xùn)練標(biāo)準(zhǔn)人臉，右邊圖（a）行是生成的帶變化人臉包括微笑表情、墨鏡和圍巾遮擋等臉部變化，右邊圖（b）行是對(duì)應(yīng)的測(cè)試集中的人臉。

圖3 AR數(shù)據(jù)集上的一些生成結(jié)果

圖4 字典擴(kuò)充前后測(cè)試樣本在各類別上的表示系數(shù)

第一幅沒有任何面部變化的圖像被用作單個(gè)訓(xùn)練樣本，其余的被用作測(cè)試樣本。AR 庫(kù)上基于全局的方法的實(shí)驗(yàn)結(jié)果如表3所示，基于局部塊的方法實(shí)驗(yàn)結(jié)果如表4 所示。如表3 所示，與字典中使用單個(gè)訓(xùn)練樣本的CRC方法相比，SAE+CRC方法至少提高了30個(gè)百分點(diǎn)，SAE+MPPCRC 則進(jìn)一步提升了識(shí)別精度。對(duì)于表4中基于塊的方法，SAE+PCRC方法與單樣本字典條件下的PCRC方法相比也有很大改進(jìn)，識(shí)別精度提升了近10 個(gè)百分點(diǎn)。此外，實(shí)驗(yàn)結(jié)果也證明了所提方法對(duì)表情、光照和遮擋變化具有較好的魯棒性。

表3 AR數(shù)據(jù)集基于全局方法的識(shí)別準(zhǔn)確率%

表4 AR數(shù)據(jù)集基于局部塊方法的識(shí)別準(zhǔn)確率%

3.3 表示系數(shù)分析

在Extended YaleB數(shù)據(jù)集和AR數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，無(wú)論是基于全局的方法還是基于局部塊的方法，本文方法都體現(xiàn)出了較大的優(yōu)勢(shì)。為了進(jìn)一步闡述所提出方法的優(yōu)越性，本節(jié)從稀疏表示過程中的表示系數(shù)進(jìn)行分析。

如圖4 所示，以AR 數(shù)據(jù)集中戴墨鏡的測(cè)試樣本為例，圖（a）是在單樣本條件下測(cè)試樣本在各個(gè)類別上的表示系數(shù)。由于字典的欠完備，以及類內(nèi)變化信息的缺乏，導(dǎo)致測(cè)試樣本的表示系數(shù)在每個(gè)類別上相對(duì)平均和最終的分類錯(cuò)誤；圖（b）是加入生成圖像擴(kuò)充后的字典條件下同一張戴墨鏡的測(cè)試圖片在各個(gè)類別上的表示系數(shù)，相比圖（a）單樣本條件下，擴(kuò)充后的字典使得測(cè)試樣本的表示系數(shù)更為稀疏，正確類別上的表示系數(shù)為0.4，遠(yuǎn)大于在其他類別上的表示系數(shù)，體現(xiàn)了表示分類過程中的稀疏性。

由此可見，經(jīng)過本文方法擴(kuò)充后的字典有利于緩解稀疏表示方法在單張訓(xùn)練樣本情況下的欠采樣問題，一定程度上彌補(bǔ)了訓(xùn)練集和測(cè)試集之間的類內(nèi)變化差異，從而提升了分類過程中的識(shí)別精度。

4 結(jié)束語(yǔ)

本文提出了一種基于有監(jiān)督自編碼器的帶變化人臉生成方法，解決了稀疏表示分類在單樣本人臉識(shí)別問題中的欠采樣問題，彌補(bǔ)了訓(xùn)練圖像和測(cè)試圖像間的變化信息差異。實(shí)驗(yàn)結(jié)果表明，該方法對(duì)表情、光照、遮擋等各種變化都具有較強(qiáng)的魯棒性。然而，對(duì)于開集條件下的人臉識(shí)別問題，變化信息就更難以學(xué)得。因此，在開集條件下將稀疏表示運(yùn)用到單樣本人臉識(shí)別問題中，是今后要解決的問題。