張培，徐望明,3，伍世虔，靳曉緣

(1.武漢科技大學信息科學與工程學院，湖北武漢，430081；2.武漢科技大學機器人與智能系統(tǒng)研究院，湖北武漢，430081；3.武漢科技大學教育部冶金自動化與檢測技術(shù)工程研究中心，湖北武漢，430081)

作為特征表示的典型方式之一，稀疏表示(sparse representation，SR)被廣泛應(yīng)用于計算機視覺、模式識別和機器學習等領(lǐng)域[1]。WRIGHT 等[2]將稀疏表示理論用于人臉識別，提出基于稀疏表示分類(sparse representation-based classification,SRC)的人臉識別方法。該方法與Eigenfaces[3]和Fisherfaces[4]等傳統(tǒng)方法相比，有效地提升了對光照、姿態(tài)、表情以及遮擋等可變因素的魯棒性，為人臉識別技術(shù)的研究提供了新思路。GAO等[5]提出了基于核稀疏表示分類(kernel SRC，KSRC)的人臉識別方法，通過核映射關(guān)系獲取特征的非線性特性，減少了特征量化誤差，提高了編碼系數(shù)向量的稀疏性。YANG 等[6]利用最大似然估計解決稀疏編碼問題，提出了一種魯棒的稀疏編碼模型，提高了對可變因素的適應(yīng)性。這些算法都是在SRC 方法基礎(chǔ)上提高系數(shù)編碼的效率，是基于人臉圖像像素灰度的全局排列，但是對光照、姿態(tài)和表情等影響因素的表現(xiàn)力仍然不夠?？紤]到Gabor特征能夠表征人臉圖像在不同方向和尺度的局部紋理信息[7]，YANG等[8]提出了基于Gabor特征稀疏表示分類(Gabor-feature based SRC,GSRC)的人臉識別方法，通過Gabor特征構(gòu)造的過完備字典提高編碼系數(shù)向量的稀疏度，提高了人臉識別準確率。徐望明等[9]提出了一種基于多方向Gabor 特征圖稀疏表示(multi-directional Gabor feature maps based SRC，MGFM-SRC)的人臉識別方法，在MGFM 圖像上提取人臉的加權(quán)Gist 特征并結(jié)合SRC算法進行識別，進一步提高了人臉識別性能。楊清山等[10]利用Gabor多通道模型，提取不同通道的Gabor 特征分別構(gòu)造字典結(jié)合稀疏表示分類器，提出了一種基于Gabor多通道加權(quán)稀疏表示分類算法(weighted multi-channel Gabor sparse representation classification，WMC-GSRC)。由于這些基于SRC的方法需要求解L1-范數(shù)最小化約束問題，一般用迭代法求解，計算復(fù)雜，且ZHANG等[11]發(fā)現(xiàn)稀疏性并不是取得較好人臉識別效果的本質(zhì)因素，提出了基于協(xié)同表示分類的人臉識別方法(collaborative representation-based classification,CRC)，在優(yōu)化目標函數(shù)中用L2-范數(shù)替代L1-范數(shù)求解系數(shù)向量，進一步提高了人臉識別的效率和準確率。本文作者在上述研究基礎(chǔ)上，提出一種更高效的基于多方向Gabor 特征圖協(xié)同表示(MGFM based CRC，MGFM-CRC)的魯棒人臉識別方法。首先，將人臉圖像與多方向多尺度Gabor濾波器組卷積得到不同方向不同尺度的Gabor特征。然后，將同一方向不同尺度的Gabor特征進行融合，再在每個方向的融合特征圖上提取Gist特征。在人臉識別階段，本文采用2種識別策略：1)將所有方向的Gist特征直接串聯(lián)或自適應(yīng)加權(quán)后串聯(lián)構(gòu)成人臉特征向量并使用協(xié)同表示分類器得到識別結(jié)果；2)對每個方向的Gist特征向量分別使用協(xié)同表示分類器進行預(yù)分類，預(yù)分類時使用自適應(yīng)K近鄰策略確定候選類并評分，取總分最高的類作為識別結(jié)果。最后，在典型人臉數(shù)據(jù)庫ORL，Extended Yale B 和AR 上通過實驗驗證本文方法對于光照、姿態(tài)和表情等可變因素的適應(yīng)性。

1 多方向Gabor 特征圖及其Gist 特征表示

對于輸入的人臉圖像，首先，計算其多方向Gabor 特征圖(MGFM)，并進一步提取Gist 特征，用特征向量表征輸入人臉圖像信息。圖1所示為Gabor 特征圖及其Gist 特征提取流程。以其中1 個方向為例，首先，將人臉圖像與該方向的一組不同尺度的Gabor濾波器進行卷積，得到該方向不同尺度下的Gabor特征圖；然后，融合多個尺度的實部和虛部Gabor特征；最后，對融合后幅值特征圖進一步提取Gist特征，得到輸入人臉圖像在該方向下的1個特征向量。其他多個不同方向下的特征提取方法以此類推。

該方法的特點在于：1)利用特征融合方法減小Gabor特征的冗余信息，最大程度地保留有用的局部紋理特性；2)利用Gist 特征提取融合后的幅值特征圖的全局特征表示，與Gabor局部特征在表示圖像信息上形成互補，這樣導(dǎo)致人臉圖像特征具有更高分辨率。整個特征提取過程的主要步驟可分為：Gabor 局部特征提取、多尺度Gabor 特征融合和Gist特征計算。

1.1 Gabor局部特征提取

二維Gabor濾波器核函數(shù)gu,v(z)[12]定義為

式中：u和v分別為Gabor 核函數(shù)的方向和尺度；‖·‖為2-范數(shù)運算符；z=(x,y)為圖像像素坐標；ku,v=kveiφu，kv=kmax/f v，φu=u/8× π。Gabor 核函數(shù)是復(fù)數(shù)形式，故有實部和虛部2個分量，實部濾波器具有平滑圖像的效果，可減少對光照的敏感度，虛部濾波器能有效描述圖像的邊緣信息。本文采用8個方向(u= 0,1,…,7)和5個尺度(v=0,1,…,4)的Gabor濾波器組對人臉圖像進行卷積：

式中：I(z)為人臉圖像；Mu,v(z)為方向u尺度v下的Gabor特征；*為卷積運算符。

1.2 多尺度Gabor特征融合

利用Gabor 變換得到的不同方向和尺度的Gabor 特征存在相似性，導(dǎo)致一定程度的信息冗余。AMIN 等[13]提出了2 種Gabor 特征融合思路，即融合同一尺度下不同方向的Gabor特征或者融合同一方向下不同尺度的Gabor 特征，從實驗結(jié)果看，后者比前者得到的Gabor融合特征更能夠描述人臉圖像信息。徐望明等[9]在此基礎(chǔ)上提出了一種改進的特征融合方法，本文沿用這種特征融合方法，具體方法描述如下：

1)根據(jù)Gabor特征實部和虛部的采用二進制編碼方式得到相應(yīng)的二值特征圖。

圖1 第u個方向上的Gabor特征圖及其Gist特征提取Fig.1 Gabor feature map and its Gist feature extraction in theu-th direction

式中：Re(Mu,v(z))和Im(Mu,v(z))分別為Gabor實部特征和虛部特征；PReu,v(z)和PImu,v(z)分別為編碼后不同方向和尺度的實部和虛部二值特征。

2)分別對同一方向(如第u個方向)下不同尺度的特征圖進行加權(quán)融合，得到十進制編碼形式：

式中：TReu(z)和TImu(z)分別為第u個方向下不同尺度實部和虛部特征融合結(jié)果。

3)根據(jù)各個方向上融合后的實部特征和虛部特征求得幅值特征Fu(z)：

1.3 Gist特征計算

融合后的每個幅值特征圖作為輸入圖像，進一步提取其Gist 特征[14]形成表示人臉圖像的全局特征向量，用于人臉識別。計算輸入圖像的Gist特征時，也利用一組Gabor 濾波器對其進行卷積處理，之后將濾波結(jié)果圖像劃分為均等不重疊的l×l個圖像子塊，并對每個圖像子塊取灰度平均值，把所有圖像子塊的灰度平均值串聯(lián)起來即形成表示圖像的特征向量。

以第u個方向為例，將特征圖Fu(z)作為輸入圖像，提取其Gist特征的步驟如下。

1)對特征圖Fu(z)與S個Gabor 濾波器進行卷積處理，得到卷積后的特征圖：

式中：z為像素的坐標；gi為第i個Gabor 濾波器；S(S= 32)為8 個方向4 個尺度的Gabor 濾波器總數(shù)。

2)將Giu(z)劃分成均等不重疊的L(L=l×l)個圖像子塊Gi,ju(z)，其中l(wèi)= 4,j= 1,2,3,4。3)將每個圖像子塊Gi，ju(z)取灰度平均值得到1個特征值，再將所有特征圖的所有子塊的特征值按序串聯(lián)，形成表示每個方向圖像的特征向量Gu：

通過上述特征提取步驟得到第u個方向Gabor特征圖Fu(z)的全局特征表示形式Gu。以此類推，可以得到所有方向Gabor特征圖的全局特征向量。

2 本文提出的人臉識別方法

針對文獻[9]中方法進一步改進，提出一種基于多方向Gabor 特征圖協(xié)同表示(MGFM based CRC，MGFM-CRC)的人臉識別方法。在得到多個方向下幅值特征圖的Gist特征向量之后，進行人臉識別時，可將所有方向的Gist 特征串聯(lián)(MGFMCRC-1)或按文獻[9]自適應(yīng)加權(quán)后串聯(lián)(MGFMCRC-2)構(gòu)成人臉特征向量，使用協(xié)同表示分類器得到識別結(jié)果。這里先介紹這2種方法并分析其存在的問題，從而提出一種新方法。首先，對每個方向的Gist特征向量分別使用相應(yīng)的協(xié)同表示分類器進行預(yù)分類，預(yù)分類時使用自適應(yīng)K近鄰策略確定候選類并對其評分；然后，將所有候選類在所有方向的評分進行匯總；最后，取總分最高的類作為識別結(jié)果，該方法記為MGFM-CRC-3。

2.1 MGFM-CRC-1和MGFM-CRC-2

與其他使用SRC 分類器的算法一樣，文獻[9]提出的MGFM-SRC 人臉識別方法由于利用L1-范數(shù)求解稀疏系數(shù)向量，計算復(fù)雜。為了減少SRC算法復(fù)雜度，文獻[11]提出CRC 算法，利用L2-范數(shù)替代L1-范數(shù)求解系數(shù)向量，能取得解析解，故計算更高效。CRC 算法并不強調(diào)分解的系數(shù)向量的稀疏性，而是考慮到利用所有字典原子的協(xié)同作用，并在保持與SRC算法識別率接近的情況下，大大地減少求解系數(shù)的時間。因此，可利用多方向Gabor 特征圖方法結(jié)合協(xié)同表示分類器(CRC)完成人臉識別任務(wù)，具體方法可描述為：給定k個類別的n幅人臉圖像組成的訓練樣本，按上述方法得到每幅圖像在多個方向上的Gist特征向量，將它們按序串聯(lián)(MGFM-CRC-1)或按文獻[9]自適應(yīng)加權(quán)后串聯(lián)(MGFM-CRC-2)作為表征每幅人臉圖像的全局特征向量，將所有人臉全局特征向量組成訓練樣本特征矩陣B=[B1,B2,…,Bk]=[b1,1,b1,2,…,bi,ni,…,bk,nk]∈Rc×n。其中：bi,j為第i類的第j個訓練樣本圖像特征向量；n=n1+n2+ …+nk；c為特征向量的維度。由于特征向量維度較高，利用主成分分析法(principal component analysis，PCA)產(chǎn)生1 個變換矩陣ψ∈Rd×c，將高維特征降維得到矩陣Φ=ψB∈Rd×n作為協(xié)同表示字典矩陣，其中；d為主成分個數(shù)即降維后特征的維度。同樣地，給定1個測試樣本圖像，得到多個方向的串聯(lián)特征向量φ∈Rc×1，并降維后得Q=ψφ∈Rd×1，則其協(xié)同表示系數(shù)向量可通過以下優(yōu)化問題求解：

式中：λ為正則化參數(shù)。

由于采用L2-范數(shù)作為規(guī)則化項，式(10)無需使用迭代法求解，其解析解為：=(ΦTΦ+λI)-1ΦTQ∈Rn。 令P=(ΦTΦ+λI)-1ΦT∈Rn×d，一旦字典矩陣Φ和參數(shù)λ給定，則P就可以預(yù)先計算出來。

求得協(xié)同表示的系數(shù)向量x∧后，就可以用各個類別的訓練樣本分別重構(gòu)測試樣本，相應(yīng)的重構(gòu)誤差ri(Q)為

最后，根據(jù)重構(gòu)誤差最小化準則進行分類，即將最小誤差所對應(yīng)的類別標簽作為測試樣本的識別結(jié)果。

2.2 MGFM-CRC-3

MGFM-CRC-1和MGFM-CRC-2方法最終用來分類的圖像特征向量均是將多個方向的Gist特征按序級聯(lián)的結(jié)果，這樣形成的特征向量維度較高，計算復(fù)雜且在存在一定程度上的特征信息冗余；同時，這2種方法中最終只是根據(jù)重構(gòu)誤差最小化準則判定識別結(jié)果，當最小誤差和次小誤差比較接近時，可能導(dǎo)致誤判。

因此，本文進一步提出MGFM-CRC-3 方法對其進行改進：首先，提取到在m個方向下的Gabor特征圖的Gist特征后，分別以每個方向下Gabor特征圖的Gist特征作為描述人臉圖像的特征向量；其次，進行m次協(xié)同表示分類，而且每次分類所得的預(yù)分類結(jié)果由K近鄰策略確定并評分，不一定是最近鄰(即最小重構(gòu)誤差對應(yīng)的類)；最后，匯總m次協(xié)同表示預(yù)分類結(jié)果，取總分最高的候選類作為最終識別結(jié)果。以方向u(u= 0,1,…,m- 1)為例進行說明：

給定k個類別的n幅訓練樣本圖像，按前述特征提取方法得到每幅圖像在該方向上的特征向量為第i類第j個人臉圖像樣本在第u個方向上的特征向量，其中q為特征向量的維度，并將這些特征向量組合成特征集Bu=同樣，對測試樣本圖像提取該方向上的特征向量φu∈Rq，計算φu在對應(yīng)特征集Bu上的協(xié)同表示系數(shù)向量：

再計算該方向上各個類別對應(yīng)的重構(gòu)誤差ri(φu)：

式中：i= 1,2,…,k，為樣本圖像類別；δi()為在第u個方向求得的系數(shù)向量xu∧中與第i類訓練樣本圖像特征對應(yīng)的系數(shù)向量；Buδi()為在第u個方向第i類訓練樣本圖像特征與相應(yīng)類系數(shù)對測試樣本圖像特征的重構(gòu)結(jié)果。

根據(jù)式(14)所示的協(xié)同表示重構(gòu)誤差ri(φu)進行分類時，通常采用最近鄰準則，即判定重構(gòu)誤差最小時所對應(yīng)的類為測試樣本的分類結(jié)果。由于沒有考慮最小誤差、次小誤差及其他近鄰誤差的關(guān)系，容易導(dǎo)致分類錯誤。本文提出使用自適應(yīng)K近鄰策略進行改進，即根據(jù)各個類對應(yīng)的重構(gòu)誤差，按設(shè)定的閾值條件自動選取K個近鄰誤差對應(yīng)的類作為候選分類結(jié)果；然后，按重構(gòu)誤差來給各候選類進行評分，重構(gòu)誤差小的賦予大的分值，重構(gòu)誤差大的賦予小的分值。而對于非候選類，直接將其分值設(shè)置為0。對于每個類別i，F(xiàn)ij(g)為重構(gòu)誤差從小到大的排序函數(shù)，其中j=1,2,…,k。Fij(r(φu))表示重構(gòu)誤差ri(φu)排序第j個位置。利用Fij(r(φu))＜α×Fi1(r(φu))這個判斷條件自適應(yīng)地選取K個近鄰誤差。

式中：sui為測試樣本圖像按其在第u個方向下的特征進行分類時判定其屬于第i類的得分。

對每個方向均進行1次預(yù)分類，一共m次，得到相應(yīng)的候選類，測試樣本圖像在每個方向的特征向量進行分類結(jié)果融合，則每個類別在所有方向的總得分si為

最后，根據(jù)評分最高所對應(yīng)的類別，判斷測試樣本圖像的識別結(jié)果。

綜上，人臉識別方法MGFM-CRC-3 具體步驟為：

1)對含有k個類別的訓練樣本圖像，用本文前述特征提取方法在m(m=8)個方向分別提取特征向量Gui,j(u= 0,1,…,m- 1)，并構(gòu)造每個方向的特征集Bu，進一步用PCA 降維算法得到變換矩陣ψu，從而得到每個方向的協(xié)同表示字典矩陣，Φu=

2)對測試樣本圖像，對第u個方向的特征向量φu，進行特征空間變換，得到每個方向降維后的特征向量Qu=ψuφu；

3)將字典矩陣Φu和測試樣本特征向量Qu分別代替式(13)中的Bu和φu，求解協(xié)同表示的系數(shù)向量x∧u；

4)利用式(14)計算每個方向的每個類別的重構(gòu)誤差，ri(φu)(i= 1,2,…,k)；

5)根據(jù)式(15)和式(16)得到在所有方向上每個類別的總評分si；

6)利用式(17)計算出評分最高時所對應(yīng)的類別就是測試樣本圖像的識別結(jié)果。

3 實驗結(jié)果與分析

為了驗證本文方法的有效性，通過將CRC 算法[11]、MGFM-SRC算法[9]、MGFM-CRC-1算法、MGFM-CRC-2算法和MGFM-CRC-3算法分別在典型人臉數(shù)據(jù)庫ORL[15]，Extended Yale B[16-17]和AR[18]上進行實驗。其中，參數(shù)設(shè)置如下：自適應(yīng)K近鄰系數(shù)α取5，在ORL 庫中L2 正則化系數(shù)λ取0.08，在Extended Yale B 和AR庫中L2正則化系數(shù)λ取0.001；實驗所用平臺配置為Inter Core(TM)i5，主頻3.2 GHz，內(nèi)存4 G，Matlab R2016b。

3.1 算法識別率

3.1.1 ORL人臉數(shù)據(jù)庫

ORL人臉數(shù)據(jù)庫包含40個人，每人10幅，共400幅人臉圖像，存在不同程度的光照、表情和姿態(tài)變化。本文實驗中將原始圖像像素歸一化為32像素× 32像素，通過ORL 人臉數(shù)據(jù)庫來比較各種算法在不同訓練樣本個數(shù)下的表現(xiàn)。表1所示為在ORL 人臉數(shù)據(jù)庫不同算法的識別率。由表1可見：在不同的訓練樣本個數(shù)下，與CRC算法相比，其他算法的識別率都有明顯提升，表明多方向Gabor特征圖能夠描述人臉圖像局部信息，對于光照、表情和姿態(tài)等變化具有較好的魯棒性。在每類訓練樣本個數(shù)為5 的情況下，MFGM-CRC-2 算法和MGFM-CRC-3算法取得了最高識別率99.8%，在其他訓練樣本數(shù)情況下，MGFM-CRC-3 算法識別率都要高于其他算法的識別率，表明在CRC 分類器決策層使用K近鄰策略并融合多個方向的識別結(jié)果，進一步提高了算法的魯棒性。

表1 在ORL人臉數(shù)據(jù)庫不同算法的識別率Table1 Recognition results of different methods on the ORL face database %

3.1.2 Extended Yale B人臉數(shù)據(jù)庫

Extended Yale B 人臉數(shù)據(jù)庫包含38 個人，每人64 幅在不同光照條件下的正面人臉圖像。本文實驗中原始人臉圖像像素尺寸歸一化為54像素×48像素，各類人臉圖像隨機選取50%作為訓練樣本，剩余50%作為測試樣本。表2所示為Extended Yale B人臉數(shù)據(jù)率不同算法的識別率。由于Gabor局部特征具有良好的表征圖像的能力，基于MGFM 表示的算法在任何特征維度下均比CRC 算法識別效果好。在3種數(shù)據(jù)維度下，MGFM-SRC和MGFMCRC-3 算法均取得了最好的效果，尤其當數(shù)據(jù)維度為300時，這2種方法的識別率都達到了100.0%(但MGFM-CRC-3 算法效率明顯高于MGFMSRC)。另外，MGFM-CRC-3 算法識別率高于MGFM-CRC-1和MGFM-CRC-2算法識別率，同樣表明對于MGFM采用分方向處理方式，在CRC分類器決策層使用K 近鄰策略并將多個方向的識別結(jié)果進行融合，有利于提升識別率。

表2 在Extended Yale B人臉數(shù)據(jù)庫不同算法的識別率Table2 Recognition results of different methods on Extended Yale B face database %

3.1.3 AR人臉數(shù)據(jù)庫

本文實驗選取AR人臉數(shù)據(jù)庫中100人(50名男性和50 名女性)每人14 幅，共1 400 幅正面人臉圖像，具有不同的光照和表情變化。將原始人臉圖像像素尺寸歸一化為66 像素×48 像素，各類選取前7 幅人臉圖像作為訓練樣本，其余作為測試樣本。表3所示為AR人臉數(shù)據(jù)庫不同算法的識別率。在不同維度下，MGFM-CRC-3 算法均取得了最好識別效果。

表3 AR人臉數(shù)據(jù)庫不同算法的識別率Table3 Recognition results of different methods on AR face database %

3.2 算法效率

表4所示為各個算法識別一幅人臉圖像所需要的CPU 時間。由表4可見：CRC 算法識別一幅人臉圖像所需時間較少，效率優(yōu)勢明顯?；贛GFM 稀疏表示和協(xié)同表示的算法主要耗時體現(xiàn)在MGFM特征提取過程上。其中，MGFM-SRC算法所需時間最多，原因是利用L1-范數(shù)最小化來求解系數(shù)增加了算法復(fù)雜度，而本文提出的3 種MGFM-CRC 算法在各個數(shù)據(jù)庫上的執(zhí)行時間則基本保持一致，且效率明顯高于MGFM-SRC 算法，這是因為使用了CRC 分類器，利用L2-范數(shù)替代SRC分類器中的L1-范數(shù)來求解系數(shù)向量，從而能取得解析解,導(dǎo)致計算更加高效。

表4 各個算法執(zhí)行時間比較Table4 Run time comparison of various algorithms /ms

4 結(jié)論

1)基于多方向Gabor特征圖(MGFM)建立人臉圖像的特征表示，能有效描述人臉圖像局部信息，對于光照、表情和姿態(tài)等變化具有較好的魯棒性。

2)使用CRC 分類器實現(xiàn)人臉識別，CRC 算法并不追求求解系數(shù)向量的稀疏性，而是利用所有字典原子的協(xié)同作用，用L2-范數(shù)替代SRC分類器中的L1-范數(shù)來求解系數(shù)向量，由于能取得解析解，不僅能保持與SRC 算法接近的識別率，而且大幅提升計算效率。

3)原始CRC 算法在利用協(xié)同表示重構(gòu)誤差進行分類時，采用最近鄰準則易導(dǎo)致分類錯誤，本文方法使用自適應(yīng)K近鄰策略進行改進，同時對多方向Gabor特征圖引入分方向處理方式，采用評分機制進行分類判決，取得了較好的效果。