唐恒亮，孫艷豐，朱杰，趙明茹

TANG Hengliang1，2,SUN Yanfeng1,ZHU Jie2,ZHAO Mingru1，2

1.北京工業(yè)大學(xué)多媒體與智能軟件技術(shù)北京市重點實驗室，北京100124

2.北京物資學(xué)院智能物流系統(tǒng)北京市重點實驗室，北京101149

1.Beijing Key Laboratory of Multimedia and Intelligent Software Technology,Beijing University of Technology,Beijing 100124,China

2.Beijing Key Laboratory of Intelligent Logistics System,Beijing Wuzi University,Beijing 101149,China

1 引言

人臉識別研究已取得了較大進展，但仍存在許多問題值得深入研究，特別是針對人臉表情、姿態(tài)和光照等的識別問題。目前，大部分工作都致力于改進人臉表示方法，以提升人臉認(rèn)知和識別的魯棒性。

在人臉表情識別方面，近年來涌現(xiàn)了大量的研究成果。從識別方法上分析，大致可分為基于全局特征的方法和基于局部特征的方法。基于全局特征的方法主要提取面部圖像的宏觀信息刻畫面部的獨特性，側(cè)重對整體特征的描述，并用以識別。常用的全局人臉表征方式有主成分分析[1]、線性判別分析[2-3]、獨立成分分析[4-5]、支持向量機[6]等；基于局部特征的方法側(cè)重分析面部圖像的局部細(xì)節(jié)特性，研究表情對人臉局部區(qū)域的影響，提取利于分類的人臉微觀屬性。近年來，基于LBP[7-13]的方法因其原理簡單，計算復(fù)雜度低，同時具備旋轉(zhuǎn)和灰度不變性而備受關(guān)注，并被廣泛應(yīng)用于圖像識別、目標(biāo)檢測和跟蹤等領(lǐng)域。宋克臣等人[14]針對當(dāng)前LBP方法表現(xiàn)出的理論和實際應(yīng)用價值進行了詳盡的匯總，并系統(tǒng)綜述了在紋理分析和分類、人臉分析和識別以及其他檢測與應(yīng)用中的各種LBP方法。

本文通過深入分析人臉圖像特征以及表情對人臉局部區(qū)域的非剛性影響，提出了一種融合LBP和局部稀疏表示的人臉表情識別方法（見圖1）。首先，對規(guī)格化后的訓(xùn)練集人臉圖像進行特征分區(qū)，對于每個人臉分區(qū)計算該區(qū)域的LBP特征，并采用直方圖統(tǒng)計方法整合該區(qū)域特征分量，形成由特定人臉的局部特征組成的訓(xùn)練集局部特征庫；對于測試人臉，同樣進行人臉圖像規(guī)格化、人臉分區(qū)、局部LBP特征計算和局部直方圖統(tǒng)計操作；最后，對于測試人臉的局部直方圖統(tǒng)計特征，利用訓(xùn)練集特征庫進行局部稀疏重構(gòu)表示，并采用局部稀疏重構(gòu)殘差加權(quán)方法進行最終人臉表情分類識別。

圖2 LBP算子編碼方式

2 人臉局部特征提取

表情對人臉區(qū)域可產(chǎn)生非剛性的變化，進而使得帶表情的人臉表征因面部區(qū)域變化的不可預(yù)期性而相對比較困難。而LBP是一種簡單有效、非參數(shù)化的局部紋理模式描述算子，它描述圖像紋理特征是基于紋理像素間的關(guān)聯(lián)性，利用結(jié)構(gòu)法思想分析固定窗口特征，然后利用統(tǒng)計法作整體特征提取，所以LBP算子能夠很好地提取面部的紋理關(guān)聯(lián)特征。因此，本文針對人臉表情問題從LBP算子著手展開了深入研究。

對于原始人臉樣本，首先通過標(biāo)定其雙眼中心位置，將其規(guī)格化為64×64的標(biāo)準(zhǔn)圖像；為深入分析表情對人臉局部區(qū)域的影響，更好地研究不同表情因素對人臉產(chǎn)生的非剛性變化，根據(jù)面部五官特征對人臉圖像進行了非均勻的分區(qū)；對于每個人臉局部區(qū)域，采用LBP算子計算局部特征，通過重疊滑動3×3子區(qū)域窗口，對非邊界區(qū)域進行局部二值化編碼（如圖2所示），即

其中，ic表示窗口中心位置紋理特征，in表示中心點8鄰域的紋理特征，二值化算子s(x)可表示為：

對于人臉局部區(qū)域的LBP特征，分區(qū)域統(tǒng)計其直方圖信息來描述該區(qū)域的屬性。對于人臉圖像樣本s的第k(本文k=1，2，…，10）個區(qū)域的直方圖統(tǒng)計特征hk，s，在M個灰度級別上分別對其進行統(tǒng)計，每個灰度級別的直方圖分量特征可定義為：

其中，i表示灰度級別，則第k個區(qū)域的直方圖統(tǒng)計特征hk，s可表示為：

對于所有人臉樣本的每個局部區(qū)域均可表征為公式（4）所示的局部直方圖統(tǒng)計特征。該特征采用LBP算子提取人臉子區(qū)域的局部微觀特征，又通過統(tǒng)計直方圖的方法整合局部微觀特征，最終形成對人臉子區(qū)域的局部完整性描述。

3 人臉局部稀疏重構(gòu)表示與識別

通過第2章的處理，可將人臉樣本從圖像信息抽象成分區(qū)域的統(tǒng)計特征。在此基礎(chǔ)上，通常將每個特定樣本的所有子區(qū)域直方圖特征串聯(lián)，并組成對該特定樣本的整體描述，最后采用整體直方圖匹配算法進行分類識別。人臉子區(qū)域直方圖串聯(lián)僅是一種機械的局部特征整合方法，對分類識別的貢獻作用有限。因此，在人臉局部區(qū)域直方圖表征基礎(chǔ)上，為了更精確、細(xì)致地描述人臉局部信息，深入挖掘表情對人臉各個子區(qū)域的影響，通過對稀疏表示方法的深入探討，本文提出了一種基于人臉局部區(qū)域稀疏重構(gòu)表示的表情識別方法。

稀疏表示[15-16]是一種高維信號獲取、表示與壓縮方法。近年來，隨著數(shù)學(xué)領(lǐng)域的研究發(fā)展，特別是對于l1范數(shù)優(yōu)化問題的研究突破，推動了稀疏表示在計算機視覺[17]領(lǐng)域的應(yīng)用，并且取得了一定的成果。相比傳統(tǒng)的人臉識別方法，稀疏表示的目標(biāo)函數(shù)更適合人臉識別的最終任務(wù)；稀疏表示具有信源與誤差分離的固有屬性，只要人臉表征方式信息量充分，其他人臉無關(guān)特征的介入不會影響算法的識別性能；另外，在稀疏表示框架下，增加訓(xùn)練樣本數(shù)量一定程度上能夠提高訓(xùn)練集的稀疏特性，使稀疏表示更準(zhǔn)確，但不會因過多樣本的介入而使算法識別性能下降。

第2章獲取的人臉子區(qū)域的局部完整性描述可將每個人臉樣本抽象成一組局部特征向量，也可看作是一組人臉局部描述符的集合，該局部描述符在一定程度上刻畫了人臉的獨特性。在同類樣本相似度較高的先驗知識前提下，根據(jù)稀疏表示原理，每個待識別樣本可由訓(xùn)練集中其同類樣本的線性組合近似表示出。

對于人臉表情樣本s，其第k個區(qū)域的局部描述符可表示為hk，s，則訓(xùn)練集中所有樣本該區(qū)域的表征方式可按列向量形式排列成訓(xùn)練矩陣Hk，即

其中，N為訓(xùn)練集中人臉樣本數(shù)量，M為單個人臉樣本的特征維度，即上文所指的灰度級別數(shù)量。

對于某個測試人臉樣本p，其第k個區(qū)域的局部描述符可表示為hk，p。在稀疏表示框架下，對于人臉樣本p的局部稀疏重構(gòu)可表示為：

上式所描述的最小化優(yōu)化問題則可通過線性規(guī)劃方法求解，進而可將測試樣本p的局部區(qū)域分別進行稀疏重構(gòu)表示。在分類識別階段，利用公式（6）求出的最優(yōu)解，可計算出測試樣本p與訓(xùn)練樣本si在第k個子區(qū)域的殘差（局部殘差），即

由于表情使人臉發(fā)生了非剛性的形變，而每個人臉子區(qū)域受表情因素的影響不盡相同。為了更客觀、深入地分析每個人臉子區(qū)域受各種表情影響的程度，本文采用加權(quán)融合的方式整合上述局部殘差，并將最小全局殘差對應(yīng)的訓(xùn)練樣本定義為測試樣本的最佳匹配對象。測試樣本p與訓(xùn)練樣本si的全局殘差可表示為：

其中，wk表示人臉表情對第k個子區(qū)域的影響因子，影響因子越大表明該區(qū)域受表情影響越大。在識別特定表情時，應(yīng)一定程度強化該區(qū)域?qū)ψR別的貢獻率；而在識別特定人臉時，應(yīng)一定程度削弱該區(qū)域?qū)ψR別的貢獻率。該影響因子可通過實驗獲得經(jīng)驗值，可近似定義為該區(qū)域?qū)ψR別的貢獻率。

4 實驗結(jié)果及分析

為驗證所提出的融合LBP和人臉局部區(qū)域稀疏表示的人臉表情識別方法的有效性，深入剖析表情對人臉子區(qū)域的影響，在JAFFE2表情庫上做了詳細(xì)的對比實驗。該庫包含生氣、厭惡、害怕、高興、中性、悲哀、吃驚7種表情，實驗選用該庫除中性表情外的每個人每種表情的1組數(shù)據(jù)做訓(xùn)練，剩余表情樣本做測試，實驗結(jié)果見表1。針對表情對人臉子區(qū)域的影響，本文做了兩組實驗，一組將該影響因子均設(shè)為1（“本文1”），另一組通過實驗獲得該影響因子的經(jīng)驗值（“本文2”）。同時，為了進一步驗證本文方法的有效性，實驗對比了原始LBP算法和同仁的實驗結(jié)果。

表1 人臉表情識別實驗結(jié)果（%）

從表1“本文2”的實驗結(jié)果可看出，本文提出的融合LBP和人臉局部區(qū)域稀疏重構(gòu)表示的方法對人臉表情識別具有較強的魯棒性，取得了93%左右的平均識別率。對比各個表情的識別效率，高興和吃驚表情的識別率較高，而厭惡和悲傷表情的識別效果稍差。其原因是高興和吃驚表情比較夸張，對人臉面部局部紋理影響較大，更容易捕捉該表情的獨特性；而厭惡和悲傷表情對人臉的紋理影響相對較弱，進而影響了識別效率。在相同的實驗條件下，對比原始LBP算法、“本文1”方案和“本文2”方案對不同表情的實驗結(jié)果，本文方法的識別性能明顯優(yōu)于原始LBP算法，表明人臉局部稀疏重構(gòu)表示方法對人臉表情識別更加有效，也表明融合LBP和局部稀疏重構(gòu)表示的識別框架能夠有效捕捉人臉表情的局部結(jié)構(gòu)信息，較好地整合人臉局部特征，并精細(xì)刻畫人臉局部紋理，進而取得了較好的效果。雖然稀疏表示的時間復(fù)雜度較高，但人臉局部特征維度較低，因此，基于人臉局部子區(qū)域的稀疏重構(gòu)表示時間性能尚可。

對于表情對人臉局部區(qū)域的影響情況，表1中“本文2”（根據(jù)表情對人臉各子區(qū)域的實際影響分別設(shè)置影響因子）的實驗結(jié)果要明顯優(yōu)于“本文1”（假設(shè)表情對人臉各子區(qū)域的影響相同）的實驗結(jié)果，表明基于局部稀疏重構(gòu)的加權(quán)融合方法能夠較好地捕捉表情對人臉局部區(qū)域的特定影響，進而提升了人臉表情識別的準(zhǔn)確率，因此，“本文2”方案對人臉表情識別問題更加魯棒。為更直觀地分析表情對人臉的影響，本文通過對所有人臉數(shù)據(jù)訓(xùn)練學(xué)習(xí)，獲取到了表情對人臉各子區(qū)域的影響因子（見圖3右圖，顏色越深表明影響因子越大）。從圖3可看出鼻子和下巴兩側(cè)區(qū)域受表情影響較小，對表情識別貢獻較弱；而嘴巴、眼睛和眉毛區(qū)域紋理受表情影響較大，其中嘴巴區(qū)域尤為明顯，這些區(qū)域為表情識別提供了較強的分類信息。

圖3 表情對人臉局部的影響

另外，許多研究者針對人臉表情識別問題也作了深入的研究，在相同的實驗數(shù)據(jù)下，本文方法的平均性能一定程度上優(yōu)于文獻[11-13]中的方法，這也證明了本文方法的優(yōu)越性；對于特定表情的識別性能不同方法各有千秋。由于實驗數(shù)據(jù)的組織方式存在差異，因此，對比實驗僅供參考。

5 結(jié)束語

本文提出了一種融合LBP和局部稀疏重構(gòu)表示的人臉表情識別方法。為更細(xì)致分析表情對人臉的影響，根據(jù)五官位置信息對人臉進行非均勻分區(qū)，然后提取局部區(qū)域的LBP特征；在此基礎(chǔ)上，為精確刻畫人臉表情局部特征，采用局部稀疏表示的方法對人臉局部子區(qū)域進行稀疏重構(gòu)，并根據(jù)表情對各局部區(qū)域的影響因子，加權(quán)融合局部重構(gòu)殘差進行人臉表情識別。在JAFFE2表情人臉庫上的對比實驗驗證了本文方法的可行性和有效性。本文對人臉采用了粗粒度的分區(qū)，以后可根據(jù)表情的影響對面部進行細(xì)粒度分區(qū)研究；另外，人臉面部具有左右對稱特征，以后可在局部稀疏重構(gòu)表示時，適當(dāng)引入人臉結(jié)構(gòu)約束，以提高表情識別率。

[1] Chen X W，Thomas H.Facial expression recognition：a clustering-based approach[J].Pattern Recognition Letters，2003，24（9/10）：1295-1302.

[2] 支瑞聰，阮秋琦.基于線性判別局部保留映射的人臉表情識別[J].信號處理，2009，25（2）：233-237.

[3] Li M，Yuan B Z.2D-LDA：a statistical linear discriminant analysis for image matrix[J].Pattern Recognition Letters，2005，26（5）：527-532.

[4] Buclu C，Kotropoulos I，Ptas.Comparison of ICA approaches for facial expression recognition[J].Signal，Image and Video Processing，2009，3（4）：345-361.

[5] 徐正光，閆恒川，張利欣.基于表情識別的獨立成分分析方法的研究[J].計算機工程，2006，32（24）：183-185.

[6] 應(yīng)自爐，唐京海，李景文，等.支持向量鑒別分析及在人臉表情識別中的應(yīng)用[J].電子學(xué)報，2008，36（4）：725-730.

[7] Ojala T，Pietikainen M，Harwood D.A comparative study of texture measures with classification based on feature distributions[J].Pattern Recognition，1996，29（1）：51-59.

[8] Feng X，Pietikainen M，Hadid A.Facial expression recognition with local binary patterns and linear programming[J].Pattern Recognition and Image Analysis，2005，15（2）：546-548.

[9] Zhao G，Pietikainen M.Dynamic texture recognition using local binary patterns with an application to facial expressions[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2007，29（6）：915-928.

[10] Shan C，Gong S，McOwan P W.Facial expression recognition based on local binary patterns：a comprehensive study[J].Image and Vision Computing，2009，27：803-816.

[11] 應(yīng)自爐，方謝燕.基于局部二元模式的面部表情識別研究[J].計算機工程與應(yīng)用，2009，45（29）：180-183.

[12] 姜銳，許建龍，張愛朋.基于改進LBP的人臉表情識別[J].浙江理工大學(xué)學(xué)報，2013，30（4）：546-549.

[13] 李睿，趙曉.融合DCT和LBP特征的表情識別[J].計算機工程與應(yīng)用，2013，49（15）：171-174.

[14] 宋克臣，顏云輝，陳文輝，等.局部二值模式方法研究與展望[J].自動化學(xué)報，2013，39（6）：730-744.

[15] Donoho D.Compressed sensing[J].IEEE Transactions on Information Theory，2006，52（4）：1289-1306.

[16] 石光明，劉丹華，高大化，等.壓縮感知理論及其研究進展[J].電子學(xué)報，2009，37（5）：1070-1078.

[17] Wright J，Yang A，Ganesh A，et al.Robust face recognition via sparse representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，31（2）：210-227.