王偉

摘 要： 提出一種基于局部二值模式（LBP）和支持向量機（SVM）相結合的三維人臉表情識別算法。該算法使用BDPCA重構降低圖像維數(shù)、保存主要特征、消除噪聲影響及縮短運算時間；使用LBP來表征人臉表情特征，通過融合了紋理特征的統(tǒng)計直方圖展現(xiàn)人臉圖像；再使用支持向量機作為匹配準則。該算法在Bosphorus人臉數(shù)據(jù)庫進行測試，并與類似算法進行對比，結果令人滿意，證明該算法適用于三維人臉表情識別。

關鍵詞： 人臉表情識別； 局部二值模式； 支持向量機； 紋理特征

中圖分類號：TP391 文獻標志碼：A 文章編號：1006-8228（2017）07-60-05

3D facial expression recognition based on combination of texture features

and support vector machine

Wang Wei

（No.36 Research Institute of China Electronics Technology Group Corporation， Jiaxing， Zhejiang 314033， China）

Abstract： This paper presents a novel 3D facial expression recognition algorithm using Local Binary Patterns （LBP） and Support Vector Machine （SVM）. First， to preserve the main information， reduce dimensions， remove noises and shorten the computing time， BDPCA reconstruction is utilized to depict the human face accurately. Then the LBP framework for face representation is introduced. The facial expression features are all extracted and encoded by LBP. So the faces are represented by taking advantage of the statistical histograms that fuse the texture features of each face. Finally the SVM is used as matching strategy to address the recognition task. The proposed algorithm is tested on Bosphorus database， and compared with similar algorithms， the result is satisfactory. It is proved that the algorithm is suitable for 3D facial expression recognition.

Key words： facial expression recognition； LBP； SVM； texture feature

0 引言

隨著計算機及網(wǎng)絡技術的飛速發(fā)展，生物特征識別技術應運而生。生物特征識別技術是為了進行身份驗證而采用自動技術測量生理特征或行為特征，并將這些特征與數(shù)據(jù)庫的模板數(shù)據(jù)進行比較，從而完成認證的一種解決方案。生理特征包括指紋、掌形、毛孔、靜脈、虹膜、視網(wǎng)膜、顱骨、DNA等，行為特征包括聲音、簽名、步態(tài)、擊打鍵盤的力度等，這些特征是每個人所特有的。

人臉識別技術隸屬于生物識別技術，是利用計算機提取出臉部特征并對這些特征進行分析，從而進行身份驗證的一門技術，涉及到計算機視覺、數(shù)字圖像處理、模式識別、人工智能等多學科，是機器視覺和模式識別領域最富有挑戰(zhàn)性的課題之一，具有廣泛應用的意義。目前人臉表情識別技術是國內(nèi)外研究熱點，其在信號處理、模式識別、人機交互等方面有廣泛應用。

主成分分析（PCA[1]）最早被Turk和Pentland運用于人臉識別。PCA是圖像壓縮中的一種最優(yōu)正交變換，是一種基于目標統(tǒng)計的方法，在人臉識別中主要用于提取特征向量。雖然基于PCA的人臉識別取得了巨大成功，但因其本生存在缺陷，它的識別率一直都不高。針對缺陷人們又相繼提出了基于PCA的改進算法，如2DPCA[2]和BDPCA[3]等。

局部二值模式（LBP[4]）因其在圖像分析中的巨大優(yōu)越性，近年來被廣泛運用于人臉表情識別[5]。LBP是一種灰度范圍內(nèi)的紋理描述方式，從局部紋理近鄰定義中衍生出來，最初是為了輔助性地度量局部圖像對比度而提出的[6]。盡管LBP為表情識別提供了一種簡單而有效方法，但是由于自身缺點，在人臉識別的應用中還存在許多亟待解決的問題。

針對LBP算法自身存在的問題，本文提出了一種基于紋理特征和支持向量機相結合的人臉表情算法。首先，對于經(jīng)過預處理的圖像，我們使用BDPCA重構來保存主要特征及消除噪聲影響，并為后續(xù)算法降低運算復雜度。接著，我們提取人臉表情紋理信息，用LBP算子編碼并將它們進行融合來表征人臉。最后，我們用支持向量機作為匹配準則進行識別。本文算法的實現(xiàn)過程如圖1所示。

1 人臉圖像標準化

1.1 BDPCA重構

由于BDPCA重構是PCA重構的改進算法，其核心算法與PCA相同，所以本文在介紹BDPCA重構之前，先介紹PCA重構的原理和方法。

主成分分析（Principal Component Analysis，PCA）目的是通過線性變換尋找一組最優(yōu)的單位正交向量基（即主成分）[7]，用它們的線性組合來重構原樣本，并使重構以后的樣本和原樣本的均方誤差最小。

我們將一幅大小為m×n的人臉圖像每列相連，構成一個大小為維的列向量，并把D稱作人臉圖像的維數(shù)。設M是訓練樣本的數(shù)目，Xj為第j幅人臉圖像形成的人臉向量，可通過下列計算，提取其特征向量和特征值：

⑴

⑵

⑶

將計算得到特征值從大到小排列：λ1?λ2?…λi?0，其對應的特征向量為μi。為實現(xiàn)降低維數(shù)，我們只選取前d個特征向量作為新的特征空間。由于這些特征向量所對應的圖像和人臉非常接近，故稱之為“特征臉[8]”。這樣，我們將人臉圖像都在這個特征空間Wj上做投影，便得到其重構圖像。

⑷

其中，Y為重構的圖像；U=[μ1，μ2，…，μr]為特征矩陣；X為原始圖像。

BDPCA重構的實現(xiàn)途徑與PCA重構大致相同，其具體實現(xiàn)如下所述。

⑸

這里Wcol是m×dcol列投影矩陣，Wrow是n×drow行投影矩陣，訓練集的均值圖像。

⑹

⑺

其中，Srow是n×n行散布矩陣，Scol是n×m列散布矩陣。

⑻

這里Xr就是人臉圖像X的重構圖像。

BDPCA重構后圖像如圖2所示，其中（a）為原始圖像，（b）、（c）、（d）是圖像（a）的重構圖像，其重構所用的dcol×drow分別為11×11、15×15和19×19。

1.2 基于形狀檢索的三維人臉描述

由于本文算法不能直接處理三維人臉圖像，只能將三維人臉圖像轉化成二維人臉圖像再進行處理。所以我們引入形狀檢索來計算那些基于曲率的描述符。對于每一個三角形網(wǎng)格的頂點p來說，首先定義一個局部三維坐標系，該坐標系的原點在頂點上，z軸位于該頂點的法向量方向上。通過計算與頂點毗連的人臉法向量的平均值得到頂點法矢量。假設x和y是兩正交軸，并且是在垂直于法向量的切平面隨機選取的，于是在頂點p鄰域內(nèi)的頂點就轉化成一個局部坐標系，用三次多項式來表示該頂點：

⑼

把該函數(shù)規(guī)范化，得到如下公式：

⑽

為了求解上述近似方程⑼和⑽，我們利用最小方湊合的方法得到局部擬合函數(shù)z（x，y）。最大曲率kmax和最小曲率kmin（kmax>kmin）可以經(jīng)過Weingarten矩陣（形狀算子）計算得到。所以，形狀檢索定義為：

⑾

2 人臉表情特征提取及識別

2.1 LBP算法介紹

局部二值模式（Local Binary Pattern）是一種灰度范圍內(nèi)的紋理描述方式[9]?；镜腖BP算子定義在3×3的鄰域，把鄰域中心像素點作為閾值，用其相鄰的8個像素的灰度值跟它進行比較，若周圍像素點的灰度值大于中心點的灰度值，則該像素位置被標記1，否則為0。于是，3×3鄰域內(nèi)的8個點就產(chǎn)生一個8-bit 的無符號數(shù)，再按其位置賦以不同權重，最后求和得一個整數(shù)，即得到該窗口的LBP值，并且用這個數(shù)反映該區(qū)域的紋理特征?；镜腖BP算子的計算方法如圖3所示。

Ojala等對LBP算子進行了發(fā)展和改進，將3×3的鄰域擴展到任意鄰域，并且用圓形鄰域代替了正方形鄰域。這樣，改進后的LBP算子在半徑為R的圓形鄰域內(nèi)可有任意多個像素點，其編碼計算公式表示為：

⑿

其中，，為階躍函數(shù)；gc為中心像素點（xc，yc）的灰度值；N為領域像素點的個數(shù)；gp為領域像素點的灰度值。此外，還可以用符號表示在半徑為R的圓形區(qū)域內(nèi)P個像素點的LBP算子。常見的LBP算子有、、、等。

2.2 LBP人臉特征提取

根據(jù)文獻[9]，不同區(qū)域所包含的人臉表情信息不同，所以在進行特征提取時，根據(jù)人臉的不同區(qū)域分別賦予不同的權值。這樣既減少了臉局部區(qū)域失真，又保證了識別率。于是人臉表情圖像就被分割成大小相同的小區(qū)域來分別提取LBP直方圖，每個區(qū)域所對應的直方圖再乘以相應的權值。最后，把所有的乘以不同權值的直方圖級聯(lián)起來，組成一個總的直方圖作為表情特征。匹配準則可為表示為：

⒀

這里hi表示人臉圖像第i個區(qū)域的直方圖，wi是其對應的權值。設置合適的權值對于最后的識別率起至關重要的作用。本文中，對于起重要作用的區(qū)域，我們設置的權值較大；而對于起作用較小甚至不起作用的區(qū)域，所設置的權值相對較小。人臉特征提取具體實現(xiàn)過程如圖4所示。

2.3 支持向量機

支持向量機（Support vector machine，SVM）是一種應用廣泛的數(shù)據(jù)學習分類方法，在回歸估計與模式識別領域取得了巨大成功。SVM旨在尋找一個具有最大邊界值的高維空間，在該空間內(nèi)可用幾何和線性代數(shù)的方法將經(jīng)過非線性變換的原始數(shù)據(jù)進行分類。支持向量機不但能使兩類不同數(shù)據(jù)之間的差異最大化，保證分類準確率，而且能夠解決人臉表情樣本不足及不同表情之間量大差異問題。

人臉表情識別是一種非線性分類模式。表情數(shù)據(jù)經(jīng)由SVM引入到高維特征空間，在這個空間里，通過某一非線性映射函數(shù)，運用線性代數(shù)和幾何的方法將表情數(shù)據(jù)分類。我們將這一非線性映射函數(shù)稱之為核函數(shù)，SVM通過利用核函數(shù)獲得分類學習能力。

SVM最初用于兩類數(shù)據(jù)的分類。但隨著區(qū)分數(shù)據(jù)類別的增多，學者們又提出了“一對一”和“一對多”這兩個步驟相結合的多類SVM分類器。一對多分類時將所有圖像數(shù)據(jù)分成兩類，一部分數(shù)據(jù)歸為一類，余下的數(shù)據(jù)歸為另一類，以此類推。一對一分類僅能將圖像劃分成互不相同的兩類。事實上，三維人臉表情識別也是一對多分類過程。

3 實驗結果與分析

本文人臉數(shù)據(jù)庫采用Bosphorus[10]人臉數(shù)據(jù)庫。Bosphorus人臉數(shù)據(jù)庫是土耳其Bogazici大學創(chuàng)立出用于研究二維和三維人臉技術的數(shù)據(jù)庫。該數(shù)據(jù)庫主要用于表情識別、臉部動作單元檢測、不利條件下的人臉識別以及三維人臉重構等領域的研究。Bosphorus人臉數(shù)據(jù)庫一共包含有4666張人臉圖片，一共由105個采集者提供。

人臉表情一般分為6種基本表情（生氣、厭惡、害怕、高興、悲傷和驚訝）和中性表情，總共7種?？紤]到生氣和厭惡這兩種表情接近，兩者界定比較困難，本文實驗把厭惡表情歸并到生氣表情中。

本實驗中每人擁有6種表情，從人臉數(shù)據(jù)庫中的80個采集者中選取了1680張人臉圖片，男女各40人。50個個體作為訓練集，其余的作為測試集。經(jīng)過預處理的人臉表情圖像如圖5所示，從左到右依次為生氣、害怕、高興、悲傷、驚訝和中性。

使用不同維數(shù)的BDPCA重構，得到結果也不相同，因此本文第一步是找出最恰當?shù)奶卣骶仃嚨木S數(shù)。本文算法與文獻[9]所用的人臉數(shù)據(jù)庫相同，且文獻[9]已經(jīng)通過實驗證明，在三維人臉表情識別中，BDPCA重構的特征矩陣最合適的維數(shù)是255。作為文獻[9]的后續(xù)研究，本文采信其實驗結果，該維數(shù)也是本文實驗時BDPCA重構的維數(shù)。

描述了運用本文算法的情況下，6種不同基本表情和中性表情在Bosphorus人臉數(shù)據(jù)庫上的識別率也有所不同。從圖中可以直觀看出，在7種不同的表情中，高興的識別率最高，達到了98.45%。驚訝的是第二高識別率的表情，也達到了98.28%。這是因為嘴巴和眉毛等這些在人臉表情識別中起更重要作用的臉部特征，在高興和驚訝這兩種表情上表現(xiàn)得更明顯。但是某些表情的識別率相對低一些，其中悲傷的識別率最低，為92.39%。害怕的識別率次低，為94.37%。

表1比較了本文算法與其他相近算法在Bosphorus數(shù)據(jù)庫上的識別率?？梢钥闯觯疚乃惴ǖ淖R別率要高。與LBP+SVM算法相比，本文算法總識別率及大多數(shù)人臉表情的識別率要高，說明經(jīng)過BDPCA重構后，本算法不僅降低了維數(shù)，而且突出了主要信息，去除了次要信息，因而提高了人臉表情識別準確率。

與BDPCA+LBP+開方距離的算法相比，本文算法在總識別率和個別表情識別率均表現(xiàn)更好。這說明對于同為匹配準則的SVM和開方距離，由于SVM比開方距離要復雜得多，因而分類的結果更準確，使所有表情的識別率均有所提高。

與SI算法相比較，本文算法的識別率均有較大幅度提高。由于本文算法充分利用了局部紋理特征，匹配準則也更加優(yōu)越，而SI人臉表情算法只考慮了全局紋理信息，識別過程中只把人臉表情圖像當作一個整體去識別，所以其識別率比本文算法低。

為了探究本文算法的識別速度，我們將不同算法識別631幅人臉表情圖像花費的總時間，分別進行統(tǒng)計，具體結果如表2。從表2可以看出，本文算法的識別時間比LBP+SVM識別算法要短。這是因為本文算法經(jīng)過BDPCA重構，降低了人臉圖像的維數(shù)，提高了運算效率，因而縮短了運算時間。但識別時間比BDPCA+LBP+開方距離的算法及SI人臉算法所花費時間要長，這是由于SVM算法比開方距離復雜得多，因而在識別過程中花費了更多時間。

4 結束語

針對LBP算子本身存在的不完善性，我們提出了一種基于LBP和SVM的人臉表情識別算法。首先，我們使用BDPCA重構的方法來減小圖像維數(shù)、保留主要特征、降低噪聲影響以及提高運算效率。接著，用LBP來表征人臉表情特征，降低表情變化影響的同時，又將人臉圖像通過融合紋理特征的統(tǒng)計直方圖展現(xiàn)出來。最后，使用支持向量機作為人臉表情識別的匹配準則。本文算法在Bosphorus人臉數(shù)據(jù)庫取得了較高的識別率，與相近算法在識別準確率和識別時間上相比，更具優(yōu)勢，說明本文該算法適合三維人臉表情識別。

參考文獻（References）：

[1] M. A. Turk and A. P. Pentland.Face recognition using

eigenfaces[C]. in Proc. Cvpr'91 IEEE Computer Society Conf. Digital Object Identifier，1991：586-591

[2] J. Yang， D. Zhang， A. F. Frangi， and J. Yang.

Two-dimendional pca： a new approach to appearance-

based face representation and recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2004.26（1）：131-137

[3] Y. Sun， S. Chen and B. Yin.Color face recognition based

on quaternion matrix representation[J]. Pattern Recognition Letters，2011.32：597-605

[4] C. Shan， S. Gong， and P. W. McOwan. Facial expression

recognition based on local binary patterns： A comprehensive study[J]. Image and Vision Computing，2009.27（6）：803-816

[5] T. Ojala， M. Pietik?inen， and T. M?enp??.Multiresolution

gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence，2002.24（7）：971-987

[6] J. Yang， D. Zhang， A. F. Frangi， and J. Yang.

Two-dimendional pca： a new approach to appearance-

based face representation and recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2004.26（1）：131-137

[7] T. Jabeed， M. H. Kabir， and O. Chae.Robust facial

expression recognition based on local directional pattern[J]. ETRI Journal，2010.32（5）：784-794

[8] L. Broadbent， K. Emrith， A. R. Farooq， M. L. Smith， and

L. N. Smith. 2.5D Facial Expression Recognition using Photometric Stereo and The Area Weighted Histogram of Shape Index[C]. in Proc. IEEE Int. Workshop Robot Human Interact. Commun， Institute of Electrical and Electronics Engineers Inc，2012.9：490-495

[9] W. Wang， W. H. Zheng and Y. M. Ma. 3D Facial

Expression Recognition Based on Combination of Local Features and Globe Information[C]. in IHMSC，2014.2：20-25

[10] Savran， N. Alyüz， H. Dibeklioglu， O. ?eliktutan， B.

G?kberk， B. Sankur， and L. Akarun.Bosphorus Database for 3D Face Analysis. The First COST 2101 Workshop on Biometrics and Identity Management （BIOID 2008）[J]. Roskilde University， Denmark，2008.5：7-9