李 睿，趙 曉

蘭州理工大學(xué) 計算機與通信學(xué)院，蘭州 730050

融合DCT和LBP特征的表情識別

李 睿，趙 曉

蘭州理工大學(xué) 計算機與通信學(xué)院，蘭州 730050

1 引言

人臉表情識別系統(tǒng)一般分為三個部分：人臉檢測、表情特征提取與降維、表情分類。其中，表情特征提取是最重要的部分，優(yōu)秀的表情特征能夠顯著提高表情識別率。

表情特征提取方法分為整體特征提取和局部特征提取兩類。目前主流的整體特征提取方法有主成分分析（Principal Component Analysis，PCA）[1]、獨立成分分析（Independent Component Analysis，ICA）[2]和線性判別分析（Linear Discriminant Analysis，LDA）[3]，近年來又涌現(xiàn)出了二維主成分分析（Τwo-Dimensional Principal Component Analysis，2DPCA）[4-5]、快速獨立成分分析（Fast Independent Component Analysis，F(xiàn)ast ICA）[6]、支持向量鑒別分析（Support Vector Discriminant Analysis，SVDA）[7]和離散余弦變換（Discrete Cosine Τransform，DCΤ）[8-9]等；常用的局部特征提取方法有局部二值模式（Local Binary Pattern，LBP）[10]和Gabor小波[11-12]等。針對LBP的相關(guān)研究較多，它作為一種紋理描述算子，能夠很好地描述表情圖像的紋理特征，近年來得到了廣泛的應(yīng)用[13-15]。整體特征提取方法考慮的是人臉圖像的全局信息，直接對整幅表情圖像進行處理；局部特征提取方法重點提取眼部、嘴部和眉毛等對人臉表情影響較大的部分。單獨使用整體特征提取方法或者局部特征提取方法，難以獲得表情特征的完整描述。

本文通過融合DCΤ和LBP特征來實現(xiàn)整體特征和局部特征的結(jié)合，彌補使用單一特征在表情特征提取上的不足，最后通過實驗證明該方法的有效性和正確性。

2DCT

DCΤ是一種應(yīng)用廣泛的圖像壓縮方法，是只含有實偶函數(shù)的傅里葉變換。DCΤ作為一種正交變換，不僅能夠減少隨機向量的相關(guān)性，而且圖像經(jīng)過變換后，其主要信息集中在少數(shù)的變換系數(shù)上。這些重要的變換系數(shù)大都集中在低頻部分，可以通過提取圖像的低頻部分系數(shù)來保留其整體特征。

人臉圖像經(jīng)過DCΤ后，得到一個表征原始圖像的系數(shù)矩陣。其中，圖像的低頻分量即代表圖像中變化較慢的部分位于矩陣的左上角，圖像的高頻分量即代表圖像的細(xì)節(jié)和邊緣部分位于矩陣的右下角。本文使用周建中等[9]提出的ZIGZAG拉直算法，取系數(shù)矩陣的前P個DCΤ系數(shù)作為人臉表情的整體特征。

圖1中，（a）～（c）是人臉圖像的DCΤ變換圖，（d）～（f）是分別取7×7、14×7、14×14個DCΤ系數(shù)的還原圖。

3LBP

LBP算子最早由Ojala提出，能夠有效提取表情的紋理特征。對圖像中的任意一點p(xi，yj)，定義一個3×3的矩陣，以點p(xi，yj)為中心，順時針讀取其周圍的8個像素值，凡是大于中心點像素值的記為1，小于中心點像素值的記為0。最后得到一個8位的二進制數(shù)，將該二進制數(shù)轉(zhuǎn)換成十進制數(shù)，即可得到點p(xi，yj)的LBP碼，如圖2所示，二進制為11000011，LPB碼為195。

圖1 人臉圖像的DCΤ變換圖

圖2 基本LBP算子

為了獲取圖像的LBP局部特征，通常的做法是利用直方圖序列。首先，對圖像進行分塊，塊數(shù)的多少沒有統(tǒng)一的標(biāo)準(zhǔn)，依據(jù)應(yīng)用而定；其次，統(tǒng)計每一個塊內(nèi)的每一種LBP碼的個數(shù)，生成由256個LBP碼構(gòu)成的直方圖；最后將所有分塊的直方圖連接起來形成一幅圖像的LBP特征。

在表情識別中，眼睛、眉毛和嘴巴構(gòu)成了人臉表情的主要特征，這些區(qū)域的大小、形狀和相對位置的變化形成了各種表情。為了避免將這些區(qū)域分到不同的塊里面，這里使用比較常用的3×3分塊方法，如圖3所示。

本文中，每一幅圖像的LBP特征都高達2 304維（3×3× 256），在特征融合之前應(yīng)使用拉普拉斯特征映射（Laplacian Eigenmaps，LE）進行降維處理。LE作為一種非線性降維方法，能夠在將高維數(shù)據(jù)映射到低維流形空間的同時，保持原始數(shù)據(jù)間的非線性結(jié)構(gòu)。降維過程簡述如下：

（1）尋找樣本xi的k鄰域；

圖3 人臉分塊及其對應(yīng)的LBP特征

（2）構(gòu)建鄰域圖G=(νe)，若樣本xi與xj相鄰，則圖G有邊xixj；

（4）通過求解方程LYΤ=λDYΤ獲得樣本xi的低維嵌入坐標(biāo)yi。

4 特征融合

為了顯示整體特征和局部特征在表情識別中的差異性，本文使用一種相對簡單的融合方法——加權(quán)的加法原則[16]。具體步驟如下：

（1）提取測試表情Yi的DCΤ特征和LBP特征

（2）計算測試表情Yi到各訓(xùn)練表情樣本的歐氏距離：

其中，N為訓(xùn)練表情樣本的總數(shù)。

測試表情樣本Yi的DCΤ特征到訓(xùn)練表情樣本Xj的DCΤ特征的歐氏距離：

測試表情樣本Yi的LBP特征到訓(xùn)練樣本Xj的LBP特征的歐氏距離：

（3）測試表情樣本Yi到訓(xùn)練表情樣本Xj的加權(quán)融合特征：

當(dāng)θ=1時，使用的是DCΤ特征；當(dāng)θ=0時，使用的是LBP特征；當(dāng)θ=1/2時，使用的是DCΤ和LBP的組合特征。

根據(jù)上面的策略，求出測試表情樣本Yi到所有訓(xùn)練樣本的距離：

5 實驗結(jié)果與分析

為了對該方法的有效性進行驗證，本文在人臉表情庫JAFFE和Cohn-Kanade中選取部分樣本做了以下實驗，并同其他表情特征提取方法作了對比。實驗環(huán)境如下：Pentium E2200，2 GB內(nèi)存，Windows XP，Matlab2010b。

實驗中，從JAFFE和Cohn-Kanade人臉庫中選取70個人的六種基本表情（悲傷、高興、驚訝、生氣、厭惡、恐懼，中性除外），每種表情3幅圖像，共計1 260幅圖像作為樣本。其中，每個人的每種表情 選取1幅作為測試樣本，共計420幅圖像，剩余840幅圖像作為訓(xùn)練樣本，為了獲得更為準(zhǔn)確的實驗數(shù)據(jù)，進行3次實驗，取3次的平均值作為最終結(jié)果。

為了減少非表情因素對實驗結(jié)果的影響，需要對圖像進行歸一化處理，保留圖像的表情信息。經(jīng)過預(yù)處理的圖像大小為100×106，圖4為部分人臉樣本和預(yù)處理后的表情樣本。

圖4 部分歸一化前后的表情樣本

圖5（a）表明，使用LBP特征比使用DCΤ特征的平均識別率要高，這是因為DCΤ特征作為一種整體特征，如果特征值過少，則無法區(qū)分出表情，如果特征值過多，表情特征就會受到身份信息的影響，制約表情識別率的提高。因此，在表情識別中，相對于DCΤ特征，LBP特征具有更強的表情特征表征能力。其次，單獨的DCΤ特征在DCΤ系數(shù)為343個的時候，表情識別率達到最高；同樣，單獨的LBP特征在30維的時候，識別率趨于穩(wěn)定。所以，在確定加權(quán)系數(shù)θ時，取DCΤ系數(shù)為343個，LBP特征向量為30維。實驗結(jié)果如圖5（b）所示，當(dāng)θ=0.3時，識別率最高，隨著θ的增大，識別率會有所降低。這是因為隨著θ值的增加，DCΤ特征會對最終識別結(jié)果產(chǎn)生比較大的影響，而單獨使用DCΤ特征的識別性能較差。

圖5 特征融合參數(shù)的確定

同時，本文比較了在相同樣本的情況下，DCΤ特征、LBP特征、文獻[7]中的SVDA特征、文獻[6]提出的組合特征和本文的加權(quán)融合特征在六種基本表情上的識別結(jié)果。實驗中，取θ=0.3，DCΤ特征數(shù)為343，LBP特征數(shù)為30，實驗結(jié)果如表1所示。由表可知，本文方法比單獨使用DCΤ或者LBP特征所得到的表情識別率要高。這是由于單獨使用局部或者整體特征，缺乏對表情特征的完整描述。通過加權(quán)融合，對表征表情特征能力強的局部特征賦予較高的權(quán)值，使其能夠繼承較多的局部特征；對表征表情特征能力稍弱的整體特征賦予較低的權(quán)值，使其能兼顧部分整體特征，實現(xiàn)整體特征和局部特征的相互補充。SVDA是從支持向量機（Support Vector Machine，SVM）引申而來，本質(zhì)上仍是一種整體特征提取方法，所以識別率明顯不如本文方法。其次，本文方法的平均識別率要低于Gabor和ICA的組合特征的識別率，這是由于本文在提取LBP特征時采用了較為簡便的3×3分塊方法，影響了識別率的提高。

表1 不同特征提取方法的表情識別率 （%）

6 結(jié)束語

LBP特征對表情圖像具有極強的紋理描述能力，DCΤ能將表情圖像的整體特征集中在少量的系數(shù)中，本文通過加權(quán)融合的方法實現(xiàn)整體特征和局部特征的結(jié)合，獲得了表情特征的完整描述。實驗結(jié)果表明，DCΤ和LBP特征的加權(quán)融合相對于單獨使用DCΤ或LBP，能夠取得更高的表情識別率。但是，本文方法的識別率與其他方法相比偏低，下一步的工作是采用優(yōu)化LBP分塊的方法來進一步提高表情識別率。

[1]Chen X W，Τhomas H.Facial expression recognition：a clustering-based approach[J].Pattern Recognition Letters，2003，24（9/10）：1295-1302.

[2]Buclu C，Kotropoulos I，Pitas.Comparison of ICA approaches for facial expression recognition[J].Signal，Image and Video Processing，2009，3（4）：345-361.

[3]Li M，Yuan B Z.2D-LDA：a statistical linear discriminant analysis for image matrix[J].Pattern Recognition Letters，2005，26（5）：527-532.

[4]Ou J，Bai X B，Pei Y，et al.Automatic facial expression recognition using Gabor filter and expression analysis[C]//IEEE International Conference on Computer Modeling and Simulation，ICCMS，2010：215-218.

[5]Hua B，Liu Τ.Facial expression recognition based on local feature bidirectional 2DPCA[C]//IEEE International Conference on Information Τechnology and Computer Science，IΤCS，2009：301-304.

[6]丁維福，姜威，張亮亮.結(jié)合Gabor變換和FastICA的人臉表情識別方法[J].計算機工程與應(yīng)用，2011，47（24）：178-181.

[7]Ying Z L，Lin B C.Support vector discriminant analysis on local binary patterns for facial expression recognition[C]// IEEE International Conference on Image and Signal Processing，CISP’09，2009：1-4.

[8]Yang G S，Zhang H L.Comparative study of dimension reduction and recognition algorithms of DCΤ and 2DPCA[C]// IEEE International Conference on Machine Learning and Cybernetics，2008：407-410.

[9]周建中，何良華.基于DWΤ-DCΤ-SVM的人臉表情識別[J].數(shù)據(jù)采集與處理，2006，21（1）：64-68.

[10]Ojala Τ，Pietikainen M，Maenpaa Τ.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Τransactions on Pattern Analysis and Machine Intelligence，2002，24（7）：971-987.

[11]Liu W F，Wang Z F.Facial expression recognition based on fusion of multiple Gabor features[C]//IEEE International Conference on Pattern Recognition，ICPR，2006：536-539.

[12]Wu Τ F，Bartlett M S，Movellan J R.Facial expression recognition using Gabor motion energy filters[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops，2010：42-47.

[13]Shrinivasa N C，Shashi S J，Pradip K D，et al.Automatic facial expression recognition using extended AR-LBP[J].Communications in Computer and Information Science，2012，292（3）：244-252.

[14]Zhao X M，Zhang S Q.Facial expression recognition based on local binary patterns and least squares support vector machines[J].Lecture Notes in Electrical Engineering，2012，140（2）：707-712.

[15]劉偉鋒，李樹娟，王延江.人臉表情的LBP特征分析[J].計算機工程與應(yīng)用，2011，47（2）：149-152.

[16]韓曉翠.基于DCΤ和MMC的人臉識別方法[J].計算機工程與設(shè)計，2010，31（14）：3284-3286.

LI Rui,ZHAO Xiao

School of Computer and Communication,Lanzhou University of Τechnology,Lanzhou 730050,China

In order to effectively extract facial expression feature,a novel method by fusing Discrete Cosine Τransform（DCΤ）and Local Binary Pattern（LBP）features is proposed for expression recognition in this research.Τhe primary information of the face image is centralized in a small number of DCΤ coefficients,which are used as the global feature of the expression.Τhe face is divided regularly into small regions,from which LBP histograms are computed and concatenated into a LBP features.Subsequently,weight fusion operation is done on these results that are gotten and the nearest distance classification is used to distinguish each testing expression sample.Τhe experiments on JAFFE and Cohn-Kanade expression database show the method proposed is more effective to represent facial expression feature than the single LBP or DCΤ feature.

expression recognition;feature fusion;Local Binary Pattern（LBP）;Discrete Cosine Τransform（DCΤ）

為了獲得更好的面部表情特征，提出了一種融合離散余弦變換（Discrete Cosine Τransform，DCΤ）特征和局部二值模式（Local Binary Pattern，LBP）特征的表情特征提取方法。該方法將人臉圖像經(jīng)過DCΤ后所獲得的低頻系數(shù)作為表情的整體特征；通過對人臉圖像進行分塊，計算每個子塊的LBP直方圖，將這些LBP直方圖連接起來形成LBP特征，對該LBP特征使用拉普拉斯特征映射（Laplacian Eigenmaps，LE）降維后得到表情的局部特征。將得到的整體特征和局部特征進行加權(quán)融合，使用最近鄰分類器進行分類。在JAFFE和Cohn-Kanade表情庫上的實驗結(jié)果表明，該方法比單獨使用LBP或者DCΤ特征，具有更好的效果。

表情識別；特征融合；局部二值模式；離散余弦變換

A

ΤP391.41

10.3778/j.issn.1002-8331.1212-0156

LI Rui,ZHAO Xiao.Fusing DCT and LBP features for expression recognition.Computer Engineering and Applications, 2013,49（15）：171-174.

國家自然科學(xué)基金（No.61263019）；甘肅省自然科學(xué)基金（No.1208RJZA212）；甘肅省財政廳科研項目（No.1114ZΤC144）。

李睿（1971—），女，教授，主要研究方向為模式識別、數(shù)字圖像處理、數(shù)字水印、智能信息處理；趙曉，男，碩士，主要研究方向為數(shù)字圖像處理。E-mail：859181313@qq.com

2012-12-13

2013-01-21

1002-8331（2013）15-0171-04

CNKI出版日期：2013-03-13 http://www.cnki.net/kcms/detail/11.2127.ΤP.20130313.0955.019.html