鄭秋梅，呂興會，時公喜

基于雙向二維直接線性判別分析的人臉表情識別

鄭秋梅，呂興會，時公喜

（中國石油大學計算機與通信工程學院，山東東營 257061）

提出基于雙向二維直接線性判別分析的人臉表情識別新算法。新算法從水平和垂直兩個方向?qū)D像矩陣執(zhí)行直接線性判別分析，從二維圖像中提取圖像協(xié)方差矩陣，降低特征維數(shù)，減少表示圖像時所需要的系數(shù)及其存儲空間。另外，不使用奇異值分解方法，便可得到圖像協(xié)方差矩陣的特征向量，能夠精確地估計圖像協(xié)方差矩陣。在JAFFE人臉表情數(shù)據(jù)庫中的試驗結(jié)果表明，所提算法具有較高的識別率。

計算機應用;圖像識別;人臉表情識別;直接線性判別分析;雙向二維直接線性判別分析

人臉表情識別涉及的領(lǐng)域非常廣泛，包括圖像分析［1－4］、模式識別、計算機視覺、人工智能、人機交互等。特征提取是人臉表情識別中的一個關(guān)鍵問題。目前應用于表情識別的特征主要包括幾何特征、頻率域特征、統(tǒng)計特征以及序列特征等，其中頻率域特征中的Gabor特征反映了信號在局部時間和局部頻帶上的頻譜信息，能夠增強圖像的低層特征。Zheng等［5］提出基于分布估計算法選擇具有最大判別力的Gabor核的尺度和方向的特征提取算法，降低了特征維數(shù)。線性判別分析算法（linear discriminant analysis，LDA）是統(tǒng)計特征中提取特征和降維的算法，但存在高維的協(xié)方差矩陣計算復雜度高的問題及因奇異值分解導致的“小樣本”問題［6］。后來，Yu等［7］提出直接線性判別分析算法（direct LDA，DLDA），對其進行改進。但是，傳統(tǒng)的LDA與DLDA算法都是基于一維圖像向量才能進行特征提取。Li等提出基于二維圖像矩陣的二維線性判別分析算法［8－9］（two dimensional LDA，2DLDA），減小由小樣本問題造成的奇異矩陣的可能性。Dong Uk Cho等［10－11］提出了二維直接線性判別分析算法（two dimensional direct LDA，2DDLDA），不使用奇異值分解便可得到圖像協(xié)方差矩陣的特征向量，精確地估計圖像協(xié)方差矩陣。Yang等［12－14］提出了雙向二維線性判別分析算法（two directional two dimensional LDA，（2D）2LDA），從水平和垂直兩個方向進行維數(shù)壓縮，使得特征數(shù)目大大減少。針對2DDLDA在表示圖像時需要較多的系數(shù)，需要更多的存儲空間，分類計算所需時間較長的問題，結(jié)合（2D）2LDA能從水平和垂直兩個方向?qū)D像進行降維的優(yōu)點，筆者提出雙向二維直接線性判別分析算法（two directional two dimensional direct LDA，（2D）2DLDA），并用于人臉表情識別。

1 （2D）2DLDA算法

對于一個圖像矩陣來說，對其列向量進行壓縮相當于圖像在水平方向上的降維，對其行向量進行壓縮相當于圖像在垂直方向上的降維。所以，對于直接針對圖像矩陣進行操作的雙向二維直接線性判別分析算法，可以分別從水平和垂直兩個方向進行處理。水平方向的處理稱之為2DDLDA算法，垂直方向的稱之為Alternate 2DDLDA算法。

1.1 2DDLDA算法

設(shè)在訓練集中有C個樣本類別ω1，ω2，…，ωC，每類有樣本Ni個，所有訓練樣本總數(shù)為M。矩陣（m×n的圖像矩陣）代表第i類的第j個訓練樣本圖像，所有訓練樣本的平均圖像是，第i類的平均圖像是（i=1，2，…，C）。得到訓練樣本的類間離散度矩陣Gb和類內(nèi)離散度矩陣Gw為

試圖找一個矩陣來對角化Gb和Gw，即AGwAT=I，AGbAT=Λ，其中Λ為按降序排列的對角矩陣，其元素依次為Gb的特征值。

Gb的零空間含有的判別信息不多，而Gw的零空間含有更多的判別信息，因此2DDLDA算法的關(guān)鍵就是去掉Gb的零空間而保留Gw的零空間。可以通過先對角化Gb然后對角化Gw實現(xiàn)。

具體算法描述如下:

（1）求矩陣V來對角化Gb，使得VTGbV=Λ。其中VTV=I，I是一個單位陣。Λ為按降序排列的對角矩陣，其元素依次為Gb的特征值。V是n×n的矩陣，其每一列都是對應Gb的特征值的特征向量。

（2）記Y是V的前l(fā)列組成的矩陣，YTGbY=Db。其中Db是Λ的l×l的主子矩陣，是Λ前l(fā)個對角元素形成的對角矩陣。

（3）記Z=YD1/2b，單位化Gb，Z是n×l的矩陣。

（4）找特征矩陣U來對角化ZTGwZ。UTZTGwZU=Dw。其中UTU=I，Dw在對角線上可能含有零元素。把Dw對角線元素以遞增的順序排序，選擇前d個特征值及其對應的特征向量，把大的特征值對應的特征向量舍棄，保留小的特征值對應的特征向量，特別是接近0的特征值對應的特征向量。

（5）最后水平方向的最優(yōu)投影矩陣X為n×d的矩陣，即X=ZUD－1/2w。

1.2 Alternate 2DDLDA算法

訓練樣本的類間離散度矩陣和類內(nèi)離散度矩陣定義如下:

與2DDLDA相似，找一個矩陣先對角化Hb然后對角化Hw。

具體算法如下:

（1）求矩陣V來對角化Hb，使得VTHbV=Λ。

（2）Y是V的前l(fā)列形成的矩陣，YTHbY=Db。其中Db是Λ的l×l的主子矩陣，是Λ前l(fā)個對角元素形成的對角矩陣。

（4）找特征矩陣U來對角化ZTHwZ。UTZTHwZU=Dw。其中Dw在對角線上可能含有零元素。把Dw對角線元素以遞增的順序排序，選擇前q個特征值及其對應的特征向量，把大的特征值對應的特征向量舍棄，保留小的特征值對應的特征向量，特別是0特征值對應的特征向量。

（5）垂直方向的最優(yōu)投影矩陣W為m×q的矩陣，即W=ZUD－1/2w。

1.3 （2D）2 DLDA

水平和垂直方向的投影變換矩陣X和W確定以后，就可以對圖像進行雙向二維直接線性判別分析。

（2D）2DLDA算法的線性變換表達式如下:

給定一幅人臉圖像A，在X和W上投影，進行特征提取，令Y=WTAX可以求得圖像A的特征矩陣Y（q×d維的矩陣）。

任意兩幅不同圖像矩陣投影后的矩陣Yi和Yj的距離定義為

式中，Yi－Yj表示Yi和Yj間的歐氏距離。

假設(shè)訓練樣本為Z1，Z2，…，ZM，每個樣本屬于給定的類ωk，測試樣本為Z，如果

2 試驗結(jié)果分析

試驗采用日本ART媒體信息科學試驗室Lyons博士提供的JAFFE表情庫圖像，此數(shù)據(jù)庫包含了10名日本年輕女性的213幅表情圖像，每人有7種表情（愉快、恐懼、憤怒、驚奇、悲傷、厭惡和中性），每種表情有3到4張樣本。對每個人來說，這些圖像沒有光照、頭部角度、穿戴和發(fā)型的影響，便于運算處理。庫中圖像的原始尺寸為256×256像素，256級灰度。

試驗中，把213幅圖像分成訓練集和測試集，在每個人的各種表情中取一幅表情圖像作為測試樣本，剩下來的作為訓練樣本。這樣測試集包含70幅圖像，訓練集中含143幅圖像。在提取特征前，先對圖像進行預處理，包括人眼定位、灰度均衡化和尺度歸一化，將所有圖像都歸一化為128×128像素大小。圖1列出了一個樣本的原始圖像及預處理后的圖像。

圖1 原始圖像和預處理后的圖像Fig.1 Original image and its reprocessed image

首先對訓練樣本采用（2D）2DLDA算法進行特征提取，然后采用最近鄰分類器對所提取的特征進行分類。為驗證本文所提出方法的有效性，在Intel （R）Core（TM）2 Duo CPU機器上進行試驗。將本文方法與2DLDA，2DDLDA，（2D）2LDA算法進行比較，表1中列出了采用這4種算法進行表情識別的最高識別率、單個樣本識別時間以及特征維數(shù)的比較。從表1可以看出，本文算法最高識別率為87.14%，均高于2DLDA，2DDLDA和（2D）2LDA算法，特征維數(shù)、單個樣本的識別時間均低于2DLDA，2DDLDA。

表1 不同算法的特征向量維數(shù)、識別率和識別時間的比較Table 1 Com parison of recognition rates，dimensions of featu re vector and running time

圖2為不同識別算法的識別率隨水平方向投影矩陣列數(shù)的變化趨勢。當水平方向的投影矩陣的列數(shù)d=30時，2DDLDA得到了最高識別率85.71%，（2D）2DLDA得到最高識別率87.14%;當d=15時，2DLDA取得了最高識別率82.86%;當d=25時，（2D）2LDA取得了最高識別率82.86%。

圖2 不同算法的識別率隨水平方向投影矩陣列數(shù)的變化趨勢Fig.2 Recognition accuracy trends w ith varying columns of horizontal direction projection matrix

（2D）2DLDA算法在水平方向投影矩陣的列數(shù)固定時，識別率隨著垂直方向投影矩陣列數(shù)的變化而變化。通過圖2看出，無論水平方向的投影矩陣的列數(shù)是多少，總能夠找出某一列數(shù)的垂直方向的投影矩陣，使其識別率高于2DDLDA算法。

從圖2中也看出，從整體趨勢上看，（2D）2DLDA和2DDLDA的識別率均高于（2D）2LDA和2DLDA，體現(xiàn)了直接線性判別分析提取的特征含有更多判別信息的優(yōu)點。

3 結(jié)束語

提出了基于雙向二維直接線性判別分析的人臉表情識別算法，對圖像矩陣進行水平和垂直兩個方向的降維處理，大幅減少了特征數(shù)目;同時，利用直接線性判別分析，能夠精確地估計協(xié)方差矩陣的特征向量，提取的特征含有更多的判別信息，有利于提高識別率。

本文提出的算法還存在一些問題:①識別率不是很高，沒有達到理想的效果;②本文目前的試驗只是在小型的標準的人臉表情數(shù)據(jù)庫上進行的，對更大型數(shù)據(jù)庫的識別效果有待進一步驗證。因此，進一步要研究和解決的問題就是提高算法的識別率和在大型數(shù)據(jù)庫中驗證算法的有效性。

［1］鄭秋梅，李新安，楊發(fā)科.基于形態(tài)膨脹操作的小波圖像壓縮編碼算法［J］.中國石油大學學報:自然科學版，2007，31（6）:117－119.

ZHENG Qiu－mei，LIXin－an，YANG Fa－ke.Wavelet image compression coding algorithm based on amorphological operater［J］.Journal of China University of Petroleum （Edition of Natural Science），2007，31（6）:117－119.

［2］鄭秋梅，楊發(fā)科，蔣曉紅.一種基于關(guān)系的小波域水印算法［J］.中國石油大學學報:自然科學版，2009，33 （2）:164－168.

ZHENG Qiu－mei，YANG Fa－ke，JIANG Xiao－h(huán)ong.A digital watermarking algorithm based opon relationship in wavelet transform domain［J］.Journal of China University of Petroleum（Edition of Natural Science），2009，33（2）: 164－168.

［3］ZHENGQiu－mei，WANGHong－xia.Image retrieval algorithm based on vector transferring and clustering［J］. Journal of Computational Information Systems，2009，5 （2）:1009－1016.

［4］ZHENG Qiu－mei，SHIGong－xi，LüXing－h(huán)ui.A robust digitalwatermarking scheme based on integer wavelet using compound encryption［C］//Proceedings of2009 4th International Conference on Computer Science＆Education，Nanning，China，July 25－28，2009.Piscataway，NJ，USA:IEEE，2009:716－719.

［5］ZHENG Qiu－mei，LüXing－h(huán)ui，SHI Gong－xi.EDA－based optimal Gabor Kernel's scale and orientation selection for facial expression recognition［C］//Proceedings of 2009 4th International Conference on Computer Science＆Education，Nanning，China，July 25－28，2009.Piscataway，NJ，USA:IEEE，2009:113－117.

［6］CHEN L，LIAO H M，KO M，et al.A new LDA－based face recognition system which can solve the small sample size problem［J］.Pattern Recognition，2000，33:1713－1726.

［7］YU Hua，YANG Jie.A direct LDA algorithm for high－dimensional data－with application to face recognition［J］. Pattern Recognition，2001，34:2067－2070.

［8］LIMing，YUAN Bao－zong.2D－LDA:A statistical linear discriminant analysis for imagematrix［J］.Pattern Recognition Letters，2005，26:527－532.

［9］XIONG Huilin，SWAMY M N S.Two－dimensional FLD for face recognition［J］.Pattern Recognition，2005，38: 1121－1124.

［10］CHO D U，CHANG U D，KIM B H，et al.2D direct LDA algorithm for face recognition［C］//Proc Fourth Int Conf Software Eng Res（2006），Seattle，WA，Aug9－11，2006.Piscataway，NJ，USA:IEEE，2006:245－248.

［11］CHO D U，CHANG U D，KIM B H，et al.2D Direct LDA for efficient face recognition［J］.ICIC 2006，LNCIS 345:566－571.

［12］YANG Jian，ZHANGDavid，YONG Xu，etal.Two－dimensional discriminant transform for face recognition［J］.Pattern Recognition，2005，38:1125－1129.

［13］NAGABHUSHAN P，GURU D S，SHEKAR B H. （2D）2FLD:An efficientapproach for appearance based object recognition［J］.Neurocomputing，2006，69:934－940.

［14］INOUE Kohei，URAHAMA Kiichi.Non－iterative twodimensional linear discriminant analysis［C］//The18th International Conference on Pattern Recognition（ICPR' 06）Hongkong，August 20－24，2006.Washington，DC:IEEE Computer Society，2006:540－543.

Two directional two dimensional direct linear discrim inant analysis for facial expression recognition

ZHENG Qiu－mei，LüXing－h(huán)ui，SHIGong－xi

（College of Computer and Communication Engineering in China University of Petroleum，Dongying 257061，China）

A novel algorithm for facial expression recognition of two directional two dimensional direct linear discriminantanalysis（（2D）2DLDA）algorithm was proposed.DLDA algorithm works in the row direction and the column direction of image to directly extract the image scattermatrix from 2D image.Thismethod reduces the dimensions of feature vector，and the coefficients and memory for image representation.The experimental results on JAFFE database show that the proposed algorithm can achieve high recognition rate.

computer applications;image recognition;facial expression recognition;direct linear discriminant analysis （DLDA）;two directional two dimensional direct LDA

TP 391.4

A

10.3969/j.issn.1673－5005.2010.05.033

1673－5005（2010）05－0179－04

2009－09－20

國家“863”高技術(shù)研究發(fā)展計劃項目（2007AA09Z301）;山東省自然科學基金項目（Y2007G21）

鄭秋梅（1964－），女（漢族），山東高密人，教授，碩士，碩士生導師，主要從事圖像處理方面的研究工作。

（編輯 修榮榮）