王 超，潘正高，路紅梅，李雪竹

宿州學(xué)院信息工程學(xué)院， 宿州，234000

在人的情緒判別和人際交往中，人臉表情識別起到了重要作用[1，2],因此人臉表情識別在國內(nèi)外引起廣泛關(guān)注。目前多種模式識別的方法被應(yīng)用到人臉表情自動識別中。主分量分析(PCA)[3]算法將人臉數(shù)字圖片轉(zhuǎn)換成一個矢量，大量樣本集組成一個矢量集，對這些矢量集的協(xié)方差矩陣求特征值特征向量。主要特征值對應(yīng)的特征向量映射下的人臉圖片作為特征人臉進行分類。線性判別分析(LDA)[4]算法充分利用類別信息構(gòu)造一個類間散度矩陣和一個類內(nèi)散度矩陣并且通過尋找一組投影向量使得這兩個散度矩陣的跡之比最大。這組投影向量作用于每一個樣本使得投影后的人臉樣本稱為fisher臉，并使用這個fisher臉來進行分類。此外線性特征提取方法還有獨立分量分析(ICA)[5]。以上算法是對人臉表情圖片整體直接做特征提取方法然后給分類器分類。

還有一些算法是對圖像求局部特征和整體特征融合的方法。文獻[6]人臉表情識別通過兩個階段的特征提取，第一階段通過限制的局部二值模式(LBP)將人臉圖片轉(zhuǎn)變成特征圖片，第二階段對這些特征圖片利用基于塊的中心對稱局部二值模式提取具有鑒別信息的特征，然后利用支持向量機(SVM)分類。文獻[7]融合了PCA和嘴巴部分的LBP特征進行人臉表情識別，利用SVM進行分類，在作者自己構(gòu)造的樣本數(shù)據(jù)上取得了比傳統(tǒng)特征提取效果更好的分類結(jié)果。文獻[8]利用了簡化的局部梯度編碼算法，僅僅采用了水平方向和垂直方向的分量進行編碼,在日本女子人臉表情數(shù)據(jù)集(JAFFE)上測試這個算法，比傳統(tǒng)的LBP和gabor特征具有更好分類效果而且運行時間上更快。針對PCA和LBP融合算法對隨機噪聲和光照變化容易受影響的特點，文獻[9]提出了融合PCA整體特征和局部方向模式(LDP)特征，LDP算子作用于眼部和嘴部提取其局部紋理特征，實驗證明這種融合算法比單獨使用PCA提取特征或者PCA和LBP融合算法有更好的效果。

流形學(xué)習(xí)算法是非線性特征提取方法，文獻[10]提出一種流形學(xué)習(xí)的方法進行人臉表情分類。它基于這樣一個假設(shè)，不同的表情分布在不同的流形上(維數(shù)也未必相同),提出一個人臉表情建模和分類的整體框架。每種表情的本征特征單獨學(xué)習(xí)，通過遺傳算法(GA)從分類角度獲取每個表情流形最佳維數(shù)。分類標(biāo)準(zhǔn)也是新定義的，在表情流形上最小的重建誤差作為分類的判別標(biāo)準(zhǔn)。文獻[11]提出使用改進的LBP和類規(guī)則的局部保持投影(LPP)，LBP強調(diào)了人臉在特定基準(zhǔn)點的部分信息，另外也增強了面部特征和表情類別的聯(lián)系。LPP通過降維使得不同類獨立性最大化，另外也保持了局部特征的相似性。文獻[12]提出了一種有偏的子空間學(xué)習(xí)算法來魯棒處理非對齊人臉表情圖片，同時提出有偏線性判別分析(BLDA)，該算法對于差別很小的類間樣本給予很大的懲罰，對于差別很大的類間樣本給予很小的懲罰，這樣可有效提取鑒別特征。算法為了更好地利用測地信息，設(shè)計了一種加權(quán)有偏差異fisher分析(WBMFA)算法，利用圖嵌入準(zhǔn)則提取鑒別信息，該算法適用于數(shù)據(jù)集不滿足高斯分布的情況。約束差異最大化投影[13](CMVM)算法由2008年李波等提出，應(yīng)用于人臉識別等領(lǐng)域。該算法在構(gòu)造差異化判決式上利用類別信息，而且在構(gòu)造近鄰關(guān)系判決式上利用了近鄰信息。該算法主要目標(biāo)是保持同類的人臉表情樣本投影后更緊湊，不同類人臉表情樣本投影后更加離散。本文采用此算法在人臉表情識別領(lǐng)域，是首次嘗試。

1 約束差異最大化投影算法

CMVM算法的思想來源于差異最大化展開(maxmum variance unfolding MVU)的流形學(xué)習(xí)算法[14，15]。該算法假設(shè)近鄰的樣本之間由剛性桿連接，算法的目標(biāo)是最大化兩樣本之間距離同時又不破壞近鄰樣本之間的剛性連接。CMVM算法從數(shù)據(jù)降維角度考慮，把原始輸入高維數(shù)據(jù)通過投影映射到低維空間。這個過程中保持了近鄰樣本之間的剛性連接，同時又最大化兩兩樣本之間的距離。

1.1 鄰域的選擇

首先是近鄰樣本選擇，近鄰樣本之間的距離用歐式距離來度量。有兩種判斷近鄰的方法，一種是(K-Nearest Neighbor，KNN)就是在歐式距離度量的樣本之間尋找距離最小的前K個樣本。另一種方法叫ε-ball的方法，該方法以中心樣本為圓心，以一定長度ε為半徑畫超球。超球范圍內(nèi)的樣本，統(tǒng)稱為中心樣本的近鄰樣本。表達近鄰關(guān)系樣本關(guān)系矩陣的元素定義如下：

(1)

(2)

1.2 近鄰關(guān)系判決式

CMVM算法目的是尋找一個投影矩陣W，使得投影后的樣本維數(shù)更低同時更有利于分類。輸入樣本xi∈RN是N維空間中的樣本矢量。投影后的樣本yi∈RM是M維空間中的樣本矢量。其中yi通過這樣一個投影關(guān)系式得到y(tǒng)i=WTxi，且滿足M

=2tr{Y(P-L)YT}

(3)

1.3 差異化判決式構(gòu)造

CMVM算法假定同類樣本都嵌入在同一個流形上，不同類樣本嵌入在不同的流形上。歐式距離大小經(jīng)常來定義樣本間差異大小。此處用歐式距離平方來定義不同類的樣本所在流形的差異，使其在歐式距離度量下最大化展開。首先構(gòu)造一個類別關(guān)系矩陣C定義如下：

(4)

差異化判決式定義如下：

(5)

1.4 關(guān)系式改寫

由線性映射關(guān)系可以得到JL、JD關(guān)系式如下：

(6)

(7)

1.5 最優(yōu)化目標(biāo)式

根據(jù)算法思想，即使不同類樣本在不同流形上嵌入差異最大，同時保持所有流形近鄰結(jié)構(gòu)不變?？梢缘玫揭韵碌淖顑?yōu)化關(guān)系式。

2 實 驗

如引言所述，把整幅圖像看作一個整體，例如一幅m×n的數(shù)字圖像可以看作是一個m×n維空間中的一個點。如何將這個高維空間中的點有效維數(shù)提取出來，將無關(guān)的冗余特征除去，將是特征提取算法要完成的任務(wù)。這里使用的特征提取算法有CMVM、LPP、UDP、LDA、MVP等。這些算法將作用在JAFFE日本女人表情人臉數(shù)據(jù)庫和CK+人臉表情數(shù)據(jù)庫上。將這些算法作用在這兩個數(shù)據(jù)庫上之前，使用了PCA算法來降維，以避免小樣本問題。降維后的數(shù)據(jù)使用KNN分類器來進行分類預(yù)測類別。

2.1 JAFFE數(shù)據(jù)庫上實驗

JAFFE(The Japanses Female Facial Expression)數(shù)據(jù)庫即日本女性面部表情數(shù)據(jù)庫，該數(shù)據(jù)庫共有213張表情圖片，由10個女性的7種表情圖片組成(見圖1)。每種表情圖片2-3張照片。算法表示總的識別率如表1所示?？偣灿?13張圖片，前150張作為訓(xùn)練數(shù)據(jù)，后163張作為測試數(shù)據(jù)，構(gòu)成一組數(shù)據(jù)。這組數(shù)據(jù)樣本間的差異，不僅有不同表情之間的差異，而且相同的表情樣本之間還有不同個體之間的差異，相對來說識別難度較大。

表1 LPP 、UDP、LDA、MVP、CMVM算法在JAFFE數(shù)據(jù)庫上總最高識別率對比

圖1 JAFFE數(shù)據(jù)庫七種表情圖片

由表1可知，最高識別率CMVM高出UDP接近6個百分點，高出LPP接近9個百分點,高出LDA接近11個百分點，高出MVP接近18個百分點。而且CMVM算法達到最大識別率的維數(shù)很小比起LPP和MVP算法。所以本文中使用的CMVM算法在表情識別上有效。

將5種算法在JAFFE數(shù)據(jù)集的測試集上不同維度的識別率用圖2展示出來。分析圖2可知，CMVM算法總體識別率最高達到92.92%，而且識別率比較穩(wěn)定，在維度為6和7上都達到了92.92%的識別率。其他維度上的識別率也普遍高于LPP算法和UDP算法。UDP算法的識別率在一些維度上取得了和CMVM算法同樣的識別率，但是到了28維后，流形學(xué)習(xí)算法LPP，UDP，MVP包括本文算法CMVM下降比較快。高維度時識別率下降是值得探討的一個問題。

2.2 CK+數(shù)據(jù)庫上實驗

該數(shù)據(jù)庫是在 Cohn-Kanade Dataset 的基礎(chǔ)上擴展來的。該數(shù)據(jù)庫比起JAFFE 要大得多。包含表情的標(biāo)簽和動作單元的標(biāo)簽。

該數(shù)據(jù)庫包括123個人,593 個圖像序列，每個圖像序列的最后一張圖片都有動作單元的標(biāo)簽，而在這593個圖像序列中，有327個圖像序列有表情的標(biāo)簽。每個序列圖片都是從中性表情到這個表情標(biāo)簽的表情一個序列(圖3所示為CK+數(shù)據(jù)庫一個實驗者的七種表情)。因此如何合理區(qū)別中性表情到這個表情標(biāo)簽是一個問題。也是影響分類準(zhǔn)確度一個關(guān)鍵點之一。

圖2 LPP、UDP、LDA、MVP、CMVM算法在JAFFE數(shù)據(jù)庫上不同維度的識別率

每個表情選取7張圖片作為測試，其余5張作為測試樣本，使用表中列舉的5種算法分別進行訓(xùn)練和測試得到識別率見表2。

圖3 CK+數(shù)據(jù)庫七種表情圖

算法LPPUDPLDAMVPCMVM最高識別率97.26%95.89%95.85%65.75%99.52%維度688168

圖4 LPP、UDP、LDA、MVP、CMVM算法在CK+數(shù)據(jù)庫上不同維度的識別率

分析表2可知最高識別率仍然是CMVM算法達到99.52%，其次分別是LPP最高識別率為97.26%，UDP最高識別率為95.89%，LDA識別率為95.85%，但是MVP識別偏低為65.75%。LPP在第6維就達到了最高識別率，CMVM、UDP、LDA這三種算法均在第8維達到了最高識別率。但是MVP卻在第16維才達到最高識別率。將本文所用到的5種算法在不同維度上的測試準(zhǔn)確率展示如圖4。由圖4分析可知CMVM在11個維度上都達到了99.52%的識別率，而且下降不明顯。LDA算法比較穩(wěn)健，達到最大值95.85%后則保持該識別率，且識別率不隨著維度上升而下降。LPP算法雖然最大識別率為97.26%，但無CMVM算法穩(wěn)定，隨著維度增加迅速下降。UDP算法的表現(xiàn)介于LPP和LDA算法中間。MVP算法表現(xiàn)最差，實驗表明MVP算法不適合表情識別。

3 結(jié) 論

本文提出使用約束差異最大化投影這一流形學(xué)習(xí)算法來進行人臉表情數(shù)據(jù)降維分析，通過在JAFFE和CK+這兩個數(shù)據(jù)庫上實驗，驗證了流形學(xué)習(xí)算法的有效性。進一步的工作是推廣這個算法在實時動態(tài)的表情識別上的應(yīng)用，爭取在實時識別上可以達到每秒30幀的處理速度，識別效果可以達到98%以上。另外，差異最大化投影算法在表情識別數(shù)據(jù)集上表現(xiàn)較差差的原因還有待進一步研究。