王曉華，侯登永，胡 敏，任福繼,2，王家勇

?

時空LBP矩和Dempster-Shafer證據(jù)融合的雙模態(tài)情感識別

王曉華1，侯登永1，胡 敏1，任福繼1,2，王家勇1

( 1. 合肥工業(yè)大學(xué)計算機與信息學(xué)院情感計算與先進智能機器安徽省重點實驗室，合肥230009;2. 德島大學(xué)先端技術(shù)科學(xué)教育部，日本德島 77085020 )

針對視頻情感識別中存在運算復(fù)雜度高的缺點，提出一種基于時空局部二值模式矩(Temporal-Spatial Local Binary Pattern Moment，TSLBPM)的雙模態(tài)情感識別方法。首先對視頻進行預(yù)處理獲得表情和姿態(tài)序列；然后對表情和姿態(tài)序列分別提取TSLBPM特征，計算測試序列與已標(biāo)記的情感訓(xùn)練集特征間的最小歐氏距離，并將其作為獨立證據(jù)來構(gòu)造基本概率分配(Basic Probability Assignment，BPA)；最后使用Dempster-Shafer證據(jù)理論聯(lián)合規(guī)則得到情感識別結(jié)果。在雙模態(tài)表情和姿態(tài)情感數(shù)據(jù)庫上的實驗結(jié)果表明，本文提出的時空局部二值模式矩可以快速提取視頻圖像的時空特征，能有效識別情感狀態(tài)。與其他方法的對比實驗也驗證了本文融合方法的優(yōu)越性。

視頻感情識別；雙模態(tài)情感識別；時空局部二值模式矩；Dempster-Shafer證據(jù)理論

0 引 言

近年來，隨著計算機視覺及人工智能技術(shù)的發(fā)展，人類迫切希望計算機能夠更人性化，可以自動感知和響應(yīng)自然的人類行為，像人與人之間的交流那樣自然。非語言交流在人類交往中起著重要的作用，擁有讀懂非語言情感的能力對于理解、分析和預(yù)測他人的行為和意圖具有至關(guān)重要的地位。要實現(xiàn)自然的人機交互，就要求計算機具有和人類相似的情感感知和識別能力。人類的情感狀態(tài)是復(fù)雜而且多變的，我們觀察到的情感狀態(tài)自然也是通過多種方式，如面部表情、身體姿態(tài)、音頻信號等，這些通過不同方式獲得的情感信息也是互補的。

關(guān)于情感識別方面的研究大多基于單模態(tài)，比如人臉表情識別[1]、姿態(tài)情感識別和語音情感識別等[2-5]。Pardas M[6]等人提取面部動畫參數(shù)作為表情特征，利用隱馬爾可夫模型(HMM)識別圖像序列中的表情。Camurri等人[7]做了關(guān)于舞蹈動作對情感識別作用的研究，結(jié)果表明部分舞蹈動作有助于情感識別。既然人類的情感狀態(tài)是通過多種方式表達的，那么僅通過單模態(tài)進行情感識別就會存在一定的局限性，介于此，雙模態(tài)或者多種模態(tài)的情感識別成為目前研究的主流方向。文獻[4]針對目前實時自動情感識別中表情和姿態(tài)特征提取問題，提出結(jié)合局部運動和外觀特征的新型框架模型，該框架模型采用MHI-HOG和圖像的梯度直方圖特征，通過時間歸一化或詞袋捕捉運動和外觀的信息。Yan等人[8]研究了基于視頻的表情和姿態(tài)雙模態(tài)情感識別，提出了一種基于雙邊稀疏偏最小二乘的情感識別方法，計算復(fù)雜度低，實驗取得了不錯的效果。Gunes和Piccard對姿態(tài)和表情的雙模態(tài)情感識別研究進行了大量探索和研究[9-12]，首先提出一個識別框架，然后建立了基于表情和姿態(tài)的雙模態(tài)情感數(shù)據(jù)庫，應(yīng)用基于視頻的HMM和最大投票頂點幀的方法進行情感識別研究。盡管實驗取得了不錯的效果，但是實時特征提取處理相當(dāng)復(fù)雜，涉及到光流、邊緣、跟蹤等處理，在實際應(yīng)用中無法滿足實時性的要求。

綜上，本文在前人研究的基礎(chǔ)上，提出一種基于時空LBP矩特征的表情和姿態(tài)雙模態(tài)情感識別方法。將視頻中的面部表情和上身姿態(tài)看成由每幀圖像沿時間軸堆疊而成的三維時空體。與其他方法相比，在特征提取上，本文方法從視頻幀序列中直接提取時空特征，不需要對視頻幀時間對齊，可避免視頻幀序列持續(xù)時間不同所造成的后果，同時特征維數(shù)小，對光照表現(xiàn)一定的魯棒性等特性。在分類識別上，D-S證據(jù)理論融合兩種模態(tài)的數(shù)據(jù)信息，可以克服單一模態(tài)的局限性，得到更為可靠、準(zhǔn)確的結(jié)果。

1 TSLBPM特征提取方法

對于視頻序列中的某一幀圖像，其局部像素的梯度位置和方向常被用來表征圖像的紋理特征分布。借鑒傳統(tǒng)的LBP[13]算法思想，本文將其從描述單幅圖像不同像素點的空間關(guān)系擴展到時間序列中，并融合灰度共生矩陣提出一種基于時空的局部二值模式矩，它是通過度量相鄰幀序列及其對應(yīng)像素點間的大小關(guān)系來獲取紋理特征值，具有計算復(fù)雜度低、對光照變化不敏感等優(yōu)點，適用于靜態(tài)背景環(huán)境中的情感識別。

1.1 時空局部二值模式(TSLBP)

對于視頻中時刻圖像I中像素位置，考慮以其為中心的鄰域窗口及其前后兩幀的像素窗口，可以得到像素值向量[14]：

由3個0/1比特組成，其十進制編碼值計算如式(4)所示：

圖1 ATSLBP(1,8)的計算流程

1.2 時空局部二值模式矩(TSLBPM)

時空LBP的特征值是將二進制序列乘以相應(yīng)的權(quán)重因子轉(zhuǎn)化成十進制后得到的，這使得相似的二進制序列經(jīng)十進制編碼后數(shù)值相差很大，導(dǎo)致相似的二進制特征無法落入直方圖相鄰的區(qū)域。同時，計算得到的十進制編碼數(shù)相對比較大，在進行直方圖統(tǒng)計時，直方圖分布過于稀疏，特征分布不集中。在時空LBP算子的基礎(chǔ)上，考慮相鄰幀圖像對應(yīng)位置的像素值變化，借鑒灰度共生矩陣[15]在研究灰度圖像紋理空間相關(guān)特性的思想，本文進一步提出時空局部二值模式矩。將式(2)得到的像素二值向量寫成一個3′8矩陣：

在式(5)中，其中每一行表示每一幀的二進制序列，每一列表示相鄰幀對應(yīng)位置的二進制序列。

灰度共生矩陣的紋理特征量描述符角二階矩(Angular Second Moment，ASM)能量，是對圖像紋理的灰度變化穩(wěn)定程度的度量，反映了圖像灰度分布均勻程度和紋理粗細度。借鑒這一思想，我們對求取ASM能量?？v向統(tǒng)計字符跳變次數(shù)，即、、、的跳變次數(shù)，得到的灰度共生矩陣：

在灰度共生矩陣中，跳變次數(shù)大小反應(yīng)了相鄰兩幀圖像紋理變化的程度。如果其值集中在對角線分布，說明相鄰兩幀之間紋理未發(fā)生變化或發(fā)生較大變化，也即相鄰兩幀之間未產(chǎn)生動作變化或動作幅度較大，此時ASM有較大值；如果其值分布較均勻，說明相鄰幀之間紋理發(fā)生部分變化，也即相鄰幀之間產(chǎn)生小幅動作變化，此時ASM有較小值。ASM值的大小衡量當(dāng)前紋理變化是否穩(wěn)定，能夠有效描述幀間的運動信息，由此可以有效表征圖像的紋理特征。

2 基于TSLBPM和Dempster-Shafer理論的雙模態(tài)情感識別

2.1 Dempster-Shafer證據(jù)理論

證據(jù)理論[16-17]是由Dempster提出的一種不精確推理理論，并由Shafter對其進行完善，因此又被稱為D-S(Dempster-Shafer)證據(jù)理論。它可以將具有模糊性、不確定性的信息按照合成法則融合成一個新的信任函數(shù)，并由此得到最終的決策結(jié)果，具有處理不確定信息的能力，可獲得較高的準(zhǔn)確性和識別性能。

在D-S理論中，設(shè)是一個元素互斥的識別框架集合，其中包含的所有取值。定義一個函數(shù)滿足下面條件：

2.2 基本概率分配函數(shù)的構(gòu)造

在情感識別中，將情感的類別表示成識別框架中的焦點元素，設(shè)有類情感，即。在本文中，證據(jù)來自于表情和姿態(tài)兩種模態(tài)(=1,2)。首先提取所有測試樣本和訓(xùn)練樣本的TSLBPM特征，然后計算某一測試樣本與所有訓(xùn)練樣本的歐氏距離，記為每一類情感的最小歐式距離，表示表情或姿態(tài)，是情感的類別。在進行合成規(guī)則前，先將所有的進行歸一化，即：

2.3 決策融合及判決規(guī)則

2.4 基于TSLBPM和D-S理論的雙模態(tài)情感識別方法

本文從視頻的原始圖像中提取出表情序列和姿態(tài)序列。對于視頻圖像中姿態(tài)動作的變化，由于時空LBP矩保留了時空LBP良好的抗噪聲能力，可以不用對其進行目標(biāo)追蹤、分割等一系列常規(guī)視頻圖像處理的環(huán)節(jié)，就可以達到較好的實驗效果。在預(yù)處理部分，主要對視頻幀序列進行圖像標(biāo)準(zhǔn)化處理。另外，由于一個幾秒的視頻往往包含幾十幀的圖像信息，數(shù)據(jù)龐大，這就給特征提取帶來困擾，影響后續(xù)的模式識別。本文采用均值聚類的方法分別對表情序列和姿態(tài)序列進行聚類，用=5幅圖像序列信息來代替整個圖像序列信息，從而極大地減少了計算量。

圖2 上身姿態(tài)三維時空體特征圖譜

3 實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)庫

為了驗證本文方法的有效性，本文使用雙模態(tài)表情和姿態(tài)情感數(shù)據(jù)庫(Bimodal Face and Body Gesture Database，F(xiàn)ABO)(分辨率為1 024×768，15 f/s)進行實驗。在FABO數(shù)據(jù)庫中，由于每個人的樣本數(shù)和情感類別數(shù)均不一樣，為了保證實驗數(shù)據(jù)的一致性，本文選取FABO數(shù)據(jù)庫中樣本數(shù)相對較多且情感類別數(shù)相對均勻的12個人做了相關(guān)實驗。所選樣本共包括高興、害怕、生氣、厭煩和不確定5類情感，其中姿態(tài)和表情各取238個樣本，一半作為訓(xùn)練一半作為測試。本文實驗是在Windows XP系統(tǒng)下(雙核CPU 2.53 GHz 內(nèi)存2 G)，使用VC6.0+OpenCV1.0實現(xiàn)的。實驗中將人臉表情圖片幀和上身姿態(tài)圖片幀分別統(tǒng)一大小為96×96和128×96。本文實驗最后的識別率均為實驗結(jié)果的平均值。表情圖片和姿態(tài)圖片統(tǒng)一大小后的部分圖像如圖4所示。

圖4 表情和姿態(tài)圖片樣本

3.2 單模態(tài)情感識別實驗

在D-S證據(jù)融合前，首先對表情和姿態(tài)兩個單模態(tài)進行單獨的情感識別。先分別對表情序列和姿態(tài)序列提取TSLBPM特征，然后使用分類器進行分類識別。

本實驗中需要定義的參數(shù)是表情和姿態(tài)圖像的分塊大小。圖5給出了平均識別率與分塊大小的對應(yīng)關(guān)系。從識別率考慮，取表情圖像分塊為6×6，姿態(tài)圖像分塊為4×4。圖6給出了在此分塊方法下，表情和姿態(tài)兩種單模態(tài)的混淆矩陣。表1顯示了在FABO數(shù)據(jù)庫上分別采用支持向量機(SVM)、最小距離分類器和最近鄰分類器(NNC)時表情和姿態(tài)兩種單模態(tài)的平均識別率。表2給出了本文算法與其它文獻算法識別率的比較結(jié)果。

圖5 分塊大小與平均識別率關(guān)系圖

圖6 表情和姿態(tài)單模態(tài)識別混淆矩陣

表1 基于表情和姿態(tài)的單模態(tài)情感識別的平均識別率

表2 基于單模態(tài)的不同特征提取方法的平均識別率比較

從表1的實驗結(jié)果來看，使用NNC分類器的實驗結(jié)果要好于SVM和最小距離分類器，并且姿態(tài)單模態(tài)的識別率高于表情單模態(tài)的識別率。究其原因，是因為姿態(tài)動作的變化幅度大，紋理變化比較明顯，提取的特征更加有效，而表情的紋理變化比較微小，相比于姿態(tài)動作較難識別。表2表明，與其他論文中的方法相比，本文提出的時空LBP矩特征在單模態(tài)情感識別上的識別性能顯著優(yōu)于其他方法，是一種有效的特征提取方法。

3.3 雙模態(tài)情感識別實驗

由表3結(jié)果看出，將表情和姿態(tài)兩種單模態(tài)利用D-S證據(jù)理論進行融合獲得的識別率為96.64%，取得比兩種單模態(tài)都要高的識別率，說明了融合表情和姿態(tài)進行情感識別的有效性。同時，與其他論文融合方法相比，本文融合方法具有更好的優(yōu)越性。兩種模態(tài)相融合與單模態(tài)情感識別相比，準(zhǔn)確率和穩(wěn)定性明顯提高。原因在于：D-S證據(jù)理論以歐氏距離構(gòu)造BPA，根據(jù)組合規(guī)則，融合來自表情和姿態(tài)兩種模態(tài)的識別信息，能夠?qū)崿F(xiàn)較弱分類(單模態(tài))決策對較強分類(雙模態(tài))決策的有效支持，從而可以進一步提高識別準(zhǔn)確率和可靠性。

表4為D-S證據(jù)理論融合數(shù)據(jù)的實驗結(jié)果，這里選取兩類出現(xiàn)誤識別的情感數(shù)據(jù)作為應(yīng)用舉例。分析表4的數(shù)據(jù)可以得出：1) 表情和姿態(tài)兩種單模態(tài)融合后的信任度值大于單模態(tài)的信任度值，增加了正確目標(biāo)的可信度，大幅度降低對目標(biāo)識別的不確定性。2) 對于兩種單模態(tài)均無法正確識別的情感樣本，利用D-S融合后仍能將其準(zhǔn)確識別出來，說明了基于D-S證據(jù)理論的多模態(tài)融合方法增強了系統(tǒng)的識別能力，提高了系統(tǒng)的可靠性和準(zhǔn)確性。

表3 不同融合方法的平均識別率對比

表4 D-S方法的數(shù)據(jù)融合結(jié)果

4 結(jié) 論

本文提出的時空局部二值模式矩可以快速提取視頻圖像的時空特征，能有效識別認知情感狀態(tài)。此方法從一個全新的角度對情感識別問題進行探索，將刻畫圖像局部特征的有效算子發(fā)展為三維形式并應(yīng)用于視頻數(shù)據(jù)，它無需降維，無需進行時間對齊，能夠從時空體積直接提取有效低維特征。在分類識別上，用NN分類器分別基于表情和姿態(tài)兩種單模態(tài)進行情感識別，并以NN的輸出作為獨立證據(jù)分別構(gòu)造基本概率分配值；然后利用D-S證據(jù)理論合成法則對各證據(jù)信息進行合成；最后依據(jù)判別規(guī)則獲得最終的情感識別結(jié)果。從其實驗數(shù)據(jù)來看，可以得出如下結(jié)論：

1) 在基于視頻紋理特征提取中，TSLBPM考慮幀間的紋理變化，融入時間信息，相比較原始LBP特征更能有效提取動態(tài)的紋理特征變化，可以很好的提取局部特征。

2) TSLBPM特征保留了原始LBP特征對光照變化魯棒的優(yōu)點，特征維數(shù)小，且計算簡單有效，滿足實時系統(tǒng)的要求。

3) 利用D-S證據(jù)理論對來自不同模態(tài)的TSLBPM特征進行融合，并使用曲線擬合來構(gòu)造BPA函數(shù)，能夠有效弱化信息的不完整性及錯誤數(shù)據(jù)對識別的不良影響，使得系統(tǒng)最終獲得較高的識別率。

[1] ZHANG Wei，ZHANG Youmei，MA Lin，. Multimodal learning for facial expression recognition [J]. Pattern Recognition(S0031-3203)，2015，48(10)：3191-3202.

[2] Valstar Michel，JIANG Bihan，Mehu Marc，. The first facial expression recognition and analysis challenge [C]// 2011 IEEE International Conference on Automatic Face & Gesture Recognition and Workshops，Santa Barbara，CA，Mar 21-25，2011，31：921-926.

[3] Ou Jun，BAI Xiaobo，PEI Yun，. Automatic Facial Expression Recognition Using Gabor Filter and Expression Analysis [C]// ICCMS '10. Second International Conference on Computer Modeling and Simulation，Sanya，Hainan，Jan 22-24，2010，2：215-218.

[4] CHEN Shizhi，TIAN Yingli，LIU Qingshan，. Recognizing expressions from face and body gesture by temporal normalized motion and appearance features [J]. Image & Vision Computing(S0262-8856)，2013，31(2)：175-185.

[5] Ayadi M E，Kamel M S，Karray F. Survey on speech emotion recognition：Features，classification schemes，and databases [J]. Pattern Recognition(S0031-3203)，2011，44(3)：572-587.

[6] Pardas M，Bonafonte A. Facial animation parameters extraction and expression recognition using Hidden Markov Models [J]. Signal Processing Image Communication(S0923-5965)，2002，17(9)：675-688.

[7] Camurri A，Lagerl?f I，Volpe G. Recognizing emotion from dance movement：comparison of spectator recognition and automated techniques [J]. International Journal of Human-Computer Studies(S1071-5819)，2003，59(1/2)：213-225.

[8] YAN Jingjie，ZHENG Wenming，XIN Minghai，. Bimodal emotion recognition based on body gesture and facial expression [J]. Journal of Image & Graphics(S1793-6756)，2013，18(9)：1101-1106.

[9] Gunes H，Piccardi M. A bimodal Face and Body Gesture Database for Automatic Analysis of Human Nonverbal Affective Behavior [C]// International Conference on Pattern Recognition，Hong Kong，China，Aug 20-24，2006，1：1148-1153.

[10] Gunes H，Piccardi M. Bi-modal emotion recognition from expressive face and body gestures [J]. Journal of Network & Computer Applications(S1084-8045)，2007，30(4)：1334–1345.

[11] Gunes H，Piccardi M. Fusing face and body gesture for machine recognition of emotions [C]// IEEE International Workshop on Robot and Human Interactive Communication，Roman，Aug 13-15，2005：306-311.

[12] Hatice G，Massimo P. Automatic temporal segment detection and affect recognition from face and body display [J]. IEEE Transactions on Systems Man & Cybernetics Part B Cybernetics A Publication of the IEEE Systems Man & Cybernetics Society(S2168-2216)，2009，39(1)：64-84.

[13] 胡敏，許艷俠，王曉華，等. 自適應(yīng)加權(quán)完全局部二值模式的表情識別 [J]. 中國圖象圖形學(xué)報，2013，18(10)：1279-1284.

HU Min，XU Yanxia，WANG Xiaohua，F(xiàn)acial expression recognition based on AWCLBP [J]. Journal of Image and Graphics，2013，18(10)：1279-1284.

[14] ZHAO Guoying，Pietikainen Matti. Dynamic Texture Recognition Using Local Binary Patterns with an Application to Facial Expressions [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence(S1939-3539)，2007，29(6)：915-928.

[15] 桑慶兵，李朝鋒，吳小俊. 基于灰度共生矩陣的無參考模糊圖像質(zhì)量評價方法 [J]. 模式識別與人工智能，2013，25(05)：492-497.

SANG Qinbing，LI Zhaofeng，WU XiaojunNo-Reference Blurred Image Quality Assessment Based on Gray Level Co-occurrence Matrix [J]. Pattern Recognition and Artificial Intelligence，2013，25(05)：492-497.

[16] 李先鋒，朱偉興，孔令東，等. 基于SVM和D-S證據(jù)理論的多特征融合雜草識別方法 [J]. 農(nóng)業(yè)機械學(xué)報，2012，42(11)：164-168.

LI Xianfeng，ZHU Weixing，KONG Lindong，Method of Multi-feature Fusion Based on SVM and D- S Evidence Theory in Weed Recognition [J]. Transactions of the Chinese Society for Agricultural Machinery，2012，42(11)：164-168.

[17] 王曉華，金超，任福繼，等. Dempster-Shafer證據(jù)融合金字塔韋伯局部特征的表情識別[J]. 中國圖象圖形學(xué)報，2014，19(9)：1297-1305.

WANG Xiaohua，JIN Chao，REN Fuji，Research on facial expression recognition based on pyramid Weber local descriptor and the Dempster-Shafer theory of evidence [J].Journal of Image and Graphics，2014，19(9)：1297-1305.

Dual-modality Emotion Recognition Model Based on Temporal-spatial LBP Moment and Dempster-Shafer Evidence Fusion

WANG Xiaohua1，HOU Dengyong2，HU Min1，REN Fuji1,2，WANG Jiayong1

( 1. School of Computer and Information of Hefei University of Technology, Anhui Province Key Laboratory of Affective Computingand Advanced Intelligent Machine, Hefei 230009, China;2. University of Tokushima, Graduate School of Advanced Technology ＆Science, Tokushima 7708502, Japan )

To overcome the deficiency of high complexity performance in video emotion recognition, we propose a novel Local Binary Pattern Moment method based on Temporal-Spatial for feature extraction of dual-modality emotion recognition. Firstly, preprocessing is used to obtain the facial expression and posture sequences. Secondly, TSLBPM is utilized to extract the features of the facial expression and posture sequences. The minimum Euclidean distances are selected by calculating the features of the testing sequences and the marked emotion training sets, and they are used as independent evidence to build the Basic Probability Assignment (BPA). Finally, according to the rules of Dempster-Shafer evidence theory, the expression recognition result is obtained by fused BPA. The experimental results on the FABO expression and posture dual-modality emotion database show the Temporal-Spatial Local Binary Pattern Moment feature of the video image can be extracted quickly and the video emotional state can be effectively identified. What’s more, compared with other methods , the experiments have verified the superiority of fusion.

video emotion recognition; dual-modality emotion recognition; temporal-spatial lbp moment; Dempster- Shafer evidence theory

1003-501X(2016)12-0154-08

O438

A

10.3969/j.issn.1003-501X.2016.12.024

2016-01-28；

2016-05-11

國家自然科學(xué)青年基金項目(61300119)；國家自然科學(xué)基金重點項目(61432004)；安徽省自然科學(xué)基金項目(1408085MKL16)

王曉華(1976-)，女(漢族)，河南漯河人。博士，副教授，碩士生導(dǎo)師，主要研究方向為數(shù)字圖像處理、情感計算等。E-mail:xh_wang@hfut.edu.cn。