張曉靜，蔣冬梅，F(xiàn)AN Ping，SAHLI Hichem

1.西北工業(yè)大學(xué)計(jì)算機(jī)學(xué)院，西安 710072

2.陜西省語(yǔ)音與圖像信息處理重點(diǎn)實(shí)驗(yàn)室，西安 710072

3.布魯塞爾自由大學(xué)電子與信息系，比利時(shí)布魯塞爾 1050

基于改進(jìn)異步DBN模型的聽(tīng)視覺(jué)融合情感識(shí)別

張曉靜1，2，蔣冬梅1，2，F(xiàn)AN Ping3，SAHLI Hichem3

1.西北工業(yè)大學(xué)計(jì)算機(jī)學(xué)院，西安 710072

2.陜西省語(yǔ)音與圖像信息處理重點(diǎn)實(shí)驗(yàn)室，西安 710072

3.布魯塞爾自由大學(xué)電子與信息系，比利時(shí)布魯塞爾 1050

提出了一個(gè)改進(jìn)的三特征流聽(tīng)視覺(jué)融合異步動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)情感模型（VVA_AsyDBN），采用面部幾何特征（GF）和面部主動(dòng)外觀模型特征（AAM）作為兩個(gè)視覺(jué)輸入流，語(yǔ)音Mel倒譜特征（MFCC）作為聽(tīng)覺(jué)輸入流，且視覺(jué)流的狀態(tài)和聽(tīng)覺(jué)流的狀態(tài)可以存在有約束的異步。在eNTERFACE’05聽(tīng)視覺(jué)情感數(shù)據(jù)庫(kù)上進(jìn)行了情感識(shí)別實(shí)驗(yàn)，并與傳統(tǒng)的多流同步隱馬爾可夫模型（MSHMM），以及具有兩個(gè)聽(tīng)覺(jué)特征流（語(yǔ)音MFCC和局域韻律特征LP）和一個(gè)視覺(jué)特征流的聽(tīng)視覺(jué)異步DBN模型（T_AsyDBN）進(jìn)行了比較。實(shí)驗(yàn)結(jié)果表明，VVA_AsyDBN獲得了最高識(shí)別率75.61%，比視覺(jué)單流HMM提高了12.50%，比采用AAM、GF和MFCC特征的MSHMM提高了2.32%，比T_AsyDBN的最高識(shí)別率也提高了1.65%。

聽(tīng)視覺(jué)融合；動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)；主動(dòng)外觀模型（AAM）；異步約束

1 引言

如果計(jì)算機(jī)能夠感知和響應(yīng)人類(lèi)的情感，人機(jī)交互將會(huì)變得更加自然，因而情感識(shí)別逐漸成為多個(gè)領(lǐng)域的熱門(mén)研究課題，如心理學(xué)、認(rèn)知學(xué)以及計(jì)算機(jī)科學(xué)等，而大多數(shù)研究只關(guān)注單特征流信息，如聽(tīng)覺(jué)上的語(yǔ)音韻律信息[1]或視覺(jué)上的面部表情信息[2]。近年來(lái)，出現(xiàn)了一些聽(tīng)視覺(jué)融合多模態(tài)情感識(shí)別方法，所采用的融合策略包括特征層融合、決策層融合和模型層的融合。其中，特征融合[3]可能由于特征空間的擴(kuò)大，帶來(lái)維數(shù)災(zāi)難而導(dǎo)致識(shí)別率下降，而決策層融合[3-4]則忽略了聽(tīng)覺(jué)和視覺(jué)信息之間的關(guān)聯(lián)關(guān)系。為了更加合理地融合聽(tīng)覺(jué)和視覺(jué)的情感信息，文獻(xiàn)[5]提出了多流融合隱馬爾可夫模型（Multi-Fused HMM，MFHMM），其聽(tīng)覺(jué)特征采用基頻、能量等韻律特征，面部表情特征采用人臉紋理特征，基于最大熵和最大互信息準(zhǔn)則，將聽(tīng)覺(jué)情感和視覺(jué)情感的兩個(gè)HMM模型關(guān)聯(lián)起來(lái)。文獻(xiàn)[6]提出了三元HMM（triple HMM，THMM），允許特征流之間存在無(wú)限制的狀態(tài)異步，采用語(yǔ)音韻律特征、上半部人臉幾何特征和下半部人臉幾何特征作為三個(gè)輸入流進(jìn)行情感識(shí)別。

然而，由于HMM結(jié)構(gòu)的局限性，以上基于HMM的聽(tīng)視覺(jué)融合不能合理地描述聽(tīng)覺(jué)和視覺(jué)情感特征流之間的異步關(guān)系。為了更靈活地描述兩者之間可能存在的異步，在前期工作中[7]，提出了異步可控的雙流動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)模型（Asy_DBN），采用語(yǔ)音感知線(xiàn)性預(yù)測(cè)系數(shù)（PLP）作為聽(tīng)覺(jué)輸入流，視頻人臉的面部幾何特征為視覺(jué)輸入流，通過(guò)設(shè)置合理的聽(tīng)視覺(jué)流狀態(tài)異步約束，Asy_DBN模型得到了比聽(tīng)覺(jué)單流或視覺(jué)單流HMM以及狀態(tài)同步的多流HMM（MSHMM）都要高的識(shí)別率。在文獻(xiàn)[8]中，進(jìn)一步提出了三特征流混合的DBN模型（T_AsyDBN），以語(yǔ)音Mel倒譜特征（MFCC）和局部韻律特征（LP）作為兩個(gè)聽(tīng)覺(jué)輸入流，面部幾何特征（GF）作為視覺(jué)輸入流，并且允許聽(tīng)覺(jué)流和視覺(jué)流的狀態(tài)在一定范圍內(nèi)異步。實(shí)驗(yàn)結(jié)果表明，T_AsyDBN模型獲得了比MSHMM以及Asy_DBN更高的識(shí)別率。然而，由于每種情感的訓(xùn)練數(shù)據(jù)量有限，當(dāng)訓(xùn)練和測(cè)試數(shù)據(jù)集發(fā)生改變時(shí)，實(shí)驗(yàn)結(jié)論不是很穩(wěn)定。

考慮到在人類(lèi)對(duì)于情感的感知中，從面部表情上獲得信息量占主要成分，為了進(jìn)一步提高情感識(shí)別的識(shí)別率以及魯棒性，本文除了采用面部幾何（GF）特征外，還另外提取了包含人臉形狀和紋理信息的主動(dòng)外觀模型（AAM）特征[9]作為視覺(jué)特征流，同時(shí)對(duì)T_AsyDBN模型進(jìn)行了修正，構(gòu)建了包含兩個(gè)視覺(jué)特征流和一個(gè)語(yǔ)音特征流的情感識(shí)別模型（VVA_AsyDBN），使得GF特征和AAM特征這兩個(gè)視覺(jué)特征流在狀態(tài)層同步，而它們與語(yǔ)音MFCC特征流之間允許在狀態(tài)層異步。在eNTERFACE’05情感數(shù)據(jù)庫(kù)上進(jìn)行了聽(tīng)視覺(jué)融合情感識(shí)別實(shí)驗(yàn)，每種情感選取60句語(yǔ)句進(jìn)行模型訓(xùn)練，六種情感共135句作為測(cè)試數(shù)據(jù)，并采用了Jack-Knife方法，以消除訓(xùn)練和識(shí)別樣本較少造成的影響。識(shí)別結(jié)果表明，VVA_ AsyDBN比Asy_DBN和T_AsyDBN模型的識(shí)別率有了進(jìn)一步提升，達(dá)到75.61%。

2 聽(tīng)視覺(jué)情感特征提取

本文在eNTERFACE’05數(shù)據(jù)庫(kù)上進(jìn)行聽(tīng)視覺(jué)情感識(shí)別實(shí)驗(yàn)。數(shù)據(jù)庫(kù)包含六種基本情感：生氣、高興、悲傷、厭惡、害怕和驚奇。

2.1 聽(tīng)覺(jué)情感特征提取

（1）MFCC特征

對(duì)語(yǔ)音信號(hào)施加窗長(zhǎng)為30 ms，幀移為10 ms的海明窗之后，用HTK工具包[10]提取14維MFCC及其一階差分和二階差分，得到42維的MFCC特征序列。

（2）基于基頻和短時(shí)能量的局域韻律特征（LP）

在對(duì)語(yǔ)音信號(hào)施加窗長(zhǎng)為30 ms，幀移為10 ms的海明窗后，分別提取每幀語(yǔ)音的基頻和短時(shí)能量，然后以130 ms作為一個(gè)局部區(qū)域，計(jì)算該局域內(nèi)基于基頻和短時(shí)能量的韻律特征，包括其最大值、最小值、中值、均值、上升段斜率的最大值、下降段斜率的最小值，并以10 ms作為局部區(qū)域的位移，計(jì)算韻律特征的一階差分，得到28維局域韻律統(tǒng)計(jì)特征。為了降低數(shù)據(jù)的冗余度，對(duì)特征進(jìn)行了PCA降維，在本文實(shí)驗(yàn)中，最終得到了19維局部韻律特征。

2.2 視覺(jué)情感特征提取

（1）面部幾何特征（GF）

在本文前期工作中[8]，采用有約束的貝葉斯切形狀模型（CSM）方法[11]，檢測(cè)和跟蹤得到人臉圖像序列的83個(gè)特征點(diǎn)。如圖1（a）所示，83個(gè)特征點(diǎn)的標(biāo)識(shí)位置如圖1（b）所示。

圖1 面部特征點(diǎn)跟蹤結(jié)果及特征點(diǎn)標(biāo)識(shí)

在此基礎(chǔ)上，文獻(xiàn)[8]定義了將眉毛，眼睛和嘴巴考慮在內(nèi)的整個(gè)臉部的18維面部幾何特征，與其一階差分相結(jié)合形成了36維視覺(jué)特征[8]。經(jīng)過(guò)PCA降維之后，得到21維面部幾何特征。

為了進(jìn)一步提高對(duì)頭部運(yùn)動(dòng)（旋轉(zhuǎn)、縮放和平移）的魯棒性，本文對(duì)文獻(xiàn)[8]提取的GF特征進(jìn)行了改進(jìn)：（1）對(duì)每幀面部圖像應(yīng)用仿射變換，針對(duì)中性表情面部圖像進(jìn)行了歸一化操作。（2）考慮到特征點(diǎn)距離的動(dòng)態(tài)變化，將每幀圖像與中性圖像的特征向量的差值作為新的面部幾何特征。

（2）主動(dòng)外觀模型（AAM）特征

為了獲得更加豐富的面部表情信息，本文使用AAM工具包（http：//bagpuss.smb.man.ac.uk/～bim/software/）提取包含面部形狀和紋理信息的AAM特征。在訓(xùn)練時(shí)從eNTERFACE’05數(shù)據(jù)庫(kù)中選取12個(gè)人的720幅面部圖像及其面部特征點(diǎn)來(lái)訓(xùn)練AAM參數(shù)，設(shè)置特征向量的貢獻(xiàn)率為95%時(shí)，對(duì)每幀圖像提取了26維AAM特征?？紤]到動(dòng)態(tài)特性，采用AAM特征與中性圖像AAM特征的差值作為一幀圖像的特征向量。

最后，為了與聽(tīng)覺(jué)特征的幀率100 frame/s相匹配，分別對(duì)幀率為25 frame/s的面部幾何特征和AAM特征進(jìn)行線(xiàn)性插值，將其內(nèi)插為幀率為100 frame/s的特征向量序列。

因此，當(dāng)一句音視頻語(yǔ)音結(jié)束之后，分別離線(xiàn)提取其聽(tīng)覺(jué)情感特征和視覺(jué)情感特征，形成了同步的兩個(gè)（或三個(gè)）動(dòng)態(tài)特征流，作為情感識(shí)別模型的輸入。

3 改進(jìn)的三特征流聽(tīng)視覺(jué)情感識(shí)別模型

3.1 VVA_AsyDBN模型及參數(shù)

借用DBN靈活的結(jié)構(gòu)和強(qiáng)大的描述功能，考慮到情感識(shí)別中面部信息的優(yōu)越性，本文設(shè)計(jì)了異步可控的聽(tīng)視覺(jué)三特征流DBN情感識(shí)別模型，以面部幾何特征和AAM特征作為兩個(gè)視覺(jué)輸入流，MFCC特征作為聽(tīng)覺(jué)輸入流，而且兩個(gè)視覺(jué)流在狀態(tài)層同步，它們與聽(tīng)覺(jué)特征流可以在狀態(tài)層異步。VVA_AsyDBN模型的結(jié)構(gòu)如圖2所示，包括三個(gè)部分：Prologue部分對(duì)模型進(jìn)行初始化，Chunk塊可以隨著時(shí)間序列進(jìn)行擴(kuò)展，Epilogue部分描述了模型的結(jié)束幀，連線(xiàn)表示結(jié)點(diǎn)之間的條件概率。VVA_AsyDBN模型結(jié)點(diǎn)含義描述如表1所示。

在這個(gè)模型中，聽(tīng)覺(jué)狀態(tài)和視覺(jué)狀態(tài)能夠在各自狀態(tài)流內(nèi)進(jìn)行獨(dú)立轉(zhuǎn)移，但其異步程度由結(jié)點(diǎn)CA的值控制。CA表示聽(tīng)覺(jué)流和視覺(jué)流狀態(tài)之間的距離，其條件概率分布為：

設(shè)音頻流和視頻流的最大狀態(tài)數(shù)分別為AN和VN，聽(tīng)視覺(jué)流狀態(tài)之間的最大異步約束為M，則AS和VS的條件概率分布分別定義為：

圖2 VVA_AsyDBN模型結(jié)構(gòu)

表1 VVA_AsyDBN模型結(jié)點(diǎn)含義描述

上式表明，當(dāng)AS/VS沒(méi)有達(dá)到最大狀態(tài)數(shù)AN/VN，并且允許狀態(tài)轉(zhuǎn)移，同時(shí)異步程度在M的約束范圍之內(nèi)時(shí)，AS/VS可以發(fā)生狀態(tài)轉(zhuǎn)移，否則不允許轉(zhuǎn)移。

t時(shí)刻產(chǎn)生聽(tīng)覺(jué)觀測(cè)向量和視覺(jué)觀測(cè)向量的聯(lián)合概率為：

j為聽(tīng)視覺(jué)流的狀態(tài)組合，對(duì)每個(gè)特征流d，，和分別是狀態(tài)j的第n個(gè)高斯的權(quán)值、均值和方差陣，λd為三個(gè)特征流對(duì)應(yīng)的權(quán)重，在本文實(shí)驗(yàn)中均設(shè)置為1。

3.2 基于VVA_AsyDBN模型的情感識(shí)別

本文采用圖模型工具包GMTK[12]進(jìn)行DBN模型的訓(xùn)練和識(shí)別。在訓(xùn)練時(shí)，對(duì)每一種情感訓(xùn)練一組DBN參數(shù)。在本文實(shí)驗(yàn)中，聽(tīng)覺(jué)最大狀態(tài)數(shù)，視覺(jué)最大狀態(tài)數(shù)和混合高斯數(shù)分別設(shè)置為3、3和8。在識(shí)別階段，將一段視頻的MFCC特征、面部幾何特征和AAM特征輸入到模型中，將最大似然概率對(duì)應(yīng)的情感模型作為識(shí)別結(jié)果。

4 聽(tīng)視覺(jué)情感識(shí)別實(shí)驗(yàn)及分析

4.1 聽(tīng)視覺(jué)情感數(shù)據(jù)庫(kù)

實(shí)驗(yàn)采用eNTERFACE’05聽(tīng)視覺(jué)情感數(shù)據(jù)庫(kù)[13]，該數(shù)據(jù)庫(kù)由來(lái)自14個(gè)不同國(guó)家的42個(gè)說(shuō)話(huà)人，在純凈語(yǔ)音環(huán)境下用英語(yǔ)進(jìn)行錄制，包括生氣、高興、悲傷、厭惡、恐懼、驚訝6種基本情感。對(duì)每種情感隨機(jī)挑選60句作為訓(xùn)練數(shù)據(jù)，其他各種情感共135句作為測(cè)試數(shù)據(jù)。由于實(shí)驗(yàn)數(shù)據(jù)量較少，為了保證實(shí)驗(yàn)結(jié)果的穩(wěn)定性，本文采用了Jack-Knife方法[14]，對(duì)于每種情感，每次在訓(xùn)練集和測(cè)試集中分別選取10句進(jìn)行交換，循環(huán)3次，最終的情感識(shí)別結(jié)果是3次識(shí)別率的平均值。

表2 聽(tīng)視覺(jué)單流和多流情感識(shí)別結(jié)果（%）

4.2 實(shí)驗(yàn)結(jié)果分析

聽(tīng)覺(jué)/視覺(jué)單流HMM和聽(tīng)視覺(jué)多流模型的情感識(shí)別結(jié)果如表2所示，AHMM，VHMM分別代表聽(tīng)覺(jué)單流和視覺(jué)單流HMM，(n)表示聽(tīng)視覺(jué)狀態(tài)之間的異步約束為n。

實(shí)驗(yàn)結(jié)果表明：

（1）視覺(jué)單流的情感識(shí)別率高于聽(tīng)覺(jué)單流，這一結(jié)果符合人類(lèi)對(duì)情感的感知。在視覺(jué)單流識(shí)別中，以AAM為特征的VHMM（AAM）模型的識(shí)別率最高達(dá)到63.11%，也說(shuō)明了AAM特征對(duì)情感識(shí)別的有效性。

（2）跟單流HMM相比，狀態(tài)同步的雙流HMM（MSHMM_AAM_MFCC）的識(shí)別率達(dá)到72.08%，而異步約束為1時(shí)的Asy_DBN_AAM_MFCC（1）模型的識(shí)別率又進(jìn)一步提高到73.61%。

（3）對(duì)于三特征流模型，狀態(tài)同步的MSHMM_AAM_ GF_MFCC識(shí)別率為73.29%，有兩個(gè)音頻流（MFCC和LP）和一個(gè)視頻流（AAM）且異步約束為2的T_AsyDBN_ AAM_MFCC_LP（2）的情感識(shí)別率為73.94%，而本文提出的VVA_AsyDBN_AAM_GF_MFCC（2）模型在異步約束為2時(shí)，在所有模型中得到了最優(yōu)的識(shí)別結(jié)果，達(dá)到75.61%。

5 結(jié)論及工作展望

本文提出了一個(gè)改進(jìn)的聽(tīng)視覺(jué)融合三特征流DBN情感識(shí)別模型（VVA_AsyDBN），以面部幾何特征和面部AAM特征作為視覺(jué)輸入流，語(yǔ)音MFCC特征作為聽(tīng)覺(jué)輸入流，而且兩個(gè)視覺(jué)特征流在狀態(tài)級(jí)同步，聽(tīng)覺(jué)特征流的狀態(tài)與視覺(jué)特征流的狀態(tài)之間可以存在有約束的異步。在eNTERFACE’05聽(tīng)視覺(jué)情感數(shù)據(jù)庫(kù)上的情感識(shí)別實(shí)驗(yàn)結(jié)果表明，本文提出的VVA_AsyDBN模型，效果不僅優(yōu)于傳統(tǒng)的狀態(tài)同步的聽(tīng)視覺(jué)雙流和聽(tīng)視覺(jué)三流HMM，而且識(shí)別率比聽(tīng)視覺(jué)雙流異步的Asy_DBN模型以及T_AsyDBN模型又有了進(jìn)一步提升，達(dá)到了75.61%。本文的不足之處在于：由于CSM算法不能實(shí)時(shí)跟蹤面部特征點(diǎn)，導(dǎo)致視覺(jué)特征的提取不能實(shí)時(shí)，因此不能做到實(shí)時(shí)的聽(tīng)視覺(jué)情感識(shí)別。在進(jìn)一步工作中，將嘗試應(yīng)用AAM進(jìn)行面部特征點(diǎn)跟蹤，以提高視覺(jué)情感特征提取的實(shí)時(shí)性。同時(shí)，還將擴(kuò)展在其他聽(tīng)視覺(jué)情感數(shù)據(jù)庫(kù)中的情感識(shí)別實(shí)驗(yàn)，以進(jìn)一步驗(yàn)證VVA_AsyDBN模型的有效性。

[1]Metze F，Polzehl T，Wagner M.Fusion of acoustic and linguistic features for emotion detection[C]//IEEE Int Conf on Semantic Computing（ICSC’09），2009：153-160.

[2]Yang Peng，Liu Qingshan，Metax D N.Boosting encoded dynamic features for facial expression recognition[J].Pattern Recognition Letters，2009，30（2）：132-139.

[3]Busso C，Deng Z，Yildirim S，et al.Analysis of emotion recognition using facial expressions，speech and multimodal information[C]//ACM Int Conf on Multimodal Interfaces，2004：205-211.

[4]Zeng Z，Tu J，Liu M，et al.Audio-visual affect recognition[J].IEEE Trans on Multimedia，2007，9（2）：424-428.

[5]Zeng Z，Tu J，Pianfetti，et al.Audio-visual affective expression recognition through multi-stream fused HMM[J].IEEE Transactions on Multimedia，2008，10（4）：570-577.

[6]Song M，You M，Li N，et al.A robust multimodal approach for emotion recognition[J].Neurocomputing，2008，71（10/12）：1913-1920.

[7]Chen D，Jiang D，Ravyse，et al.Audio-visual emotion recognition based on a DBN model with constrained asynchrony[C]//Proc Int Conf Image and Graphics（ICIG），2009：912-916.

[8]Jiang Dongmei，Cui Yulu，Zhang Xiaojing，et al.Audio visual emotion recognition based on triple-stream dynamic Bayesian network models[C]//LNCS 6974：Affective Computing and Intelligent Interaction，2011：609-618.

[9]Cootes T F，Edwards G J，Taylor C J，et al.Active appearance models[C]//LNCS 1407：Computer Vision，1998：484-498.

[10]Young S，Kershaw O D，Ollason J，et al.The HTK book[M]. Cambridge：Entropic Ltd，1999.

[11]Hou Y，Sahli H，Ravyse I，et al.Robust shape based head tracking[C]//LNCS 4678：Proc the Advanced Concepts for Intelligent Vision Systems，2007：340-351.

[12]Bilmes J，Zweig G.The graphical models toolkit：an open source software system for speech and time series processing[C]//Proc ICASSP，2002：3916-3919.

[13]Martin O，Kotsia I，Macq B，et al.The eNTERFACE’05 audio-visual emotion database[C]//Proc 22nd Int Conf on Data Engineering Workshops，2006.

[14]Wu C F J.Jackknife，Bootstrap and other resampling methods in regression analysis[J].The Annals of Statistics，1986，14（4）：1261-1295.

ZHANG Xiaojing1，2,JIANG Dongmei1，2,FAN Ping3,SAHLI Hichem3

1.School of Computer Science,Northwestern Polytechnical University,Xi’an 710072,China
2.Shaanxi Provincial Key Laboratory on Speech and Image Information Processing,Xi’an 710072,China
3.Department of Electronics and Informatics,Vrije Universiteit Brussel,Brussel 1050,Belgium

This paper proposes a modified triple stream asynchronous DBN model（VVA_AsyDBN）for audio visual emotion recognition,with the two visual feature streams,facial geometric features（GF）and facial active appearance model features（AAM）,synchronous at the state level,while they are asynchronous with the audio feature stream（Mel Filterbank Cepstrum Coefficients,MFCC）within controllable constraints.Emotion recognition experiments are carried out on the eNTERFACE’05 database,and results are compared with the traditional state synchronous Multi-Stream Hidden Markov Model（MSHMM）,as well as the asynchronous DBN model（T_AsyDBN）with two audio feature streams（MFCC and local prosodic features LP）and one visual feature stream.Results show that VVA_AsyDBN obtains the highest performance up to 75.61%,which is 12.50%higher than the visual only HMM,2.32%higher than the MSHMM with MFCC,AAM and GF features,and 1.65%higher than the T_AsyDBN model with MFCC and LP features as well as AAM features.

audio visual fusion;Dynamic Bayesian Network（DBN）;Active Appearance Model（AAM）;asynchrony constraint

A

TP391.4

10.3778/j.issn.1002-8331.1211-0289

ZHANG Xiaojing,JIANG Dongmei,FAN Ping,et al.Audio visual emotion recognition based on modified asynchronous DBN models.Computer Engineering and Applications,2014,50（21）：162-165.

國(guó)家自然科學(xué)基金（No.61273265）；陜西省國(guó)際科技合作重點(diǎn)項(xiàng)目（No.2011KW-04）。

張曉靜（1988—），女，碩士研究生，主要研究方向：聽(tīng)視覺(jué)融合的語(yǔ)音情感分析；蔣冬梅，女，教授，主要研究方向：語(yǔ)音處理、聽(tīng)視覺(jué)融合的語(yǔ)音情感識(shí)別和面部動(dòng)畫(huà)合成；FAN Ping，女，博士生；SAHLI Hichem，男，教授，主要研究方向：視頻與圖像處理。E-mail：jiangdm@nwpu.edu.cn

2012-11-23

2013-01-24

1002-8331（2014）21-0162-04

CNKI出版日期：2013-03-13，http://www.cnki.net/kcms/detail/11.2127.TP.20130313.0946.009.html