劉 娟，胡 敏，黃 忠1,

1.安慶師范大學(xué) 物理與電氣工程學(xué)院，安徽 安慶 246052

2.合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院 情感計(jì)算與先進(jìn)智能機(jī)器安徽省重點(diǎn)實(shí)驗(yàn)室，合肥 230009

基于區(qū)域NBPR特征及可信度修正的人臉表情識(shí)別*

劉 娟1+，胡 敏2，黃 忠1,2

1.安慶師范大學(xué) 物理與電氣工程學(xué)院，安徽 安慶 246052

2.合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院 情感計(jì)算與先進(jìn)智能機(jī)器安徽省重點(diǎn)實(shí)驗(yàn)室，合肥 230009

為了提取有利于表情分類的區(qū)域特征以及實(shí)現(xiàn)多區(qū)域特征的決策級融合，提出了一種基于鄰近二值模式關(guān)系（neighbor binary pattern relation，NBPR）特征描述子和可信度修正證據(jù)融合（credibility modification evidence fusion，CMEF）的表情識(shí)別框架。首先針對傳統(tǒng)局部二值模式（local binary pattern，LBP）算子僅以中心像素為編碼閾值的局限，提出一種NBPR描述子，它對局部區(qū)域多方向相鄰像素之間的二值模式異或關(guān)系進(jìn)行編碼；然后根據(jù)提取的眉毛、眼睛和嘴巴區(qū)域的NBPR紋理特征進(jìn)行證據(jù)的初始基本概率分配；最后針對D-S（Dempster-Shafer）證據(jù)理論在合成沖突證據(jù)時(shí)的不足，通過一種新的基于證據(jù)可信度的合成方法實(shí)現(xiàn)3個(gè)區(qū)域證據(jù)的決策融合。該方法在CK（Cohn-Kanade）庫上分別取得了94.67%的平均表情識(shí)別率以及752 ms的平均識(shí)別時(shí)間。實(shí)驗(yàn)結(jié)果表明，提出的NBPR描述子和CMEF策略有利于表情區(qū)域的紋理描述和決策級融合，從而具有較高的表情識(shí)別率。

鄰近二值模式關(guān)系；多區(qū)域特征融合；D-S證據(jù)理論；可信度修正

1 引言

隨著圖像處理技術(shù)的不斷進(jìn)步以及情感人機(jī)交互的迫切需求，人臉表情識(shí)別逐步變成情感計(jì)算領(lǐng)域最活躍的研究方向。為提高表情分類正確率，人們一方面挖掘維數(shù)低、魯棒性強(qiáng)的特征描述方法；一方面探索鑒別能力強(qiáng)、穩(wěn)定性好的分類融合策略[1]。研究表明，人臉不同區(qū)域的表情細(xì)節(jié)在表情分類中提供的區(qū)分信息具有較大差異性，因此，如何提取有利于表情分類的區(qū)域特征以及如何實(shí)現(xiàn)不同區(qū)域特征的決策融合，已經(jīng)成為表情識(shí)別領(lǐng)域噩待處理的關(guān)鍵問題。

近幾年，人們已經(jīng)提出了大量卓有成效的特征提取方法，主要包括基于拓?fù)潢P(guān)系的幾何特征提取方法和基于像素信息的紋理特征提取方法[2]。幾何特征提取方法主要對人臉顯著區(qū)域的特征點(diǎn)進(jìn)行定位，然后根據(jù)特征點(diǎn)位置信息度量形狀偏差或相對位移，但這種方法計(jì)算開銷大，且易受特征點(diǎn)定位精確程度的影響。與幾何特征提取方法不同，紋理特征提取方法則利用像素點(diǎn)周圍的灰度分布和對比度等信息來刻畫表情細(xì)節(jié)，其中最常見的有Gabor小波變換[3]和局部二值模式（local binary pattern，LBP）[4]。由于具有比Gabor特征較低的維數(shù)和較高的提取效率，LBP特征在表情識(shí)別等實(shí)時(shí)場景中更受青睞。然而，傳統(tǒng)LBP算法只以局部鄰域中心點(diǎn)的像素灰度值作為閾值，沒有處理周圍近鄰像素點(diǎn)灰度值大小關(guān)系。這種空間關(guān)系的缺失制約了LBP描述局部豐富表情細(xì)節(jié)的能力。而在表情分類方面，人們逐漸關(guān)注到表情區(qū)域特征在類別判別中的重要性，分別提出了區(qū)域特征的數(shù)據(jù)級聯(lián)方法[5-6]和決策融合方法。與數(shù)據(jù)級聯(lián)方法不同，區(qū)域特征的決策融合方法則是首先將區(qū)域特征轉(zhuǎn)化為類別度量信息，然后在決策層實(shí)現(xiàn)不同區(qū)域類別度量信息的融合。由于D-S（Dempster-Shafer）證據(jù)理論能夠較好地描述表情模糊性和不確定性，基于D-S證據(jù)理論的決策融合方法備受人們關(guān)注，如Hammal等人[7]將來自不同人臉表情區(qū)域的形變特征視為證據(jù)，利用D-S證據(jù)理論完成這些區(qū)域表情類別融合與決策；Shoyaib等人[8]利用k-NN（k-nearest neighbor）方法計(jì)算各證據(jù)的概率分配函數(shù)，并提出kNNDS表情識(shí)別框架。然而，傳統(tǒng)D-S合成公式為維持基本概率分配的歸一性，僅利用彼此不沖突的證據(jù)信息構(gòu)建置信區(qū)間，因此，當(dāng)區(qū)域表情證據(jù)存在沖突時(shí)，決策系統(tǒng)將產(chǎn)生與事實(shí)相違背的判別結(jié)果[9-10]。

鑒于人臉表情特征更多匯集在眉毛、眼睛和嘴巴等顯著區(qū)域，以及傳統(tǒng)LBP算法不足以描述局部紋理細(xì)節(jié)的問題，本文提出了一種基于區(qū)域NBPR特征及可信度修正的人臉表情識(shí)別方法。首先，針對傳統(tǒng)LBP算子僅以中心像素為閾值編碼方式的局限性，提出一種基于鄰近二值模式關(guān)系（neighbor binary pattern relation，NBPR）的紋理特征描述子，通過對局部區(qū)域范圍內(nèi)近鄰像素多方向的二值模式的異或關(guān)系編碼，提取表情區(qū)域高鑒別能力的紋理信息。然后，考慮人臉表情細(xì)節(jié)更多集中于眉毛、眼睛和嘴巴等局部區(qū)域的特點(diǎn)，以這3個(gè)顯著區(qū)域NBPR紋理特征為證據(jù)，并根據(jù)卡方距離建立各證據(jù)的基本概率分配。最后，針對傳統(tǒng)D-S合成規(guī)則解決沖突表情證據(jù)存在的缺陷，提出可信度修正證據(jù)融合（credibility modification evidence fusion，CMEF）策略實(shí)現(xiàn)3個(gè)區(qū)域證據(jù)的決策融合。

2 基于NBPR描述子的區(qū)域特征表示

2.1 LBP算法

LBP算子擁有計(jì)算不復(fù)雜，對光照變化條件不敏感的優(yōu)點(diǎn)，是一種較好的紋理分析方法，如今在機(jī)器視覺領(lǐng)域得到了廣泛應(yīng)用[4]。其本原理為：選定一個(gè)3×3的窗口，以中心像素的灰度值為閾值，周圍8個(gè)像素值與其進(jìn)行比較，若周圍像素值大于中心像素值，則該像素點(diǎn)的位置被標(biāo)記為1，否則為0。這樣周圍8個(gè)鄰域會(huì)分別對應(yīng)8個(gè)不同的0或1，再按照一定的順序賦權(quán)值，加權(quán)求和得到中心像素的LBP值。LBP編碼過程如圖1所示。

Fig.1 LBP operator圖1LBP算子

2.2 NBPR描述子

與LBP僅以局部鄰域中心像素為閾值的編碼方式不同，NBPR分別對某中心點(diǎn)周圍的8個(gè)鄰域4個(gè)方向近鄰像素之間二值模式異或關(guān)系進(jìn)行編碼，構(gòu)成4個(gè)方向的局部紋理特征。與LBP方法相比，能夠捕獲更加詳細(xì)的描述信息和包含更加豐富的空間信息。給定一幅圖像I(x)，該圖像0°、45°、90°和135°方向二值模式可以表示成Iθ(x)，其中θ=0°,45°,90°, 135°。NBPR編碼流程如下。

步驟1假設(shè)x0為圖像中的一點(diǎn)，其周圍8個(gè)鄰域?yàn)閤i(i=1,2,…,8)，如圖2所示。x=x0處的4個(gè)方向的二值模式可以表示成：

Fig.2 Pixel pointx0and its 8 neighborhoods圖2 像素點(diǎn)x0與其八鄰域

步驟2x=x0處θ方向下的近鄰像素之間二值模式關(guān)系NBPRθ(x0)可以表示成：

其中，⊕為異或運(yùn)算，從而形成二進(jìn)制編碼比特串。

步驟3將4個(gè)方向的近鄰像素二值模式關(guān)系串聯(lián)在一起：

將點(diǎn)x0處NBPRθ(x0)中的8位二進(jìn)制數(shù)轉(zhuǎn)換成十進(jìn)制數(shù)，其值位于[0～255]，即點(diǎn)x0該方向的NBPR特征值。圖3中（b）、（c）、（d）、（e）分別計(jì)算出I0°(x)、I45°(x)、I90°(x)和I135°(x)，然后根據(jù)公式（3）計(jì)算出NBPR0°(x0)、NBPR45°(x0)、NBPR90°(x0)和NBPR135°(x0)，最后NBPR(x0)=10111011011110011101011001000110。

從式（1）可以看出：假設(shè)對xi(i=0,1,…,8)周圍8個(gè)鄰域像素同時(shí)加上或者減去某個(gè)值，xi的4個(gè)方向二值模式不發(fā)生改變。由式（3）可知，4個(gè)方向的x0與周圍xi(i=1,2,…,8)的二值模式關(guān)系沒有發(fā)生改變，即表明NBPR對光照不敏感。由于LBP選取的起始位置不同，最后加權(quán)得到的數(shù)值會(huì)不相同，旋轉(zhuǎn)不變LBP算子[11]就是在此基礎(chǔ)上，在各種不同起始位置選取原始LBP值中最小的那個(gè)值作為最終的旋轉(zhuǎn)不變LBP值。同理，若x0周圍8個(gè)鄰域選取的起始位置不同，最后加權(quán)得NBPRθ(x0)數(shù)值會(huì)不相同，從而可以將LBP旋轉(zhuǎn)不變算子應(yīng)用于NBPRθ(x0)，使NBPR達(dá)到對圖像的旋轉(zhuǎn)不變性。

步驟4 NBPR的直方圖。相對于全局直方圖方法，局部直方圖對光照和姿態(tài)的變化更具有魯棒性[12]，從而本文利用局部直方圖來建立NBPR的分布。在特征提取過程中，首先將某個(gè)方向上NBPR特征圖劃分成L個(gè)尺寸一樣且互不重疊的子塊；然后統(tǒng)計(jì)每個(gè)子塊區(qū)域內(nèi)直方圖分布，將它們按先行后列的順序串聯(lián)在一起，獲得分塊直方圖序列；最后將4個(gè)方向上NBPR特征圖的分塊直方圖序列聯(lián)合起來。

假設(shè)方向θ，NBPRθ劃分成L個(gè)矩形區(qū)域，表示為R1,R2…,RL，HNBPR(i,θ)可以表示為：

其中HNBPRθ(Ri)表示在θ方向上NBPR特征圖中從子塊區(qū)域Ri提取的直方圖特征。分塊后4個(gè)方向NBPR有4×L×2P個(gè)模式，可以通過對NBPR模式進(jìn)行降維。本文采用Ojala提出的“等價(jià)模式”降維[11]。

2.3 區(qū)域特征表示

一個(gè)完整的臉部圖像提取的所有特征并不都有利于表情分類，如果將這些特征全部進(jìn)行提取，一方面會(huì)增加特征提取和表情識(shí)別的時(shí)間；另一方面大量的冗余特征將會(huì)對分類器判別形成干擾，進(jìn)而降低表情分類的正確率。因此，合理地選擇表情特征區(qū)域，可以去除一些和表情分類無關(guān)或者冗余的特征。鑒于眉毛、眼睛和嘴巴區(qū)域在表情描述中的重要作用，本文提取這3個(gè)區(qū)域的NBPR紋理特征。

首先將人臉圖像規(guī)范化為128×133像素的區(qū)域，并將其均等地劃分成56(8×7)個(gè)互不重疊的子塊，其中每個(gè)子塊尺寸為16×19像素。然后，定位眉毛、眼睛和嘴巴區(qū)域，并且3個(gè)區(qū)域尺寸分別為128× 19、96×19、64×38像素。最后，在這3個(gè)區(qū)域內(nèi)，分別統(tǒng)計(jì)其中各個(gè)子塊的NBPR特征直方圖，并將其分塊直方圖序列作為區(qū)域表情紋理特征描述。其過程如圖4所示。

Fig.3 Example of NBPR code圖3NBPR編碼示例

3 可信度修正的多區(qū)域表情證據(jù)融合

3.1 基本概率賦值的構(gòu)建

D-S證據(jù)理論[13]中假設(shè)Θ為一識(shí)別框架，定義集函數(shù)m:2Θ→[0,1]為Θ上的基本概率分配（basic probability assignment，BPA）函數(shù)，且滿足：

Fig.4 Histogram sequences of NBPR圖4NBPR直方圖序列

其中，?表示空集；若m(A)＞0，稱A為信任函數(shù)的焦元。設(shè)m1和m2為同一識(shí)別框架Θ下的兩個(gè)證據(jù)，則D-S合成公式為：

為構(gòu)建3個(gè)證據(jù)的基本概率分配，本文首先計(jì)算測試樣本與各類標(biāo)準(zhǔn)特征向量的卡方距離di,j（i為區(qū)域，j為表情類別）[14]。由于距離為(0,+∞)上任意一實(shí)數(shù)，需要對di,j進(jìn)行歸一化：

在基本概率分配函數(shù)的構(gòu)建中，一方面要求各類別的概率總和為1，一方面要求加大類別概率的區(qū)分度。因此，當(dāng)測試樣本和某類標(biāo)準(zhǔn)特征向量之間距離較大時(shí)，測試樣本屬于該類的可能性很小，分配給該類的概率越接近0；反之，分配該類的概率越接近1。鑒如此，本文采用指數(shù)函數(shù)實(shí)現(xiàn)從卡方距離到基本概率分配的映射。設(shè)證據(jù)i對表情類別cj的基本概率賦值分配為：

其中，λ為擬合系數(shù)，通過實(shí)驗(yàn)取13。

3.2 可信度修正的證據(jù)融合

構(gòu)建3個(gè)區(qū)域證據(jù)的基本概率分配后，可以按照D-S合成公式實(shí)現(xiàn)多證據(jù)的融合。然而，D-S合成公式?jīng)]有區(qū)分參與合成證據(jù)的差異性，在證據(jù)合成時(shí)沒有考慮證據(jù)的可靠性信息，從而將造成不合理的合成結(jié)果。此外，當(dāng)合成證據(jù)存在沖突時(shí)，沖突程度系數(shù)K趨于1，D-S合成公式不能完成證據(jù)融合。這種完全不考慮沖突信息的策略也勢必導(dǎo)致判別信息的丟失并影響決策結(jié)果。針對傳統(tǒng)D-S合成公式不能處理沖突和體現(xiàn)證據(jù)差異性的問題，本文提出可信度修正的證據(jù)融合策略。

3.2.1 可信度

設(shè)m1,m2,…,mn是同一識(shí)別框架Θ下的n個(gè)證據(jù)，|Θ|=N，2Θ={Ai|i=1,2,…,2N}。定義m1、m2的距離為[15]：

當(dāng)兩個(gè)證據(jù)之間的距離較小，說明它們相似度較高，可以認(rèn)為它們彼此互相信任，否則說明它們存在沖突。因此，可以將證據(jù)間的可信度作為證據(jù)沖突程度的度量方式。令mi的可信度Crdi為：

式（11）意義在于，某個(gè)證據(jù)與其他證據(jù)的距離越小，說明該證據(jù)與其他證據(jù)的沖突較小，則其擁有較高的可信度。因此，度量的可信度可以直接體現(xiàn)證據(jù)間的沖突程度。

3.2.2 證據(jù)融合策略

為了體現(xiàn)各個(gè)證據(jù)的重要性，表情識(shí)別系統(tǒng)所融合的多個(gè)證據(jù)應(yīng)賦予有區(qū)別的權(quán)重。若一個(gè)證據(jù)擁有較高的可信度，其對應(yīng)的權(quán)重應(yīng)比較高，從而對融合結(jié)論的影響也應(yīng)較大；反之亦然。因此，本文通過度量的可信度對原始證據(jù)進(jìn)行修正：

在新的證據(jù)模型mi′(i=1,2,…,n)中，利用“與”運(yùn)算合成沒有沖突的證據(jù)，并通過可信度對證據(jù)的沖突實(shí)施分配。新的合成公式定義為：

由計(jì)算過程可知，修正的證據(jù)模型的合成結(jié)果仍然滿足BPA函數(shù)的要求。利用新的合成公式對修正后證據(jù)進(jìn)行融合，并依據(jù)式（14）決策規(guī)則可判別最終的表情類別cresult為：

至此，本文提出的基于區(qū)域NBPR特征及可信度修正的人臉表情識(shí)別框架可用圖5表示。

Fig.5 Framework of expression recognition圖5 表情識(shí)別框架

4 實(shí)驗(yàn)結(jié)果與分析

為了說明本文算法的有效性，采用Matlab 2010在Windows 10環(huán)境下搭建系統(tǒng)，計(jì)算機(jī)的微處理器配置為Intel?CoreTMi3-4150 CPU@3.5 GHz，主存4 GB。測試集為CK（Cohn-Kanade）表情庫，為了減少圖像中人臉位置、大小和旋轉(zhuǎn)等因素對表情識(shí)別的影響，對圖像進(jìn)行預(yù)處理，包括人臉分割、幾何歸一化和光照歸一化。預(yù)處理后表情圖像統(tǒng)一大小為128×133像素，如圖6所示。

Fig.6 Preprocessing on CK expression database圖6 CK表情庫的預(yù)處理

4.1 本文算法識(shí)別率

CK庫由美國CMU機(jī)器人研究所和心理系共同建立。本文從CK庫中選取了21個(gè)對象的6種表情（悲傷、高興、驚訝、恐懼、憤怒和厭惡）的200幅圖像。每次隨機(jī)選擇100幅圖像作為訓(xùn)練樣本，剩下的圖像作為測試樣本。

基于隨機(jī)產(chǎn)生的表情訓(xùn)練集，提取每幅訓(xùn)練圖像3個(gè)顯著區(qū)域的NBPR特征后，各區(qū)域同種類型的表情特征求和后取平均得到該區(qū)域該類標(biāo)準(zhǔn)表情特征向量。樣本測試階段，提取每幅測試圖像3個(gè)顯著區(qū)域的NBPR特征后，計(jì)算各區(qū)域特征與標(biāo)準(zhǔn)表情特征向量的卡方距離，以此構(gòu)建3個(gè)區(qū)域證據(jù)的基本概率分配。最后按照可信度修正各證據(jù)基本概率分配，并實(shí)現(xiàn)證據(jù)融合和最終決策。實(shí)驗(yàn)計(jì)算3次交叉驗(yàn)證的平均識(shí)別率，如表1所示，其平均識(shí)別率為94.67%。

Table 1 Experimental result based on Cohn-Kanade database表1 基于Cohn-Kanade庫的實(shí)驗(yàn)結(jié)果

4.2 不同表情識(shí)別方法比較

為了驗(yàn)證本文NBPR特征比LBP特征具有更好的表征局部信息的能力，同時(shí)證明可信度修正證據(jù)融合（CMEF）比D-S具有優(yōu)越性，針對不同紋理特征和不同分類器進(jìn)行了實(shí)驗(yàn)，其比較結(jié)果如表2所示。表2表明本文NBPR特征和可信度修正證據(jù)融合結(jié)合可以獲得更高識(shí)別率。

Table 2 Comparison of average recognition rates of different features and different classifiers表2 不同特征和不同分類器的平均識(shí)別率比較

為了進(jìn)一步驗(yàn)證本文方法在表情識(shí)別率和識(shí)別時(shí)間方面的優(yōu)勢，基于相同數(shù)據(jù)集，還將本文方法與其他表情識(shí)別方法進(jìn)行了實(shí)驗(yàn)比較。各種方法的相關(guān)參數(shù)均遵循原文默認(rèn)設(shè)置，其比較結(jié)果如表3所示。

Table 3 Performance comparison of different expression recognition methods表3 不同表情識(shí)別方法的性能比較

在特征提取時(shí)間方面，由于引入多方向的NBPR計(jì)算過程，本文方法不及傳統(tǒng)LBP特征提取方法，但優(yōu)于多尺度多方向的Gabor描述方法。在識(shí)別時(shí)間方面，SVM在訓(xùn)練過程中存在計(jì)算相當(dāng)耗時(shí)的問題，本文基于可信度修正的多證據(jù)決策融合不需要復(fù)雜的訓(xùn)練過程來獲取模型參數(shù)，具有較短的識(shí)別時(shí)間。而在分類性能方面，由于引入了局部細(xì)節(jié)描述能力強(qiáng)的NBPR描述子，本文基于NBPR特征的分類性能高于基于單一特征的LBP、Gabor的表情識(shí)別方法，雖然識(shí)別率達(dá)不到基于LBP+Gabor[4]混合特征方法，但是在特征提取時(shí)間和識(shí)別時(shí)間上遠(yuǎn)低于它。權(quán)衡總體分類時(shí)間和分類性能，本文方法通過提取顯著區(qū)域的NBPR紋理特征并采用可信度證據(jù)修正策略，不僅具有較高的識(shí)別率，還具有較少的識(shí)別時(shí)間。因此，其能夠更好地滿足人機(jī)交互等實(shí)時(shí)場景。

5 總結(jié)

本文提出了一種基于區(qū)域NBPR特征及可信度修正的人臉表情識(shí)別方法。同相關(guān)算法進(jìn)行比較，在保證可接受范圍內(nèi)的識(shí)別率的同時(shí)，降低了識(shí)別時(shí)間，具體表現(xiàn)在：

（1）本文提出的NBPR特征提取方法克服了LBP只考慮鄰域點(diǎn)與中心點(diǎn)閾值關(guān)系的缺陷。NBPR是對鄰近像素點(diǎn)多方向的二值模式異或關(guān)系進(jìn)行編碼，因此能夠提取更有鑒別能力的紋理特征。

（2）基于可信度修正的策略，通過權(quán)重體現(xiàn)了不同證據(jù)的重要性，一方面減少了低可信度證據(jù)對決策判斷的影響，另一方面降低了沖突證據(jù)引入的不確定性，提高了決策結(jié)果的可靠性。同時(shí)基于可信度修正的多證據(jù)決策融合不需要復(fù)雜的訓(xùn)練過程來獲取模型參數(shù)，具有較短的識(shí)別時(shí)間。

然而，本文提出的表情識(shí)別方法僅實(shí)現(xiàn)了多區(qū)域紋理信息的決策融合，為進(jìn)一步提高表情識(shí)別率，挖掘能夠表達(dá)幾何和紋理特征的描述子以及實(shí)現(xiàn)多源互補(bǔ)特征的決策級融合將是下一步研究的工作。

[1]Ouyang Yan,Sang Nong,Huang Rui.Accurate and robust facial expressions recognition by fusing multiple sparse representation based classifiers[J].Neurocomputing,2015,149 (A):71-78.

[2]Xue Yuli,Mao Xia,Guo Ye,et al.The research advance of facial expression recognition in human computer interreaction[J].Journal of Image and Graphics,2009,14(5):764-772.

[3]Li Kuan,Yin Jianping,Li Yong,et al.Local statistical analysis of Gabor coefficiens and adaptive feature extraction for face description and recognition[J].Journal of Computer Research and Development,2012,49(4):778-784.

[4]Zavaschi T H H,Britto Jr A S,Oliveira L E S,et al.Fusion of feature sets and classifiers for facial expression recognition[J]. Experts Systems withApplications,2013,40(2):646-655.

[5]Gu Wenfei,Xiang Cheng,Venkatesh Y V,et al.Facial expression recognition using radial encoding of local Gabor features and classifier synthesis[J].Pattern Recognition, 2012,45(1):80-91.

[6]Hu Min,Jiang He,Wang Xiaohua,et al.Precise local feature description for facial expression recognition[J].Journal of Image and Graphics,2014,19(11):1613-1622.

[7]Hammal Z,Couvreur L,Caplier A,et al.Facial expression classification:an approach based on the fusion of facial deformations using the transferable belief model[J].International Journal ofApproximate Reasoning,2007,46(3):542-567.

[8]Shoyaib M,Abdullah-AI-Wadud M,Ishraque S M Z,et al. Facial expression classification based on Dempster-Shafer theory of evidence[J].Belief Functions:Theory and Applications,2012,164(1):213-220.

[9]Li Shifeng,Yang Naiding,Zhang Yunyi.New approaches of distinguishing the evidence importance and allocating the evidences conflict[J].Systems Engineering—Theory& Practice,2013,33(7):1867-1872.

[10]Abellán J,Masegosa A.Requirement for total uncertainty measurements in Dempster-Shafer theory of evidence[J].International Journal of General Systems,2008,37(6):733-747.

[11]Ojala T,Pietik?inen M,M?enp?? T.Multiresolution grayscale and rotation invariant texture classification with local binary patterns[J].Pattern Analysis and Machine Intelligence,2002,24(7):971-986.

[12]Ahonen T,Hadid A,Pietik?inen M.Face description with local binary patterns:application to face recognition[J]. Transactions on Pattern Analysis and Machine Intelligence, 2006,28(12):2037-2041.

[13]Dempster A P.Upper and lower probabilities induced by a multivalued mapping[J].Journal of Annals of Mathematical Statistics,1967,38:325-339.

[14]Tan Xiaoyang,Triggs B.Enhanced local texture feature sets for face recognition under difficult lighting conditions[J]. IEEE Transactions on Image Processing,2010,19(6):1635-1650.

[15]Jousselme A L,Grenier D,Bossé é.A new distance between two bodies of evidence[J].Information Fusion,2001,2(2): 91-101.

[16]Shan Caifeng,Gong Shaogang,McOwan P W.Facial expression recognition based on local binary patterns:a comprehensive study[J].Image and Vision Computing,2009,27 (6):803-816.

[17]Liu Haibin,Zhang Guobao,Huang Yongming,et al.Multiple features extraction and coordination using gabor wavelet transformation and fisherfaces with application to facial expression recognition[C]//Proceedings of the Chinese Conference on Pattern Recognition,Chongqing,China,Oct 21-23,2010.Piscataway,USA:IEEE,2010:1-5.

附中文參考文獻(xiàn):

[2]薛雨麗,毛峽,郭葉,等.人機(jī)交互中的人臉表情識(shí)別研究進(jìn)展[J].中國圖象圖形學(xué)報(bào),2009,14(5):764-772.

[3]李寬,殷建平,李永,等.基于Gabor系數(shù)分塊統(tǒng)計(jì)和自適應(yīng)特征選擇的人臉描述與識(shí)別[J].計(jì)算機(jī)研究與發(fā)展, 2012,49(4):778-784.

[6]胡敏,江河,王曉華,等.精確局部特征描述的表情識(shí)別[J].中國圖象圖形學(xué)報(bào),2014,19(11):1613-1622.

[9]李仕峰,楊乃丁,張?jiān)埔?區(qū)分證據(jù)重要性及分配證據(jù)沖突的新方法[J].系統(tǒng)工程理論與實(shí)踐,2013,33(7):1867-1872.

LIU Juan was born in 1984.She received the M.S.degree in computer software and theory from Hefei University of Technology in 2009.Now she is a lecturer at Anqing Normal University.Her research interests include affective computing and machine vision.

劉娟（1984—），女，安徽安慶人，2009年于合肥工業(yè)大學(xué)獲得碩士學(xué)位，現(xiàn)為安慶師范大學(xué)講師，主要研究領(lǐng)域?yàn)榍楦杏?jì)算，機(jī)器視覺。

HU Min was born in 1967.She received the Ph.D.degree in computer application technology from Hefei University of Technology in 2004.Now she is a professor at Hefei University of Technology.Her research interests include affective computing,computer graphics and machine learning.

胡敏（1967—），女，安徽淮北人，2004年于合肥工業(yè)大學(xué)獲得博士學(xué)位，合肥工業(yè)大學(xué)教授，主要研究領(lǐng)域?yàn)榍楦杏?jì)算，計(jì)算機(jī)圖形學(xué)，機(jī)器學(xué)習(xí)。

HUANG Zhong was born in 1981.He is a Ph.D.candidate at Hefei University of Technology,and lecturer at Anqing Normal University.His research interests include affective computing and machine learning.

黃忠（1981—），男，安徽安慶人，合肥工業(yè)大學(xué)博士研究生，安慶師范大學(xué)講師，主要研究領(lǐng)域?yàn)榍楦杏?jì)算，機(jī)器學(xué)習(xí)。

Facial Expression Recognition Based on Regional NBPR Feature and Credibility Modification*

LIU Juan1+,HU Min2,HUANG Zhong1,2
1.School of Physics and Electronic Engineering,Anqing Normal University,Anqing,Anhui 246052,China
2.Anhui Province Key Laboratory of Affective Computing and Advanced Intelligent Machine,School of Computer and Information,Hefei University of Technology,Hefei 230009,China
+Corresponding author:E-mail:juanliu3039@163.com

To extract the regional features which are conducive to expression classification and achieve the decisionlevel fusion of multi-regional features,this paper proposes an expression recognition frame based on neighbor binary pattern relation(NBPR)feature descriptor and credibility modification evidence fusion(CMEF).Firstly,for the traditional local binary pattern(LBP)operator only takes the fixed center pixel as threshold,NBPR is proposed,which can encode the XOR relationship of binary pattern between adjacent pixels from multi-orientations in a local region.Then, the extracted NBPR texture features of three salient regions such as eyebrows,eyes and mouth are used to construct the initial probability assignments of evidences.Finally,in view of the deficiency of conflicting evidences combination with Dempster-Shafer(D-S)theory of evidence,a new combination method based on the evidence credibility is used to achieve the decision fusion of the three regional evidences.Experiments of the proposed method are performed onCohn-Kanade(CK),it achieves an average expression recognition rate of 94.67%and an average time of recognition of 752 ms.The experimental results show that the NBPR is conducive to texture descriptor and CMEF strategy is beneficial to decision-level fusion,so the proposed method has higher expression recognition rate.

neighbor binary pattern relation(NBPR);multi-regional feature fusion;Dempster-Shafer theory of evidence;credibility modification

10.3778/j.issn.1673-9418.1610018

A

：TP391

*The National Natural Science Foundation of China under Grant Nos.61672202,61640421(國家自然科學(xué)基金);the Open Project of Anhui Province Key Laboratory under Grant No.ACAIM160106(安徽省重點(diǎn)實(shí)驗(yàn)室開放課題);the Natural Science Research Project of Education Department ofAnhui Province under Grant No.AQKJ2015B014(安徽省教育廳自然科學(xué)研究項(xiàng)目).

Received 2016-10,Accepted 2016-12.

CNKI網(wǎng)絡(luò)優(yōu)先出版:2016-12-14,http://www.cnki.net/kcms/detail/11.5602.TP.20161214.1122.006.html

LIU Juan,HU Min,HUANG Zhong.Facial expression recognition based on regional NBPR feature and credibility modification.Journal of Frontiers of Computer Science and Technology,2017,11(3)：459-467.