劉赟

（無(wú)錫汽車工程高等職業(yè)技術(shù)學(xué)校，江蘇 無(wú)錫 214000）

0 引言

如今，人臉表情識(shí)別已經(jīng)大量運(yùn)用到各個(gè)領(lǐng)域，包含醫(yī)療、教育及輔助駕駛等，逐漸成為視覺(jué)領(lǐng)域研究的熱點(diǎn)問(wèn)題[1]。不同特征所用提取法具有獨(dú)特的優(yōu)勢(shì)，同樣具有一定不足，將紋理與幾何特征融合起來(lái)，能夠?qū)⒚恳环N特征優(yōu)勢(shì)展示出來(lái)，對(duì)不足進(jìn)行互補(bǔ)，效果還是比較顯著的[2]。因此，探討紋理與幾何特征視野下人臉表情識(shí)別算法具有實(shí)用價(jià)值。

1 相關(guān)算法

LBP算法是提取局部紋理特征的常用方法，因其計(jì)算復(fù)雜度低及提取效果好，許多研究者都比較喜歡使用。這種算法通過(guò)3×3窗口內(nèi)，以中心像素值作為閥值，把8個(gè)相鄰像素灰度值與其進(jìn)行比較，如果中心像素值小，就標(biāo)記1，反之標(biāo)記0；3×3鄰域內(nèi)，周圍8個(gè)像素點(diǎn)與中心像素點(diǎn)共同形成8位制二進(jìn)制數(shù)，從而形成LBP編碼，再把二進(jìn)制轉(zhuǎn)化成十進(jìn)制，所得數(shù)值為L(zhǎng)BP值，以此體現(xiàn)出區(qū)域內(nèi)紋理信息[3]。計(jì)算公式如下所示：

在上面公式中，P為周圍像素點(diǎn)個(gè)數(shù)，gc為中心像素點(diǎn)灰度值，gj為周圍像素點(diǎn)灰度值，s(x)表示符號(hào)函數(shù)，該公式算法過(guò)程如圖1。這種計(jì)算方法是把圖像中每一個(gè)像素點(diǎn)進(jìn)行處理后，得出整副圖像LBP編碼值，從而形成特征圖。對(duì)所有編碼值實(shí)施統(tǒng)計(jì)，就可獲得統(tǒng)計(jì)直方圖，從而形成紋理特征的描述向量。

圖1 編碼過(guò)程

2 紋理與幾何特征視野下人臉表情識(shí)別

2.1 特征融合

在人臉表情識(shí)別過(guò)程中，無(wú)論單獨(dú)采用某種表情特征，還是在姿態(tài)偏轉(zhuǎn)或光照變化下，都極難達(dá)到良好的真實(shí)性[4]。因此，可以同時(shí)采用多種特征進(jìn)行表情特征融合，以此來(lái)提高人臉表情識(shí)別算法性能。合理采用多種特征相融合的方法，可發(fā)揮多元互補(bǔ)特征，以此來(lái)表征目標(biāo)，達(dá)到各種條件的適應(yīng)性。融合表情特征，需要獨(dú)立提取出多種表情特征，比如紋理特征和形變特征等[5]；合理分析各種特征適應(yīng)環(huán)境及優(yōu)缺點(diǎn)，采用綜合決策來(lái)實(shí)現(xiàn)表情分類。

2.2 人臉數(shù)據(jù)庫(kù)

本文研究采用CK+人臉表情庫(kù)，表情庫(kù)中包含593個(gè)圖像序列，其中有123個(gè)為不同表情圖像序列，每一個(gè)圖像序列均從自然表情開(kāi)始，結(jié)合相應(yīng)表情或相應(yīng)臉部動(dòng)作單元[6]。每個(gè)序列所占有時(shí)間存在差異，每個(gè)序列的圖像數(shù)量自然也不相同，但是完整的表情都有一個(gè)過(guò)程，那就是從自然表情——目標(biāo)表情——自然表情[7]。如果只是依靠人判斷圖像序列，根本不能實(shí)現(xiàn)客觀性。要提高可靠性，數(shù)據(jù)庫(kù)在標(biāo)注表情類別時(shí)就要依據(jù)人臉動(dòng)作單元識(shí)別表情。經(jīng)過(guò)一系列篩選后，最終有327個(gè)圖像序列保存下來(lái)，具體分類見(jiàn)表1。

表1 每種表情圖像序列數(shù)量

2.3 預(yù)處理

在人臉表情識(shí)別上，預(yù)處理主要包含三個(gè)步驟，即人臉檢測(cè)--主動(dòng)外觀模型--標(biāo)準(zhǔn)化。第一步基于類Haar特征人臉檢測(cè)算法對(duì)人臉區(qū)域進(jìn)行定位，在該范圍內(nèi)容搜索主動(dòng)外觀模型，確定定位位置，最后對(duì)人臉實(shí)施標(biāo)準(zhǔn)化，縮放到統(tǒng)一大小，便于Gabor系數(shù)的提取。本文研究中，人臉區(qū)域縮放大小為48×48[8]。

2.4 紋理特征識(shí)別表情

當(dāng)表情圖像經(jīng)過(guò)預(yù)處理后，就對(duì)標(biāo)準(zhǔn)化圖像使用Gabor小波變換特征提取。這樣每副圖像經(jīng)過(guò)處理后就能夠得到40副處理過(guò)的圖像。當(dāng)每副輸入圖像被定位到具體的區(qū)域后，就降低到48×48分辨率。所以經(jīng)過(guò)Gabor變換后，每副圖像都會(huì)獲得一個(gè)921600維特征向量。這種特征維量較高，就采用多類別特征選擇算法。此次實(shí)驗(yàn)結(jié)果來(lái)看，當(dāng)把前200維特征選出來(lái)，其分類精度比較高。采用紋理特征識(shí)別表情，其結(jié)果見(jiàn)表2。從表中可知，大多數(shù)紋理特征表現(xiàn)較好，但是極易把生氣劃分成輕蔑，極易把高興識(shí)別成害怕。

表2 紋理特征識(shí)別表情的結(jié)果

2.5 幾何特征識(shí)別表情

在特征選擇與降維上，常常采用主成分分析法，但人臉各部位自身為線性的，表情變化屬于非線性變化，所以幾何特征無(wú)法較好體現(xiàn)表情這種非線性變化。鑒于這種情況，本文采用流形學(xué)習(xí)(Manifold Learning)非線性降維算法把內(nèi)部結(jié)構(gòu)變化體現(xiàn)出來(lái),因人臉在整個(gè)圖像所處位置變化微小，可以視為基本不變，所以就采用定位的特征點(diǎn)位置與最初自然表情進(jìn)行相減，就能夠獲得坐標(biāo)差，每個(gè)坐標(biāo)差就可視為特征向量，在主動(dòng)外形模型中總共有68個(gè)坐標(biāo)點(diǎn)，因此得出136維特征向量。本文研究中，對(duì)支持向量機(jī)與修正支持向量機(jī)相結(jié)合進(jìn)行比較研究，采用流形學(xué)習(xí)算法對(duì)兩種情況降維后數(shù)據(jù)進(jìn)行比較，發(fā)現(xiàn)降到24維時(shí)分類結(jié)果最好；實(shí)驗(yàn)結(jié)果來(lái)看，結(jié)合修正支持向量機(jī)，能有效提高精度，研究結(jié)果見(jiàn)表3和表4。

表3 結(jié)合修正支持向量機(jī)研究結(jié)果

表4 結(jié)合支持向量機(jī)的研究結(jié)果

2.6 兩種算法概率的融合

最后，采用模糊積分把前面兩種算法輸出概率結(jié)合起來(lái)，得到表5的結(jié)果。從結(jié)果比較來(lái)看，模糊積分對(duì)紋理與幾何特征合并方法，識(shí)別人臉表情的算法整體精度明顯提高，效果比較顯著。

表5 模糊積分合并結(jié)果

3 結(jié)語(yǔ)

學(xué)校作為我國(guó)教育事業(yè)的前線陣地，高效率的課堂是全社會(huì)所追求和關(guān)注的。為了督促學(xué)生在課堂上高效地學(xué)習(xí)，老師要經(jīng)常在課堂上對(duì)學(xué)生進(jìn)行批評(píng)、提醒。但是老師的精力和時(shí)間有限，無(wú)法時(shí)時(shí)刻刻提醒學(xué)生。學(xué)?？梢酝ㄟ^(guò)監(jiān)控、老師巡邏來(lái)加強(qiáng)管控，但這樣做費(fèi)時(shí)費(fèi)力，效率低下，同時(shí)還會(huì)造成誤判、漏判等現(xiàn)象。而基于紋理與幾何特征視野下人臉表情識(shí)別算法可以在很大程度上解決這一問(wèn)題。通過(guò)該方法，來(lái)識(shí)別學(xué)生的面部表情，判斷學(xué)生的聽(tīng)課狀態(tài)，既節(jié)省了人力，又提高了課堂效率，同時(shí)在心理上也能督促學(xué)生認(rèn)真聽(tīng)課，讓老師把更多的精力放在授課而不是提醒學(xué)生上。該算法準(zhǔn)確率高，誤差小，能夠精確的反映學(xué)生當(dāng)前的聽(tīng)課狀態(tài)，實(shí)現(xiàn)對(duì)學(xué)生聽(tīng)講的監(jiān)督和提醒，實(shí)現(xiàn)了自動(dòng)化、精確化的目標(biāo)，應(yīng)用市場(chǎng)廣闊。