黃躍鵬，閆亞楠，耿仕勛，袁春陽，陳江峰

（河北師范大學(xué)信息技術(shù)學(xué)院，石家莊 050024）

0 引言

作為人工智能領(lǐng)域的研究熱點(diǎn)，人臉表情識(shí)別無論在在理論上還是在技術(shù)上，都日益受到更為廣泛的關(guān)注和發(fā)展，但一般表情識(shí)別只對(duì)表情類型進(jìn)行識(shí)別，對(duì)表情的真實(shí)與否并不進(jìn)行判斷，例如無論測(cè)試者對(duì)表情識(shí)別系統(tǒng)做出的是出于測(cè)試目的假笑還是自然的微笑，都會(huì)被判斷為一類笑，即分析的只是測(cè)試者展現(xiàn)出來的表情，這樣得到的結(jié)果就對(duì)需要鑒別表情真?zhèn)蔚那闆r，例如在國家安全、警方審訊或者臨床診斷領(lǐng)域中造成障礙[1]。因此，真實(shí)表情識(shí)別的研究，不僅是實(shí)際生產(chǎn)生活中的需要，也是表情識(shí)別發(fā)展過程中的重要分支。

真實(shí)表情識(shí)別需要表情數(shù)據(jù)庫、識(shí)別算法、心理學(xué)理論以及相關(guān)硬件支撐。數(shù)據(jù)庫分為一般表情數(shù)據(jù)庫和微表情數(shù)據(jù)庫，其中，一般表情數(shù)據(jù)庫例如有JAFFE[2]、CK+[3]、YALE[4]等 ，微 表 情 數(shù) 據(jù) 庫 例 如 有SMIC[5]、CASME II 等。國際上，微表情識(shí)別算法按類別可分為基于3D 紋理、基于頻域和基于幾何特征等識(shí)別算法。

本文在前人工作的基礎(chǔ)上，首先把一般表情和微表情進(jìn)行定義整合，進(jìn)而概括了真實(shí)表情的含義，之后設(shè)計(jì)了四維表情模型，提出以表情變化速率來衡量表情運(yùn)動(dòng)，最后總結(jié)并對(duì)未來的工作進(jìn)行展望。

1 真實(shí)表情

真實(shí)表情是自然觸發(fā)且未經(jīng)干預(yù)的一類表情的合稱，包含自然觸發(fā)的一般表情和微表情。其中微表情是出于一定目的，而壓抑原本完整的自然表情表達(dá)而產(chǎn)生的，很多情況下和一般表情所代表的含義相同。例如罪犯在被審問聽到敏感詞匯時(shí)，可能原本會(huì)表達(dá)出一段完整的吃驚或害怕的表情，但出于偽裝目的，原本要進(jìn)行的表情剛開始不久，機(jī)體便進(jìn)行了對(duì)該表情的干預(yù)行為，終止或以其他表情代替，那么，從表情開始到被干預(yù)為止的這一段時(shí)間產(chǎn)生的表情，就是微表情。本文把自然觸發(fā)的一般表情和微表情統(tǒng)歸于真實(shí)表情，區(qū)別于受干預(yù)而產(chǎn)生的虛假表情，例如英國《實(shí)驗(yàn)心理學(xué)季刊》上的一項(xiàng)研究表明，真笑、假笑具有一定的差別,真的笑容只會(huì)產(chǎn)生1/4 秒的細(xì)微表情，而假笑維持的時(shí)間相對(duì)較長，如果一個(gè)笑容持續(xù)超過5 秒以上,那么很有可能是受干預(yù)后產(chǎn)生的假笑。

2 總體設(shè)計(jì)

表情識(shí)別的關(guān)鍵步驟可以概括為：表情獲取、圖像預(yù)處理、特征提取、分類方法。其中表情獲取和圖像預(yù)處理目前已經(jīng)存在較為成熟的技術(shù)接口，本文只針對(duì)特征提取和分類方法進(jìn)行討論研究。

首先采集到每幀的人臉圖像，在對(duì)圖像進(jìn)行預(yù)處理后，在特征提取上，使用較為成熟的表情識(shí)別點(diǎn)檢測(cè)技術(shù)來識(shí)別圖像中人臉各個(gè)表情識(shí)別點(diǎn)活動(dòng)狀態(tài)，再把帶有時(shí)間節(jié)點(diǎn)的每幀表情信息，匹配到四維人臉識(shí)別模型中，計(jì)算出該幀數(shù)圖像對(duì)應(yīng)的坐標(biāo)位置或者模糊區(qū)域，每幀表情圖像之間連接成的直線距離或者曲線路徑，除以運(yùn)動(dòng)產(chǎn)生的時(shí)間差，得出表情變化速率，根據(jù)表情變化速率數(shù)據(jù)庫各自的速率區(qū)間，判斷出為何種表情以及表情的真實(shí)與否。模型總體工作流程如圖1 所示。

圖1 工作流程圖

2.1 表情識(shí)別點(diǎn)及初始化

人臉表情識(shí)別點(diǎn)檢測(cè)技術(shù)，需要首先把人臉部的表情運(yùn)動(dòng)單元做標(biāo)記，然后根據(jù)每幀表情圖像激活的表情識(shí)別點(diǎn)序列和對(duì)應(yīng)表情信息含義，對(duì)表情的種類進(jìn)行識(shí)別，本文用到的表情識(shí)別點(diǎn)檢測(cè)技術(shù)還需進(jìn)行對(duì)應(yīng)四維表情模型坐標(biāo)的初始化，如下為表情識(shí)別點(diǎn)序列以及初始化公式。

表情識(shí)別點(diǎn)序列：

初始化：

表情變化速率的計(jì)算不僅需要運(yùn)動(dòng)產(chǎn)生的曲線軌跡長度，還需運(yùn)動(dòng)持續(xù)時(shí)間的時(shí)間差，故初始化不僅要對(duì)坐標(biāo)進(jìn)行初始化，還需添加時(shí)間量。且本文目前只對(duì)同一類型表情進(jìn)行真假表情識(shí)別研究，故設(shè)置M 為識(shí)別點(diǎn)所在象限，N 為識(shí)別點(diǎn)所在象限的模糊區(qū)域，即M、N 共同確定了識(shí)別點(diǎn)屬于哪個(gè)表情類別，用來對(duì)表情類型的改變進(jìn)行檢測(cè)。

2.2 四維表情模型

四維表情模型由三維表情坐標(biāo)系與時(shí)間變量組成，其中，三維人臉識(shí)別的思路是，賦予三維空間直角坐標(biāo)系中三個(gè)坐標(biāo)軸各自的衡量參數(shù)，使得坐標(biāo)系可以賦予不用表情各自的坐標(biāo)或者模糊區(qū)域。

三維表情坐標(biāo)系x,y,z 坐標(biāo)軸對(duì)應(yīng)的衡量參數(shù)分別為：動(dòng)機(jī)狀態(tài)，正向表示友好深度（friendly），負(fù)向表示敵對(duì)深度（hostile）；精神狀態(tài)，正向表示興奮深度(lively)，負(fù)向表示鎮(zhèn)定深度（calm）；心理狀態(tài)，正向表示輕松深度（casual），負(fù)向表示嚴(yán)肅深度（formal），形成的八個(gè)區(qū)對(duì)應(yīng)的表情含義為愉快區(qū)I、正直區(qū)VI、思考區(qū)II、敬慕區(qū)V、悲苦區(qū)VIII、丑惡區(qū)III、驚懼區(qū)IV、厭惡區(qū)VII，模型示意圖如圖2。坐標(biāo)系上每個(gè)點(diǎn)都對(duì)應(yīng)一幀帶有表情識(shí)別點(diǎn)序列的表情運(yùn)動(dòng)過程，這樣完整的一段表情運(yùn)動(dòng)則有N 個(gè)點(diǎn)組成一條曲線，且由于人面部表情差異，相同表情經(jīng)數(shù)據(jù)集訓(xùn)練會(huì)在坐標(biāo)系中產(chǎn)生對(duì)應(yīng)的模糊區(qū)域。

本文所提出的四維微表情識(shí)別模型，不僅是一個(gè)特征提取和用來計(jì)算表情變化速率的模型，還具有接收人臉表情圖像信息判斷出該幀表情圖像為何種表情的功能，即模型中的坐標(biāo)點(diǎn)或模糊區(qū)域即為對(duì)應(yīng)的表情信息。本模型的方法避免了需要大量計(jì)算出當(dāng)幀為何種表情的情況，只需判斷出圖像上人臉表情識(shí)別點(diǎn)激活關(guān)閉序列后，帶入到模型中即可，節(jié)約了大量計(jì)算的時(shí)間，精確度也得到提高。

圖2 四維表情模型示意圖

2.3 表情變化速率

從上文的四維表情模型中，我們可以得到，一段完整的表情運(yùn)動(dòng)，會(huì)在坐標(biāo)系中產(chǎn)生一段曲線，曲線長度除以對(duì)應(yīng)表情的持續(xù)時(shí)間，得到該表情的變化速率。由于相同表情存在運(yùn)動(dòng)差異，同一含義表情，存在表情變化率值區(qū)間。表情變化速率公式如下：

輸入：表情識(shí)別點(diǎn)序列

整條序列表情變化速率V

步驟1：初始化

（M 為識(shí)別點(diǎn)所在象限，N 為識(shí)別點(diǎn)所在象限的模糊區(qū)域，即M、N 共同確定了識(shí)別點(diǎn)屬于哪個(gè)表情類別）

步驟2：計(jì)算空間路勁長度以及速率

步驟3：終止條件

目前僅研究同一表情內(nèi)的變化速率，表情之間的轉(zhuǎn)換和聯(lián)系還有待進(jìn)一步探討，故終止條件為產(chǎn)生了不用類型的表情。

2.4 表情數(shù)據(jù)庫

本文模型及計(jì)算方法，需要用到的表情數(shù)據(jù)庫，一是建立四維表情模型時(shí)，用于匹配各坐標(biāo)點(diǎn)所對(duì)應(yīng)表情運(yùn)動(dòng)中各過程時(shí)刻以及代表的表情識(shí)別序列，二是建立表情變化速率數(shù)據(jù)庫時(shí)，用于衡量不同類型不用速率值代表的表情信息含義。

建立四維表情模型時(shí)，需要把三維表情坐標(biāo)系坐標(biāo)、表情識(shí)別點(diǎn)序列以及表情信息根據(jù)三維表情坐標(biāo)系的坐標(biāo)軸衡量系數(shù)進(jìn)行定義，賦予不同表情運(yùn)動(dòng)以對(duì)應(yīng)的曲線路徑。建立表情變化速率數(shù)據(jù)庫時(shí)，需要根據(jù)不同人表情的差異，進(jìn)行數(shù)據(jù)整理，進(jìn)而得到帶有相同表情含義的速率區(qū)間。

3 結(jié)語

表情作為一種運(yùn)動(dòng)，相較于傳統(tǒng)以表情運(yùn)動(dòng)持續(xù)的時(shí)間或運(yùn)動(dòng)產(chǎn)生的表情結(jié)果來研究，表情變化速率是更本質(zhì)的衡量方法，故本文提出了以四維表情模型描述表情運(yùn)動(dòng)軌跡，以表情變化速率衡量表情的真實(shí)性，并確定了表情變化速率計(jì)算公式。下一步工作是研究模型對(duì)表情運(yùn)動(dòng)軌跡的預(yù)測(cè)功能，以及結(jié)合深度學(xué)習(xí)訓(xùn)練來滿足不同識(shí)別場(chǎng)景需求。