常 娜

南京林業(yè)大學(xué)南方學(xué)院

人臉表情識(shí)別是使計(jì)算機(jī)通過獲得人臉表情信息推斷出人的心理狀態(tài)，由此實(shí)現(xiàn)人-機(jī)間的高級(jí)智能交互，它是一種對(duì)人臉表情信息進(jìn)行特征提取和歸類的過程。它是機(jī)器視覺、心理學(xué)和圖像處理等領(lǐng)域的一個(gè)交叉課題，是情感計(jì)算機(jī)研究的內(nèi)容之一，主要應(yīng)用在智能機(jī)器人研制、醫(yī)療、安全等領(lǐng)域。

心理學(xué)家Mehrabian 認(rèn)為，聲音（38%）+言詞（7%）+面部表情（55%）=情感表達(dá)。在人們的日常交流中，通過面部表情來傳遞的信息高達(dá) 55%，可見在人與人之間的交流中表情信息的重要性。

面部表情識(shí)別

面部表情識(shí)別系統(tǒng)一般由人臉圖像獲取、圖像預(yù)處理、特征提取、特征分類、后處理五個(gè)部分組成。如圖1 所示。

表情特征的提取

人臉表情提取按圖像性質(zhì)的不同來劃分，可分為靜態(tài)圖像特征提取、序列圖像特征提取。

靜態(tài)圖像特征提取

從靜態(tài)圖像中提取的是表情的形變特征，提取的對(duì)象是表情模型。形變特征提取的常用方法有基于模型的方法，Gabor 小波法和主成分分析法PCA 等。

基于模型的方法。它包括點(diǎn)分布模型PDM 和活動(dòng)外觀模型AAM 等。點(diǎn)分布模型PDM 是一種參數(shù)化的形狀描述模型。其原理是采用PCA 方法構(gòu)建出描述對(duì)象形狀的各個(gè)控制點(diǎn)的運(yùn)動(dòng)模型。通過約束控制點(diǎn)的基準(zhǔn)位置與移動(dòng)模式，保證模型的整體形變一直保持在可接受的范圍之內(nèi)?；顒?dòng)外觀模型AAM 建立了一種針對(duì)目標(biāo)對(duì)象變化程度的參數(shù)化描述，也屬于基于模型的方法之一。

Gabor 小波法。Gabor 小波濾波器的方向、中心頻率及基頻帶寬均是可調(diào)的。它是一個(gè)由二維高斯函數(shù)衍生出的復(fù)數(shù)域正旋曲線函數(shù)。通過調(diào)節(jié)Gabor 濾波器的不同參數(shù)，能夠捕捉到對(duì)應(yīng)圖像中不同的空間位置，空間頻率以及方向信息。

主成份分析法PCA。基本原理是在不同表情具有可分性的前提下，假設(shè)人臉處于低維線性空間，將一組高維訓(xùn)練圖像K-L 正交變換，消除原有向量間的相關(guān)性的同時(shí)生成一組新的正交基。然后，提取出新的正交基中對(duì)應(yīng)較大特征值的部分特征向量，生成低維表情特征空間的同時(shí)保留原高維空間的主要成分分量。

序列圖像特征提取

序列圖像特征提取不僅要提取每一幀的表情形變特征還要提取連續(xù)序列的運(yùn)動(dòng)特征。常用的提取方法有特征點(diǎn)跟蹤法，光流法以及差分圖像法。

特征點(diǎn)跟蹤法。是選擇臉部的顯著特征點(diǎn)來進(jìn)行運(yùn)動(dòng)估計(jì)，它僅提取了部分特征點(diǎn)信息而忽略了其他部分臉部信息，因此部分有用信息可能會(huì)丟失。

圖1 表情識(shí)別系統(tǒng)結(jié)構(gòu)示意圖

光流法。光流屬于運(yùn)動(dòng)特征提取法之一，基于光流的算法有基于梯度的光流計(jì)算法、基于頻率域的方法和基于區(qū)域匹配的光流計(jì)算方法。

差分圖像法。是將視頻序列中相鄰的兩幀圖像作差分運(yùn)算，不為“0”的點(diǎn)代表變化區(qū)域，為“0”的點(diǎn)代表不變區(qū)域。由于圖像序列中處于極大狀態(tài)時(shí)表情信息最為豐富，因此在進(jìn)行表情分析時(shí)，通常將被測幀與標(biāo)準(zhǔn)幀進(jìn)行差分運(yùn)算，來檢測該表情所對(duì)應(yīng)的關(guān)鍵幀。

面部表情的分類

表情分類方法通常包含以下幾種：

（1）基于幾何特征的方法。通過人臉面部拓?fù)浣Y(jié)構(gòu)幾何關(guān)系的先驗(yàn)知識(shí)，利用基于結(jié)構(gòu)的方法將人臉用幾何特征矢量表示。

（2）特征臉方法。將K-L 變換用于人臉圖像的最優(yōu)表示，以訓(xùn)練樣本集的總體散布矩陣，經(jīng)K-L 變換后得到相應(yīng)的一組特征矢量。

（3）基于模板的方法。首先定義一個(gè)能量函數(shù)，設(shè)計(jì)一個(gè)參數(shù)可調(diào)的器官模板，然后通過調(diào)整模型參數(shù)使得能量函數(shù)最小化。

研究中的難點(diǎn)

人類識(shí)別人臉信息比較容易，但用計(jì)算機(jī)來分析識(shí)別人的面部表情是一個(gè)相對(duì)困難且復(fù)雜的問題。關(guān)鍵點(diǎn)在于構(gòu)建一個(gè)情緒模型，并把它們同人的面部特征及表情變化聯(lián)系起來。由于人臉是一個(gè)柔性體，而非剛體，因此很難用某種模型來精確描述。并且表情的識(shí)別還依賴于①外部光照強(qiáng)弱和人臉姿態(tài)。②對(duì)人臉的熟悉程度。③對(duì)各種表情的體驗(yàn)。④計(jì)算機(jī)沒有知識(shí)和經(jīng)驗(yàn)，不具有舉一反三的能力。⑤對(duì)臉部的注意程度等因素。因此，這些都是它的難點(diǎn)所在。

展望

人臉表情識(shí)別是一個(gè)跨學(xué)科、富有挑戰(zhàn)性的前沿課題，其研究目的主要在于建立一種友好、和諧的人機(jī)交互環(huán)境，使計(jì)算機(jī)能夠通過觀察人的臉色變化來行事，進(jìn)而營造出一種真正和諧的人機(jī)交互環(huán)境。目前此項(xiàng)研究盡管已經(jīng)取得了很多重大成果，但仍處于研究階段，各種算法也還在摸索當(dāng)中，不是十分成熟。

盡管實(shí)現(xiàn)一個(gè)完美的人臉表情識(shí)別系統(tǒng)還有許多工作要做，但其應(yīng)用價(jià)值和深遠(yuǎn)的意義為我們的研究提供了強(qiáng)大的動(dòng)力。我們相信在不久的將來，隨著圖像處理、心理學(xué)、模式識(shí)別以及計(jì)算機(jī)視覺等領(lǐng)域研究的發(fā)展，人臉表情識(shí)別技術(shù)也將獲得更大的發(fā)展。